KR20100081197A - 촬영 장치 및 이의 영상 제어방법 - Google Patents

촬영 장치 및 이의 영상 제어방법 Download PDF

Info

Publication number
KR20100081197A
KR20100081197A KR1020090000513A KR20090000513A KR20100081197A KR 20100081197 A KR20100081197 A KR 20100081197A KR 1020090000513 A KR1020090000513 A KR 1020090000513A KR 20090000513 A KR20090000513 A KR 20090000513A KR 20100081197 A KR20100081197 A KR 20100081197A
Authority
KR
South Korea
Prior art keywords
pixel
image sensor
image
signal
pixel data
Prior art date
Application number
KR1020090000513A
Other languages
English (en)
Other versions
KR101020999B1 (ko
Inventor
이규태
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020090000513A priority Critical patent/KR101020999B1/ko
Publication of KR20100081197A publication Critical patent/KR20100081197A/ko
Application granted granted Critical
Publication of KR101020999B1 publication Critical patent/KR101020999B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

실시 예는 촬영 장치 및 이의 영상 제어방법에 관한 것이다.
실시 예에 따른 촬영장치는, 변조된 광을 송신하는 광원; 물체로부터 반사광을 수집하는 렌즈; 상기 렌즈를 통해 수신된 반사광을 각 픽셀을 통해 전기적 신호로 변환하며, 상기 광원의 송신 주기에 각 픽셀당 복수개의 픽셀 데이터를 출력하는 이미지 센서; 상기 광원 및 이미지 센서의 타이밍을 제어하고, 상기 이미지 센서로부터 픽셀 데이터를 입력받는 제어부; 상기 제어부를 통해 입력된 픽셀 데이터 중 짝수필드와 홀수필드의 단위 픽셀별 픽셀 데이터로부터 송/수신 신호의 지연 위상 및 물체와의 거리를 구하는 이미지 프로세서; 상기 이미지 프로세서에 의한 물체와의 거리를 통해 3차원 이미지로 표시하는 표시부를 포함한다.
카메라, 이미지 센서, 3차원 이미지

Description

촬영 장치 및 이의 영상 제어방법{IMAGE PICKUP APPARATUS AND IMAGE CONTROL METHOD THEREOF}
실시 예는 촬영 장치 및 이의 영상 제어방법에 관한 것이다.
3차원 영상 촬영 장치는 대상에 대한 3차원 영상 데이터를 제공하기 때문에, 일반 카메라, 가정용 서비스 로봇, 의학용 영상 기기, 보안 감시 시스템 등과 같은 다양한 분야에 사용되고 있다.
실시 예는 2차원 이미지 센서를 이용하여 물체로부터 반사된 신호를 감지하고 3차원 이미지로 디스플레이할 수 있도록 한 촬영 장치 및 이를 이용한 영상 제어방법을 제공한다.
실시 예는 이미지 센서의 홀/짝 필드별로 스캐닝하여 짝수 필드의 1픽셀과 홀수 필드의 1픽셀 단위의 픽셀 데이터로 송/수신 신호의 지연 위상과 물체와의 거리를 구할 수 있도록 한 촬영 장치 및 이를 이용한 영상 제어방법을 제공한다.
실시 예에 따른 촬영장치는, 변조된 광을 송신하는 광원; 물체로부터 반사광을 수집하는 렌즈; 상기 렌즈를 통해 수신된 반사광을 각 픽셀을 통해 전기적 신호로 변환하며, 상기 광원의 송신 주기에 각 픽셀당 복수개의 픽셀 데이터를 출력하는 이미지 센서; 상기 광원 및 이미지 센서의 타이밍을 제어하고, 상기 이미지 센서로부터 픽셀 데이터를 입력받는 제어부; 상기 제어부를 통해 입력된 픽셀 데이터 중 짝수필드와 홀수필드의 단위 픽셀별 픽셀 데이터로부터 송/수신 신호의 지연 위상 및 물체와의 거리를 구하는 이미지 프로세서; 상기 이미지 프로세서에 의한 물체와의 거리를 통해 3차원 이미지로 표시하는 표시부를 포함한다.
실시 예에 따른 촬영장치의 영상 제어방법은, 변조된 광을 송신하는 단계; 물체로부터 반사된 광을 렌즈를 통해 이미지 센서의 각 픽셀로 수신하며, 상기 이미지 센서의 짝수 필드의 픽셀 데이터와 홀수 필드의 픽셀 데이터를 출력하는 단 계; 상기 이미지 센서의 짝수 필드와 이에 인접한 홀수 필드의 단위 픽셀별 데이터를 이용하여 송/수신 신호의 지연 위상 및 거리 차를 구하는 단계; 상기 이미지 센서의 픽셀 데이터와 거리 차를 이용하여 3차원 이미지를 표시하는 단계를 포함한다.
실시 예는 2차원 이미지 센서를 이용하여 3차원 이미지를 표현할 수 있는 효과가 있다.
실시 예는 3차원 카메라를 이용하지 않고 3차원 이미지를 표현할 수 있는 효과가 있다.
이하, 실시 예에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 1은 실시 예에 따른 촬영 장치를 나타낸 도면이다.
도 1을 참조하면, 촬영 장치(100)는 광원(110), 셔터(120), 렌즈(122), 이미지 센서(124), 제1아날로그 디지털 변환부(126), 제2아날로그 디지털 변환부(128), 제어부(130), 이미지 프로세서(132), 메모리(134), 표시부(136)를 포함한다.
상기 광원(110)은 레이저 또는 LED(Light emitting device) 어레이를 포함하며, 상기 제어부(130)의 제어를 받아 구동된다. 상기 광원(110)에서 조사된 광은 물체(115)에 반사되어 상기 셔터(120)를 통해 렌즈(120)로 입사된다. 상기 광원(110)은 단일개로 어느 한 위치에 배치되거나 복수개가 양측에 배치될 수 있다.
상기 광원(110)은 소정 주파수로 변조된 광 신호를 발생하게 되는 데, 예컨 대 20MHz의 변조 주파수를 출력할 수 있으며, 이러한 변조 주파수는 거리에 따라 달라질 수 있으며, 상기 주파수로 한정하지는 않는다.
상기 광원(110)은 상기 이미지 센서(124)의 어느 일측 또는 양측에 배치될 수 있다.
상기 셔터(120)는 상기 제어부(130)의 제어를 받아, 상기 셔터(120)의 여닫는 시간을 길게 또는 짧게 조절할 수 있으며, 상기 렌즈(122)를 통해 입사되는 광의 양을 조절하는 기능을 한다. 또한 상기 셔터(120)는 상기 렌즈(122)의 전단 또는/및 후단에 배치될 수 있으며, 이에 대해 한정하지는 않는다. 상기 렌즈(122)는 상기 물체로부터 반사된 광을 상기 이미지 센서(124)에 제공하게 된다.
도 1 및 도 2를 참조하면, 상기 이미지 센서(124)는 2차원 이미지 센서로서, CMOS(complementary metal-oxide semiconductor)로 구현될 수 있으며, 다수개의 픽셀 어레이(124A)가 매트릭스 형태로 배열된 구조이다. 각 픽셀(P)은 광 검출소자(예: 포토 다이오드) 및 스위치 소자를 포함하며, 상기 광 검출 소자는 상기 스위치 소자에 의해 온/오프되며, 광을 전기적인 신호로 변환하게 된다.
상기 이미지 센서(124)는 CCD(Charge-coupled device)로 구현될 수 있으며, N*N 픽셀의 해상도(N ≥ 2)로 구현될 수 있으며, 이에 대해 한정하지는 않는다.
상기 이미지 센서(124)는 상기 제어부(130)의 제어신호(S1,S2)에 의해 상기 광 검출 소자가 온/오프되며, 상기 광 검출 소자는 상기 렌즈(122)를 통해 입사된 광을 전기신호로 변환하여 출력하게 된다. 이때 상기 이미지 센서(124)는 행 및 열에 배치된 드라이버(Driver)에 의해 각 픽셀(P)의 스위치 소자가 온되어 광 검출 소자(예: Photo Diode)를 구동시켜 준다.
상기 이미지 센서(124)는 전체 픽셀이 구동되고 교차 스캐닝 방식으로 짝수 필드(Fe)와 홀수 필드(Fo)의 픽셀 신호를 필드별로 출력하게 된다.
상기 제1아날로그 디지털 변환부(126)는 상기 이미지 센서(124)에서 짝수 필드(Fe)들의 각 픽셀(P1) 신호를 디지털 데이터로 변환하여 출력하게 된다. 상기 제2아날로그 디지털 변환부(128)는 상기 이미지 센서(124)에서 홀수 필드(Fo)들의 각 픽셀(P2) 신호를 디지털 데이터로 변환하여 출력하게 된다. 즉, 상기 이미지 센서(124)의 픽셀 신호는 짝수 필드의 픽셀 데이터와 홀수 필드의 픽셀 데이터로서, 디지털 데이터로 변환된 후 상기 제어부(130)에 전달된다. 상기 상기 제어부(130)에는 시리얼 방식으로 상기 디지털 데이터가 입력되며, 상기 각 픽셀 데이터에는 페리트 체크 비트(parity check bit)를 추가하여, 각 필드와 픽셀을 구분할 수 있다.
상기 제1아날로그 디지털 변환부(126) 및 상기 제2아날로그 디지털 변환부(128)는 상기 이미지 센서(124)에 구현될 수 있으며, 이에 대해 한정하지는 않는다.
상기 제어부(130)는 광원(110), 셔터(120), 이미지 센서(124), 이미지 프로세서(132), 메모리(134) 등의 동작을 제어하며, 상기 광원(110)과 상기 이미지 센서(124)의 동작 타이밍을 제어하여 송/수신 신호간의 동기를 맞추어 주게 된다.
또한 상기 제어부(130)는 상기 이미지 프로세서(132)의 제어를 받아, 상기 이미지 센서(124)로부터 데이터를 읽어오는 스캐닝 타이밍을 제어받게 된다. 상기 제어부(130)는 2-탭 픽셀 아키텍쳐 방식으로 이미지 센서(124)의 각 픽셀(P)을 스캐닝하는 데, 이는 매 클럭당 즉, 변조 주기마다 2개의 픽셀 데이터를 출력하는 방식이다.
상기 제어부(130)는 상기 제1아날로그 디지털 변환부(126) 및 상기 제2아날로그 디지털 변환부(128)의 디지털 데이터를 상기 이미지 프로세서(132)로 전달한다.
상기 제어부(130)는 상기 이미지 프로세서(132)의 제어를 받아 상기 이미지 센서(124)의 스캐닝을 제어하게 된다. 즉, 교차 방식으로 스캐닝된 짝수 필드(Fe)의 픽셀(P1) 데이터와 홀수 필드(Fo)의 픽셀(P2) 데이터를 입력받게 된다. 예컨대, 상기 송신 신호(또는 변조 신호)의 1/2주기마다 짝수 필드(Fe)의 픽셀(P1) 데이터와 홀수 필드(Fo)의 픽셀(P2) 데이터를 스캐닝하고, 그 스캐닝된 각 필드(Fe,Fo)별 픽셀(P1,P2)들의 데이터를 전달받게 된다.
상기 이미지 프로세서(132)는 상기 수신된 짝수 필드(Fe)의 각 픽셀(P1)의 디지털 데이터와 홀수 필드(Fo)의 각 픽셀(P2)의 디지털 데이터를 메모리(134)에 저장하고, 2탭-아키텍쳐 방식으로 필드별 단위 픽셀당 2개의 데이터씩 4개의 픽셀 데이터의 상관 함수를 계산하게 된다.
즉, 상기 이미지 프로세서(132)은 상기 변조된 송신 신호의 주파수 및 송신 시점과, 상기 송신 신호의 각 주기마다 상기 물체를 통해 반사된 수신 신호의 픽셀 데이터를 상기 이미지 센서(124)로부터 구하여, 상기 송신 신호와 수신 신호 사이의 컨볼루션(convolution) 합을 통해 상기 송신 신호와 수신 신호 간의 지연 위상 을 계산할 수 있게 된다. 상기 지연 위상은 송신 신호와 수신 신호 사이의 위상 차로서, 상기 단위 픽셀의 지연 위상을 통해 물체(115)와의 거리를 구할 수 있으며, 전체 픽셀 영역에 적용하여 3차원 영상 데이터로 표시부(136)에 표시할 수 있게 된다.
상기 이미지 프로세서(132)는 상기 영상 데이터를 처리하여 상기 표시부(136)에 3차원 이미지로 표시해 주게 된다. 상기 이미지 프로세서(132)는 인터페이스 수단(예: 케이블, USB 케이블 등)을 이용하여 정보 처리 단말기 예컨대, 컴퓨터, PDA 등에 연결될 수 있다.
상기 촬영 장치(100)는 광원(110)의 반사 시간을 이용한 타임-오브-플라이트(time of flight, TOF라 함) 방식이 사용된다. 상기 TOF 방식은 광원(110)을 물체에 순차적으로 주사하고, 상기 물체(110)에 반사된 광의 도달 속도를 기록하여 물체의 굴곡정보를 저장할 수 있는 방법이다. 즉, 물체에서 오목한 부분은 볼록한 부분보다 도달 및 반사 거리가 상대적으로 길기 때문에, 도달 및 반사 시간이 상대적으로 길어지게 되므로, 각 지점에 대한 도달되는 위상을 이미지 센서의 각 픽셀을 통해 검출하고, 픽셀 간의 지연 위상 및 거리 데이터를 구하여, 3차원 이미지로 표시할 수 있다.
보다 구체적으로, 수신된 신호로부터 지연 위상 및 거리 차를 측정하기 위한 각 픽셀의 픽셀 데이터는 다음과 같이 구할 수 있다.
도 2에 도시된 바와 같이, 이미지 센서의 다수개의 픽셀 어레이(124A) 구조에서 짝수 필드(Fe)와 홀수 필드(Fo)의 픽셀 데이터를 읽는 데, 예컨대 짝수 필 드(Fe)의 제1픽셀(P1)과 홀수 필드(Fo)의 제2픽셀(P2)을 하나의 픽셀 단위 즉, 단위 픽셀(P3)로 정의하고, 상기 단위 픽셀(P3)을 송신 신호의 1주기 동안 2회에 걸쳐 읽어오게 된다.
도 2 및 도 3을 참조하면, 송신 신호(Se)는 일정 레벨(Po)을 갖는 변조 주파수로 출력되며, 상기 수신 신호(Sd)는 상기 송신 신호(Se)가 물체로부터 반사되어 수신된 신호로서 소정 지연된 신호로 이미지 센서의 각 픽셀(P)에 검출될 수 있다. 상기 수신 신호의 기준 레벨(D1)은 밝기 정보를 포함한다.
송신 신호(Se)와 수신 신호(Sd)는 물체와의 거리에 대응되는 소정의 지연 위상(φ)를 가지게 된다. 이러한 지연 위상(φ)은 송신 신호의 정보, 상기 단위 픽셀(P3)로부터 검출된 픽셀 데이터 즉, 샘플링 데이터의 상관 함수를 통해 구하게 된다.
상기 송신 신호(Se)의 1주기(1T) 동안 상기 이미지 센서의 짝수 필드(Fe)와 홀수 필드(Fo)의 픽셀들을 반주기 간격(T/2)으로 2회에 걸쳐 스캐닝하며, 상기 스캐닝된 상기 짝수 필드(Fe)와 홀수 필드(Fo)의 픽셀 데이터를 통해 4개의 샘플링 데이터인 A0, A1, A2, A3의 데이터를 검출하게 된다. 즉, 첫번째 스캐닝시 제1픽셀(P1)로부터 A0를 구하고, 제2픽셀(P2)로부터 A1를 구하게 되며, 두번째 스캐닝시 제1픽셀(P1)로부터 A2를 구하고, 제2픽셀(P2)로부터 A3를 구하게 된다. 이에 따라 도 3의 (나)와 같이, 상기 제1픽셀(P1)은 A0,A2를 출력하고, 상기 제2픽셀(P2)은 A1,A3를 출력하게 된다.
도 3의 (다)와 같이, 상기 샘플링 데이터 A0,A1와 A2,A3는 송신 신호의 1/2 주기씩 스캐닝하여 인접한 단위 픽셀 간의 지연 위상으로서 A0,A1와 A2,A3의 순서로 검출될 수 있다. 이러한 지연 위상 및 검출 순서는 변경될 수 있으며, 이에 대해 한정하지는 않는다.
이하, 지연 위상 및 거리 측정 방법에 대해 설명하면 다음과 같다.
상기에서 4개의 샘플링 데이터가 구해지면, 상기 송/수신 신호의 컨볼루션 합을 구하여 각 샘플링 데이터의 위상에 따른 상관 함수를 구하여 송신 신호와 수신 신호 사이의 지연 위상을 구하게 된다.
상기 신호 위상은 이미지 센서의 각 픽셀 내에 수신된 광을 동시에 복조함으로써 검출될 수 있으며, 상기 복조는 변조 신호의 주기 내에서 상관 또는 상호 상관 값에 의해 구해질 수 있다.
상기 상호 상관 값(
Figure 112009000395707-PAT00001
)은 복조 신호 또는 상관 신호(g(t))와 수신 신호(s(t))의 컨볼루션 합으로 구해진다. 이는 수학식 1과 같이 구해질 수 있다.
Figure 112009000395707-PAT00002
상기 상관 신호(g(t))와 상기 수신신호(s(t))는 수학식 2와 같이 주어질 수 있다.
Figure 112009000395707-PAT00003
Figure 112009000395707-PAT00004
여기서, 상기 s(t)는 수신된 광 신호이며, g(t)는 복조 신호(상관 신호)이며, a는 변조도(modulation amplitude)이며,
Figure 112009000395707-PAT00005
은 지연 위상을 나타낸다.
상관 함수(correlation function)(C(τ))는 상기 상호 상관 값(
Figure 112009000395707-PAT00006
)이 되며, 상기 수학식 2의 상기 수신된 광 신호와 상기 복조 신호를 대입하여 구하게 되며, 이는 수학식 3과 같이 구해진다.
Figure 112009000395707-PAT00007
Figure 112009000395707-PAT00008
Figure 112009000395707-PAT00009
상기 상관 함수(C(τ))는 4개의 샘플링 데이터의 위상(
Figure 112009000395707-PAT00010
)을 갖는 함수로 계산될 수 있으며, 상기 4개의 샘플링 데이터의 위상은
Figure 112009000395707-PAT00011
= 0°,
Figure 112009000395707-PAT00012
=90°,
Figure 112009000395707-PAT00013
=180°,
Figure 112009000395707-PAT00014
=270° 이 적용될 수 있으며, 수신된 신호의 위상과 증폭도를 재 계산할 수 있다. 또한 상기 상관 함수(C(τ))에는 실제 측정된 값을 획득하기 위해 오프셋(K) 값을 더해진다.
각 샘플링 데이터의 상관 함수는 수학식 4와 같이 구해질 수 있다. 각 샘프링 데이터의 위상별 상관 함수는 실제 4개의 샘플링 데이터의 값이다.
Figure 112009000395707-PAT00015
상기 C(τ0)는 A0의 상관 함수이며, C(τ1)는 A0의 상관 함수이며, C(τ2)는 A0의 상관 함수이며, C(τ3)는 A0의 상관 함수가 된다.
상기 오프셋 값(K)는 수학식 5와 같이 구해질 수 있다.
Figure 112009000395707-PAT00016
상기 4개의 샘플링 데이터의 상관 함수가 구해지면, 상기 수신된 신호(s(t)) 의 지연 위상(
Figure 112009000395707-PAT00017
)과 증폭도(a)는 수학식 6과 같이 구해질 수 있다.
Figure 112009000395707-PAT00018
Figure 112009000395707-PAT00019
상기 지연 위상(
Figure 112009000395707-PAT00020
)은 그 단위 픽셀에서의 물체와의 위상 차를 나타내는 값이며, 상기 증폭도 a는 물체의 깊이 해상도의 직접 측정치 또는 이미지 센서의 자동 이득 제어 값을 선정하기 위한 기준 값으로 이용될 수 있다.
상기 지연 위상(
Figure 112009000395707-PAT00021
)과 증폭도(a)가 구해지면, 물체와의 거리(D)를 구할 수 있게 된다. 이러한 물체와의 거리(D)는 물체와의 깊이 데이터로 표현될 수 있으며, 상기 깊이 데이터는 깊이 차이에 따라 서로 다른 색으로 처리함으로써, 3차원 이미지 데이터로 구현할 수 있게 된다.
물체와의 거리(D)는 수학식 7과 같이 구해질 수 있다.
Figure 112009000395707-PAT00022
Figure 112009000395707-PAT00023
상기 D는 물체와의 거리이며, 상기 L은 불명료한 거리 범위(non-ambiguity distance range)이며, c는 광속이며, fm은 RF 변조 주파수이다.
이러한 방식으로 단위 픽셀들에 대한 지연 위상과 거리 차를 계산할 수 있다. 실시 예는 이미지 센서의 픽드별 각 픽셀을 2탭 아키텍쳐 방식으로 스캐닝하고, 4개의 샘플링 데이터를 구한 후, TOF 방식으로 물체로부터 반사된 신호의 지연 위상 및 거리 차를 계산할 수 있으며, 이러한 거리 차를 전체 픽셀 영역에 적용하여 물체의 굴곡 정보를 정확하게 표현할 수 있는 3차원 이미지 데이터로 구현할 수 있다. 즉, 2차원 이미지 센서를 이용하여 3차원 이미지로 표현할 수 있다.
도 4는 실시 예에 따른 촬영 장치를 이용한 영상 제어방법을 나타낸 흐름도이다.
도 4를 참조하면, 광원에서 변조된 광이 물체를 향하여 송신되면(S101), 상기 송신된 광은 물체로부터 반사되어 렌즈를 통해 이미지 센서에 수신된다(S103).
상기 이미지 센서의 각 픽셀은 상기 수신된 광 신호를 변조 주기마다 2개의 픽셀 데이터로 스캔하며(S105), 이미지 센서의 홀/짝 필드별 픽셀 데이터를 출력하게 된다(S107). 즉, 각 픽셀에서 검출된 홀/짝 필드별 아날로그 신호를 홀/짝 필드별 디지털 데이터로 변환하여 출력하게 된다.
이때 이미지 프로세서는 홀/짝 필드의 2픽셀 즉, 인접한 제1픽셀과 제2픽셀의 픽셀 데이터(즉, 샘플링 데이터)를 구하게 되며(S109), 상기 구해진 4개의 픽셀 데이터의 상관함수를 구하게 된다(S111). 이때 4개의 픽셀 데이터의 상관 함수는 상기의 수학식 1 내지 수학식 4를 통해 구할 수 있으며, 이에 대한 설명은 생략하기로 한다.
그리고, 수학식 5를 통해 4개의 픽셀 데이터의 상관 함수를 이용하여 송/수신 신호의 지연 위상 및 그 지연 위상을 이용한 물체와의 거리 차를 구하게 된다(S113). 이러한 2개의 단위 픽셀의 지연 위상과 거리 차를 전체 픽셀에 반영함으로써, 3차원 이미지를 구현할 수 있게 된다(S115).
이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다.
예를 들어, 본 발명의 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 실시 예에 따른 촬영장치를 나타낸 구성도이다.
도 2는 실시 예에 따른 이미지 센서를 나타낸 도면이다.
도 3의 (가)는 송/수신 신호의 파형도이며, (나)는 각 픽셀로부터 획득된 픽셀 데이터를 나타낸 도면이며, (다)는 단위 픽셀의 픽셀 데이터의 배열한 도면이다.
도 4는 실시 예에 따른 촬영장치의 영상 제어방법을 나타낸 흐름도이다.

Claims (14)

  1. 변조된 광을 송신하는 광원;
    물체로부터 반사광을 수집하는 렌즈;
    상기 렌즈를 통해 수신된 반사광을 각 픽셀을 통해 전기적 신호로 변환하며, 상기 광원의 송신 주기에 각 픽셀당 복수개의 픽셀 데이터를 출력하는 이미지 센서;
    상기 광원 및 이미지 센서의 타이밍을 제어하고, 상기 이미지 센서로부터 픽셀 데이터를 입력받는 제어부;
    상기 제어부를 통해 입력된 픽셀 데이터 중 짝수필드와 홀수필드의 단위 픽셀별 픽셀 데이터로부터 송/수신 신호의 지연 위상 및 물체와의 거리를 구하는 이미지 프로세서;
    상기 이미지 프로세서에 의한 물체와의 거리를 통해 3차원 이미지로 표시하는 표시부를 포함하는 촬영장치.
  2. 제1항에 있어서,
    상기 이미지 센서는 단일개의 2차원 이미지 센서인 촬영장치.
  3. 제1항에 있어서,
    상기 이미지 센서의 짝수 필드의 픽셀 신호를 디지털 데이터로 변환하여 상 기 제어부로 출력하는 제1아날로그 디지털 변환부;
    상기 이미지 센서의 홀수 필드의 픽셀 신호를 디지털 데이터로 변환하여 상기 제어부로 출력하는 제2아날로그 디지털 변환부를 포함하는 촬영장치.
  4. 제1항에 있어서,
    상기 이미지 프로세서는 상기 제어부를 통해 상기 이미지 센서의 홀/짝 필드를 일정 주기마다 스캐닝하여, 상기 송신 신호의 변조주기에 각 픽셀당 2개의 데이터를 획득하는 촬영장치.
  5. 제1항에 있어서,
    상기 단위 픽셀은 짝수 필드의 1픽셀과 이에 인접한 홀수 필드의 1픽셀을 포함하는 촬영장치.
  6. 제1항에 있어서,
    상기 광원은 레이저 또는 LED를 포함하는 촬영장치.
  7. 제1항에 있어서,
    상기 픽셀 데이터를 저장하는 메모리를 포함하는 촬영장치.
  8. 제4항에 있어서,
    상기 이미지 프로세서는 상기 송신신호의 변조 주기의 1/2 주기마다 단위픽셀별 스캐닝된 4개의 픽셀 데이터를 이용하여 송/수신 신호의 지연 위상 및 거리 차를 계산하는 촬영장치.
  9. 제8항에 있어서,
    상기 이미지 프로세서는 상기 송신 신호와 수신된 신호의 콘볼루션 합을 구하고, 상기 콘볼루션 합을 이용하여 단위 픽셀로부터 획득된 4개의 픽셀 데이터에 대한 상관 함수를 구하며, 상기 단위 픽셀의 픽섹별 상관 함수의 차를 통해 송/수신 신호의 지연 위상을 계산하는 촬영장치.
  10. 변조된 광을 송신하는 단계;
    물체로부터 반사된 광을 렌즈를 통해 이미지 센서의 각 픽셀로 수신하며, 상기 이미지 센서의 짝수 필드의 픽셀 데이터와 홀수 필드의 픽셀 데이터를 출력하는 단계;
    상기 이미지 센서의 짝수 필드와 이에 인접한 홀수 필드의 단위 픽셀별 데이터를 이용하여 송/수신 신호의 지연 위상 및 거리 차를 구하는 단계;
    상기 이미지 센서의 픽셀 데이터와 거리 차를 이용하여 3차원 이미지를 표시하는 단계를 포함하는 촬영장치의 영상 제어방법.
  11. 제10항에 있어서,
    상기 이미지 센서는 상기 이미지 센서의 짝수 필드와 홀수 필드에 대해 스캐닝하여, 상기 송신 신호의 변조 주기에 각 픽셀당 2개의 픽셀 데이터를 출력하는 촬영장치의 영상 제어방법.
  12. 제10항에 있어서,
    상기 거리 차를 이용하여 물체의 깊이 정보를 계산하여 3차원 데이터를 구하는 촬영장치의 영상 제어방법.
  13. 제10항에 있어서,
    상기 지연 위상은 송신 신호의 콘볼루션 합을 통해 단위 픽셀당 4개의 픽셀 데이터의 상관 함수를 구하고, 상기 4개의 픽셀 데이터의 상관함수를 필드별 상관 함수의 차로 계산하여 단위 필셀당 송/수신 신호의 지연 위상을 계산하는 촬영장치의 영상 제어방법.
  14. 제10항에 있어서,
    상기 이미지 센서는 2탭 픽셀 아키텍쳐로 픽셀 데이터를 출력하는 촬영장치의 영상 제어방법.
KR1020090000513A 2009-01-05 2009-01-05 촬영 장치 및 이의 영상 제어방법 KR101020999B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090000513A KR101020999B1 (ko) 2009-01-05 2009-01-05 촬영 장치 및 이의 영상 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090000513A KR101020999B1 (ko) 2009-01-05 2009-01-05 촬영 장치 및 이의 영상 제어방법

Publications (2)

Publication Number Publication Date
KR20100081197A true KR20100081197A (ko) 2010-07-14
KR101020999B1 KR101020999B1 (ko) 2011-03-09

Family

ID=42641706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090000513A KR101020999B1 (ko) 2009-01-05 2009-01-05 촬영 장치 및 이의 영상 제어방법

Country Status (1)

Country Link
KR (1) KR101020999B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011111411A1 (de) 2010-08-23 2012-06-21 Mando Corp. Hydraulisches Bremssystem
WO2015115800A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20160084806A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 광 집적 동안에 발생하는 광 변조 변화를 위한 전자-롤링-셔터로 비행시간 삼차원 카메라로부터의 깊이 이미지의 수정
KR20160108955A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
US9568607B2 (en) 2013-11-12 2017-02-14 Samsung Electronics Co., Ltd. Depth sensor and method of operating the same
KR20180103393A (ko) * 2017-03-09 2018-09-19 엘지이노텍 주식회사 거리 정보 추출 장치 및 광학 기기
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
CN109547771A (zh) * 2019-01-07 2019-03-29 中国人民大学 一种具备裸眼3d显示装置的家用智能机器人
KR20200064966A (ko) * 2014-01-29 2020-06-08 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
CN113574864A (zh) * 2019-03-11 2021-10-29 Lg伊诺特有限公司 相机模块

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102561532B1 (ko) 2018-09-28 2023-07-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970008382B1 (ko) * 1994-01-08 1997-05-23 파이오니아 가부시키가이샤 일반영상신호(2d)를 입체영상신호(3d)로 변환하는 장치
JPH1020421A (ja) 1996-06-27 1998-01-23 Yoshihiro Tajiri ２軸立体レーザーカメラ
JP2001008233A (ja) 1999-06-23 2001-01-12 Asahi Optical Co Ltd ３次元画像入力装置
JP2001275132A (ja) 2000-03-28 2001-10-05 Asahi Optical Co Ltd ３次元画像検出装置と撮像素子駆動回路

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011111411A1 (de) 2010-08-23 2012-06-21 Mando Corp. Hydraulisches Bremssystem
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
US9568607B2 (en) 2013-11-12 2017-02-14 Samsung Electronics Co., Ltd. Depth sensor and method of operating the same
KR20200064966A (ko) * 2014-01-29 2020-06-08 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
US10802148B2 (en) 2014-01-29 2020-10-13 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
US10094926B2 (en) 2014-01-29 2018-10-09 Lg Innotek Co., Ltd. Device for extracting depth information
US11680789B2 (en) 2014-01-29 2023-06-20 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
US10338221B2 (en) 2014-01-29 2019-07-02 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
WO2015115800A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
KR20160084806A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 광 집적 동안에 발생하는 광 변조 변화를 위한 전자-롤링-셔터로 비행시간 삼차원 카메라로부터의 깊이 이미지의 수정
KR20160108955A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
KR20180103393A (ko) * 2017-03-09 2018-09-19 엘지이노텍 주식회사 거리 정보 추출 장치 및 광학 기기
CN109547771A (zh) * 2019-01-07 2019-03-29 中国人民大学 一种具备裸眼3d显示装置的家用智能机器人
CN113574864A (zh) * 2019-03-11 2021-10-29 Lg伊诺特有限公司 相机模块
CN113574864B (zh) * 2019-03-11 2024-01-09 Lg伊诺特有限公司 相机模块

Also Published As

Publication number Publication date
KR101020999B1 (ko) 2011-03-09

Similar Documents

Publication Publication Date Title
KR101020999B1 (ko) 촬영 장치 및 이의 영상 제어방법
US11408983B2 (en) Lidar 2D receiver array architecture
EP2803184B1 (en) Method of operating a time-of-flight pixel
EP2568314B1 (en) Laser radar device
US7924411B2 (en) 3-D imaging system
EP2074377B1 (en) Method and system for acquiring a 3-d image of a scene
KR100986439B1 (ko) 촬영 장치 및 이의 영상 제어방법
EP2594959B1 (en) System and method for multi TOF camera operation using phase hopping
EP2894492A1 (en) A method for driving a time-of-flight system
US11570424B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
TW201702563A (zh) 對來自雷射指示器之脉衝重複頻率雷射能量的偵測、追踪及解碼
JP4391643B2 (ja) ３次元画像入力装置
KR101000200B1 (ko) 촬영 장치 및 이의 영상 제어방법
JP4673674B2 (ja) 形状測定装置
JP2001119722A (ja) ３次元画像検出システムと３次元画像検出装置
US6961092B1 (en) Three-dimensional image capturing device
CN114402226A (zh) 光学传感器
JP4428831B2 (ja) ３次元画像検出装置
US9118849B1 (en) Two source active sensor system for three-dimensional vision
JP2001045520A (ja) ３次元画像検出装置および光通信受信装置
JP2006208337A (ja) 光電センサ及びそのヘッド部

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140206

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170207

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 10