KR101121264B1 - 입체 영상 카메라 장치 및 이의 구동 방법 - Google Patents

입체 영상 카메라 장치 및 이의 구동 방법 Download PDF

Info

Publication number
KR101121264B1
KR101121264B1 KR1020100028573A KR20100028573A KR101121264B1 KR 101121264 B1 KR101121264 B1 KR 101121264B1 KR 1020100028573 A KR1020100028573 A KR 1020100028573A KR 20100028573 A KR20100028573 A KR 20100028573A KR 101121264 B1 KR101121264 B1 KR 101121264B1
Authority
KR
South Korea
Prior art keywords
image
subject
displacement
signal
depth
Prior art date
Application number
KR1020100028573A
Other languages
English (en)
Other versions
KR20110109031A (ko
Inventor
김태권
김길겸
Original Assignee
김길겸
김태권
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김길겸, 김태권 filed Critical 김길겸
Priority to KR1020100028573A priority Critical patent/KR101121264B1/ko
Publication of KR20110109031A publication Critical patent/KR20110109031A/ko
Application granted granted Critical
Publication of KR101121264B1 publication Critical patent/KR101121264B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 하나의 이미지 센서와 하나의 렌즈를 이용하여 피사체를 촬상하고, 임펄스 신호에 의해 검출된 피사체 깊이에 기초하여 촬상된 피사체 이미지를 입체 영상으로 변환할 수 있도록 한 입체 영상 카메라 시스템 및 이의 구동 방법에 관한 것으로, 입체 영상 카메라 장치는 임펄스 신호의 송수신을 통해 피사체의 거리에 대응되는 피사체 깊이를 검출하는 피사체 깊이 검출 모듈; 하나의 이미지 센서와 하나의 렌즈를 이용하여 상기 피사체 깊이에 따른 상기 피사체를 촬상하여 피사체 이미지를 생성하는 촬상 모듈; 상기 피사체 깊이에 기초하여 상기 피사체 이미지를 입체 영상으로 변환하는 제어 모듈; 및 상기 제어 모듈로부터 공급되는 상기 입체 영상을 표시하는 표시 모듈을 포함하여 구성되는 것을 특징으로 한다.

Description

입체 영상 카메라 장치 및 이의 구동 방법{STEREOSCOPIC IMAGE CAMERA APPARATUS AND DRIVING METHOD THE SAME}
본 발명은 입체 영상 카메라 시스템에 관한 것으로, 보다 구체적으로, 하나의 이미지 센서와 하나의 렌즈를 이용하여 피사체를 촬상하고, 임펄스 신호에 의해 검출된 피사체 깊이에 기초하여 촬상된 피사체 이미지를 입체 영상으로 변환할 수 있도록 한 입체 영상 카메라 시스템 및 이의 구동 방법에 관한 것이다.
일반적으로 사람의 두 눈은 평균적으로 약 6.5 ~ 7cm 정도의 간격을 두고 위치하고 있다. 흔히, 사람이 느끼는 입체 영상은 좌안과 우안 간의 간격에 의해 발생하는 수렴(Convergence)과 양안 시차(Binocular Parallax)에 의해 주로 느끼게 된다.
이러한 사람의 두 눈이 사물을 보는 위치가 서로 다르다는 점에 착안하여, 이에 상응하는 서로 다른 두 장의 이미지를 각각 좌안과 우안에서만 볼 수 있도록 영상을 촬영하거나 표시하는 것이 스테레오 방식(Stereoscopic type)이다.
일반적으로 스테레오 방식의 입체 영상 카메라 장치는 크게 일안식과 양안식으로 구분된다.
일안식 입체 영상 카메라 장치는 영상을 촬상하는 하나의 이미지 센서와 하나의 렌즈, 촬상된 영상을 두 개로 분리하기 위한 프리즘과 이를 다시 이미지 센서로 반사시키기 위한 미러 등으로 구성된다. 이러한, 일안식 입체 영상 카메라 장치는 상기의 구성을 이용하여 좌안과 우안의 영상을 상호 교차하며 동시에 촬영하는 방식으로써 사용자에게 조작의 편리성과 간편성을 제공한다.
그러나 일안식 입체 영상 카메라 장치는 하나의 영상을 좌안과 우안으로 번갈아 촬영하기 때문에 좌안 영상과 우안 영상의 시간적 차이를 보상하기 위한 별도의 영상 처리를 수행해야 하므로 입체 영상의 구현 속도가 느리다는 문제점이 있으며, 프리즘이나 미러 등의 구성으로 인하여 전체적으로 장치의 부피가 증가하는 문제점이 있다.
한편, 양안식 입체 영상 카메라 장치는 단순히 두 대의 카메라와 두 개의 렌즈를 사용하여 입체 영상을 촬영함으로써 고화질의 입체 영상을 구현할 수 있는 장점이 있다.
그러나, 양안식 입체 영상 카메라 장치는 두 대의 카메라와 두 개의 렌즈를 사용함에 따라 전체적으로 장치의 부피가 증가하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 하나의 이미지 센서와 하나의 렌즈를 이용하여 피사체를 촬상하고, 임펄스 신호에 의해 검출된 피사체 깊이에 기초하여 촬상된 피사체 이미지를 입체 영상으로 변환할 수 있도록 한 입체 영상 카메라 시스템 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 입체 영상 카메라 장치는 임펄스 신호의 송수신을 통해 피사체의 거리에 대응되는 피사체 깊이를 검출하는 피사체 깊이 검출 모듈; 하나의 이미지 센서와 하나의 렌즈를 이용하여 상기 피사체 깊이에 따른 상기 피사체를 촬상하여 피사체 이미지를 생성하는 촬상 모듈; 상기 피사체 깊이에 기초하여 상기 피사체 이미지를 입체 영상으로 변환하는 제어 모듈; 및 상기 제어 모듈로부터 공급되는 상기 입체 영상을 표시하는 표시 모듈을 포함하여 구성되는 것을 특징으로 한다.
상기 피사체 깊이 검출 모듈은 상기 임펄스 신호를 생성하는 임펄스 신호 생성부; 상기 임펄스 신호를 상기 피사체로 송신하는 임펄스 신호 송신부; 상기 피사체에 의해 반사되어 되돌아오는 임펄스 신호를 수신하는 임펄스 신호 수신부; 상기 수신된 임펄스 신호를 분석하여 전파 지연 시간을 검출하는 임펄스 신호 분석부; 및 상기 전파 지연 시간에 기초하여 상기 피사체 깊이를 검출하는 피사체 깊이 검출부를 포함하여 구성되는 것을 특징으로 한다.
상기 피사체 깊이 검출 모듈은 초광대역(Ultra Wide Band) 무선 통신을 이용하여 상기 임펄스 신호를 송수신하는 것을 특징으로 한다.
상기 제어 모듈은 상기 피사체 깊이에 기초하여 X축 변위를 생성하고, 생성된 X축 변위만큼 상기 피사체 이미지를 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상을 생성한 후, 상기 좌안 변위 영상 및 상기 우안 변위 영상에 상응하는 상기 입체 영상을 상기 표시 모듈에 제공하는 이미지 처리부를 포함하여 구성되는 것을 특징으로 한다.
상기 이미지 처리부는 상기 피사체 깊이에 기초하여 상기 X축 변위를 생성하는 X축 변위 생성부; 상기 피사체 이미지를 상기 X축 변위만큼 상기 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상 각각을 생성하는 변위 영상 생성부; 및 상기 좌안 변위 영상 및 우안 변위 영상을 순차적으로 상기 표시 모듈로 출력하거나 상기 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 상기 표시 모듈로 출력하는 입체 영상 출력부를 포함하여 구성되는 것을 특징으로 한다.
상기 표시 모듈은 표시 패널에 상기 입체 영상 출력부로부터 출력되는 상기 좌안 변위 영상 및 우안 변위 영상을 순차적으로 표시하거나 상기 혼합 영상을 표시하여 상기 표시 패널에 상기 입체 영상을 표시하는 것을 특징으로 한다.
상기 X축 변위 생성부는 설정된 양안시차와 상기 렌즈의 초점거리를 승산하여 상수 k(단, k는 자연수) 값을 구하고, 상수 k 값을 상기 피사체 깊이로 제산하여 디스페리티(Disparity) 값을 산출한 후, 산출된 디스페리티 값의 절반을 상기 X축 변위로 생성하는 것을 특징으로 한다.
상기 입체 영상 출력부는 제 1 프레임 동기신호를 2배로 체배하여 제 2 프레임 동기신호를 생성하는 동기신호 체배부; 사용자의 설정에 따른 표시 제어 신호에 따라 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호를 선택적으로 출력하는 동기신호 선택부; 상기 동기신호 선택부로부터 공급되는 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호에 대응되는 제 1 및 제 2 영상 출력신호를 생성하는 영상 출력신호 생성부; 상기 제 1 및 제 2 영상 출력신호에 따라 공급되는 상기 좌안 변위 영상 및 우안 변위 영상을 혼합하여 상기 혼합 영상을 생성하고, 생성된 혼합 영상을 상기 표시 모듈에 공급하는 변위 영상 혼합부; 상기 제 1 영상 출력신호에 따라 상기 좌안 변위 영상을 상기 표시 모듈 또는 상기 변위 영상 혼합부에 공급하는 제 1 선택부; 및 상기 제 2 영상 출력신호에 따라 상기 우안 변위 영상을 상기 표시 모듈 또는 상기 변위 영상 혼합부에 공급하는 제 2 선택부를 포함하여 구성되는 것을 특징으로 한다.
상기 영상 출력신호 생성부는 상기 동기신호 선택부로부터 상기 제 1 프레임 동기신호가 공급될 경우, 상기 혼합 영상이 상기 표시 패널에 표시되도록 동일한 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하고, 상기 동기신호 선택부로부터 상기 제 2 프레임 동기신호가 공급될 경우, 상기 좌안 변위 영상 및 우안 변위 영상이 상기 표시 패널에 순차적으로 표시되도록 서로 반전된 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하는 것을 특징으로 한다.
상기 제어 모듈은 상기 피사체 깊이에 따라 상기 렌즈의 초점이 조절되도록 상기 렌즈의 위치를 제어하는 것을 특징으로 한다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 입체 영상 카메라 장치의 구동 방법은 임펄스 신호의 송수신을 통해 피사체의 거리에 대응되는 피사체 깊이를 검출하는 단계; 하나의 이미지 센서와 하나의 렌즈를 이용하여 상기 피사체 깊이에 따른 상기 피사체를 촬상하여 피사체 이미지를 생성하는 단계; 상기 피사체 깊이에 기초하여 상기 피사체 이미지를 입체 영상으로 변환하는 단계; 상기 입체 영상을 표시 모듈에 표시하거나 저장 모듈에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 피사체 깊이를 검출하는 단계는 상기 임펄스 신호를 생성하는 단계; 상기 임펄스 신호를 상기 피사체로 송신하는 단계; 상기 피사체에 의해 반사되어 되돌아오는 임펄스 신호를 수신하는 단계; 상기 수신된 임펄스 신호를 분석하여 전파 지연 시간을 검출하는 단계; 및 상기 전파 지연 시간에 기초하여 상기 피사체 깊이를 검출하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 피사체 깊이를 검출하는 단계는 초광대역(Ultra Wide Band) 무선 통신을 이용하여 상기 임펄스 신호를 송수신하는 것을 특징으로 한다.
상기 피사체 이미지를 입체 영상으로 변환하는 단계는 상기 피사체 깊이에 기초하여 X축 변위를 생성하는 단계; 상기 생성된 X축 변위만큼 상기 피사체 이미지를 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상을 생성하는 단계; 및 상기 좌안 변위 영상 및 상기 우안 변위 영상에 상응하는 상기 입체 영상을 상기 표시 모듈에 표시하거나 상기 저장 모듈에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 X축 변위를 생성하는 단계는 설정된 양안시차와 상기 렌즈의 초점거리를 승산하여 상수 k(단, k는 자연수) 값을 구하고, 상수 k 값을 상기 피사체 깊이로 제산하여 디스페리티(Disparity) 값을 산출한 후, 산출된 디스페리티 값의 절반을 상기 X축 변위로 생성하는 것을 특징으로 한다.
상기 입체 영상을 상기 표시 모듈에 표시하는 단계는 상기 좌안 변위 영상 및 우안 변위 영상을 표시 패널에 순차적으로 표시하거나, 상기 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 상기 표시 패널에 표시하는 것을 특징으로 한다.
상기 입체 영상을 상기 표시 모듈에 표시하는 단계는 제 1 프레임 동기신호를 2배로 체배하여 제 2 프레임 동기신호를 생성하는 단계; 사용자의 설정에 따른 표시 제어 신호에 따라 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호를 선택적으로 출력하는 단계; 상기 표시 제어 신호에 따라 선택적으로 출력되는 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호에 대응되는 제 1 및 제 2 영상 출력신호를 생성하는 단계; 및 상기 제 1 및 제 2 영상 출력신호의 논리 상태에 따라 상기 좌안 변위 영상 및 우안 변위 영상을 표시 패널에 순차적으로 표시하거나, 상기 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 상기 표시 패널에 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 제 1 및 제 2 영상 출력신호를 생성하는 단계는 상기 제 1 프레임 동기신호가 상기 표시 제어 신호에 따라 선택적으로 출력될 경우, 상기 혼합 영상이 상기 표시 패널에 표시되도록 동일한 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하고, 상기 제 2 프레임 동기신호가 상기 표시 제어 신호에 따라 선택적으로 출력될 경우, 상기 좌안 변위 영상 및 우안 변위 영상이 상기 표시 패널에 순차적으로 표시되도록 서로 반전된 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하는 것을 특징으로 한다.
상기 피사체 이미지를 생성하는 단계는 상기 피사체 깊이에 따라 상기 렌즈의 초점이 조절되도록 상기 렌즈의 위치를 제어하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따른 입체 영상 카메라 장치 및 그의 구동 방법은 하나의 이미지 센서, 하나의 렌즈, 및 임펄스 신호를 이용하여 피사체 이미지를 입체 영상으로 구현함으로써 전체적으로 장치의 부피를 감소시켜 슬림화할 수 있다는 효과가 있다.
또한, 본 발명은 임펄스 신호의 송수신을 통해 검출되는 피사체 깊이에 상응하는 X축 변위에 따라 피사체 이미지를 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상을 생성하고, 좌안 변위 영상 및 우안 변위 영상을 표시 패널에 순차적으로 표시하거나 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 표시 패널에 표시함으로써 입체 영상의 구현 속도를 고속화할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 입체 영상 카메라 장치를 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 입체 영상의 생성 과정을 개략적으로 나타내는 도면이다.
도 3은 도 1에 도시된 피사체 깊이 검출 모듈의 개략적인 구성을 설명하기 위한 도면이다.
도 4는 도 3에 도시된 피사체 깊이 검출 모듈에서 임펄스 신호의 송수신을 설명하기 위한 도면이다.
도 5는 일반적인 입체 영상 카메라 장치의 디스페리티를 설명하기 위한 도면이다.
도 6은 도 1에 도시된 제어 모듈의 개략적인 구성을 설명하기 위한 도면이다.
도 7은 도 6에 도시된 이미지 처리부의 개략적인 구성을 설명하기 위한 도면이다.
도 8은 도 7에 도시된 입체 영상 출력부의 개략적인 구성을 설명하기 위한 도면이다.
도 9a 및 도 9b는 도 8에 도시된 영상 출력신호 생성부에서 생성되는 제 1 및 제 2 영상 출력신호를 나타내는 파형도이다.
도 10은 본 발명의 실시 예에 따른 입체 영상 카메라 장치의 구동 방법을 단계적으로 설명하기 위한 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 입체 영상 카메라 장치를 개략적으로 설명하기 위한 도면이고, 도 2는 본 발명의 실시 예에 따른 입체 영상의 생성 과정을 개략적으로 나타내는 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 입체 영상 카메라 장치는 촬상 모듈(100), 피사체 깊이 검출 모듈(200), 제어 모듈(300), 표시 모듈(400), 및 저장 모듈(500)을 포함하여 구성된다.
촬상 모듈(100)은 이미지 센서(110), 렌즈(120), 이미지 생성부(130), 및 렌즈 구동부(140)를 포함하여 구성된다.
이미지 센서(110)는 렌즈(120)의 후면에 배치되어 렌즈(120)로부터 전달되는 피사체(10)를 촬상하여 피사체의 촬상 정보를 생성한다. 이를 위해, 이미지 센서(110)는 전하결합 소자(Charge Coupled Device; CCD) 또는 상보형 금속 산화물 반도체(Complementrary Metal-Oxide Semiconductor; CMOS)로 이루어질 수 있다.
렌즈(120)는 이미지 센서(110)의 전면에 배치되어 피사체(10)를 확대 또는 축소하여 이미지 센서(110)에 전달한다.
이미지 생성부(130)는 이미지 센서(110)에 의해 생성된 피사체(10)의 촬상 정보에 기초하여 피사체 이미지(PI)를 생성하여 제어 모듈(300)에 제공한다.
렌즈 구동부(140)는 제어 모듈(300)의 제어에 따라 렌즈(120)를 이동시킴으로써 이미지 센서(110)에 전달되는 피사체(10)가 확대 또는 축소되거나, 피사체(10)의 초점이 조절되도록 한다.
이러한 구성을 가지는 촬상 모듈(100)은 하나의 이미지 센서(110)와 하나의 렌즈(120)를 이용하여 피사체(10)를 촬상하고, 촬상된 피사체(10)에 대응되는 피사체 이미지(PI)를 생성하여 제어 모듈(300)에 제공한다.
피사체 깊이 검출 모듈(200)은 제어 모듈(300)로부터 공급되는 거리 검출 제어신호(DDCS)에 응답하여 임펄스(Impulse) 신호(IS)를 생성하여 피사체(10)로 송신함과 아울러, 피사체(10)에 의해 반사되어 되돌아오는 임펄스 신호(RIS)를 수신하여 임펄스 신호(RIS)의 전파 지연 시간에 따른 촬상 모듈(100)과 피사체(10)간의 거리에 대응되는 피사체 깊이(PDepth)를 검출하고, 검출된 피사체 깊이(PDepth)를 제어 모듈(300)에 제공한다.
이를 위해, 피사체 깊이 검출 모듈(200)은, 도 3에 도시된 바와 같이, 임펄스 신호 생성부(210), 임펄스 신호 송신부(220), 임펄스 신호 수신부(230), 임펄스 신호 분석부(240), 및 피사체 깊이 검출부(250)를 포함하여 구성된다.
임펄스 신호 생성부(210)는 제어 모듈(300)로부터 공급되는 거리 검출 제어신호(DDCS)에 응답하여 임펄스 신호(IS)를 생성하고, 생성된 임펄스 신호(IS)를 임펄스 신호 송신부(220)에 제공한다. 여기서, 거리 검출 제어신호(DDCS)는 임펄스 신호의 타이밍을 맞추기 위한 타이밍 신호로써, 사진 또는 동영상 촬영을 위한 사용자의 셔터 조작하는 경우에 대응되도록 발생될 수 있다.
임펄스 신호 송신부(220)는 임펄스 신호 생성부(210)로부터 제공된 임펄스 신호(IS)를 피사체(10)로 송신한다. 여기서, 임펄스 신호 송신부(220)는 안테나(미도시)를 통해 상용화된 다양한 무선 통신 기술로 구현될 수 있으나, 바람직하게는 제한된 대역폭 또는 높은 전력 레벨에서 신호들을 반사시키는 특성을 가지는 장애물을 통과하여 신호를 전송할 수 있는 초광대역(Ultra Wide Band: UWB) 무선 통신 기술을 이용하여 임펄스 신호(IS)를 송신할 수 있다. 이러한 임펄스 신호 송신부(220)에 의해 피사체(10)로 송신된 임펄스 신호(IS)는 피사체(10)의 특성에 따라 일부는 피사체(10)에 흡수되고 일부는 반사되어 촬상 모듈(100)로 되돌아오게 된다.
임펄스 신호 수신부(230)는 피사체(10)에 반사되어 되돌아오는 임펄스 신호(RIS)를 안테나를 통해 수신하여 임펄스 신호 분석부(240)에 제공한다. 여기서 임펄스 신호 수신부(230)는 임펄스 신호 송신부(220)와 동일한 무선 통신 기술로 구현될 수 있고, 바람직하게는 초광대역 무선 통신 기술로 구현될 수 있다.
임펄스 신호 분석부(240)는 임펄스 신호 수신부(230)로부터 제공되는 수신된 임펄스 신호(RIS)의 수신 시점을 통해 전파 지연(Propagation Delay) 시간(Tpd)을 산출하고 산출된 전파 지연 시간(Tpd)을 피사체 깊이 검출부(250)에 제공한다. 즉, 임펄스 신호 분석부(240)는, 도 4에 도시된 바와 같이, 임펄스 신호(IS)가 송신된 시점(t1)과 피사체(10)에 의해 반사된 임펄스 시간(RIS)가 수신된 시점(t2) 사이의 전파 지연 시간(Tpd)을 산출한다.
또한, 임펄스 신호 분석부(240)는 임펄스 신호(RIS)가 수신된 시점(t2) 이후에 수신되는 임펄스 신호(RIS)들을 이용하여 임펄스 신호의 응답 특성(ISRC)을 분석한 후. 분석된 임펄스 신호의 응답 특성(ISRC)에 기초하여 노출값 및/또는 플래시의 적정 광량을 산출한 후 산출된 노출값 및/또는 플래시의 광량 정보(FLI)를 제어 모듈(300)에 제공하도록 구성될 수 있다.
또는, 임펄스 신호 분석부(240)는 임펄스 신호의 응답 특성(ISRC)에 기초하여 피사체(10)의 특성을 분석한 후 분석된 피사체(10)의 특성 정보(PCI)를 제어 모듈(300)에 제공할 수 있다. 예를 들어, 피사체(10)의 특성 정보(PCI)는 얼굴, 사람, 나무, 유리창, 건물, 배경 등과 같은 피사체(10)의 종류, 피사체(10)의 밝기(색온도), 피사체(10)의 초점 범위 등에 대한 정보를 포함할 수 있으며, 이러한 피사체(10)의 특성 정보는 노출 보정, 화이트 밸런스(White Balance) 조정 등의 제어에 이용될 수 있다.
피사체 깊이 검출부(250)는 임펄스 신호 분석부(240)로부터 제공된 전파 지연 시간(Tpd)에 기초하여 촬상 모듈(100)과 피사체(10) 간의 물리적인 거리에 대응되는 피사체 깊이(PDepth)를 산출하고, 산출된 피사체 깊이(PDepth)를 제어 모듈(300)에 제공한다. 여기서, 피사체 깊이 검출부(250)는 아래의 수학식 1에 기초하여 피사체 깊이(PDepth)를 산출할 수 있다.
Figure 112011049502624-pat00020
수학식 1에서, C는 빛의 속도를 나타내고, Tpd는 전파 지연 시간을 나타낸다.
다시 도 1 및 도 2에서, 제어 모듈(300)은 촬상 모듈(100), 피사체 깊이 검출 모듈(200), 표시 모듈(400), 및 저장 모듈(500) 각각의 구동을 제어한다. 또한, 제어 모듈(300)은 피사체 깊이 검출 모듈(200)에 의해 검출된 피사체 깊이(PDepth)에 기초하여 촬상 모듈(100)로부터 제공되는 피사체 이미지(PI)를 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)으로 변환하고, 변환된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 저장 모듈(500)에 저장하거나, 표시 모듈(500)에 순차적으로 표시하거나, 변환된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 혼합한 혼합 영상(FI)을 표시 모듈(500)에 표시함으로써 표시 패널(미도시)에 입체 영상(SI)을 표시한다.
한편, 촬상 모듈(100)에 의해 촬상된 2차원 형태의 피사체 이미지(PI)를 혼합 영상(FI)으로 변환하기 위해서는 이미 널리 알려진 입체 영상 카메라 장치에서는, 도 5에 도시된 바와 같이, 실제 3 차원 좌표 상에서 임의의 한 포인트(x, y, z)를 피사체(10)로 가정하면, 피사체(10)는 좌안용 및 우안용 카메라 각각에 대응되는 좌안 및 우안 이미지 평면(LIP, RIP) 상에서는 각각 좌안 이미지 좌표(x1, y1)와 우안 이미지 좌표(x2, y2)로 나타낼 수 있다.
도 5에서, b는 좌우 렌즈 사이 거리를 나타내며, f는 초점 거리로써 이미지 평면과 렌즈의 중심 사이의 거리를 나타낸다.
한편, 도 5에서 좌안 및 우안 이미지 평면(LIP, RIP) 상에 나타나는 피사체(10)의 좌안 이미지의 X 좌표(x1) 및 우안 이미지의 X 좌표(x2)의 차이(x1 - x2)를 디스페리티(Disparity)라 하며, 입체 영상 카메라 장치에서는 상기의 디스페리티를 이용하여 입체 영상을 생성할 수 있다.
일반적으로, 입체 영상을 생성하기 위한 상기의 디스페리티는 다음과 같이 계산될 수 있다.
먼저, 좌안 및 우안 이미지 평면(LIP, RIP) 상에 나타나는 피사체(10)에 대응되는 좌안 렌즈의 X축 좌표(xL) 및 우안 렌즈의 X축 좌표(xR) 각각은 아래의 수학식 2 및 3과 같이 정의될 수 있다.
Figure 112010020270972-pat00002
Figure 112010020270972-pat00003
수학식 3에 따른 좌안 렌즈의 X축 좌표(xL)는 양안 시차에 대응되는 좌우안 렌즈 사이의 거리(b)에 따라 아래의 수학식 4와 같이 정의될 수 있다.
Figure 112010020270972-pat00004
수학식 4를 수학식 3에 대입하면, 좌안 렌즈의 X축 좌표(xL)는 아래의 수학식 5와 같이 정의될 수 있다.
Figure 112010020270972-pat00005
상기의 수학식 2 내지 5를 정리하면 아래의 수학식 6과 같이 정의될 수 있다.
Figure 112010020270972-pat00006
수학식 6에서 (z-f)는 상술한 피사체 깊이 검출 모듈(200)에 의해 검출되는 피사체 깊이(PDepth)가 될 수 있고, bf는 설정된 양안시차와 렌즈의 초점거리의 곱셈에 대응되는 값으로 상수 k(단, k는 자연수)가 될 수 있다.
이에 따라, 수학식 6은 아래의 수학식 7로 정의될 수 있다.
Figure 112010020270972-pat00007
수학식 7에서 x1 - x2는 디스페리티로써 피사체 깊이(PDepth)와 디스페리티(x1 - x2)는 반비례임을 알 수 있다.
따라서, 본 발명의 제어 모듈(300)은 피사체 깊이 검출 모듈(200)에 의해 검출된 피사체 깊이(PDepth)를 이용하여 디스페리티 값을 산출, 즉 상수 k 값을 피사체 깊이(PDepth) 값으로 나누어 산출하고, 산출된 디스페리티 값을 이용하여 피사체 이미지(PI)를 입체 영상으로 변환한다.
이를 위해, 제어 모듈(300)은, 도 6에 도시된 바와 같이, 타이밍 제어부(310), 센서 제어신호 생성부(320), 거리 검출 제어신호 생성부(330), 렌즈 구동신호 생성부(340), 및 이미지 처리부(350)를 포함하여 구성된다.
타이밍 제어부(310)는 본 발명에 따른 입체 영상 카메라 장치의 전체적인 구동 타이밍을 제어한다.
센서 제어신호 생성부(320)는 타이밍 제어부(310)의 제어에 따라 센서 제어신호(SCS)를 생성하여 이미지 센서(110) 및 이미지 생성부(130)의 구동을 제어한다. 이에 따라, 촬상 모듈(100)의 이미지 센서(110)는 센서 제어신호(SCS)에 응답하여 피사체(10)의 촬상 정보를 생성하게 되고, 이미지 생성부(130)는 이미지 센서(110)로부터 제공되는 피사체(10)의 촬상 정보에 기초하여 피사체 이미지(PI)를 생성하게 된다.
거리 검출 제어신호 생성부(330)는 타이밍 제어부(310)의 제어에 따라 거리 검출 제어신호(DDCS)를 생성하여 피사체 거리 검출 모듈(200)의 구동을 제어한다. 이에 따라, 피사체 거리 검출 모듈(200)은 거리 검출 제어신호(DDCS)에 응답하여 임펄스 신호(IS)를 피사체(10)로 송신하고 피사체(10)로부터 반사되어 되돌아오는 임펄스 신호(RIS)를 수신함으로써 상술한 피사체 깊이(PDepth)를 검출하게 된다.
렌즈 구동신호 생성부(340)는 타이밍 제어부(310)의 제어에 따라 렌즈 구동신호(LDS)를 생성하여 렌즈 구동부(140)의 구동을 제어한다. 이때, 렌즈 구동신호 생성부(340)는 피사체 거리 검출 모듈(200)로부터 제공되는 피사체 깊이(PDepth)에 기초하여 렌즈 구동신호(LDS)를 생성한다. 이에 따라, 렌즈 구동부(140)는 렌즈 구동신호(LDS)에 응답하여 렌즈(120)를 이동시킴으로써 이미지 센서(110)에 전달되는 피사체(10)가 확대 또는 축소되거나, 피사체(10)의 초점이 조절되도록 한다.
한편, 렌즈 구동신호 생성부(340)는 대략적(Coarse) 초점 조절 기능이 수행된 후, 미세(Fine) 초점 조절 기능이 수행되도록 렌즈 구동부(140)의 구동을 제어할 수 있다.
구체적으로, 렌즈 구동신호 생성부(340)는 먼저 대략적 초점이 조절된 렌즈(120)의 위치에서 피사체 이미지(PI)가 획득되도록 피사체 깊이(PDepth)에 따라 렌즈 구동신호(LDS)를 생성하여 렌즈 구동부(140)의 구동을 제어한다.
그런 다음, 획득된 피사체 이미지(PI)에 대해 초점치(Focus Value)를 산출하여 명암비(Contrast Ratio)를 검출하고, 다시 미리 정해진 소정 단위 거리로 렌즈(120)를 이동시키기 위한 렌즈 구동신호(LDS)를 생성하여 렌즈 구동부(140)의 구동을 제어함으로써 다시 피사체 이미지(PI)를 획득하고, 다시 획득한 피사체 이미지(PI)의 명암비를 검출한다.
그런 다음, 상술한 과정을 미리 정해진 회수(예를 들면, 3회)만큼 반복하여 가장 높은 명암비를 가지는 렌즈(140)의 위치를 최종적인 초점 위치로 결정하고, 최종적인 초점 위치에 대응되는 렌즈 구동신호(LDS)를 생성하여 렌즈 구동부(140)의 구동을 제어한다.
이미지 처리부(350)는 타이밍 제어부(310)의 제어에 따라 촬상 모듈(100)로부터 제공되는 피사체 이미지(PI)를 입체 영상으로 변환한다.
이를 위해, 이미지 처리부(350)는, 도 7에 도시된 바와 같이, X축 변위 생성부(351), 변위 영상 생성부(353), 변위 영상 임시 저장부(355), 변위 영상 출력부(357), 입체 영상 출력부(359)를 포함하여 구성된다.
X축 변위 생성부(351)는 상수 "1"을 피사체 거리 검출 모듈(200)로부터 제공되는 피사체 깊이(PDepth)로 나누어 디스페리티(|x1 - x2|) 값을 산출하고, 아래의 수학식 8과 같이, 산출된 디스페리티(|x1 - x2|) 값을 2로 나누어 X축 변위(XD)를 생성한다.
Figure 112010020270972-pat00008
변위 영상 생성부(353)는, 도 2에 도시된 바와 같이, 피사체 이미지(PI)를 X축 변위 생성부(351)에 의해 생성된 X축 변위(XD)만큼 ±X축 방향으로 이미지 쉬프트(Image Shift)시켜 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 생성한다.
변위 영상 임시 저장부(355)는 변위 영상 생성부(353)에 의해 생성된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 임시 저장한다.
변위 영상 출력부(357)는 사용자의 설정에 따라 타이밍 제어부(310)로부터 제공되는 입체 영상 표시 신호(SIDS)에 응답하여 변위 영상 임시 저장부(355)에 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 입체 영상 출력부(359)로 출력하거나 저장 모듈(500)에 저장한다. 즉, 변위 영상 출력부(357)는 제 1 논리 상태의 입체 영상 표시 신호(SIDS)에 응답하여 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 입체 영상 출력부(359)로 출력하고, 제 2 논리 상태의 입체 영상 표시 신호(SIDS)에 응답하여 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 저장 모듈(500)에 저장한다.
입체 영상 출력부(359)는 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)에 대한 동시 표시 유무에 대응되는 표시 제어 신호(DCS)에 따라 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 표시 모듈(400)에 순차적으로 공급하거나 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 혼합(Fusion)한 혼합 영상(FI)을 표시 모듈(400)에 공급한다.
이를 위해, 입체 영상 출력부(359)는, 도 8에 도시된 바와 같이, 동기신호 체배부(361), 동기신호 선택부(362), 영상 출력신호 생성부(363), 제 1 및 제 2 선택부(364, 365), 및 변위 혼합부(366)를 포함하여 구성된다.
동기신호 체배부(361)는 도시하지 않은 타이밍 동기신호 생성부로부터 공급되는 제 1 프레임 동기신호(FS1)를 2배로 체배하여 제 2 프레임 동기신호(FS2)를 생성한다.
동기신호 선택부(362)는 표시 제어 신호(DCS)에 따라 타이밍 동기신호 생성부로부터 공급되는 제 1 프레임 동기신호(FS1) 또는 동기신호 체배부(361)로부터 공급되는 제 2 프레임 동기신호(FS2)를 선택하여 영상 출력신호 생성부(363)에 공급한다. 여기서, 표시 제어 신호(DCS)는 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 표시 모듈(400)에 순차적으로 공급하여 표시 모듈(400)에 입체 영상을 표시하기 위한 제 1 논리 상태를 가지거나, 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 혼합하여 입체 영상을 생성하고, 생성된 입체 영상을 표시 모듈(400)에 공급하여 표시 모듈(400)에 표시하기 위한 제 2 논리 상태를 가질 수 있다.
이에 따라, 동기신호 선택부(362)는 표시 제어 신호(DCS)가 제 1 논리 상태일 경우 제 1 및 제 2 프레임 동기신호(FS1, FS2) 중에서 제 2 프레임 동기신호(FS2)를 선택하여 영상 출력신호 생성부(363)에 공급하고, 표시 제어 신호(DCS)가 제 2 논리 상태일 경우 제 1 및 제 2 프레임 동기신호(FS1, FS2) 중에서 제 1 프레임 동기신호(FS1)를 선택하여 영상 출력신호 생성부(363)에 공급한다.
영상 출력신호 생성부(363)는 동기신호 선택부(362)로부터 공급되는 제 1 프레임 동기신호(FS1) 또는 제 2 프레임 동기신호(FS2)에 대응되는 제 1 및 제 2 영상 출력신호(IOS1, IOS2)를 생성하여 제 1 및 제 2 선택부(364, 365)에 공급한다.
구체적으로, 영상 출력신호 생성부(363)는 동기신호 선택부(362)로부터 제 1 프레임 동기신호(FS1)가 공급될 경우, 도 9a에 도시된 바와 같이, 제 1 프레임 동기신호(FS1)와 상관없이 항상 하이(High) 상태의 제 1 및 제 2 영상 출력신호(IOS1, IOS2)를 생성한다.
반면에, 영상 출력신호 생성부(363)는 동기신호 선택부(362)로부터 제 2 프레임 동기신호(FS2)가 공급될 경우, 도 9b에 도시된 바와 같이, 제 2 프레임 동기신호(FS2)의 프레임 단위로 로우(Low) 상태 및 하이 상태를 반복하는 제 1 영상 출력신호(IOS1)를 생성함과 아울러 제 1 영상 출력신호(IOS1)에 반전된 형태를 가지는 제 2 영상 출력신호(IOS2)를 생성한다.
다시 도 7에서, 제 1 선택부(364)는 영상 출력신호 생성부(363)으로부터 공급되는 제 1 영상 출력신호(IOS1)에 응답하여 변위 영상 출력부(357) 또는 저장 모듈(500)로부터 공급되는 좌안 변위 영상(LDI)을 표시 모듈(400)에 공급하거나 변위 영상 혼합부(366)에 공급한다. 즉, 제 1 선택부(364)는 하이 상태의 제 1 영상 출력신호(IOS1)에 따라 좌안 변위 영상(LDI)을 변위 영상 혼합부(366)에 공급하고, 로우 상태의 제 1 영상 출력신호(IOS1)에 따라 좌안 변위 영상(LDI)을 표시 모듈(400)에 공급한다.
제 2 선택부(365)는 영상 출력신호 생성부(363)으로부터 공급되는 제 2 영상 출력신호(IOS2)에 응답하여 변위 영상 출력부(357) 또는 저장 모듈(500)로부터 공급되는 우안 변위 영상(RDI)을 표시 모듈(400)에 공급하거나 변위 영상 혼합부(366)에 공급한다. 즉, 제 2 선택부(365)는 하이 상태의 제 2 영상 출력신호(IOS2)에 따라 우안 변위 영상(RDI)을 변위 영상 혼합부(366)에 공급하고, 로우 상태의 제 2 영상 출력신호(IOS2)에 따라 우안 변위 영상(RDI)을 표시 모듈(400)에 공급한다.
변위 영상 혼합부(366)는 제 1 및 제 2 선택부(365)로부터 선택적으로 공급되는 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 혼합함으로써, 도 2에 도시된 바와 같이, 혼합 영상(FI)을 생성하고, 생성된 혼합 영상(FI)을 표시 모듈(400)에 공급한다.
한편, 도 6에서, 제어 모듈(300)은 임펄스 신호 분석부(240)로부터 제공되는 노출값 및/또는 플래시의 광량 정보(FLI)에 따라 촬상 모듈(100)의 노출을 제어하는 노출 제어부(미도시) 및/또는 플래시의 광량을 조절하는 플래시 제어부(미도시)를 더 포함하여 구성될 수 있다.
또한, 도 6에서, 제어 모듈(300)은 임펄스 신호 분석부(240)로부터 제공되는 피사체(10)의 특성 정보(PCI)에 따라 피사체 이미지(PI)의 화이트 밸런스(White Balance) 조정 등을 수행하는 이미지 보정부(미도시)를 더 포함하여 구성될 수 있다.
도 1 및 도 7에서, 표시 모듈(400)은 제어 모듈(300), 즉 입체 영상 출력부(359)의 제 1 및 제 2 선택부(364, 365; 도 8 참조)로부터 순차적으로 공급되는 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 표시 패널(미도시)에 순차적으로 표시하거나, 입체 영상 출력부(359)의 변위 영상 혼합부(366; 도 8 참조)로부터 공급되는 혼합 영상(FI)을 표시 패널에 표시함으로써 표시 패널에 입체 영상(SI)을 표시한다. 여기서, 표시 패널은 액정 표시 장치, 발광 다이오드 표시장치, 또는 전계방출 표시장치가 될 수 있다.
도 10은 본 발명의 실시 예에 따른 입체 영상 카메라 장치의 구동 방법을 단계적으로 설명하기 위한 순서도이다.
도 10을 도 1 및 도 2와 결부하여 상술한 본 발명의 실시 예에 따른 입체 영상 카메라 장치의 구동 방법을 단계적으로 설명하면 다음과 같다.
먼저, 임펄스 신호(IS)를 생성하여 피사체(10)로 송신한다(S0). 여기서, 임펄스 신호(IS)는 초광대역(UWB) 무선 통신 기술을 통해 피사체(10)에 전송될 수 있다.
그런 다음, 미리 설정된 기준 시간 이내에 임펄스 신호(RIS)가 수신되는가를 판단한다(S1).
S1 단계에서 기준 시간 이내에 임펄스 신호(RIS)가 수신된 것으로 판단되면(S1의 "예"), 수신된 임펄스 신호(RIS)의 응답 특성을 분석하여 임펄스 신호(RIS)의 전파 지연 시간(Tpd)을 산출하고, 산출된 전파 지연 시간(Tpd)에 기초하여, 수학식 1과 같이, 피사체 깊이(PDepth)를 검출한다(S2).
만약, S1 단계에서 기준 시간 이내에 임펄스 신호(RIS)가 수신되지 않은 것으로 판단되면(S1의 "아니오"), 피사체(10)가 원거리에 있음을 의미하므로 렌즈(120)의 초점이 무한대로 설정되도록 렌즈(120)를 이동시킨다.
그런 다음, 검출된 피사체 깊이(PDepth)에 대응되도록 렌즈의 초점을 조절하여 피사체 깊이(PDepth)에 따른 피사체(10)를 촬상하여 피사체 이미지(PI)를 생성한다(S3).
그런 다음, 피사체 깊이(PDepth)에 기초하여 X축 변위(XD)를 생성한다(S4). 여기서, X축 변위(XD)는 상술한 수학식 8을 통해 피사체 깊이(PDepth)에 따른 디스페리티(x1 - x2)에 기초하여 X축 변위(XD)를 생성한다.
그런 다음, 피사체 이미지(PI)를 X축 변위(XD)만큼 ±X축 방향으로 이미지 쉬프트(Image Shift)시켜 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 생성한다(S5).
그런 다음, S5 단계에서 생성된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 임시 저장한다(S6).
그런 다음, 입체 영상을 표시 모듈(400)에 표시할 것인지를 판단한다(S7).
S7 단계에서 입체 영상을 표시 모듈(400)에 표시하는 것으로 판단되면(S7의 "예"), 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 표시 모듈(400)에 동시에 표시할 것인지를 판단한다(S8).
만약, S7 단계에서 입체 영상을 표시 모듈(500)에 표시하지 않는 것으로 판단되면(S7의 "아니오"), 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 저장 모듈(500)에 저장한다(S9).
S8 단계에서, 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 표시 모듈(400)에 동시에 표시하는 것으로 판단되면(S8의 "예"), 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 혼합(Fusion)한 혼합 영상(FI)을 생성한다(S10).
그런 다음, S10 단계에서 생성된 혼합 영상(FI)을 표시 모듈(400)에 공급하여 표시 패널에 피사체(10)를 입체 영상(SI)으로 표시한다(S11).
만약, S8 단계에서 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 표시 모듈(400)에 동시에 표시하지 않는 것으로 판단되면(S8의 "아니오"), 임시 저장된 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 표시 모듈(400)에 순차적으로 출력한다(S12).
그런 다음, S12 단계에서 순차적으로 출력되는 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 순차적으로 표시 패널에 표시함으로써 표시 패널에 피사체(10)를 입체 영상(SI)으로 표시한다(S11).
이와 같은, 본 발명의 실시 예에 따른 입체 영상 카메라 장치 및 그의 구동 방법은 하나의 이미지 센서(110)와 하나의 렌즈(120)를 이용하여 피사체(10)를 촬상하여 피사체 이미지(PI)를 생성하고, 임펄스 신호(IS)를 이용하여 촬상 모듈(100)과 피사체(10) 간의 물리적인 거리에 대응되는 피사체 깊이(PDepth)를 검출하여 피사체 깊이(PDepth)를 이용해 디스페리티에 대응되는 X축 변위(XD)를 생성한 후, X축 변위(XD)에 따라 피사체 이미지(PI)를 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 생성하여 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI) 각각을 순차적으로 표시 패널에 표시하거나 좌안 변위 영상(LDI) 및 우안 변위 영상(RDI)을 혼합한 혼합 영상(FI)을 표시 패널에 표시함으로써 피사체(10)를 입체 영상(SI)으로 표시할 수 있다.
따라서, 본 발명의 실시 예에 따른 입체 영상 카메라 장치 및 그의 구동 방법은 하나의 이미지 센서(110), 하나의 렌즈(120), 및 임펄스 신호(IS)를 이용하여 피사체 이미지(PI)를 입체 영상으로 구현함으로써 전체적으로 장치의 부피를 감소시켜 슬림화할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 피사체 100: 촬상 모듈
110: 이미지 센서 120: 렌즈
130: 이미지 생성부 140: 렌즈 구동부
200: 피사체 깊이 검출 모듈 300: 제어 모듈
400: 표시 모듈 500: 저장 모듈

Claims (19)

  1. 임펄스 신호의 송수신을 통해 피사체의 거리에 대응되는 피사체 깊이를 검출하는 피사체 깊이 검출 모듈;
    하나의 이미지 센서와 하나의 렌즈를 이용하여 상기 피사체 깊이에 따른 상기 피사체를 촬상하여 피사체 이미지를 생성하는 촬상 모듈;
    상기 피사체 깊이에 기초하여 상기 피사체 이미지를 입체 영상으로 변환하는 제어 모듈; 및
    상기 제어 모듈로부터 공급되는 상기 입체 영상을 표시하는 표시 모듈을 포함하여 구성되는 것을 특징으로 하는 입체 영상 카메라 장치.
  2. 제 1 항에 있어서,
    상기 피사체 깊이 검출 모듈은,
    상기 임펄스 신호를 생성하는 임펄스 신호 생성부;
    상기 임펄스 신호를 상기 피사체로 송신하는 임펄스 신호 송신부;
    상기 피사체에 의해 반사되어 되돌아오는 임펄스 신호를 수신하는 임펄스 신호 수신부;
    상기 수신된 임펄스 신호를 분석하여 전파 지연 시간을 검출하는 임펄스 신호 분석부; 및
    상기 전파 지연 시간에 기초하여 상기 피사체 깊이를 검출하는 피사체 깊이 검출부를 포함하여 구성되는 것을 특징으로 하는 입체 영상 카메라 장치.
  3. 제 1 항에 있어서,
    상기 피사체 깊이 검출 모듈은 초광대역(Ultra Wide Band) 무선 통신을 이용하여 상기 임펄스 신호를 송수신하는 것을 특징으로 하는 입체 영상 카메라 장치.
  4. 제 1 항에 있어서,
    상기 제어 모듈은 상기 피사체 깊이에 기초하여 X축 변위를 생성하고, 생성된 X축 변위만큼 상기 피사체 이미지를 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상을 생성한 후, 상기 좌안 변위 영상 및 상기 우안 변위 영상에 상응하는 상기 입체 영상을 상기 표시 모듈에 제공하는 이미지 처리부를 포함하여 구성되는 것을 특징으로 하는 입체 영상 카메라 장치.
  5. 제 4 항에 있어서,
    상기 이미지 처리부는,
    상기 피사체 깊이에 기초하여 상기 X축 변위를 생성하는 X축 변위 생성부;
    상기 피사체 이미지를 상기 X축 변위만큼 상기 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상 각각을 생성하는 변위 영상 생성부; 및
    상기 좌안 변위 영상 및 우안 변위 영상을 순차적으로 상기 표시 모듈로 출력하거나 상기 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 상기 표시 모듈로 출력하는 입체 영상 출력부를 포함하여 구성되는 것을 특징으로 하는 입체 영상 카메라 장치.
  6. 제 5 항에 있어서,
    상기 표시 모듈은 표시 패널에 상기 입체 영상 출력부로부터 출력되는 상기 좌안 변위 영상 및 우안 변위 영상을 순차적으로 표시하거나 상기 혼합 영상을 표시하여 상기 표시 패널에 상기 입체 영상을 표시하는 것을 특징으로 하는 입체 영상 카메라 장치.
  7. 제 5 항에 있어서,
    상기 X축 변위 생성부는 설정된 양안시차와 상기 렌즈의 초점거리를 승산하여 상수 k(단, k는 자연수) 값을 구하고, 상수 k 값을 상기 피사체 깊이로 제산하여 디스페리티(Disparity) 값을 산출한 후, 산출된 디스페리티 값의 절반을 상기 X축 변위로 생성하는 것을 특징으로 하는 입체 영상 카메라 장치.
  8. 제 5 항에 있어서,
    상기 입체 영상 출력부는,
    제 1 프레임 동기신호를 2배로 체배하여 제 2 프레임 동기신호를 생성하는 동기신호 체배부;
    사용자의 설정에 따른 표시 제어 신호에 따라 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호를 선택적으로 출력하는 동기신호 선택부;
    상기 동기신호 선택부로부터 공급되는 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호에 대응되는 제 1 및 제 2 영상 출력신호를 생성하는 영상 출력신호 생성부;
    상기 제 1 및 제 2 영상 출력신호에 따라 공급되는 상기 좌안 변위 영상 및 우안 변위 영상을 혼합하여 상기 혼합 영상을 생성하고, 생성된 혼합 영상을 상기 표시 모듈에 공급하는 변위 영상 혼합부;
    상기 제 1 영상 출력신호에 따라 상기 좌안 변위 영상을 상기 표시 모듈 또는 상기 변위 영상 혼합부에 공급하는 제 1 선택부; 및
    상기 제 2 영상 출력신호에 따라 상기 우안 변위 영상을 상기 표시 모듈 또는 상기 변위 영상 혼합부에 공급하는 제 2 선택부를 포함하여 구성되는 것을 특징으로 하는 입체 영상 카메라 장치.
  9. 제 8 항에 있어서,
    상기 영상 출력신호 생성부는,
    상기 동기신호 선택부로부터 상기 제 1 프레임 동기신호가 공급될 경우, 상기 혼합 영상이 상기 표시 패널에 표시되도록 동일한 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하고,
    상기 동기신호 선택부로부터 상기 제 2 프레임 동기신호가 공급될 경우, 상기 좌안 변위 영상 및 우안 변위 영상이 상기 표시 패널에 순차적으로 표시되도록 서로 반전된 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하는 것을 특징으로 하는 입체 영상 카메라 장치.
  10. 제 1 항에 있어서,
    상기 제어 모듈은 상기 피사체 깊이에 따라 상기 렌즈의 초점이 조절되도록 상기 렌즈의 위치를 제어하는 것을 특징으로 하는 입체 영상 카메라 장치.
  11. 임펄스 신호의 송수신을 통해 피사체의 거리에 대응되는 피사체 깊이를 검출하는 단계;
    하나의 이미지 센서와 하나의 렌즈를 이용하여 상기 피사체 깊이에 따른 상기 피사체를 촬상하여 피사체 이미지를 생성하는 단계;
    상기 피사체 깊이에 기초하여 상기 피사체 이미지를 입체 영상으로 변환하는 단계;
    상기 입체 영상을 표시 모듈에 표시하거나 저장 모듈에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  12. 제 11 항에 있어서,
    상기 피사체 깊이를 검출하는 단계는,
    상기 임펄스 신호를 생성하는 단계;
    상기 임펄스 신호를 상기 피사체로 송신하는 단계;
    상기 피사체에 의해 반사되어 되돌아오는 임펄스 신호를 수신하는 단계;
    상기 수신된 임펄스 신호를 분석하여 전파 지연 시간을 검출하는 단계; 및
    상기 전파 지연 시간에 기초하여 상기 피사체 깊이를 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  13. 제 11 항에 있어서,
    상기 피사체 깊이를 검출하는 단계는 초광대역(Ultra Wide Band) 무선 통신을 이용하여 상기 임펄스 신호를 송수신하는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  14. 제 11 항에 있어서,
    상기 피사체 이미지를 입체 영상으로 변환하는 단계는,
    상기 피사체 깊이에 기초하여 X축 변위를 생성하는 단계;
    상기 생성된 X축 변위만큼 상기 피사체 이미지를 ±X축 방향으로 이미지 쉬프트시켜 좌안 변위 영상 및 우안 변위 영상을 생성하는 단계; 및
    상기 좌안 변위 영상 및 상기 우안 변위 영상에 상응하는 상기 입체 영상을 상기 표시 모듈에 표시하거나 상기 저장 모듈에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  15. 제 14 항에 있어서,
    상기 X축 변위를 생성하는 단계는 설정된 양안시차와 상기 렌즈의 초점거리를 승산하여 상수 k(단, k는 자연수) 값을 구하고, 상수 k 값을 상기 피사체 깊이로 제산하여 디스페리티(Disparity) 값을 산출한 후, 산출된 디스페리티 값의 절반을 상기 X축 변위로 생성하는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  16. 제 14 항에 있어서,
    상기 입체 영상을 상기 표시 모듈에 표시하는 단계는 상기 좌안 변위 영상 및 우안 변위 영상을 표시 패널에 순차적으로 표시하거나, 상기 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 상기 표시 패널에 표시하는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  17. 제 14 항에 있어서,
    상기 입체 영상을 상기 표시 모듈에 표시하는 단계는,
    제 1 프레임 동기신호를 2배로 체배하여 제 2 프레임 동기신호를 생성하는 단계;
    사용자의 설정에 따른 표시 제어 신호에 따라 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호를 선택적으로 출력하는 단계;
    상기 표시 제어 신호에 따라 선택적으로 출력되는 상기 제 1 프레임 동기신호 또는 상기 제 2 프레임 동기신호에 대응되는 제 1 및 제 2 영상 출력신호를 생성하는 단계; 및
    상기 제 1 및 제 2 영상 출력신호의 논리 상태에 따라 상기 좌안 변위 영상 및 우안 변위 영상을 표시 패널에 순차적으로 표시하거나, 상기 좌안 변위 영상 및 우안 변위 영상을 혼합한 혼합 영상을 상기 표시 패널에 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  18. 제 17 항에 있어서,
    상기 제 1 및 제 2 영상 출력신호를 생성하는 단계는,
    상기 제 1 프레임 동기신호가 상기 표시 제어 신호에 따라 선택적으로 출력될 경우, 상기 혼합 영상이 상기 표시 패널에 표시되도록 동일한 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하고,
    상기 제 2 프레임 동기신호가 상기 표시 제어 신호에 따라 선택적으로 출력될 경우, 상기 좌안 변위 영상 및 우안 변위 영상이 상기 표시 패널에 순차적으로 표시되도록 서로 반전된 논리 상태를 가지는 상기 제 1 및 제 2 영상 출력신호를 생성하는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
  19. 제 11 항에 있어서,
    상기 피사체 이미지를 생성하는 단계는 상기 피사체 깊이에 따라 상기 렌즈의 초점이 조절되도록 상기 렌즈의 위치를 제어하는 것을 특징으로 하는 입체 영상 카메라 장치의 구동 방법.
KR1020100028573A 2010-03-30 2010-03-30 입체 영상 카메라 장치 및 이의 구동 방법 KR101121264B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100028573A KR101121264B1 (ko) 2010-03-30 2010-03-30 입체 영상 카메라 장치 및 이의 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100028573A KR101121264B1 (ko) 2010-03-30 2010-03-30 입체 영상 카메라 장치 및 이의 구동 방법

Publications (2)

Publication Number Publication Date
KR20110109031A KR20110109031A (ko) 2011-10-06
KR101121264B1 true KR101121264B1 (ko) 2012-03-22

Family

ID=45390260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100028573A KR101121264B1 (ko) 2010-03-30 2010-03-30 입체 영상 카메라 장치 및 이의 구동 방법

Country Status (1)

Country Link
KR (1) KR101121264B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858577B1 (ko) 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
CN108234892A (zh) * 2016-12-15 2018-06-29 松下知识产权经营株式会社 摄像装置及摄像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102035A (ja) 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 立体写真システム
KR20090035024A (ko) * 2006-08-01 2009-04-08 퀄컴 인코포레이티드 모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성
JP2009296272A (ja) 2008-06-04 2009-12-17 Sony Corp 画像符号化装置及び画像符号化方法
KR20100011848A (ko) * 2008-07-25 2010-02-03 한국전기연구원 무선 거리 측정장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102035A (ja) 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 立体写真システム
KR20090035024A (ko) * 2006-08-01 2009-04-08 퀄컴 인코포레이티드 모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성
JP2009296272A (ja) 2008-06-04 2009-12-17 Sony Corp 画像符号化装置及び画像符号化方法
KR20100011848A (ko) * 2008-07-25 2010-02-03 한국전기연구원 무선 거리 측정장치 및 그 방법

Also Published As

Publication number Publication date
KR20110109031A (ko) 2011-10-06

Similar Documents

Publication Publication Date Title
JP5014979B2 (ja) 個人用電子機器の3次元情報取得及び表示システム
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
EP2299728B1 (en) Stereoscopic image display apparatus
JP5683025B2 (ja) 立体画像撮影装置および立体画像撮影方法
CN101636747B (zh) 二维/三维数字信息获取和显示设备
US8120606B2 (en) Three-dimensional image output device and three-dimensional image output method
US20080199070A1 (en) Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image
CN102822740B (zh) 立体成像装置和用于自动调节立体成像装置的焦点的方法
US8760567B2 (en) Photographing apparatus and method to reduce auto-focus time
US9253470B2 (en) 3D camera
JP2009516447A (ja) 3次元画像データを生成、転送および処理するための方法および装置
US9113074B2 (en) Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
US20130208088A1 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
US9118906B2 (en) Three-dimensional imaging device and autofocus adjustment method for three-dimensional imaging device
TWI450025B (zh) A device that can simultaneously capture multi-view 3D images
KR100915039B1 (ko) 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체
JP4930115B2 (ja) 画像表示システム
KR101121264B1 (ko) 입체 영상 카메라 장치 및 이의 구동 방법
JP5351878B2 (ja) 立体画像表示装置および方法並びにプログラム
KR101430474B1 (ko) 입체 영상 디스플레이 방법 및 장치
JP2010183267A (ja) 3次元画像表示装置及び方法
EP2731336B1 (en) Method and apparatus for generating 3D images using plurality of mobile devices
KR102084632B1 (ko) 복수의 모바일 장치를 이용하여 3d 이미지를 생성하는 방법 및 장치
JP2004126290A (ja) 立体撮影装置
JP2014103431A (ja) 3d撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150821

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180821

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191121

Year of fee payment: 8

R401 Registration of restoration