KR101275127B1 - 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법 - Google Patents

Abstract

본 발명은 패턴 빔을 이용하는 3차원 이미지 촬영 장치에 관한 것으로서, 오브젝트에 대한 2차원 이미지를 획득하는 이미지 카메라, 패턴 빔을 상기 오브젝트에 조사하는, 초점 가변형 액체 렌즈가 장착된 패턴 빔 조사부, 상기 조사된 패턴 빔에 대한 패턴 변화를 수집하는 패턴 수광부, 및 상기 수집된 패턴 변화에 따라 상기 2차원 이미지의 각 부분별 깊이 정보를 산출하여, 3차원 이미지를 생성하는 신호처리부를 포함한다.

Description

초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법 {3-DIMENSION CAMERA USING FOCUS VARIABLE LIQUID LENS APPLIED AND METHOD OF THE SAME}

본 발명은 패턴 빔을 이용하는 3차원 이미지 촬영 장치에 관한 것으로서, 정해진 패턴 빔을 오브젝트에 조사하여 발생하는 패턴 변화를 관측하고, 상기 관측된 패턴 변화를 2차원 이미지에 반영하여 3차원 이미지를 생성하는 장치 및 방법에 관한 것이다.

3차원 영상(3-dimensional image)은 2차원 영상보다 현실감이 뛰어나 멀티미디어 시대의 차세대 영상 시스템으로 점차 활용도가 높아지고 있다.

이러한 3차원 영상은, 우선적으로 3DTV 및 입체영화로 구현되어 활용될 것이며, 원격 제어용 영상, 훈련 시뮬레이션, 입체 화상통신 등에도 유용하게 응용될 것으로 예상된다.

3차원 입체 영상을 재현하는 가장 기본적인 방법은 두 눈과 같이 좌우 두 대의 카메라를 이용하여 영상을 얻고 이 각각의 영상을 양 눈에 보여 주는 것인데, 이를 양안 또는 스테레오(stereo) 입체 영상이라고 한다.

이러한 입체 영상 획득용 카메라를 양안 카메라 또는 스테레오 카메라(stereoscopic camera)라 한다.

상술한 입체 영상 획득용 카메라를 이용하는 양안 입체 영상에서는 촬영된 입체 영상만을 수동적으로 볼 수 밖에 없으며, 시청자가 움직임에 따라, 다른 입체 면을 볼 수 있는 운동시차(Motion parallax)는 주어지지 않는 문제점이 있으나, 양안 카메라 시스템의 단순성 때문에 널리 사용되고 있다.

입체 카메라가 사람의 눈에서와 같이 자연스럽고 선명한 양질의 입체 영상을 획득하기 위해서는 인간의 주요 시각 기능 중 최소한 세가지 기본 기능인 양안 시차(binocular parallax) 제어 기능, 초점(focus) 제어 기능, 그리고 주시각 제어(vergence control) 기능이 유기적으로 자동 제어 되도록 설계 및 구현되어야만 한다.

현재, 3차원 영상의 제작에 사용되는 대부분의 입체 카메라는 수동으로 조작하거나 정해진 거리로 미리 맞추어 놓고 한정된 영역에서 촬영하고 있으므로 자동화된 시스템이 요구되고 있다.

즉, 촬영 시 시간이 많이 소요되고 이동 촬영에 불편하며, 좌우 카메라의 주시각 조정 및 정렬에 대한 정확도가 떨어지기 때문에 실제와 같은 3차원 영상을 재현하지 못하게 되며, 또한 이러한 영상은 시청시 시각 피로감을 유발하는 문제를 야기시킬 수 있다.

따라서, 시청 피로감이 없도록 주시각이 자동 제어되고, 카메라 조작이 편리한 양안 입체 카메라의 제작이 절실히 요구되고 있다.

이러한 요구에 힘입어, 양안식 입체 카메라에 관한 연구로, 미국의 경우에는 Columbia, Carnegie-Mellon대학 등 많은 대학에서 양안 입체 카메라 장치 연구가 있었다. 오스트레일리아의 Curtin University에서는 수평 이동축 카메라 연구를 통하여 수중 탐사용 카메라를 연구 제작하고 있다.

영국의 원자력 관련 연구 기관인 AEA에서는 수동에 의하여 카메라의 초점 및 주시각이 제어되고 있는 SD(Standard Definition)급의 원격 작업용 수평 이동 축 입체 카메라를 개발하였다.

일본은 TAO에서 학연산 공동으로 대학 및 NHK, Ikegami 카메라 회사 등이 정부의 지원 하에 양안 및 다안식 입체 카메라를 연구하고 있다. 여기에서 초점 및 주시각이 별도 제어되는 방식이며 양안식 교차 축 형태의 방송용 HDTV화질의 입체 카메라(3D-HDTV Camera)를 제작하였으며, 현재는 수평 축 카메라 개발이 진행 중이다.

네덜란드 필립스 연구소에서도 교차축 방식을 개발하였고 최근 수평이동축의 개발을 추진하고 있다.

본 발명은, 패턴 빔을 오브젝트에 조사하는 패턴 빔 조사부로서, 상기 조사는 거리별 패턴 이미지의 크기가 변하는 패턴 빔 조사인, 패턴 빔 조사부; 상기 패턴 빔의 조사의 확산 정도를 조절하는, 초점 가변형 액체 렌즈가 장착된 확산 조절부; 상기 조사된 패턴 빔에 대한 패턴 변화를 수집하는 패턴 수광부; 상기 수집된 패턴 변화에 따라 오브젝트 이미지의 각 부분별 깊이 정보를 산출하는, 신호처리부를 포함하는, 오브젝트의 이미지의 깊이 정보 산출 장치를 포함한다.

상기 산출 장치는 수집된 패턴 이미지의 확산 정도를 보정하는 보정부를 추가로 포함하며, 상기 수집된 패턴 이미지의 확산 정도를 상기 보정부에 의해 초기화시킨 후 상기 신호처리부에 의해 패턴 변화에 따른 이미지의 각 부분별 깊이 정보를 산출한다.

본 발명의 대안적 예로서, 본 발명은, 오브젝트에 대한 2차원 이미지를 획득하는 이미지 카메라; 패턴 빔을 상기 오브젝트에 조사하는 패턴 빔 조사부; 상기 패턴 빔의 조사의 확산 정도를 조절하는, 초점 가변형 액체 렌즈가 장착된 확산 조절부; 상기 조사된 패턴 빔에 대한 패턴 변화를 수집하는 패턴 수광부; 및 상기 수집된 패턴 변화에 따라 상기 2차원 이미지의 각 부분별 깊이 정보를 산출하여, 3차원 이미지를 생성하는 신호처리부를 포함하고, 상기 신호처리부는 상기 수집된 패턴 변화에 따라 상기 각 부분별 깊이 정보를 산출하는, 3차원 이미지 촬영 장치를 포함한다.

본 발명의 일실시예에 따르면, 패턴 빔을 오브젝트에 투사함에 있어, 패턴의 확산 정도를 조절할 수 있다.

이에 따라, 패턴 빔의 투사시 정해진 패턴을 물체에 조사하는 경우, 투사부로부터 물체의 거리에 따른 투사 패턴의 조밀해짐 또는 너무 성김의 문제로 발생하는 적절한 해상도의 문제를 해결한다.

도 1은 본 발명의 일실시예에 따른 3차원 이미지 촬영 장치를 이용하여 3차원 이미지를 생성하는 실시예를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 이미지 촬영 장치를 설명하는 블록도이다.
도 3은 본 발명의 일실시예에 따른 초점 가변형 액체 렌즈를 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 패턴 빔을 이용하여 깊이 정보를 산출하는 다양한 실시예를 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 3차원 이미지 촬영 방법을 설명하는 흐름도이다.
도 7은 본 발명의 일실시예에 따른 패턴 빔 조사의 확산 정도가 조절되는 모습을 예시하는 도면이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 3차원 이미지 촬영 장치를 이용하여 3차원 이미지를 생성하는 시스템(110)을 설명하는 도면이다.

본 발명의 일실시예에 따른 3차원 이미지 촬영 장치는 피사체(오브젝트)의 2차원 이미지를 획득하고, 상기 획득한 2차원 이미지의 각 부분에 깊이 정보를 부여하여 3차원 이미지로 가공할 수 있다.

본 발명의 일실시예에 따른 3차원 이미지 촬영 장치는 촬영부(110), 신호처리부(120), 및 영상 출력부(130)로 구분될 수 있다.

또한, 본 발명의 일실시예에 따른 촬영부(110)는 패턴 빔 조사부(111), 패턴 수광부(112), 이미지 카메라(113)를 포함할 수 있다.

상기 이미지 카메라(113)는 일반 카메라인 이미지 카메라(113)를 이용하여, 상기 2차원 이미지를 획득할 수 있다.

또한, 패턴 빔 조사부(111)는 상기 오브젝트에 다양한 패턴을 조사할 수 있다. 패턴 빔 조사부(220)는 coherent 또는 in-coherent 형태의 광원 일수 있으며, 2차원 이미지의 획득에 영향을 주지 않는 특성을 갖는 것이 바람직하기 때문에 비가시광선 영역의 빛을 이용하여 상기 패턴 빔을 조사할 수 있다. 다양한 패턴 빔을 형성하기 위해서, 패턴 빔 조사부(220)는 레이져 다이오드(Laser Diode), LED(Light Emitting Diode), OLED(Organic Light Emitting Diode) 및 LCD(Liquid Crystal Display) 패널의 수동/능동 소자를 포함할 수 있다. 상기 오브젝트에 조사되는 패턴 빔은 위치 인식이 가능한 직선 (stripe) 혹은 곡선, 사각형, 삼각형, 원 및 다각형의 도형으로 표현될 수 있다.

상기 패턴 빔 조사부(111)는 패턴의 확산 정도를 조절하기 위해, 렌즈의 초점거리를 조절할 수 있도록 초점 가변형 렌즈부를 포함한다. 상기 초점 가변형 렌즈는, 예를 들어, 유체 렌즈(liquid lens)를 사용하여 렌즈 곡률을 변경하는 렌즈일 수 있다. 또 다른 예로서, 상기 초점 가변형 렌즈는, 열 및 스트레스를 통한 굴절율이 변화하는 렌즈일 수 있다.

상기 확산 정도는 확산 조절부를 통해 조절된다. 도 7이 참조된다. 상기 확산 정도란, 조사된 패턴 빔이 오브젝트에 투영되는 경우 투영된 패턴 빔의 전체 크기의 정도일 수 있다. 이는 오브젝트의 크기 및 조사부로부터의 오브젝트까지의 거리에 따라 다양할 것이다. 조사부로부터 가까이 있는 오브젝트에는 확산 정도를 크게 하여 상기 오브젝트에 투영된 패턴들이 너무 조밀하게 됨을 막을 수 있다(도 7의 왼쪽 그림 참조). 조사부로부터 멀리 있는 오브젝트에는 확산 정도를 작게 하여 상기 오브젝트에 투영된 패턴들이 너무 성기게 됨을 막을 수 있다(도 7의 왼쪽 그림 참조).

패턴 수광부(230)는 오브젝트에 투영된 패턴 빔의 이미지를 얻는 장치이다. 즉, 패턴 수광부(230)는 상기 오브젝트에 투영된 후 상기 패턴 빔을 수집할 수 있다. 패턴 수광부(230)는 패턴의 정보만 수집할 수 있도록 하는 것이 바람직하기에 대역 통과 필터(band pass filter) 또는 컬러 필터(color filter) 등이 장착된 카메라로 해석될 수 있다.

신호처리부(240)는 수집된 패턴 이미지의 변화 정도를 판단하여 오브젝트 이미지의 각 부분별 깊이(depth) 정보를 산출하고, 이미지 카메라(210)가 생성한 상기 2차원 이미지의 각 부분별로 깊이 정보를 부여하는 구성이다. 패턴 수광부(112)를 통해 수집된 패턴 빔은 상기 패턴 빔이 상기 오브젝트에 의해서 왜곡되는 정도를 수집하고, 상기 신호처리부(120)는 상기 수집된 왜곡되는 정도에 기초하여 상기 2차원 이미지의 각 부분별 깊이 정보를 산출할 수 있다.

상기 깊이 정보를 산출함에 있어, 수집된 패턴 이미지의 변화 정도의 판단시 상기 확산 정도를 고려하여 깊이 정보를 산출한다.

예를 들어, 본 발명의 신호처리부는 공식화 또는 수식화된 거리에 따라 변형된 형태에 기초하여, 촬상된 패턴 형태를 분석하여, 각 부분별 거리를 계산한다. 여기서 상기 확산 정도를 참고하여 상기 분석이 이뤄진다.

대안적 예로서, 수집된 패턴 이미지의 각 부분별 깊이 정보를 얻기 위해, 단위 패턴의 크기정보를 가지는 패턴을 조사하고, 상기 단위 패턴들의 변화를 바탕으로 패턴 이미지의 각 부분별 깊이 정보를 얻는다. 상기 위치정보는 패턴 조사시의 확산 정도가 고려된다.

대안적으로, 촬상된 패턴의 확산 정도를 제거하거나 확산 정도를 더하기 위해, 확산 정도에 따라 촬상된 패턴 이미지를 보정할 수 있는 보정부를 추가로 포함할 수 있다.

상기 보정부에 따라 촬상된 패턴 변화 정보를 확산이 없었던 상태의 정보로 보정한 후, 상기 신호처리부에 따라 깊이 정보를 산출할 수 있다.

영상출력장치(130)는 각 부분별 깊이 정보를 이용하여 2차원 이미지를 3차원 이미지로 생성될 수 있다. 생성된 3차원 이미지는 영상 출력 장치(130)에 표시될 수 있다. 즉, 영상 출력 장치는 상기 2차원 이미지의 각 부분별로 부여된 깊이 정보를 이용하여, 깊이 들어간 부분은 깊이 들어간 것으로 명암을 넣어 표시하고, 반대로 볼록 튀어나온 부분은 상대적으로 밝게 하여 볼록 튀어나오게 표시할 수 있다.

도 4 및 도 5는 본 발명의 일실시예에 따른 패턴 빔을 이용하여 깊이 정보를 산출하는 다양한 실시예를 설명하는 도면이다.

먼저, 도 4는 패턴 빔의 일례로서 슬릿 빔(slit beam)을 이용하여, 오브젝트의 각 부분별로 깊이 정보를 산출하는 실시예를 도시한다. 본 발명의 일실시예에 따른 3차원 이미지 촬영 장치는 이미지 카메라(430)를 이용하여, 오브젝트(410)를 촬영함으로써 2차원 이미지를 획득한다. 이에 대응하여, 패턴 빔 조사부(420)를 통해서 오브젝트(410)에 슬릿 빔 형태의 패턴 빔을 조사한다. 여기서 조사부와의 오브젝트의 거리를 감안하여 확산 정도가 조절된 패턴 빔을 조사한다. 조사된 슬릿 빔은 별도의 패턴 빔 수광부(440)를 이용하여 도면부호 440과 같은 영상을 얻을 수 있다. 예를 들어, 이미지 카메라(430)에 상기 조사된 패턴 빔을 수집하는 상기 패턴 빔 수광부의 기능이 내장된 경우, 이미지 카메라(430)에서 패턴 빔 조사부(420)가 조사한 상기 슬릿 빔을 수집할 수 있다. 이에, 상기 수집된 슬릿 빔은 도면부호 440에 도시된 이미지(450)를 얻는다. 상기 촬영된 이미지(450)을 해석하면, 이미지 카메라(430)의 입장에서 왼쪽 부분이 오브젝트와 더 가깝고 오른쪽으로 갈수록 멀어지는 깊이 정보를 알 수 있다. 상기 해석 함에 있어, 확산 정도 값을 고려하여 해석하거나, 촬영된 이미지에 확산 정도 값이 제거된 보정 이미지를 얻은 후 깊이 정보를 해석한다.

도 5는 도 3에서 언급한 multiline 패턴을 이용하여, 오브젝트에 대한 깊이 정보를 산출하는 구성을 설명한다. 도 5를 살펴보면, 참조가 되는 패턴인 참조 이미지(520)에 대해서, 실제로 오브젝트에 조사되어 일부 변형된 빔 패턴에 기초해서 생성된 측정 이미지(510)를 비교하여 깊이 정보가 반영된 3차원 이미지를 생성할 수 있다. 측정 이미지(510) 및 참조 이미지(520)는 위상이 반영된 수식으로 표현될 수 있는데, 이러한 위상 값은 알려진 4-버킷 알고리즘(4-bucket algorithm)에 의해 산출할 수 있다. 측정 이미지(510) 및 참조 이미지(520)의 각각의 위상 값은 각각의 깊이 정보를 의미할 수 있는데, 결국, 참조 이미지(520)로부터 상기 4-버킷 알고리즘에 의해 산출한 위상 값과, 측정 이미지(510)로부터 상기 4-버킷 알고리즘에 의해 산출된 위상을 비교하여, 상기 오브젝트에 대한 깊이 정보를 산출할 수가 있다. 결국, 측정한 2차원 이미지에 상기 산출한 깊이 정보를 반영하여, 모아레 이미지(moire image) 형태의 3차원 이미지(530)를 생성할 수 있다. 여기서도 조사시의 확산 정도가 고려되거나 촬영된 이미지의 확산 정도가 제거 보정된 이미지로 깊이 정보를 얻는다.

결국, 본 발명이 일실시예에 따른 3차원 이미지 촬영 장치는 피사체(오브젝트)의 2차원 이미지를 획득하고, 정해진 패턴 빔을 피사체의 거리 및 크기에 따라 액체렌즈를 사용하여 확산을 조절 후 조사하여 패턴 변형에 따른 깊이 정보를 산출하여 상기 획득한 2차원 이미지의 각 부분에 깊이 정보를 산출하여 3차원 이미지로 가공할 수 있다.

도 6은 본 발명의 일실시예에 따른 3차원 이미지 촬영 방법을 설명하는 흐름도이다.

본 발명의 일실시예에 따른 3차원 이미지 촬영 방법은 오브젝트에 대한 2차원 이미지를 획득할 수 있다(단계 801).

다음으로, 본 발명의 일실시예에 따른 3차원 이미지 촬영 방법은 다양한 형태의 패턴 빔을 상기 오브젝트에 조사하고(단계 802), 상기 조사된 패턴 빔에 대한 패턴 변화를 수집할 수 있다(단계 803).

상기 패턴 빔은 위치 인식을 할 수 있는 정보로서, 직선(stripe), 곡선, 사각형, 삼각형, 원, 다각형이다. 상기 패턴 빔은 조사부로부터 오브젝트까지의 거리 및 오브젝트의 크기를 고려하여, 패턴 빔의 확산 정도가 조절된 패턴 빔일 수 있다.

본 발명의 일실시예에 따른 3차원 이미지 촬영 방법은 상기 수집된 패턴 변화에 따라 상기 2차원 이미지의 각 부분별 깊이 정보를 산출할 수 있다(단계 804).

본 발명의 일실시예에 따른 3차원 이미지 촬영 방법은 산출된 상기 2차원 이미지의 각 부분별 깊이 정보를 이용하여, 3차원 이미지를 생성할 수 있다(단계 805).

본 발명의 일실시예에 따른 3차원 이미지 촬영 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

Claims (3)

1. 패턴 빔을 오브젝트에 조사하는 패턴 빔 조사부;
   상기 패턴 빔의 조사의 확산 정도를 상기 오브젝트의 크기 및 상기 패턴 빔 조사부로부터 상기 오브젝트 까지의 거리에 따라 조절하는, 초점 가변형 액체 렌즈가 장착된 확산 조절부;
   상기 조사된 패턴 빔에 대한 패턴 변화를 수집하는 패턴 수광부;
   상기 수집된 패턴의 확산 정도를 보정하는 보정부;
   상기 수집된 패턴 변화에 따라 오브젝트 이미지의 각 부분별 깊이 정보를 산출하는, 신호처리부를 포함하는,
   3차원 이미지 촬영장치.
   
2. 삭제
3. 제1항에 있어서,
   상기 신호처리부가 산출한 상기 오브젝트 이미지의 각 부분별 깊이 정보를 이용하여 2차원 이미지를 3차원 이미지로 생성하여 표시하는 영상출력장치를 더 포함하는 3차원 이미지 촬영장치.
   
   
   

Images