KR101356378B1 - 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치 - Google Patents

일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치 Download PDF

Info

Publication number
KR101356378B1
KR101356378B1 KR1020120071868A KR20120071868A KR101356378B1 KR 101356378 B1 KR101356378 B1 KR 101356378B1 KR 1020120071868 A KR1020120071868 A KR 1020120071868A KR 20120071868 A KR20120071868 A KR 20120071868A KR 101356378 B1 KR101356378 B1 KR 101356378B1
Authority
KR
South Korea
Prior art keywords
image
information
integrated image
generating
depth information
Prior art date
Application number
KR1020120071868A
Other languages
English (en)
Other versions
KR20140004382A (ko
Inventor
류관희
정지성
김종오
김도형
권순옥
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020120071868A priority Critical patent/KR101356378B1/ko
Publication of KR20140004382A publication Critical patent/KR20140004382A/ko
Application granted granted Critical
Publication of KR101356378B1 publication Critical patent/KR101356378B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 3차원 집적 영상 디스플레이 장치는 카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하기 위한 이미지 캡쳐부, 상기 이미지 캡쳐부에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하기 위한 이미지 생성부, 상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하기 위한 집적 영상 생성부 및 상기 집적 영상 생성부에서 생성된 집적 영상을 3차원으로 디스플레이하기 위한 디스플레이부를 포함한다. 본 발명에 의하면 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공함으로써, 일반 카메라로부터 획득한 동영상(Image 포함)을 통하여 3차원 공간의 깊이 정보를 생성하고, 생성된 정보와 집적 영상 기법을 접목하여 3차원 집적영상을 획득할 수 있다는 효과가 있다.

Description

일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치 {Method for displaying of three-dimensional integral imaging using camera and apparatus thereof}
본 발명은 3차원 집적 영상 획득에 관한 내용으로, 일반 카메라로 촬영한 컬러 영상을 이용해 깊이(Depth) 정보를 생성하고, 집적영상 기법을 이용하여 실시간으로 3차원 영상을 디스플레이할 수 있는 3차원 집적 영상 획득 방법 및 디스플레이 장치에 관한 것이다.
최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대한 많은 연구가 진행되고 있다. 그 중에서도 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적 영상(Integral imaging) 기술에 대해 많은 연구가 진행되고 있으며, 이 기술은 이상적인 3차원 디스플레이 방식인 홀로 그래픽 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점이 있다.
일반적으로 집적 영상 기술은 크게 픽업 단계와 디스플레이 단계로 나눠진다. 픽업 단계는 이미지 센서(CCD)와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈배열 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 배열을 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상을 요소 영상(Elemental images)이라 하고, 3차원 재생을 위해 이용된다.
이후 집적 영상 기술의 디스플레이 단계는 픽업과정에서 얻은 요소 영상을 디스플레이 장치에 표시하고, 요소 영상의 영상정보가 렌즈 배열을 통과하여 공간상에 3차원 영상을 복원하게 된다.
이와 같은 집적 영상 기술은 특수한 안경이 필요 없고, 물체를 관찰할 수 있는 시야각 내에서 상하뿐 아니라 좌, 우 방향으로 연속적인 시점을 가진다. 또한, 총 천연색 표현이 가능한 점을 비롯한 많은 장점을 가지고 있으나, 영상의 해상도 향상을 위해 처리해야 하는 계산량이 방대하고, 연속적인 3차원 입체감을 제공하는데 한계가 있다는 단점이 있다.
또한, 최근에 적외선을 조사하는 적외선 프로젝터와 적외선 영상을 획득한 후 3차원 공간 정보를 계산하는 적외선 카메라로 구성된 깊이 카메라를 이용해 컬러 영상과 깊이 영상을 추출하여, 집적 영상을 생성하는 연구가 이루어지고 있다. 그러나 이 연구의 경우 깊이 카메라와 같은 특수한 입력 장치를 사용해야 컬러 영상과 깊이 정보를 획득하여 집적 영상 생성에 이용할 수 있다는 한계점이 있다.
이에 일반 카메라에서 획득한 동영상 및 영상을 이용하여 객체의 깊이 정보를 획득하고, 컴퓨터 생성을 통한 3차원 집적 영상을 생성하기 위한 고속 처리 방법이 필요한 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 깊이 카메라와 같은 특수한 입력 장치가 아닌 일반 카메라로부터 획득한 동영상(Image 포함)에 대해 깊이 정보를 생성하고, 생성한 깊이 정보와 직접 영상 기법을 사용하여 3차원 영상을 재생할 수 있는, 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 깊이 정보 획득과 컴퓨터 생성 집적영상의 픽업 속도를 향상시켜 3차원 영상을 실시간 재생시킬 수 있는, 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 3차원 집적 영상 디스플레이 장치는 카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하기 위한 이미지 캡쳐부, 상기 이미지 캡쳐부에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하기 위한 이미지 생성부, 상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하기 위한 집적 영상 생성부 및 상기 집적 영상 생성부에서 생성된 집적 영상을 3차원으로 디스플레이하기 위한 디스플레이부를 포함한다.
상기 이미지 캡쳐부는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 HSV(hue, saturation, value) 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다.
상기 이미지 생성부는 상기 컬러 정보 중에서 밝기 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 상기 이미지 생성부는 OpenCL 병렬 처리 기법을 이용하여 상기 밝기 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다.
상기 집적 영상 생성부는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 집적 영상 생성부는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다.
상기 집적 영상 생성부는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함할 수 있다.
상기 디스플레이부는 집적 영상을 디스플레이 하기 위한 표시부와, 상기 표시부에 부착되어 상기 표시부에서 디스플레이되는 집적 영상을 3차원으로 구현하기 위한 렌즈 어레이를 포함하여 이루어질 수 있다.
본 발명의 3차원 집적 영상을 디스플레이하기 위한 3차원 집적 영상 디스플레이 장치에서의 3차원 집적 영상 디스플레이 방법에 있어서, 카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 동영상 수집 단계, 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 깊이 정보 생성 단계, 상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 집적 영상 생성 단계 및 생성된 집적 영상을 3차원으로 디스플레이하는 디스플레이 단계를 포함한다.
상기 동영상 수집 단계는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다.
상기 깊이 정보 생성 단계는 상기 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 상기 깊이 정보 생성 단계는 OpenCL 병렬 처리 기법을 이용하여 상기 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다.
상기 집적 영상 생성 단계는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 상기 집적 영상 생성 단계는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다.
상기 집적 영상 생성 단계는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함할 수 있다.
본 발명에 의하면 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공함으로써, 일반 카메라로부터 획득한 동영상(Image 포함)을 통하여 3차원 공간의 깊이 정보를 생성하고, 생성된 정보와 집적 영상 기법을 접목하여 3차원 집적영상을 획득할 수 있다는 효과가 있다.
또한, 깊이 정보 획득과 집적 영상의 픽업속도를 향상을 위해 OpenCL 병렬처리 기법을 사용하여, 3차원 영상을 실시간으로 재생시킬 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션(Camera Calibration)을 통해 카메라 왜곡 정보를 복원하는 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 이용하여 깊이 정보를 추출하는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상과 깊이 정보를 이용하여 집적 영상을 생성하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 생성된 집적 영상을 렌즈 어레이를 이용하여 3차원 영상으로 디스플레이하는 과정을 보여주는 도면이다.
이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 장치의 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 3차원 집적 영상 디스플레이 장치(100)는 이미지 캡쳐부(110), 이미지 생성부(120), 집적 영상 생성부(130), 디스플레이부(140)를 포함하여 이루어진다.
이미지 캡쳐부(110)는 카메라(10)에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 역할을 한다. 본 발명에서 사용되는 카메라(10)는 광원, 적외선 등을 이용해 컬러 정보와 깊이 정보를 획득할 수 있는 깊이 카메라와 같은 특수 카메라가 아닌, 웹캠과 같은 일반적으로 사용되는 카메라이다.
본 발명의 일 실시예에서 이미지 캡쳐부(110)는 카메라(10)로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 HSV(hue, saturation, value) 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션(Camera Calibration)을 통해 카메라 왜곡 정보를 복원하는 과정을 보여주는 도면이다.
도 3을 참조하면, 일반적인 카메라(10)의 렌즈에 의해 왜곡되어 촬영된 영상을 복원하는 과정을 도시한 것으로서, 카메라 렌즈에 의해 왜곡된 영상(C00)이 캘리브레이션을 통해 복원되며, 이때의 복원된 영상(C01)이 도시되어 있다.
이미지 생성부(120)는 이미지 캡쳐부(110)에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 역할을 한다.
본 발명의 일 실시예에서 이미지 생성부(120)는 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 이미지 생성부(120)는 OpenCL 병렬 처리 기법을 이용하여 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다. 본 발명에서는 이미지 생성부(120)에서의 깊이 정보 생성 속도를 향상시키기 위하여 OpenCL 병렬 처리 기법을 사용한다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 이용하여 깊이 정보를 추출하는 과정을 보여주는 도면이다.
도 4를 참조하면, 컬러 영상을 이용해 깊이 정보를 추출하는 과정으로서, 캘리브레이션을 통해 복원된 영상을 HSV 컬러 모델로 변환시켜 획득한 컬러 정보(D10)를 이용하여 깊이 정보(D11)를 추출하는 과정이 도시되어 있다.
집적 영상 생성부(130)는 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 역할을 한다.
본 발명의 일 실시예에서 집적 영상 생성부(130)는 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 집적 영상 생성부(130)는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다. 본 발명에서는 집적 영상 생성부(130)에서의 픽업 속도 향상을 위하여 집적 영상을 생성하기 위한 모든 계산을 OpenCL 병렬 처리 기법을 사용할 수 있다.
본 발명의 일 실시예에서 집적 영상 생성부(130)는 컬러 정보, 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상과 깊이 정보를 이용하여 집적 영상을 생성하는 과정을 보여주는 도면이다.
도 5를 참조하면, 컬러 정보(I20)와, 깊이 정보(I21)가 각각 대응되는 부분의 정보를 추출하여 집적 영상(I22)을 생성한다.
디스플레이부(140)는 집적 영상 생성부(130)에서 생성된 집적 영상을 3차원으로 디스플레이하는 역할을 한다.
도 6은 본 발명의 일 실시예에 따른 생성된 집적 영상을 렌즈 어레이를 이용하여 3차원 영상으로 디스플레이하는 과정을 보여주는 도면이다.
도 6을 참조하면, 생성된 집적 영상(L40)을 렌즈 어레이(L41)를 이용하여 재구성된 3차원 영상(L42)으로 보여주는 과정을 도시한 것이다.
본 발명의 일 실시예에서 디스플레이부(140)는 집적 영상을 디스플레이하기 위한 표시부와, 표시부에 부착되어 표시부에서 디스플레이되는 집적 영상을 3차원으로 구현하기 위한 렌즈 어레이를 포함하여 이루어질 수 있다.
본 발명에서 일반 카메라를 이용한 3차원 집적 영상 디스플레이 장치에서의 디스플레이 방법을 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법을 보여주는 흐름도이다.
도 2를 참조하면, 3차원 집적 영상을 디스플레이하기 위한 3차원 집적 영상 디스플레이 장치(100)에서의 3차원 집적 영상 디스플레이 방법에 있어서, 3차원 집적 영상 디스플레이 장치(100)는 동영상 수집 단계(S201), 깊이 정보 생성 단계(S203), 집적 영상 생성 단계(S205), 디스플레이 단계(S207)를 수행한다.
동영상 수집 단계(S201)는 카메라(10)에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 단계이다.
본 발명의 일 실시예에서 동영상 수집 단계(S201)는 카메라(10)로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 HSV(hue, saturation, value) 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션(Camera Calibration)을 통해 카메라 왜곡 정보를 복원하는 과정을 보여주는 도면이다.
도 3을 참조하면, 일반적인 카메라(10)의 렌즈에 의해 왜곡되어 촬영된 영상을 복원하는 과정을 도시한 것으로서, 카메라 렌즈에 의해 왜곡된 영상(C00)이 캘리브레이션을 통해 복원되며, 이때의 복원된 영상(C01)이 도시되어 있다.
깊이 정보 생성 단계(S203)는 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 단계이다.
본 발명의 일 실시예에서 깊이 정보 생성 단계(S203)는 컬러 정보 중에서 밝기 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 깊이 정보 생성 단계는 OpenCL 병렬 처리 기법을 이용하여 밝기 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 이용하여 깊이 정보를 추출하는 과정을 보여주는 도면이다.
도 4를 참조하면, 컬러 영상을 이용해 깊이 정보를 추출하는 과정으로서, 캘리브레이션을 통해 복원된 영상을 HSV 컬러 모델로 변환시켜 획득한 컬러 정보(D10)를 이용하여 깊이 정보(D11)를 추출하는 과정이 도시되어 있다.
집적 영상 생성 단계(S205)는 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 단계이다.
본 발명의 일 실시예에서 집적 영상 생성 단계(S205)는 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성하는 것일 수 있다. 이때, 3차원 집적 영상 디스플레이 장치(100)는 집적 영상 생성 단계(S205)에서 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상과 깊이 정보를 이용하여 집적 영상을 생성하는 과정을 보여주는 도면이다.
도 5를 참조하면, 컬러 정보(I20)와, 깊이 정보(I21)가 각각 대응되는 부분의 정보를 추출하여 집적 영상(I22)을 생성한다.
본 발명에서 3차원 집적 영상 디스플레이 장치(100)는 집적 영상 생성 단계(S205)에서 컬러 정보, 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함하는 것일 수 있다.
디스플레이 단계(S207)는 생성된 집적 영상을 3차원으로 디스플레이하는 단계이다.
도 6은 본 발명의 일 실시예에 따른 생성된 집적 영상을 렌즈 어레이를 이용하여 3차원 영상으로 디스플레이하는 과정을 보여주는 도면이다.
도 6을 참조하면, 생성된 집적 영상(L40)을 렌즈 어레이(L41)를 이용하여 재구성된 3차원 영상(L42)으로 보여주는 과정을 도시한 것이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 3차원 집적 영상 디스플레이 장치 110 이미지 캡쳐부
120 이미지 생성부 130 집적 영상 생성부
140 디스플레이부

Claims (17)

  1. 카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하기 위한 이미지 캡쳐부;
    상기 이미지 캡쳐부에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하기 위한 이미지 생성부;
    상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하기 위한 집적 영상 생성부; 및
    상기 집적 영상 생성부에서 생성된 집적 영상을 3차원으로 디스플레이하기 위한 디스플레이부를 포함하되,
    상기 이미지 캡쳐부는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 이미지 생성부는 상기 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  4. 제3항에 있어서,
    상기 이미지 생성부는 OpenCL 병렬 처리 기법을 이용하여 상기 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  5. 제1항에 있어서,
    상기 집적 영상 생성부는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  6. 제5항에 있어서,
    상기 집적 영상 생성부는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  7. 제1항에 있어서,
    상기 집적 영상 생성부는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  8. 제7항에 있어서,
    상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함하는 것임을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  9. 제1항에 있어서,
    상기 디스플레이부는 집적 영상을 디스플레이 하기 위한 표시부와, 상기 표시부에 부착되어 상기 표시부에서 디스플레이되는 집적 영상을 3차원으로 구현하기 위한 렌즈 어레이를 포함하여 이루어지는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
  10. 3차원 집적 영상을 디스플레이하기 위한 3차원 집적 영상 디스플레이 장치에서의 3차원 집적 영상 디스플레이 방법에 있어서,
    카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 동영상 수집 단계;
    획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 깊이 정보 생성 단계;
    상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 집적 영상 생성 단계; 및
    생성된 집적 영상을 3차원으로 디스플레이하는 디스플레이 단계를 포함하되,
    상기 동영상 수집 단계는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 깊이 정보 생성 단계는 상기 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
  13. 제12항에 있어서,
    상기 깊이 정보 생성 단계는 OpenCL 병렬 처리 기법을 이용하여 상기 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
  14. 제10항에 있어서,
    상기 집적 영상 생성 단계는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
  15. 제14항에 있어서,
    상기 집적 영상 생성 단계는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
  16. 제10항에 있어서,
    상기 집적 영상 생성 단계는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
  17. 제16항에 있어서,
    상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함하는 것임을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
KR1020120071868A 2012-07-02 2012-07-02 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치 KR101356378B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120071868A KR101356378B1 (ko) 2012-07-02 2012-07-02 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071868A KR101356378B1 (ko) 2012-07-02 2012-07-02 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140004382A KR20140004382A (ko) 2014-01-13
KR101356378B1 true KR101356378B1 (ko) 2014-01-28

Family

ID=50140382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071868A KR101356378B1 (ko) 2012-07-02 2012-07-02 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101356378B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715470B1 (ko) * 2015-04-10 2017-03-14 충북대학교 산학협력단 집적영상 현미경 장치 및 심도범위 개선 방법
KR102432735B1 (ko) * 2015-05-27 2022-08-17 엘지이노텍 주식회사 모션 인식장치
KR102422392B1 (ko) * 2016-12-07 2022-07-20 한국전자통신연구원 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법
KR102289045B1 (ko) * 2020-03-23 2021-08-11 주식회사 픽스트리 멀티 스케일 객체 이미지 복원 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764382B1 (ko) 2006-06-28 2007-10-08 한국정보통신대학교 산학협력단 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법
KR20090003764A (ko) * 2007-07-03 2009-01-12 광운대학교 산학협력단 요소 영상을 이용한 3차원 집적 영상 방법, 시스템 및 이를실행하는 프로그램이 기록된 기록매체
KR20120045269A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764382B1 (ko) 2006-06-28 2007-10-08 한국정보통신대학교 산학협력단 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법
KR20090003764A (ko) * 2007-07-03 2009-01-12 광운대학교 산학협력단 요소 영상을 이용한 3차원 집적 영상 방법, 시스템 및 이를실행하는 프로그램이 기록된 기록매체
KR20120045269A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:한국콘텐츠학회(2012.5) *

Also Published As

Publication number Publication date
KR20140004382A (ko) 2014-01-13

Similar Documents

Publication Publication Date Title
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
WO2012129252A1 (en) Digital 3d camera using periodic illumination
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
US9325886B2 (en) Specular and diffuse image generator using polarized light field camera and control method thereof
JP2013042301A (ja) 画像処理装置、画像処理方法及びプログラム
KR101356378B1 (ko) 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치
RU2010105103A (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции
CN109302600B (zh) 一种立体场景拍摄装置
Shin et al. Improved Viewing Quality of 3‐D Images in Computational Integral Imaging Reconstruction Based on Lenslet Array Model
JP6867645B2 (ja) 画像処理装置、方法、及びプログラム
CN111080774B (zh) 一种应用深度采样进行光场重构的方法及系统
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
WO2014171438A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR101289008B1 (ko) 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치
KR101025785B1 (ko) 3차원 실물 화상장치
Aggoun Pre-processing of integral images for 3-D displays
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
Swash et al. Pre-processing of holoscopic 3D image for autostereoscopic 3D displays
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR101832743B1 (ko) 디지털 홀로그래피 디스플레이 및 그 방법
王琼华 et al. 3D pickup and display method of integral imaging
KR101650009B1 (ko) 단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체
Muniraj et al. Subpixel based defocused points removal in photon-limited volumetric dataset
KR20070061157A (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee