KR101121132B1 - 집적 영상 복원 방법 및 장치 - Google Patents

집적 영상 복원 방법 및 장치 Download PDF

Info

Publication number
KR101121132B1
KR101121132B1 KR1020090121830A KR20090121830A KR101121132B1 KR 101121132 B1 KR101121132 B1 KR 101121132B1 KR 1020090121830 A KR1020090121830 A KR 1020090121830A KR 20090121830 A KR20090121830 A KR 20090121830A KR 101121132 B1 KR101121132 B1 KR 101121132B1
Authority
KR
South Korea
Prior art keywords
image
virtual
array
target
generating
Prior art date
Application number
KR1020090121830A
Other languages
English (en)
Other versions
KR20110065010A (ko
Inventor
김은수
황용석
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020090121830A priority Critical patent/KR101121132B1/ko
Publication of KR20110065010A publication Critical patent/KR20110065010A/ko
Application granted granted Critical
Publication of KR101121132B1 publication Critical patent/KR101121132B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 집적 영상 복원 장치는 이동 시점에 따라 상기 대상 영상 배열에 포함된 대상 영상 중 일부를 포함하는 참조 영상 그룹을 생성하고, 상기 참조 영상 그룹에 상응하는 상기 대상 영상의 위치에 대응하는 상기 대상 영상의 픽셀을 추출하고, 상기 추출된 픽셀을 조합하여 가상 영상 배열을 생성하고, 상기 가상 영상 배열을 복원하여 집적 영상을 생성한다. 본 발명의 일 실시예에 따르면, 변환된 요소 영상 배열을 복원함으로써, 시점이 이동된 집적 영상을 복원할 수 있다.
집적 영상, 시점.

Description

집적 영상 복원 방법 및 장치{Method and apparatus for reconstructing integral image}
본 발명은 3차원 영상 기술에 관한 것으로, 상세하게는 집적 영상을 복원하는 방법 및 장치에 관한 것이다.
최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적영상 기술이 도입되고 있다. 집적 영상은 복수의 렌즈를 통해 촬영된 요소 영상의 집합의 배열인 요소 영상 배열을 핀홀 배열(또는 렌즈 배열)을 통해 투사하여 집적함으로써 생성되는 영상이다. 집적 영상은 수직 방향과 수평 방향의 시차를 동시에 갖는 부피적 특성을 갖는다.
집적 영상 기술은 픽업과 복원 과정을 포함한다. 픽업 과정은 3차원 물체에 대한 렌즈 배열을 통하여 요소 영상 배열(EIA : Elemental Image Array)의 형태로 저장하는 단계이다.
복원 과정은 요소 영상 배열을 디스플레이하고, 다시 렌즈 배열을 통과시켜 원래의 위치에 3차원 영상인 집적 영상을 복원하는 단계이다.
복원 과정을 통해 복원된 집적 영상은 깊이 별 평면 영상인 평면 복원 영상(POI: Plane Object Image)의 집합으로 표현될 수 있다. 즉, 복원 과정은 각 깊이에 상응하는 복원 평면에 요소 영상을 복원한 영상을 중첩하여 나타냄으로써 복수의 평면 복원 영상을 생성하는 과정이다.
종래 집적 영상 복원 기술에 따라 복원된 집적 영상은 입체적으로 표현되는 영상이지만, 시점이 고정되어 표현될 수 밖에 없다.
즉, 종래 집적 영상 복원 기술은 시점이 이동된 것처럼 표현하려면, 픽업 과정에서 렌즈 배열과 물체간의 거리를 변경하면서 복수의 요소 영상 배열을 미리 픽업하고, 시점 이동에 따라 복수의 요소 영상 배열 중 하나를 선정하여 복원하여야 한다.
종래 집적 영상 복원 기술은 단일 요소 영상 배열을 복원한 평면 복원 영상을 단순히 확대 또는 축소하여 시점을 변경한 것처럼 표현하였다.
본 발명이 해결하고자 하는 과제는 단일 요소 영상 배열을 변환하여 물체를 촬영한 시점이 이동된 것과 같은 요소 영상 배열을 생성하는 집적 영상 복원 방법 및 장치를 제공하는 것이다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 물체를 픽업하여 대상 영상 배열을 생성하는 픽업부;이동 시점을 입력 받는 입력부; 상기 이동 시점에 따라 상기 대상 영상 배열 중 하나 이상의 대상 영상를 포함하는 참조 영상 그룹을 생성하는 참조 영상 설정부; 상기 참조 영상 그룹 상의 상기 대상 영상이 위치한 좌표에 대응하는 상기 대상 영상의 픽셀을 추출하고, 상기 추출된 픽셀을 상기 대상 영상이 위치한 좌표에 배치하여 가상 영상 배열을 생성하는 가상 영상 생성부; 및 상기 가상 영상 배열을 복원하여 집적 영상을 생성하는 복원부를 포함하는 집적 영상 복원 장치가 제공된다.
본 발명의 다른 측면에 따르면, 집적 영상 복원 장치가 집적 영상을 복원하는 방법에 있어서, 물체를 픽업하여 대상 영상 배열을 생성하는 단계; 이동 시점을 입력 받는 단계; 상기 이동 시점에 따라 상기 대상 영상 배열 중 하나 이상의 대상 영상을 포함하는 참조 영상 그룹을 생성하는 단계; 상기 참조 영상 그룹 상의 상기 대상 영상이 위치한 좌표에 대응하는 상기 대상 영상의 픽셀을 추출하는 단계; 상기 추출된 픽셀을 상기 대상 영상이 위치한 좌표에 배치하여 가상 영상 배열을 생성하는 단계; 및 상기 가상 영상 배열을 복원하여 집적 영상을 생성하는 단계를 포 함하는 집적 영상 복원 방법이 제공된다.
본 발명의 일 실시예에 따르면, 변환된 요소 영상 배열을 복원함으로써, 시점이 이동된 집적 영상을 복원할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 집적 영상 복원 장치를 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 집적 영상 복원 장치는 픽업부(110), 입력부(120), 참조 영상 설정부(130), 가상 영상 생성부(140) 및 복원부(150)를 포함한다.
픽업부(110)는 렌즈 배열 또는 핀홀 배열을 투과하여 투사된 빛을 감지하여 복수의 요소 영상을 포함하는 요소 영상 배열인 대상 영상 배열을 생성한다. 이하 대상 영상 배열에 포함된 요소 영상을 대상 영상이라 지칭하도록 한다. 즉, 픽업부(110)는 물체를 촬영하여 대상 영상 배열을 생성한다. 픽업부(110)는 CCD 또는 CMOS를 포함할 수 있다.
입력부(120)는 사용자로부터 렌즈 배열 및 픽업부(110)가 가상으로 이동될 시점(view point)(이하 이동 시점이라 지칭)을 입력 받는다. 입력부(120)는 키보드, 키패드, 마우스 등의 사용자로부터 이동 시점을 입력 받을 수 있는 수단을 포함할 수 있다. 입력부(120)는 입력 받은 이동 시점을 참조 영상 설정부(130)로 전송한다. 이 때, 이동 시점은 대상 영상 배열을 생성한 시점보다 물체와 가깝거나 먼 시점으로 설정될 수 있다.
참조 영상 설정부(130)는 수신한 이동 시점에 따라 가상 영상 배열의 각 요소 영상을 생성하기 위해 필요한 대상 영상 배열의 요소 영상을 포함하는 그룹(이하 참조 영상 그룹이라 지칭)을 설정한다. 가상 영상 배열은 이동 시점에서 물체를 픽업한 요소 영상 배열과 유사하도록 가상으로 생성된 요소 영상 배열이다. 참조 영상 설정부(130)는 참조 영상 그룹에 포함된 대상 영상들의 식별 정보를 가상 영상 생성부(140)로 전송한다. 참조 영상 설정부(130)의 참조 영상 그룹을 생성하는 과정은 추후 도 3을 참조하여 상세히 설명하도록 한다.
가상 영상 생성부(140)는 수신한 참조 영상 그룹에 포함된 대상 영상들의 식별 정보에 따른 참조 영상 그룹에 상응하는 대상 영상을 이용하여 가상 영상 배열의 요소 영상(이하 가상 영상이라 지칭)을 생성한다. 즉, 가상 영상 생성부(140)는 참조 영상 그룹에 상응하는 대상 영상의 픽셀을 조합하여 하나의 가상 영상을 생성한다. 이하, 가상 영상 배열 중 이동 시점이 대상 영상 배열을 생성한 시점보다 물체와 가까운 가상 영상 배열을 근거리 가상 영상 배열이라 지칭하고, 이동 시점이 대상 영상 배열을 생성한 시점보다 물체와 먼 가상 영상 배열을 원거리 가상 영상 배열이라 지칭하도록 한다.
추후 도 5를 참조하여, 가상 영상 생성부(140)가 가상 영상을 생성하는 과정을 상세히 설명하도록 한다.
복원부(150)는 가상 영상 배열을 컴퓨터적 복원 방식(CIIR: Computational Integral Imaging Reconstruction)을 이용하여 평면 복원 영상을 생성한다. 즉, 복원부(150)는 가상 영상 배열을 복원하여 집적 영상을 생성한다.
도 2a 및 도 2b는 카메라의 시점에 따라 물체 간 간격의 변화를 설명하기 위한 도면이다.
도 2a를 참조하면, 카메라가 근거리에 위치한 물체들을 촬영하였을 때, 생성되는 이미지는 물체간의 간격이 상대적으로 좁다. 즉, 상대적으로 전방에 위치한 물체가 후방에 위치한 물체보다 확대되어 보이기 때문에 전방의 물체가 후방의 물체 및 환경을 가리는 영역이 커져서 물체 간의 간격이 좁아 보인다(실제 촬영된 이미지에서 물체간의 간격이 좁다).
도 2b를 참조하면, 카메라가 원거리에 위치한 물체들을 촬영하였을 때, 생성되는 이미지는 물체간의 간격이 상대적으로 넓다. 즉, 도 2a의 경우와는 반대로 카메라로 촬영한 시점이 물체와 멀면, 상대적으로 전방에 위치한 물체와 후방에 위치한 물체간의 확대되는 정도의 차이가 크지 않다. 따라서, 전방에 위치한 물체가 가리는 영역이 좁아져 물체 간의 간격이 상대적으로 넓어 보이는 현상이 발생한다.
본 발명의 일 실시예에 따른 집적 영상 복원 장치는 상술한 시점에 따른 이미지의 특성이 나타나도록 대상 영상 배열을 변환하여 가상 영상 배열을 생성한다. 이하 도 3 및 도 4를 참조하여, 가상 영상 배열을 생성하는 과정을 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 가상 영상 배열을 생성하는 과정을 예시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 집적 영상 복원 장치는 대상 영상 배열의 픽셀을 이용하여 가상 영상 배열을 생성한다. 집적 영상 복원 장치는 실제 핀홀 배열의 위치와 이동 시점에 상응하는 가상의 핀홀 배열 간의 거리 △Z를 이용하여 실제 핀홀과 인접한 가상 핀홀 간의 x 좌표축 상의 거리 pX를 산출할 수 있다. 예를 들어, 집적 영상 복원 장치는 하기의 수학식 1을 통해 실제 핀홀과 인접한 가상 핀홀 간의 x 좌표축 상의 거리를 산출할 수 있다.
[수학식 1]
Figure 112009076044015-pat00001
이 때,
Figure 112009076044015-pat00002
는 핀홀을 지나는 수직선을 기준으로 설정된 픽셀의 x 좌표이고, g는 핀홀과 대상 영상 배열 간의 거리이다. 이 때, 가상의 핀홀과 가상 영상 배열 간의 거리는 g와 동일하다.
Figure 112009076044015-pat00003
는 요소 영상의 x축 방향의 크기이고,
Figure 112009076044015-pat00004
는
Figure 112009076044015-pat00005
의 최대값이다.
수학식 1을 변형하면
Figure 112009076044015-pat00006
는 하기의 수학식 2를 통해 산출될 수 있다.
[수학식 2]
Figure 112009076044015-pat00007
이 때,
Figure 112009076044015-pat00008
및
Figure 112009076044015-pat00009
는 핀홀을 지나는 수직선을 기준으로 설정된 픽셀의 x 좌표이다.
다시 수학식 2를 변형하면,
Figure 112009076044015-pat00010
를 하기의 수학식 3을 통해 산출할 수 있다.
[수학식 3]
Figure 112009076044015-pat00011
이 때,
Figure 112009076044015-pat00012
는 실제 핀홀 배열의 핀홀 간의 간격과, 가상 영상 배열의 픽셀의 크기의 차이이고,
Figure 112009076044015-pat00013
는 x축 좌표상 대상 영상 배열의 요소 영상에 상응하는 해상도이다.
[수학식 4]
Figure 112009076044015-pat00014
Figure 112009076044015-pat00015
는
Figure 112009076044015-pat00016
의 최대값으로, 수학식 4와 같이
Figure 112009076044015-pat00017
의 두 배의 값이다.
따라서,
Figure 112009076044015-pat00018
를
Figure 112009076044015-pat00019
으로 나누면 가상 영상 배열에 포함될 요소 영상의 최대 해상도가 도출될 수 있다.
[수학식 5]
Figure 112009076044015-pat00020
수학식 5에 따르면, 가상 영상 배열에 포함될 요소 영상의 최대 해상도는 대상 영상 배열에 포함된 요소 영상의 해상도와 동일하다. 상술한 내용은 x축 방향만을 고려하여 설명하였지만, y축 방향에 대해서도 동일한 결과가 도출된다.
따라서, 본 발명의 일 실시예에 따른 집적 영상 복원 장치는 대상 영상 배열의 요소 영상과 동일한 해상도를 가지는 가상 영상 배열의 요소 영상을 생성한다.
도 4a는 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 근거리 가상 영상 배열을 생성하기 위한 참조 영상 그룹을 설정하는 과정을 설명하기 위한 도면이고, 도 4b는 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 원거리 가상 영상 배열을 생성하기 위한 참조 영상 그룹을 설정하는 과정을 설명하기 위한 도면이다.
도 4a 및 도 4b를 참조하면, 본 발명의 일 실시예에 따른 집적 영상 복원 장치는 대상 영상 배열과 가상 영상 배열의 요소 영상의 해상도가 동일해지는 깊이의 가상 영상 배열을 생성한다.
예를 들어, 도 4a 및 도 4b와 같이 대상 영상들의 각 픽셀에서 핀홀을 통해 투사된 빛을 선으로 도시하면 교차하는 지점이 존재한다. 집적 영상 복원 장치는 선이 교차되는 지점 중, 대상 영상의 픽셀 수와 동일한 수의 선이 교차하는 지점이 존재하는 깊이에 가상의 핀홀 배열(401)을 배치한다. 이 때, 집적 영상 복원 장치는 각 핀홀이 선이 교차되는 지점이 위치하도록 배치한다. 집적 영상 복원 장치는 가상의 핀홀 배열과 지정된 거리로 이격된 깊이에 가상 영상 배열이 생성되는 면(402)(이하 가상 영상 평면이라 지칭)을 배치한다. 이 때, 가상의 핀홀 배열과 가상 영상 평면(402) 간의 거리는 핀홀 배열과 대상 영상 평면 간의 거리와 동일하도록 설정된다. 즉, 집적 영상 복원 장치는 핀홀 간의 거리와 요소 영상과 핀홀 간의 거리가 대상 영상 배열과 동일한 가상 영상 배열을 생성한다.
집적 영상 복원 장치의 참조 영상 설정부(130)는 가상 영상 배열에 포함될 각 요소 영상에 상응하는 참조 영상 그룹을 설정한다. 집적 영상 복원 장치는 가상의 핀홀과 가상 영상의 각 픽셀을 지나는 선과 만나는 대상 영상을 해당 가상 영상에 상응하는 참조 영상 그룹에 포함되도록 한다.
예를 들어, 참조 영상 설정부(130)는 대상 영상의 픽셀 수만큼의 대상 영상을 하나의 참조 영상 그룹으로 설정한다. 대상 영상의 해상도가 5*5인 경우, 참조 영상 설정부(130)는 대상 영상 배열 상에서 5행 및 5열로 이루어진 인접한 대상 영 상들을 하나의 참조 영상 그룹으로 설정한다.
즉, 도 4b의 가상 영상 405에 상응하는 핀홀을 투과하는 빛은 대상 영상 410 ~ 450에 투사된다. 참조 영상 설정부(130)는 대상 영상 410 ~ 450를 가상 영상 405에 상응하는 참조 영상 그룹으로 설정한다.
도 4a의 근거리에 가상 영상 배열에 상응하는 참조 영상 그룹을 설정하는 과정은 도 4b를 참조하여 설명한 과정과 동일하다.
이 때, 가상 영상 460과 같이 일부 픽셀에 선이 지나지 않는 가상 영상이 존재한다. 집적 영상 복원 장치는 선이 지나지 않는 픽셀의 값을 0으로 설정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 가상 영상을 생성하는 과정을 예시한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 집적 영상 복원 장치의 가상 영상 생성부(140)는 참조 영상 그룹에 포함된 대상 영상의 픽셀 중 일부를 추출하여 가상 영상을 생성한다.
가상 영상 생성부(140)는 참조 영상 그룹 내의 대상 영상의 좌표와 동일한 좌표에 상응하는 해당 대상 영상 내의 픽셀을 추출한다. 가상 영상 생성부(140)는 추출한 픽셀을 대상 영상의 좌표에 상응하는 가상 영상의 픽셀로 설정한다.
예를 들어, 가상 영상 생성부(140)는 참조 영상 그룹 내의 대상 영상에 대한 좌표가 (1,1)인(참조 영상 그룹 내에서 1행 1열에 위치한) 대상 영상 510의 픽셀 하나를 추출한다. 대상 영상 510에서 추출되는 픽셀은 대상 영상 510 내의 픽셀 중 좌표가 (1,1)인 픽셀 515이다. 가상 영상 생성부(140)는 가상 영상의 (1,1) 좌표에 위치한 픽셀 517의 값을 픽셀 515의 값과 동일하도록 설정한다. 상술한 방식과 동일하게 가상 영상 생성부(140)는 좌표 (1,2)에 위치한 대상 영상 520의 픽셀 525를 추출하고, 픽셀 527의 값을 픽셀 525와 동일하도록 설정한다.
가상 영상 생성부(140)는 가상 영상의 모든 픽셀에 대해 상술한 방식을 적용하여 가상 영상을 생성한다.
도 6은 본 발명의 일 실시예에 따른 집적 영상 복원 장치의 가상 영상을 생성하여 복원하는 과정을 예시한 순서도이다.
도 6을 참조하면, 집적 영상 복원 장치는 대상 물체를 픽업하여 대상 영상 배열을 생성한다(610).
집적 영상 복원 장치는 사용자로부터 이동 시점을 입력 받는다(620). 이 때, 집적영상 복원 장치는 근거리 및 원거리의 지정된 시점 중 하나를 선택하는 입력을 사용자로부터 받을 수 있다.
집적 영상 복원 장치는 입력 받은 이동 시점에 상응하는 가상 영상의 참조 영상 그룹을 생성한다(630).
집적 영상 복원 장치는 참조 영상 그룹의 대상 영상의 픽셀을 추출한다(640).
집적 영상 복원 장치는 추출된 픽셀을 조합하여 가상 영상을 생성한다(650). 즉, 집적 영상 복원 장치는 추출된 픽셀을 가상 영상의 각 픽셀로 배치하여 가상 영상을 생성한다.
집적 영상 복원 장치는 가상 영상 배열을 복원하여 평면 복원 영상을 생성한다(660). 즉, 집적 영상 복원 장치는 가상 영상 배열을 컴퓨터적 집적 영상 복원 방식을 이용하여 집적 영상을 생성한다.
도 7은 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 대상 영상 배열 및 가상 영상 배열을 복원한 집적 영상을 예시한 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 근거리 가상 영상 배열을 복원한 집적 영상(710)은 대상 영상을 복원한 영상에 비해 확대된 영상이다. 또한 근거리 가상 영상을 복원한 집적 영상(710)은 대상 영상을 복원한 집적 영상(720)에 비해 핀홀에 근접한 자동차의 부위가 원거리에 위치한 부위에 비해 더 확대되어 보인다.
원거리 가상 영상 배열을 복원한 집적 영상(730)은 대상 영상을 복원한 집적 영상(720)에 비해 자동차의 각 부위의 크기를 축소하여 표현한다.
따라서, 본 발명의 일 실시예에 따른 집적 영상 복원 장치는 픽업된 하나의 요소 영상 배열을 이용하여 시점이 상이한 복수의 집적 영상을 복원할 수 있는 효과를 제공한다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 집적 영상 복원 장치를 예시한 도면.
도 2a 및 도 2b는 카메라의 시점에 따라 물체 간 간격의 변화를 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 가상 영상 배열을 생성하는 과정을 예시한 도면.
도 4a는 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 근거리 가상 영상 배열을 생성하기 위한 참조 영상 그룹을 설정하는 과정을 설명하기 위한 도면.
도 4b는 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 원거리 가상 영상 배열을 생성하기 위한 참조 영상 그룹을 설정하는 과정을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 가상 영상을 생성하는 과정을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 집적 영상 복원 장치의 가상 영상을 생성하여 복원하는 과정을 예시한 순서도.
도 7은 본 발명의 일 실시예에 따른 집적 영상 복원 장치가 대상 영상 배열 및 가상 영상 배열을 복원한 집적 영상을 예시한 도면.

Claims (14)

  1. 물체를 픽업하여 단일의 대상 영상 배열을 생성하는 픽업부;
    이동 시점을 입력 받는 입력부;
    상기 이동 시점에 따라 상기 대상 영상 배열 중 하나 이상의 대상 영상을 포함하는 참조 영상 그룹을 생성하는 참조 영상 설정부;
    상기 참조 영상 그룹 상의 상기 대상 영상이 위치한 좌표에 대응하는 상기 대상 영상의 픽셀을 추출하고, 상기 추출된 픽셀을 상기 대상 영상이 위치한 좌표에 배치하여 상기 이동 시점에 대응하는 가상 영상 배열을 생성하는 가상 영상 생성부; 및
    상기 가상 영상 배열을 복원하여 집적 영상을 생성하는 복원부를 포함하는 집적 영상 복원 장치.
  2. 제1 항에 있어서,
    상기 픽업부는 실제 렌즈 또는 실제 핀홀 배열을 통해 투사된 빛을 감지하여 상기 물체를 픽업하고,
    상기 참조 영상 설정부는 상기 이동 시점에 가상의 렌즈 또는 가상의 핀홀 배열을 배치하고, 상기 가상의 렌즈 또는 가상의 핀홀 배열과 상기 실제 렌즈 또는 실제 핀홀 배열을 통과하는 빛이 투사된 상기 대상 영상들을 포함하는 상기 참조 영상 그룹을 생성하는 것을 특징으로 하는 집적 영상 복원 장치.
  3. 제2 항에 있어서,
    상기 가상 영상 생성부는 상기 가상의 렌즈 또는 가상의 핀홀 배열과 상기 실제 렌즈 또는 실제 핀홀 배열을 통과하는 빛이 투사된 가상 영상 및 상기 대상 영상의 픽셀이 동일하도록 상기 픽셀을 정렬하여 상기 가상 영상 배열을 생성하는 것을 특징으로 하는 집적 영상 복원 장치.
  4. 제3 항에 있어서,
    상기 가상 영상 생성부는 상기 참조 영상 그룹의 대상 영상 중 i행 및 j열에 위치한 상기 대상 영상을 선정하고, 상기 대상 영상의 i행 및 j열에 위치한 상기 픽셀을 추출하고, 상기 추출된 픽셀을 상기 가상 영상의 i행 및 j열에 위치한 픽셀에 배열한 가상 영상을 포함하는 상기 가상 영상 배열을 생성하되,
    상기 i 및 j는 자연수인 것을 특징으로 하는 집적 영상 복원 장치.
  5. 제4 항에 있어서,
    상기 가상 영상은 상기 대상 영상의 해상도와 동일한 해상도를 갖는 요소 영상인 것을 특징으로 하는 집적 영상 복원 장치.
  6. 제4 항에 있어서,
    상기 참조 영상 설정부는 가상 영상 당 하나의 참조 영상 그룹을 생성하는 것을 특징으로 하는 집적 영상 복원 장치.
  7. 제1 항에 있어서,
    상기 복원부는 상기 가상 영상 배열을 컴퓨터적 집적 영상 복원 방법을 통해 복원하여 상기 집적 영상을 생성하는 것을 특징으로 하는 집적 영상 복원 장치.
  8. 집적 영상 복원 장치가 집적 영상을 복원하는 방법에 있어서,
    물체를 픽업하여 단일의 대상 영상 배열을 생성하는 단계;
    이동 시점을 입력 받는 단계;
    상기 이동 시점에 따라 상기 대상 영상 배열 중 하나 이상의 대상 영상을 포함하는 참조 영상 그룹을 생성하는 단계;
    상기 참조 영상 그룹 상의 상기 대상 영상이 위치한 좌표에 대응하는 상기 대상 영상의 픽셀을 추출하는 단계;
    상기 추출된 픽셀을 상기 대상 영상이 위치한 좌표에 배치하여 상기 이동 시점에 대응하는 가상 영상 배열을 생성하는 단계; 및
    상기 가상 영상 배열을 복원하여 집적 영상을 생성하는 단계를 포함하는 집적 영상 복원 방법.
  9. 제8 항에 있어서,
    상기 대상 영상 배열을 생성하는 단계는 실제 렌즈 또는 실제 핀홀 배열을 통해 투사된 빛을 감지하여 상기 물체를 픽업하여 대상 영상 배열을 생성하는 단계이고,
    상기 참조 영상 그룹을 생성하는 단계는 상기 이동 시점에 가상의 렌즈 또는 가상의 핀홀 배열을 배치하고, 상기 가상의 렌즈 또는 가상의 핀홀 배열과 상기 실제 렌즈 또는 실제 핀홀 배열을 통과하는 빛이 투사된 상기 대상 영상들을 포함하는 상기 참조 영상 그룹을 생성하는 단계인 것을 특징으로 하는 집적 영상 복원 방법.
  10. 제9 항에 있어서,
    상기 가상 영상 배열을 생성하는 단계는 상기 가상의 렌즈 또는 가상의 핀홀 배열과 상기 실제 렌즈 또는 실제 핀홀 배열을 통과하는 빛이 투사된 가상 영상 및 상기 대상 영상의 픽셀이 동일하도록 상기 픽셀을 정렬하여 상기 가상 영상 배열을 생성하는 단계인 것을 특징으로 하는 집적 영상 복원 방법.
  11. 제10 항에 있어서,
    상기 가상 영상 배열을 생성하는 단계는 상기 참조 영상 그룹의 대상 영상 중 i행 및 j열에 위치한 상기 대상 영상을 선정하고, 상기 대상 영상의 i행 및 j열에 위치한 상기 픽셀을 추출하고, 상기 추출된 픽셀을 상기 가상 영상의 i행 및 j열에 위치한 픽셀에 배열한 가상 영상을 포함하는 상기 가상 영상 배열을 생성하는 단계이되,
    상기 i 및 j는 자연수인 것을 특징으로 하는 집적 영상 복원 방법.
  12. 제11 항에 있어서,
    상기 가상 영상은 상기 대상 영상의 해상도와 동일한 해상도를 갖는 요소 영상인 것을 특징으로 하는 집적 영상 복원 방법.
  13. 제11 항에 있어서,
    상기 참조 영상 그룹을 생성하는 단계는 가상 영상 당 하나의 참조 영상 그룹을 생성하는 단계인 것을 특징으로 하는 집적 영상 복원 방법.
  14. 제8 항에 있어서,
    상기 집적 영상을 생성하는 단계는 상기 가상 영상 배열을 컴퓨터적 집적 영상 복원 방법을 통해 복원하여 상기 집적 영상을 생성하는 단계인 것을 특징으로 하는 집적 영상 복원 방법.
KR1020090121830A 2009-12-09 2009-12-09 집적 영상 복원 방법 및 장치 KR101121132B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090121830A KR101121132B1 (ko) 2009-12-09 2009-12-09 집적 영상 복원 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090121830A KR101121132B1 (ko) 2009-12-09 2009-12-09 집적 영상 복원 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110065010A KR20110065010A (ko) 2011-06-15
KR101121132B1 true KR101121132B1 (ko) 2012-03-19

Family

ID=44398352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121830A KR101121132B1 (ko) 2009-12-09 2009-12-09 집적 영상 복원 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101121132B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445489B1 (ko) * 2013-05-31 2014-09-26 광운대학교 산학협력단 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템
KR101473436B1 (ko) 2013-07-16 2014-12-18 동서대학교산학협력단 3차원 영상 획득 및 시각화 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070052131A (ko) * 2005-11-16 2007-05-21 광운대학교 산학협력단 중간 요소 영상을 이용한 입체 영상 표시 장치
KR20090012998A (ko) * 2007-07-30 2009-02-04 광운대학교 산학협력단 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
KR20090025420A (ko) * 2007-09-06 2009-03-11 동서대학교산학협력단 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치
KR20090091909A (ko) * 2008-02-26 2009-08-31 동서대학교산학협력단 원형매핑 모델과 보간법을 복합 사용하여 부피형 3차원영상 재생 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070052131A (ko) * 2005-11-16 2007-05-21 광운대학교 산학협력단 중간 요소 영상을 이용한 입체 영상 표시 장치
KR20090012998A (ko) * 2007-07-30 2009-02-04 광운대학교 산학협력단 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
KR20090025420A (ko) * 2007-09-06 2009-03-11 동서대학교산학협력단 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치
KR20090091909A (ko) * 2008-02-26 2009-08-31 동서대학교산학협력단 원형매핑 모델과 보간법을 복합 사용하여 부피형 3차원영상 재생 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445489B1 (ko) * 2013-05-31 2014-09-26 광운대학교 산학협력단 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템
KR101473436B1 (ko) 2013-07-16 2014-12-18 동서대학교산학협력단 3차원 영상 획득 및 시각화 방법

Also Published As

Publication number Publication date
KR20110065010A (ko) 2011-06-15

Similar Documents

Publication Publication Date Title
CN109561296B (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
JP7058277B2 (ja) 再構成方法および再構成装置
JP6407878B2 (ja) 場面の３ｄ再構築および３ｄパノラマモザイキングの方法
KR102214827B1 (ko) 증강 현실 제공 장치 및 방법
JP5260705B2 (ja) ３次元拡張現実提供装置
Zhu et al. Mosaic-based 3D scene representation and rendering
Horisaki et al. Three-dimensional information acquisition using a compound imaging system
JP4839237B2 (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
CN101729920B (zh) 一种自由视角立体视频显示方法
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
JP2011022796A (ja) 画像処理方法および画像処理装置
JPWO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
JP5852093B2 (ja) 映像処理装置、映像処理方法、プログラム
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
CN116168143A (zh) 一种多视图三维重建的方法
JP4819834B2 (ja) 立体映像処理装置及び立体映像処理方法
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
KR101293576B1 (ko) 3차원 집적 영상디스플레이의 깊이조절시스템
KR20120071276A (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
KR101121132B1 (ko) 집적 영상 복원 방법 및 장치
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
KR102019880B1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190218

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 9