KR20140101559A - 3차원 집적영상의 가려짐 문제 해결방법 - Google Patents

3차원 집적영상의 가려짐 문제 해결방법 Download PDF

Info

Publication number
KR20140101559A
KR20140101559A KR1020130014864A KR20130014864A KR20140101559A KR 20140101559 A KR20140101559 A KR 20140101559A KR 1020130014864 A KR1020130014864 A KR 1020130014864A KR 20130014864 A KR20130014864 A KR 20130014864A KR 20140101559 A KR20140101559 A KR 20140101559A
Authority
KR
South Korea
Prior art keywords
image
window
images
parallax
integrated image
Prior art date
Application number
KR1020130014864A
Other languages
English (en)
Other versions
KR101435611B1 (ko
Inventor
이석호
유태경
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020130014864A priority Critical patent/KR101435611B1/ko
Publication of KR20140101559A publication Critical patent/KR20140101559A/ko
Application granted granted Critical
Publication of KR101435611B1 publication Critical patent/KR101435611B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 관심대상 물체를 집적영상을 촬영하는 중에 관심대상 물체를 장애물에 가려진 상태로 촬영하여 얻은 집적영상에서 장애물의 영역을 제거하여 관심대상의 3차원 영상을 선명하게 보여주게 하는 3차원 집적영상의 가려짐 문제 해결방법에 관한 것으로서, 집적영상을 구성하는 요소영상들 중에 서로 연속 이어진 요소영상들을 선정하고, 선정한 요소영상들에 각각 윈도우를 씌워 복수의 픽셀을 선택하며, 이후, 편미분 및 편차의 관계식으로 정의된 시차를 계산하며, 이와 같이 계산한 시차에 근거하여 장애물을 선별 및 제거한다.

Description

3차원 집적영상의 가려짐 문제 해결방법{OCCLUSION REMOVAL METHOD FOR THREE DIMENSIONAL INTEGRAL IMAGE}
본 발명은 관심대상 물체를 집적영상을 촬영하는 중에 관심대상 물체를 장애물에 가려진 상태로 촬영하여 얻은 집적영상에서 장애물의 영역을 제거하여 관심대상의 3차원 영상을 선명하게 보여주게 하는 3차원 집적영상의 가려짐 문제 해결방법에 관한 것이다.
집적 영상(Integral Imaging) 방식은, 평면영상으로부터 3차원의 깊이감과 입체감을 느낄 수 있도록 하는 입체 영상 구현기술 중의 하나로서 렌즈 어레이를 통해 촬영하여 물체의 영상 정보를 여러 개의 단위 요소영상들로 구성된 집적 영상으로 생성하여 저장한 후에, 이 집적 영상을 다시 렌즈 어레이를 통해 보여줌으로써 물체의 모든 정보를 재현하는 방식이다.
이러한 집적 영상 방식은 일찍이 1908년 리프만(Lippmann)에 의해 처음 제안되었으나, 그동안 촬상소자나 표시 소자 기술의 한계에 부닥쳐서 다른 방식의 입체 영상 구현기술에 비해 크게 주목을 받지 못하였다. 하지만, 고분해능 촬상소자와 고해상도 표시 소자의 개발에 힘입어 최근 다시 주목을 받아 많은 연구가 진행되고 있다. 이는, 집적 영상 방식으로 구현한 입체영상을 시청하기 위해서 별도의 특수 안경이나 도구를 필요치 않고, 시야각에 한계는 있지만 일정한 시야각 내에서 연속적인 수평 및 수직 시차를 제공할 수 있어서, 시각적 피로감 없고 연속적인 영상재현이 가능한 장점을 갖기 때문이다.
집적 영상 방식을 채택한 입체 영상 표시 장치는, 일반적으로 도 1에 도시한 바와 같이 픽업부(10)와 표시부(20)로 구성된다. 픽업부(10)는 제1 렌즈 어레이(11, Lenslet Array)와 이미지 센서(12, Image Sensor)를 이용하여 3차원 물체(1)의 3차원 정보를 전체 요소 영상으로 바꾸어 저장한다. 이때, 제1 렌즈 어레이(11)는 여러 개의 볼록 렌즈를 행과 열을 맞추어 배열한 것이므로 각각의 렌즈별로 요소 영상(Elemental Image)을 촬상하여 요소 영상들로 이루어진 전체 요소 영상을 얻는다. 그리고, 표시부(20)는 표시 패널(21, Display Panel)과 제2 렌즈 어레이(22, Lenslet Array)를 이용하여 전체 요소 영상을 표시 패널(21)에 출력하고 제2 렌즈 어레이(22)를 투과시켜 시청자가 입체 영상(1')를 볼 수 있게 한다.
그런데, 관심 대상 물체를 픽업부(10)로 실제 촬영하여 전체 요소 영상을 얻을 때에, 관심 대상 물체가 다른 장애물에 가려져 촬영되면 전체 요소 영상을 표시부(2)로 출력하더라도 관심 대상 물체의 온전한 3차원 영상을 보여주지 못하므로, 픽업부(10)로 얻은 전체 요소 영상을 보정하여 장애물 영상부분을 제거할 필요가 있다.
이때, 전체 요소 영상에서 관심 대상 물체의 앞쪽에 있는 장애물의 영역을 제거하기 위해서는, 각각의 요소 영상들 내에서 그 장애물 영상부분이 어느 영역인지 먼저 정확하게 선택하여야 한다. 이를 위해, 요소 영상들로부터 깊이 맵(Depth Map)을 구성하여야 한다. 일반적으로 깊이 맵(Depth Map)은 2개의 좌우의 스테레오 영상(Stereo Image)의 차이(Disparity)를 구하고, 다시 말해서, 좌우영상에서 동일한 물체가 나타나는 영역의 위치 차이를 구하고, 그 차이(Disparity)가 크게 나타날수록 가까이에 있는 물체이고 그 차이(Disparity)가 작을수록 멀리 있는 물체로 판단하여 그 차이(Disparity)가 상대적으로 크게 나타나는 물체의 영역을 장애물에 의한 부분영상으로 선택하여 제거한다.
그리고, 좌우 영상에서 동일한 물체를 나타내는 영역인지를 알아내는 방법으로는 블록 매칭(Block Matching) 방법이 있는 데, 이는 동일한 물체가 좌우영상에서 비슷한 밝기값을 나타낸다는 제약(Constraint) 조건에 기반을 두고 있다. 그런데, 실제로는 동일한 물체에 의한 영상 영역이 아닌데도 비슷한 밝기값을 보일 때가 있을 수 있어, 장애물로 오판하여 잘못 제거하는 부분이 생길 수 있다. 이러한 잘못 제거는 관심 대상 물체의 영역에도 영향을 끼쳐 선명한 보정 영상을 얻지 못한다.
KR 10-2009-0091901 A 2009.08.31.
따라서, 본 발명의 목적은 여러 개의 요소 영상으로 이루어지는 집적영상의 특성을 이용하여 장애물 영역을 정확하게 선택하고 제거하는 3차원 집적영상의 가려짐 문제 해결방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은, 장애물에 가려진 관심대상 물체를 촬상하여 얻은 집적영상에서 장애물 영역을 제거하기 위한 3차원 집적영상의 가려짐 문제 해결방법에 있어서, 집적영상을 입력받는 집적영상 입력단계(S100); 집적영상에서 행 및 열로 각각 연속 이어진 복수의 요소영상을 선정하는 요소영상 선정단계(S110, S111); 선정한 요소영상들에 각각 동일 크기 및 동일 위치의 윈도우를 씌워 복수의 픽셀을 선택하는 원도우 선정단계(S120, S121); 윈도우의 픽셀 좌표마다 평균(
Figure pat00001
)을 추적하는 평균 추정단계(S130); 편차 벡터 b를 산출하는 편차 산출단계(S140); 가중 편미분 행렬 A를 산출하는 편미분 산출단계(S150);
Figure pat00002
의 관계식에 근거하여 시차 벡터 d를 산출하는 시차 산출단계(S160); 시차의 크기에 따라 깊이맵을 작성하는 깊이맵 생성단계(S190); 사용자로부터 지정받는 시차에 대응되는 영상부분을 제거하는 장애물 제거단계(S191);를 포함하여 이루어짐을 특징으로 한다.
상기 편차 벡터 b는,
Figure pat00003
이고,
상기 가중 편미분 행렬 A는,
Figure pat00004
이고,
상기 시차 벡터 d는, 인접한 2개의 요소영상간의 x축 방향 시차
Figure pat00005
와 y축 방향 시차
Figure pat00006
를 성분으로 하는
Figure pat00007
이며, M은 상기 윈도우 내의 픽셀 개수이고, P는 상기 윈도우 내의 픽셀 좌표이고, u은 픽셀값이고, 상기
Figure pat00008
은 요소영상의 행 번호이고
Figure pat00009
는 요소영상 열 번호임을 특징으로 한다.
상기 요소영상 선정단계(S110, S111)는,
Figure pat00010
의 배열크기로 요소영상들을 선택하고, 중심에 위치한 요소영상을 (0,0)의 행열 번호를 부여한 기준 요소영상으로 지정하고, 나머지 요소영상들에게는 각각 상기 기준 요소영상과의 위치관계에 따라 행 번호
Figure pat00011
및 열 번호
Figure pat00012
를 부여한 것임을 특징으로 한다.
상기 평균 추정단계(S130)는, 상기 기준 요소영상의 픽셀값을 상기 평균
Figure pat00013
으로 함을 특징으로 한다.
상기 원도우 선정단계(S120, S121)에서 선정하는 윈도우는, 픽셀을 성분으로 하는 정방형 행렬로 이루어짐을 특징으로 한다.
상기 원도우 선정단계(S120, S121)는, 상기 기준 요소영상에서 픽셀의 연관성에 따라 블록화한 후에, 서로 다른 블록의 픽셀이 선정되지 아니하도록 윈도우를 선정함을 특징으로 한다.
상기와 같이 이루어지는 본 발명은, 동일 물체가 복수의 요소영상에 반복적으로 출연되는 집적영상의 특성을 이용하여 복수의 요소영상을 이용하여 영상간의 시차(Disparity)를 산출하므로, 제거대상인 장애물 영역을 정확하게 선별 및 제거하는 장점을 갖는다.
또한, 본 발명은 에러 발생의 우려가 있는 블록 매칭(Block matching) 기술을 사용하는 것이 아니라, 인접하는 요소영상 간의 시차가 거의 일정하다는 조건을 이용하여 편미분에 요소영상의 위치값을 가중하여 합산한 가중 편미분 행렬로 시차를 산출하므로 적은 계산량으로 정확한 산출이 가능하다.
도 1은 집적 영상(Integral Imaging) 방식을 채용한 일반적인 입체 영상 표시 장치의 개략 구성도.
도 2는 본 발명의 실시예에 따른 3차원 집적영상의 가려짐 문제 해결방법을 구현하기 위한 입체영상 보정장치(30)의 구성도.
도 3은 본 발명의 실시예에 따른 3차원 집적영상의 가려짐 문제 해결방법의 순서도.
도 4는 요소영상들로 이루어진 집적영상의 이미지 도면 및 부분 확대 도면.
도 5는 서로 인접한 2개의 요소영상간의 시차를 보여주는 이미지 도면.
도 6은 횡열 및 종열로 연속 이어진 복수의 요소영상들간의 시차를 보여주는 이미지 도면.
도 7은 횡열 및 종열로 연속 이어진 5X5 배열의 요소영상들간의 시차를 설명하기 위한 도면.
도 8은 산출한 시차의 크기에 따라 칼라를 달리하여 표현한 깊이맵.
도 9는 장애물을 제거하기 전후의 입체영상 예시도.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 첨부된 도면들에서 구성 또는 작용에 표기된 참조번호는, 다른 도면에서도 동일한 구성 또는 작용을 표기할 때에 가능한 한 동일한 참조번호를 사용하고 있음에 유의하여야 한다. 또한, 하기에서 본 발명을 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 2는 본 발명의 실시예에 따른 3차원 집적영상의 가려짐 문제 해결방법을 구현하기 위한 입체영상 보정장치(30)의 구성도이다.
도 3은 상기 도 2에 구현되는 본 발명의 실시예에 따른 3차원 집적영상의 가려짐 문제 해결방법의 순서도이다.
상기 도 2를 살펴보면, 입체영상 보정장치(30)는 입체 영상 표시 장치로 구성되는 픽업부(10) 및 표시부(20) 중에 픽업부(10)에서 획득한 집적영상에서 관심대상 물체(1)를 가리는 장애물(2)의 영역을 제거하여 표시부(20)에 출력하도록 설치되지만, 픽업부(10)에 설치하는 방식, 표시부(20)에 설치하는 방식, 아니면, 별도의 장치로서 마련한 후에 픽업부(10)에서 획득한 집적영상을 입력받아 영상처리하여 저장하고 사용자가 필요시에 영상처리한 집적영상을 표시부(20)에 입력하여 출력하게 하는 방식 중에 어느 하나의 방식을 채택하게 할 수 있으며, 이러한 여러 방식 중에 어느 방식을 채택하여 입체영상 보정장치(30)를 구성할지는 사용자의 의도에 따른다 하겠다.
먼저, 픽업부(10) 및 표시부(20)는 공지된 기술이지만, 본 발명의 이해를 돕기 위하여 간략하게 설명한다.
픽업부(10)는, 복수의 렌즈를 행과 열을 맞추어 종횡으로 균등하게 배치한 제1 렌즈 어레이(11, Lenslet Array)와, 제1 렌즈 어레이(11)의 배후에 배치되어 렌즈별로 결상하는 이미지 센서(12, Image Sensor)를 구비하여서, 촬영 영역의 이미지를 제1 렌즈 어레이(11)의 각 렌즈별로 통과시켜 이미지 센서(12)로 결상하므로, 렌즈의 개수만큼 영상을 얻게 된다.
이와 같이 얻은 렌즈별 영상을 각각 요소영상(110)이라 하고, 이러한 요소영상(110)들을 렌즈들의 배열에 맞게 배치한 전체 영상을 집적영상(100)이라 한다.
이와 같이 관심대상 물체를 촬영하여 얻은 집적영상(100)에서, 복수의 요소영상(110)에 각각 관심대상 물체의 영상이 존재하는 데, 이때, 관심대상 물체의 위치는 요소영상(110)별로 차이가 있게 되며, 이러한 위치 차이를 시차(Disparity)라고 한다. 이러한 시차는 제1 렌즈 어레이(11)를 구성하는 렌즈들의 위치 차이에 의해서 생기는 것이고, 입체영상을 구현하는 근거가 되기도 한다.
도 4는 집적영상과 요소영상을 보여주는 도면으로서, 수조에서 유영하는 어류를 촬영하여 얻은 집적영상이다. 이에 따르면, 렌즈별로 결상한 복수의 요소영상(110)들이 각각 종횡으로 배치된 집적영상(100)을 얻게 되며, 6X5 배열의 요소영상(110)들을 부분 확대한 이미지를 보면, 어류가 요소영상들에 각각 결상되었음을 확인할 수 있다.
표시부(20)는, 픽업부(10)로 얻은 집적영상(100)을 출력하는 표시 패널(21, Display Panel)과, 상기 제1 렌즈 어레이(11)처럼 복수의 렌즈를 행과 열을 맞추어 종횡으로 균등하게 배치한 것으로 표시 패널(21)에 출력한 이미지를 렌즈별로 투과시켜 3차원 영상으로 보여주는 제2 렌즈 어레이(22, Lenslet Array)를 구비한다.
한편, 상기 도 3의 예시로 보여준 바와 같이 수조의 어류를 촬영하여 얻은 집적영상(100)을 상기 표시부(20)로 출력하여 어류를 입체 영상으로 보여줄 수 있으나, 어류가 수초에 가려진 상태로 촬영한 경우에 어류에 대한 선명한 입체영상을 보여주긴 어렵다.
이에, 본 발명은 상기 도 3의 예시도처럼 목적대상 영상인 어류를 장애물인 수초에 가려진 상태에서 상기 픽업부(10)로 촬영하여 집적영상(100)을 얻었더라도 장애물 영역을 제거하여 목적대상 영상을 선명한 입체영상으로 보여줄 수 있게 한다.
이를 위해서, 본 발명은 집적영상(100)을 구성하는 복수의 요소영상들 중에 횡열 및 종열로 연속적으로 이어지는 복수의 요소영상들을 선정 및 분석하여 시차(Disparity)를 산출하고, 시차에 근거한 깊이맵을 작성하여 장애물 영역을 삭제한다.
먼저, 상기 도 2 및 도 3을 참조한 본 발명을 설명하기에 앞서서, 본 발명의 이론적 근거를 도 4 내지 도 7을 참조하면서 설명한다.
도 4는 요소영상들로 이루어진 집적영상의 이미지 도면이고, 도 5는 서로 인접한 요소영상간의 시차를 보여주는 이미지 도면이고, 도 6은 횡열 및 종열로 연속 이어진 복수의 요소영상들간의 시차를 보여주는 이미지 도면이고, 도 7은 횡열 및 종열로 연속 이어진 5X5 배열의 요소영상들간의 시차를 설명하기 위한 도면이다.
상기 도 4를 살펴보면, 어류인 관심대상 물체(1)가 수초인 장애물(2)에 가려지므로, 관심대상 물체(1)의 입체영상을 보기 위해서는 집적영상(100)의 각각의 요소영상(110)에서 장애물(2) 영역을 제거할 필요가 있다.
이때, 횡열로 서로 인접한 2개의 요소영상간에는 동일 물체(a, a')의 위치에 차이가 있고, 종열로 서로 인접한 2개의 요소영상간에도 동일 물체(a, a'')의 위치에 차이가 있으며, 이러한 위치 차이를 상기한 바와 같이 시차(Disparity)라고 하며, 픽업부(10)로 집적영상(100)을 획득할 때에, 픽업부(10)에 가깝게 있는 물체일수록 시차가 크게 나타난다. 이러한, 시차의 크기를 이용하여 깊이맵(Depth Map)을 작성할 수 있고, 깊이맵에 근거하여 관심대상을 가리는 장애물의 영역을 선정하여 집적영상(100)의 각 요소영상에서 제거할 수 있다.
이러한, 장애물 영역을 선정하기 위해서 일반적으로 스테레오 영상 처리 방식에서는 좌우영상을 서로 매칭시켜 비슷한 밝기값을 갖는 영역을 동일 물체의 영역을 판단하는 블록 매칭(Block Matching) 기술을 사용하였으나, 실제로는 동일 물체에 대한 영역이 아니더라도 비슷한 밝기값을 가진 영역이 존재할 수 있으므로, 단순히 블록 매칭 기술을 사용하면 시차를 잘못 산출하여 부정확한 깊이맵이 작성될 수 있다.
이에, 본 발명은 횡열로 3개 이상 연속 이어진 요소영상간의 횡측 시차와, 종열로 3개 이상 연속 이어진 요소영상간의 종측 시차를 산출한다.
도 6을 참조하면 연속 이어진 요소영상간의 시차는, 인접한 요소영상간의 시차가 실질적으로 동일한 것으로 간주할 수 있으므로, 요소영상간의 시차는 서로 이격된 거리에 비례함을 알 수 있다. 예를 들어, 횡열로 서로 인접한 요소영상간의 시차가 동일하게
Figure pat00014
으로 나타나고 요소영상간의 횡측 시차는 서로 이격된 거리에 비례하여
Figure pat00015
의 배수로 증가하고, 종열로 서로 인접한 요소영상간의 시차가 동일하게
Figure pat00016
로 나타나고 종열로 이격된 거리에 비례하여
Figure pat00017
의 배수로 증가한다.
이에, 도 7에 도시한 바와 같이 횡열 및 종열로 서로 연속 이어진 5X5배열에 속한 요소영상들에 대해 살펴보면, 상측에 배열된 요소영상일수록 관심대상 물체가 요소영상 내에서 상측에 치우치고, 우측에 배열된 요소영상일수록 관심대상 물체가 요소영상 내에서 우측에 치우친다.
따라서, 5X5배열의 요소영상들 중에 중심에 위치한 요소영상의 (x,y) 좌표 상에 관심대상 물체가 포착되면, 아래의 수학식 1처럼 각각의 요소영상들 내에서 동일한 관심대상 물체에 의해 밝기값이 동일한 영역이 나타난다.
Figure pat00018
수학식 1에서, u는 요소영상 내의 픽셀(상기 도 7에서는 관심대상 물체가 영상으로 포착되어 나타나는 픽셀)을 나타내고, u의 아래첨자는 5X5배열의 요소영상들 중에 어느 요소영상 내의 픽셀인지를 나타내는 요소영상의 위치 구분자이고, (x,y)는 u로 나타낸 픽셀의 요소영상 내 좌표이다. 좌표의 표기에서
Figure pat00019
,
Figure pat00020
는 픽셀의 시차로서, 횡과 열을 구분하여 설명하면,
Figure pat00021
은 횡축 상의 인접한 요소영상간에 나타나는 횡측 시차이고,
Figure pat00022
는 종축 상의 인접한 요소영상간에 나타나는 종측 시차이다.
여기서, 시차
Figure pat00023
및
Figure pat00024
는 깊이맵의 작성에 필요한 값으로서 요소영상 내의 부분 영역에 따라 서로 다른 값을 갖는 미지수이다. 부연 설명하면, 상기 픽업부(10)로 촬영하여 집적영상(100)을 얻을 때에 촬상되는 물체와 픽업부(10) 사이의 거리에 따라 시차가 미지의 값으로 다르게 나타나는 것이다.
상기 수학식 1을 간략하게 정리하면, 다음의 수학식 2로 표시할 수 있다.
Figure pat00025
그런데, 상기 수학식 2는 요소영상별 부분 영역이 동일한 밝기값을 갖는다고 가정하였으나, 실제에서는 동일한 밝기값이 되지 아니하므로, 아래의 수학식 3을 만족하는 시차를 산출하여야 한다.
Figure pat00026
여기서,
Figure pat00027
및
Figure pat00028
는 앞서 설명하였듯이 동일한 밝기값을 갖는 부분 영역(즉, 동일 물체가 각각 촬상된 요소영상 내의 영역)에 대한 인접한 요소영상 간 시차이다.
Figure pat00029
은 요소영상의 횡 번호이고
Figure pat00030
은 요소영상의 종 번호이며, 5X5배열의 요소영상들 중에 중심에 위치한 요소영상의 횡 번호 및 종 번호를 각각 0으로 한다.
Figure pat00031
는 상수로서, 동일 물체에 의해 각각의 요소영상들 내에 포착된 부분 영역들을 평균한 값으로 하는 것이 바람직하다. 이는, 상기 수학식 3이 각각의 요소영상들 내에 포착된 부분 영역들의 편차를 제곱하여 합산(에너지 항으로 볼 수 있음)하고, 그 합산한 식을 최소화하는 조건을 구하는 것이기 때문이다. 이에 대해 부연설명하면,
Figure pat00032
를 변수하여 편차의 제곱을 합산한 식을 미분하고 미분한 식을 0으로 하여 하기의 수학식 4를 얻은 후에, 하기의 수학식 5 및 수학식 6으로 변환하여
Figure pat00033
에 대한 값을 구하면, 각 요소영상들에 부분 영역으로 표시되는
Figure pat00034
를 평균한 값으로 얻어지기 때문이다. 수학식 6에서 숫자 '25'는 상기 도 7에 도시한 바와 같이 요소영상들로 구성된 집적영상에서 5X5배열 크기를 윈도우를 씌어 25개 요소영상들을 선정하였기 때문이다.
Figure pat00035
Figure pat00036
여기서, 상기 수학식 4는 편차의 제곱합을 최소화하는 조건이므로, 시차를 최소화하는 조건으로도 사용된다.
상기 수학식 4로부터 유도하려는 식은 시차(
Figure pat00038
및
Figure pat00039
)를 표현하는 식인데, 이 시차가 부분영역
Figure pat00040
의 좌표값으로 표기되므로, 하기의 수학식 7에서 보여주는 바와 같이 근사화하여 시차에 대한 식으로 변형 가능하게 한다. 즉, 수학식 7에 따르면, 상기 수학식 4에서 요소영상별 부분영역을 나타내는 항인
Figure pat00041
를 테일러 급수(Taylor Series)로 전개하되, 1차항(first order)까지만 전개하여 근사화한다. 이에 따라, 1차항은 x 및 y에 대한 편미분항으로 나타나고, 시차(
Figure pat00042
및
Figure pat00043
)는 편미분항에 곱셈된다.
Figure pat00044
한편, 수학식 7로 유도되는 과정에서 최종 정리된 마지막 줄의 괄호 안 첫번째 항은 간단한 표기를 위한 것으로서
Figure pat00045
을 의미하며, 결국, 수학식 7은 요소영상별로 산출하는 3개 항의 합산 값 전체를 다시 합산한 식으로 정리된다.
다음으로, 수학식 7에서 괄호 안의 합산되는 3개 항을 분리하여 요소영상별 합산식으로 유도하여 다음의 수학식 8을 얻는다. 이때, 시차(
Figure pat00046
및
Figure pat00047
)는 합산식의 외부로 유도되어, x 및 y의 각각에 대한 편미분항의 합산식과 내적(Inner Product)되게 표현할 수 있다.
Figure pat00048
결국, 수학식 8에서 내적관계에 있는 시차(
Figure pat00049
및
Figure pat00050
)를 다음의 수학식 9와 같이 벡터식으로 표현할 수 있다.
Figure pat00051
상기 수학식 9를 참조하면, 요소영상별 (x,y) 좌표에서의 변수 x에 대한 편미분에 요소영상의 횡 번호를 가중치로 곱산한 값의 합산과, 요소영상별 (x,y) 좌표에서의 변수 y에 대한 편미분에 요소영상의 열 번호를 가중치로 곱산한 값의 합산을 성분으로 하는 편미분 성분의 벡터를 산출하고, 이와 같이 산출한 편미분 성분의 벡터에 시차 벡터를 내적한 값이 요소영상별 (x,y) 좌표에서의 편차를 합산한 값에 부(-)의 부호를 한 값과 동일하게 된다.
여기서, 편차는 상기한 바와 같이
Figure pat00052
을 의미하며, 보다 구체적으로 살펴보면 (x,y) 좌표에서의 픽셀값에서 상기 수학식 6으로 산출되는 평균
Figure pat00053
을 차감한 값이다. 하지만, 평균
Figure pat00054
는 구하려는 시차(
Figure pat00055
및
Figure pat00056
)를 알고 있어야만 정확하게 산출할 수 있는 값이다. 이에, 평균
Figure pat00057
를 추정하여 산입하는 것이 바람직하다. 본 발명의 실시예에서 평균
Figure pat00058
는 5X5배열의 요소영상들 중에 중심에 위치한 요소영상의 (x,y) 좌표값을 택하였다.
상기 수학식 9에 의하면 시차(
Figure pat00059
및
Figure pat00060
)의 값을 얻기 위해서는 2개 이상의 좌표에 대한 관계식을 얻어야 한다. 이에,, 요소영상에 복수의 픽셀을 포함하는 윈도우를 씌워 윈도우 내의 모든 픽셀에 대한 상기 수학식 9를 얻어서 행렬식으로 되는 하기의 수학식 10을 만들었다.
Figure pat00061
그리고, 행렬대수로 표현하여 하기의 수학식 11을 얻을 수 있다. 하기의 수학식 11에서 A는 편미분을 성분으로 하는 행렬이고 d는 구하려는 시차(
Figure pat00062
및
Figure pat00063
)를 성분으로 하는 벡터이고, b는 상기한 편차를 성분으로 하는 벡터가 된다. A 행렬의 크기는 (윈도우로 씌운 픽셀의 개수)X2이고, b 벡터는 (윈도우로 씌운 픽셀의 개수)를 길이로 갖는 열벡터이고, d 벡터는 시차(
Figure pat00064
및
Figure pat00065
)를 성분으로 하는 열벡터이다. 그리고, 하기의 수학식 11에서
Figure pat00066
은 픽셀의 좌표이다.
Figure pat00067
Figure pat00068
Figure pat00069
Figure pat00070
따라서, 시차(
Figure pat00071
및
Figure pat00072
)를 성분으로 하는 d 벡터는
Figure pat00073
의 조건을 만족하는 것이 되며, 행렬대수학을 이용하여 표현하면 벡터 d는 하기의 수학식 12로 계산할 수 있다.
Figure pat00074
본 발명에 따른 3차원 집적영상의 가려짐 문제 해결방법은, 목적대상 물체를 가리는 장애물을 상기 수학식 11을 이용하여 구분하고 삭제한다. 여기서, 장애물의 구별은 목적대상 물체의 시차보다 크게 나타나는 물체를 선택하면 된다.
이를 위한 본 발명에 따른 3차원 집적영상의 가려짐 문제 해결방법은, 상기 도 3에 도시한 입체영상 보정장치(30)에 의해 구현될 수 있다.
상기 입체영상 보정장치(30)는 복수의 요소영상들로 구성된 집적영상(100)을 입력받아 요소영상들 중에 횡 및 종으로 연속 이어진 복수의 요소영상(110)들을 선정하는 요소영상 선정부(31); 선정한 요소영상들에 각각 동일 크기 및 동일 위치에 윈도우를 씌워 서로 인접하는 복수의 픽셀들을 정하는 윈도우 선정부(32); 윈도우 내의 픽셀 위치마다 평균(
Figure pat00075
)을 산출하는 평균 산출부(34); 윈도우 내의 픽셀 위치마다 편차(
Figure pat00076
)를 산출하여 편차 벡터(b)를 획득하는 편차 산출부(35); 요소영상의 행 번호 및 열 번호를 가중치로 곱셈한 편미분을 윈도우 내의 픽셀 위치마다 산출하여 편미분 행렬(A)을 생성하는 편미분 산출부(35); 편미분 행렬(A) 및 편차 벡터(b)를 수학식 11에 산입하여 시차 벡터(d)를 획득하는 시차 산출부(36); 시차 벡터(d)의 성분으로 이루어지는 깊이맵(Depth Map)을 작성하는 깊이맵 생성부(37); 깊이맵에 근거하여 관심대상 물체를 가리는 장애물을 선별하여 각각의 요소영상에서 장애물의 픽셀값을 삭제하는 장애물 제거부(38); 를 포함한다.
한편, 요소영상들 전체에 대한 깊이맵을 생성하기 위해서는, 상기 요소영상 선정부(31)에서 집적영상을 구성하는 요소영상들을 그룹으로 나누어 블록화하고, 각 블록을 순차적으로 선택함으로써, 각 블록을 윈도우 선정부(32), 평균 추정부(33), 편미분 산출부(35) 및 시차 산출부(36)로 처리하여 시차를 산출하게 한다. 또한, 상기 윈도우 선정부(32)는 각 블록에 대해 윈도우의 위치를 바꿔가며 상기 평균 추정부(33), 편미분 산출부(35) 및 시차 산출부(36)를 반복 가동함으로써, 영상 전체에 대한 깊이값, 즉, 시차를 산출하게 한다.
이하, 상기 입체영상 보정장치(30)로 이루어지는 본 발명의 실시예에 따른 3차원 집적영상의 가려짐 문제 해결방법을 설명한다.
3차원 집적영상의 가려짐 문제 해결방법은, 집적영상을 입력받는 집적영상 입력단계(S100); 집적영상에서 행 및 열로 각각 연속 이어진 복수의 요소영상을 선정하는 요소영상 선정단계(S110, S111); 선정한 요소영상들에 각각 동일 크기 및 동일 위치의 윈도우를 씌워 복수의 픽셀을 선택하는 원도우 선정단계(S120, S121); 윈도우의 픽셀 좌표마다 평균(
Figure pat00077
)을 추정하는 평균 추정단계(S130); 편차 벡터 b를 산출하는 편차 산출단계(S140); 가중 편미분 행렬 A를 산출하는 편미분 산출단계(S150);
Figure pat00078
의 관계식에 근거하여 시차 벡터 d를 산출하는 시차 산출단계(S160); 시차의 크기에 따라 깊이맵을 작성하는 깊이맵 생성단계(S190); 사용자로부터 지정받는 시차에 대응되는 영상부분을 제거하는 장애물 제거단계(S191);를 포함하여 이루어진다.
이때, 상기 편차 벡터 b는 하기의 수학식 13으로 정의되고, 상기 가중 편미분 행렬 A는 하기의 수학식 14로 정의되고, 상기 시차 벡터 d는 하기의 수학식 15로 정의된다.
Figure pat00079
Figure pat00080
Figure pat00081
상기 수학식 13 내지 15에서,
Figure pat00082
은 x축 방향으로 서로 인접한 2개의 요소영상간의 시차이고,
Figure pat00083
는 y축 방향으로 서로 인접한 2개의 요소영상간의 시차이다. M은 상기 윈도우 내의 픽셀 개수이고, P는 상기 윈도우 내의 픽셀 좌표이고, u은 픽셀값이다. 물론 u를 편미분한 항은 편미분식에 P좌표를 대입하여 얻는다.
상기
Figure pat00084
은 요소영상의 행 번호이고
Figure pat00085
는 요소영상의 열 번호이되, 상기 요소영상 선정단계(S110, S111)에서 선택한 요소영상들 중에 어느 하나를 (0,0)의 행열 번호를 갖는 기준 요소영상으로 지정하고, 나머지 요소영상들에게 각각 상기 기준 요소영상과의 위치관계에 따라 행 번호 및 열 번호를 부여한 것이다. 만약에, 기준 요소영상을 지정하지 아니하고 위치에 따라 행열번호를 순차적으로 부여하였다면, 기준 요소영상의 행열번호와의 차이를
Figure pat00086
및
Figure pat00087
으로 표시한다.
바람직하게는, 상기 수학식 13 및 14에서처럼, 상기 요소영상 선정단계(S110, S111)에서
Figure pat00088
의 배열크기로 요소영상들을 선택하고, 중심에 위치한 요소영상을 상기 기준 요소영상으로 지정하는 것이 바람직하다.
Figure pat00089
는 각 픽셀 좌표에 대해
Figure pat00090
의 관계식으로 산출하는 것이 바람직하지만, 시차
Figure pat00091
및
Figure pat00092
를 알기 전이므로, 본 발명의 실시예에서는 상기 요소영상 선정단계(S110, S111)에서 선택된 요소영상들 중에 상기 기준 요소영상에서 픽셀값을 선택한다.
한편, 상기 윈도우 선정단계(S120, 121)에서, 원도우를 씌워 픽셀을 선택할 시에, 서로 다른 물체, 즉, 깊이 값이 서로 다른 물체의 영역에 속한 픽셀이 동일한 윈도우에 포함될 경우, 시차를 정확하게 얻을 수 없으므로, 상기 윈도우는 동일 물체 영역, 즉, 깊이 값이 같은 영역 내에 윈도우를 선정하는 것이 바람직하다. 이를 위해서, 먼저, 블록화 알고리즘을 이용하여 요소영상을 블록화하고(S120), 이후에 서로 다른 블록의 픽셀이 윈도우에 포함되지 아니하고 대신에 동일 블록에 속한 픽셀들만 윈도우에 포함하도록 윈도우를 선정한다(S121).
본 발명의 실시예에 따르면, 상기 기준 요소영상을 지정하므로, 상기 기준 요소영상에 대해서만 블록화를 하여 윈도우를 선정하고, 상기 기준 요소영상을 제외한 요소영상의 윈도우는 기준 요소영상 상의 윈도우 위치와 동일한 위치에 선정하면 된다.
상기한 블록화 알고리즘은 픽셀의 연관성에 근거하여 동일 물체로 간주되는 픽셀을 그룹화하는 알고리즘으로서 공지된 기술인 바 상세한 설명을 생략한다.
본 발명의 실시예에 따르면 깊이맵을 작성하므로, 요소영상을 블록화할 시에, 서로 다른 위치에 각각 윈도우를 미리 선정하고 순번을 정한 후에, 순번에 따라 평균 추정단계(S130)부터 시차 산출단계(S160)까지에 이르는 공정을 반복하게 한다(S170). 이에 따라, 요소영상 내에 포착된 물체 전체에 대한 시차를 산출하여 깊이맵을 작성할 수 있다. 각각 윈도우는 겹치지 아니하게 선정할 수 있다.
또한, 장애물 영역은 집적영상을 구성하는 요소영상들에 각각 나타날 수 있으므로, 상기 요소영상 선정단계(S110, S111)는 집적영상을 구성하는 요소영상들을 그룹화하고 각 그룹에 순번을 정하고(S110), 이후에 순번에 따라 그룹을 선정하여(S111) 선정한 그룹에 속한 요소영상들에 대한 시차를 산출하는 과정을 반복하게 한다(S180). 이에 따라, 집적영상을 구성하는 요소영상들 전체에 대한 깊이맵을 도 8처럼 작성할 수 있다. 이때, 상술한 바와 같이 그룹 내의 인접한 요소영상들 간의 시차가 동일하다고 가정하지만, 어느 하나의 요소영상에 씌운 윈도우의 픽셀이 다른 모든 요소영상에 출몰하는 것은 아니고, 그룹의 크기를 너무 크게 하면 시차가 균일하지 아니하고 약간의 차이가 발생할 수 있으므로, 그룹의 크기는 반복 실험에 의해 적절한 크기로 설정하는 것이 바람직하다.
도 8은 관심대상 물체를 사람의 얼굴로 하고 얼굴 앞에 조그만 나무 조형물을 배치한 후에 촬영하여 얻은 집적영상의 깊이맵을 보여주는 도면으로서, 집적영상을 시차의 크기에 따라 색상을 달리하여 표현하였다. 시차는 x축 성분과 y축 성분으로 구해지므로, x축방향 시차와 y축방향 시차를 각각 도시하였다.
그리고, 장애물인 나무 조형물 영역을 제거하기 전의 집적영상과 상기 도 8에 근거한 마스크를 씌워 장애물을 제거한 집적영상을 각각 표시부(20)로 출력하면, 도 9에 도시한 바와 같이 장애물을 제거한 영상은 장애물을 제거하기 전에 비해 선명하다.
이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시 예로 도시하고 설명하였으나, 본 발명은 상기와 같이 구체적인 실시 예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
1 : 관심대상 물체 1' : 시청 영상 2 : 장애물
10 : 픽업부 11 : 제1 렌즈 어레이 12 : 이미지 센서
20 : 표시부 21 : 표시 패널 22 : 제2 렌즈 어레이
30 : 입체영상 보정장치
31 : 요소영상 선정부 32 : 윈도우 선정부
33 : 평균 추정부 34 : 편차 산출부
35 : 편미분 산출부 36 : 시차 산출부
37 : 깊이맵 생성부 38 : 장애물 제거부
100 : 집적영상 110 : 요소영상

Claims (5)

  1. 장애물에 가려진 관심대상 물체를 촬상하여 얻은 집적영상에서 장애물 영역을 제거하기 위한 3차원 집적영상의 가려짐 문제 해결방법에 있어서,
    집적영상을 입력받는 집적영상 입력단계(S100);
    집적영상에서 행 및 열로 각각 연속 이어진 복수의 요소영상을 선정하는 요소영상 선정단계(S110, S111);
    선정한 요소영상들에 각각 동일 크기 및 동일 위치의 윈도우를 씌워 복수의 픽셀을 선택하는 원도우 선정단계(S120, S121);
    윈도우의 픽셀 좌표마다 평균(
    Figure pat00093
    )을 추적하는 평균 추정단계(S130);
    편차 벡터 b를 산출하는 편차 산출단계(S140);
    가중 편미분 행렬 A를 산출하는 편미분 산출단계(S150);
    Figure pat00094
    의 관계식에 근거하여 시차 벡터 d를 산출하는 시차 산출단계(S160);
    시차의 크기에 따라 깊이맵을 작성하는 깊이맵 생성단계(S190);
    사용자로부터 지정받는 시차에 대응되는 영상부분을 제거하는 장애물 제거단계(S191);
    를 포함하여 이루어지되,
    상기 편차 벡터 b는,
    Figure pat00095

    이고,
    상기 가중 편미분 행렬 A는,
    Figure pat00096

    이고,
    상기 시차 벡터 d는, 인접한 2개의 요소영상간의 x축 방향 시차
    Figure pat00097
    와 y축 방향 시차
    Figure pat00098
    를 성분으로 하는
    Figure pat00099
    이며,
    M은 상기 윈도우 내의 픽셀 개수이고, P는 상기 윈도우 내의 픽셀 좌표이고, u은 픽셀값이고, 상기
    Figure pat00100
    은 요소영상의 행 번호이고
    Figure pat00101
    는 요소영상 열 번호임을 특징으로 하는 3차원 집적영상의 가려짐 문제 해결방법.
  2. 제 1항에 있어서,
    상기 요소영상 선정단계(S110, S111)는,
    Figure pat00102
    의 배열크기로 요소영상들을 선택하고, 중심에 위치한 요소영상을 (0,0)의 행열 번호를 부여한 기준 요소영상으로 지정하고, 나머지 요소영상들에게는 각각 상기 기준 요소영상과의 위치관계에 따라 행 번호
    Figure pat00103
    및 열 번호
    Figure pat00104
    를 부여한 것임을 특징으로 하는 3차원 집적영상의 가려짐 문제 해결방법.
  3. 제 2항에 있어서,
    상기 평균 추정단계(S130)는,
    상기 기준 요소영상의 픽셀값을 상기 평균
    Figure pat00105
    으로 함을 특징으로 하는 3차원 집적영상의 가려짐 문제 해결방법.
  4. 제 3항에 있어서,
    상기 원도우 선정단계(S120, S121)에서 선정하는 윈도우는,
    픽셀을 성분으로 하는 정방형 행렬로 이루어짐을 특징으로 하는 3차원 집적영상의 가려짐 문제 해결방법.
  5. 제 4항에 있어서,
    상기 원도우 선정단계(S120, S121)는,
    상기 기준 요소영상에서 픽셀의 연관성에 따라 블록화한 후에, 서로 다른 블록의 픽셀이 선정되지 아니하도록 윈도우를 선정함을 특징으로 하는 3차원 집적영상의 가려짐 문제 해결방법.
KR1020130014864A 2013-02-12 2013-02-12 3차원 집적영상의 가려짐 문제 해결방법 KR101435611B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130014864A KR101435611B1 (ko) 2013-02-12 2013-02-12 3차원 집적영상의 가려짐 문제 해결방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130014864A KR101435611B1 (ko) 2013-02-12 2013-02-12 3차원 집적영상의 가려짐 문제 해결방법

Publications (2)

Publication Number Publication Date
KR20140101559A true KR20140101559A (ko) 2014-08-20
KR101435611B1 KR101435611B1 (ko) 2014-08-28

Family

ID=51746869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130014864A KR101435611B1 (ko) 2013-02-12 2013-02-12 3차원 집적영상의 가려짐 문제 해결방법

Country Status (1)

Country Link
KR (1) KR101435611B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051241A (ko) * 2016-11-08 2018-05-16 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
WO2019112096A1 (ko) * 2017-12-07 2019-06-13 전자부품연구원 육각 렌즈를 이용한 집적영상 시스템의 시점영상 매핑 방법
KR102253320B1 (ko) * 2019-12-26 2021-05-17 충북대학교 산학협력단 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090160985A1 (en) 2007-12-10 2009-06-25 The University Of Connecticut Method and system for recognition of a target in a three dimensional scene
KR20090091901A (ko) * 2008-02-26 2009-08-31 동서대학교산학협력단 장애물 제거를 이용한 3차원 물체 인식 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051241A (ko) * 2016-11-08 2018-05-16 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
WO2019112096A1 (ko) * 2017-12-07 2019-06-13 전자부품연구원 육각 렌즈를 이용한 집적영상 시스템의 시점영상 매핑 방법
KR102253320B1 (ko) * 2019-12-26 2021-05-17 충북대학교 산학협력단 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
WO2021132824A1 (ko) * 2019-12-26 2021-07-01 충북대학교 산학협력단 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템

Also Published As

Publication number Publication date
KR101435611B1 (ko) 2014-08-28

Similar Documents

Publication Publication Date Title
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
EP3654286B1 (en) Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
JP6412690B2 (ja) 深さ情報を取得する方法及びディスプレイ装置
US8526716B2 (en) Analysis of stereoscopic images
TWI517136B (zh) Image display device and image display method
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
KR101082046B1 (ko) 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
WO2013038833A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP5318168B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
KR101435611B1 (ko) 3차원 집적영상의 가려짐 문제 해결방법
EP1997072B1 (en) Method for determining a depth map from images, device for determining a depth map
KR100590025B1 (ko) 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
CN102567992B (zh) 遮挡区域的图像匹配方法
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
US20130176388A1 (en) Method and device for providing temporally consistent disparity estimations
CN102547343B (zh) 立体图像处理方法、立体图像处理装置和显示装置
WO2012116350A2 (en) Figure-ground organization of 3-d scenes
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20150130078A (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
KR101362462B1 (ko) 스테레오 카메라를 이용한 장애물 검출 장치 및 방법
CN109698950B (zh) 立体视觉系统的增强方法及立体视觉系统
KR20140067253A (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 6