KR101556684B1 - 뎁스 맵 생성 방법 및 이를 이용하는 장치 - Google Patents

뎁스 맵 생성 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR101556684B1
KR101556684B1 KR1020140025214A KR20140025214A KR101556684B1 KR 101556684 B1 KR101556684 B1 KR 101556684B1 KR 1020140025214 A KR1020140025214 A KR 1020140025214A KR 20140025214 A KR20140025214 A KR 20140025214A KR 101556684 B1 KR101556684 B1 KR 101556684B1
Authority
KR
South Korea
Prior art keywords
depth map
image
focus
reliability
ground
Prior art date
Application number
KR1020140025214A
Other languages
English (en)
Other versions
KR20150103602A (ko
Inventor
유호영
김태정
송원석
최두섭
김보은
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020140025214A priority Critical patent/KR101556684B1/ko
Publication of KR20150103602A publication Critical patent/KR20150103602A/ko
Application granted granted Critical
Publication of KR101556684B1 publication Critical patent/KR101556684B1/ko

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 뎁스 맵 생성 방법 및 이를 이용하는 장치에 관한 것이다. 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법은 영상이 지면을 포함하는지 여부를 결정하는 단계, 영상이 지면을 포함하는지 포함하지 않는지에 따라 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계 및 신뢰도와 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계를 포함하는 것을 특징으로 한다. 본 발명은 다양한 뎁스 큐를 조합하여 뎁스 맵을 생성하는데 있어, 포커스 뎁스 맵에 대한 독립적인 신뢰성을 산출할 수 있는 효과가 있다.

Description

뎁스 맵 생성 방법 및 이를 이용하는 장치{DEPTH MAP GENERATION METHOD AND APPARATUS USING THE SAME}
본 발명은 뎁스 맵 생성 방법 및 이를 이용하는 장치에 관한 것으로서, 보다 상세하게는 포커스 뎁스 맵을 이용한 뎁스 맵 생성 방법 및 이를 이용하는 장치에 관한 것이다.
3D 기술이 발전함에 따라 3D 영상에 대한 수요가 증가하고 있다. 그러나, 3D 영상의 수는 2D 영상에 비해 절대적으로 부족하여 3D 영상을 제공하는데 어려움이 있어왔다. 이에 따라, 2D 영상을 3D 영상으로 변환하는 기술이 개발되었다.
2D 영상을 3D 영상으로 변환하기 위해서는 영상의 깊이를 나타내는 뎁스 맵 (depth map) 이 필요하며, 뎁스 맵을 기초로 2D 영상은 3D 영상으로 렌더링된다. 관련하여, 뎁스 맵을 생성하기 위한 다양한 뎁스 측정 방식들이 존재한다. 각각의 뎁스 측정 방식들에는 장단점이 있다. 예를 들어, 현저성을 기반으로 한 뎁스 측정 방식은 영상에 현저한 객체가 있는 경우에는 효율적이나 풍경과 같이 현저한 객체가 없는 경우에는 유용하지 못하다.
이에 따라, 다양한 뎁스 측정 방식을 조합하여 뎁스 맵을 생성하기 위한 방법이 연구되고 있다. 한편, 다양한 방식 중 하나인 포커스 뎁스 맵은 촬영 장치의 시점으로부터 거리가 멀어질수록 포커스 블러 (blur) 가 증가한다는 가정에 기초한다. 그러나, 포커스 뎁스 맵은 조합된 최종 뎁스 맵을 생성하는데 있어서 부가적으로 사용되어왔을 뿐이고, 포커스 뎁스 맵이 높은 효과를 보일 수 있는 영상에 효율적으로 적용되지 못하였다.
본 발명이 해결하고자 하는 과제는, 다양한 뎁스 맵을 조합하여 최종 뎁스 맵을 생성하는데 있어, 포커스 뎁스 맵에 대한 독립적인 신뢰성을 산출할 수 있는 뎁스 맵 생성 방법 및 이를 이용하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 영상이 포커스 뎁스 맵 적용에 적합한지를 판단할 수 있는 뎁스 맵 생성 방법 및 이를 이용하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 2D 영상으로부터 3D 영상을 더 높은 완성도로 변환할 수 있는 뎁스 맵 생성 방법 및 이를 이용하는 장치를 제공하는 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법은 영상이 지면을 포함하는지 여부를 결정하는 단계, 영상이 지면을 포함하는지 포함하지 않는지에 따라 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계 및 포커스 뎁스 맵에 대한 신뢰도와 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, 영상이 지면을 포함하는 경우, 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계는, 영상의 에지 픽셀을 식별하는 단계, 영상의 에지 픽셀로부터 라플라시안 값을 기초로 포커스 픽셀을 선택하는 단계 및 영상의 전체 포커스 픽셀의 수에 대한 영상 중 일부의 포커스 픽셀의 수의 비를 포커스 뎁스 맵에 대한 신뢰도로 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 영상 중 일부는 영상의 하부 영역인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 영상이 지면을 포함하지 않는 경우, 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계는, 영상에 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 뎁스 맵을 생성하는 단계는, 의사 뎁스 맵, 컨텍스트 뎁스 맵, 객체 뎁스 맵, 알파 뎁스 및 수직-에지 뎁스 중 적어도 하나의 뎁스 맵과 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 적어도 하나의 뎁스 맵과 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계는 하기의 식에 기초하여 뎁스 맵을 생성하는 것을 특징으로 한다.
Figure 112014020979208-pat00001
(식 1)
(여기서, D (x,y) 는 뎁스 맵, DP (x,y) 는 적어도 하나의 뎁스 맵, DF (x,y) 는 포커스 뎁스 맵, α는 적어도 하나의 뎁스 맵에 대한 신뢰도,
Figure 112014020979208-pat00002
는 포커스 뎁스 맵에 대한 신뢰도이다.)
본 발명의 또 다른 특징에 따르면, 영상이 지면을 포함하는지 여부를 결정하는 단계는 SVM (support vector machine) 을 통해 수행되는 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치는 영상에 대한 뎁스 맵을 생성하기 위한 뎁스 맵 생성 장치로서, 영상이 지면을 포함하는지 여부를 결정하도록 구성된 지면 결정부, 영상이 지면을 포함하는지 포함하지 않는지에 따라 포커스 뎁스 맵에 대한 신뢰도를 산출하기 위한 신뢰도 산출부 및 포커스 뎁스 맵에 대한 신뢰도와 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하도록 구성된 뎁스 맵 생성부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 신뢰도 산출부는 영상이 지면을 포함하는 경우, 영상의 에지 픽셀을 식별하고, 영상의 에지 픽셀로부터 라플라시안 값을 기초로 포커스 픽셀을 선택하고, 영상의 포커스 픽셀 전체와 영상 중 일부의 포커스 픽셀의 비를 포커스 뎁스 맵에 대한 신뢰도로 결정함으로써, 포커스 뎁스 맵에 대한 신뢰도를 산출하도록 구성된 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 영상 중 일부는 영상의 하부 영역인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 신뢰도 산출부는 영상이 지면을 포함하지 않는 경우, 영상에 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 결정함으로써, 포커스 뎁스 맵에 대한 신뢰도를 산출하도록 구성된 것을 특징으로 한다.
본 발명은 다양한 뎁스 맵을 조합하여 뎁스 맵을 생성하는데 있어, 포커스 뎁스 맵에 대한 독립적인 신뢰성을 산출할 수 있는 효과가 있다.
또한, 포커스 뎁스 맵에 대한 보다 정확한 신뢰성을 산출하기 위해, 영상이 포커스 뎁스 맵 적용에 적합한지를 판단할 수 있는 효과 및 2D 영상으로부터 3D 영상을 더 높은 완성도로 변환할 수 있는 뎁스 맵 생성 방법 및 이를 이용하는 장치를 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 존재하는지 여부를 결정하는 동작을 설명하기 위한 개략도이다.
도 3의 (a) 는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 있는 경우, 포커스 맵의 신뢰도를 산출하는 동작을 설명하기 위한 개략도이다.
도 3의 (b) 는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 있는 경우, 포커스 맵의 신뢰도를 산출하는 동작을 설명하기 위한 그래프이다.
도 4는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 있는 경우, 포커스 맵의 신뢰도를 산출하는 동작을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법에서 포커스 맵에 대한 신뢰도를 적용하는 실시예에 대한 개략도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 본 발명의 여러 실시예들의 각각 단계들이 순차적으로 또는 연관하여 실행 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 순서 변형이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치의 블록도이다. 도 1을 참조하면, 뎁스 맵 생성 장치 (100) 는 지면 결정부 (110), FDM (FDM; Focus Depth Map) 신뢰도 산출부 (120), FDM 생성부 (130), 뎁스 맵 생성부 (140) 를 포함한다.
뎁스 맵 생성 장치 (100) 는 다양한 타입의 뎁스 맵 중 적어도 포커스 뎁스 맵을 사용하여 최종 뎁스 맵을 생성하기 위한 장치이다. 뎁스 맵은 2D 영상을 3D 영상으로 변환하는데 사용되는 요소이다. 뎁스 맵은 2D 영상을 3D 영상으로 변환하는 기능 이외에도, 영상 내에서의 객체 분리 등과 같이 다양한 용도로 활용될 수 있다.
지면 결정부 (110) 는 영상을 수신하고, 영상이 지면을 포함하는지 여부를 결정한다. 지면 결정부 (110) 는 다양한 방식으로 영상이 지면을 포함하는지를 결정할 수 있다. 예를 들어, 지면 결정부 (110) 는 SVM (support vector machine) 을 이용하여 영상이 지면을 포함하는지를 결정할 수 있다. 지면 결정부 (110) 는 영상의 하부 영역이 영상을 촬영하는 장치와 가장 가까운 영역인 경우, 영상이 지면을 포함하는 것으로 결정할 수 있다. 반대로 영상의 하부 영역이 영상을 촬영하는 장치와 가장 가까운 영역이 아닌 경우, 지면 결정부 (110) 는 영상이 지면을 포함하지 않는 것으로 결정한다.
도 2는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 존재하는지 여부를 결정하는 동작을 설명하기 위한 개략도이다. 도 2의 (a) 를 참조하면, 영상 (210) 과 영상 (220) 의 하부 영역은 영상을 촬영하는 장치와 가장 가까운 영역이다. 반면, 도 2의 (b) 를 참조하면, 영상 (230) 과 영상 (240) 의 하부 영역은 영상을 촬영하는 장치와 가장 가까운 영역이 아니다. 영상 (230) 에서 영상 (230) 의 하부 영역과 상단은 영상을 촬영하는 장치와 실질적으로 동일한 거리를 가진다. 반대로, 영상 (210) 과 영상 (220) 에서는 하단에서 상단으로 갈수록 점점 영상을 촬영하는 장치와의 거리가 멀어진다.
뎁스 맵 생성 장치 (100) 는 영상이 지면을 포함하는지 여부에 따라 상이한 방식을 적용하여 포커스 뎁스 맵에 대한 신뢰도를 산출하므로, 지면 결정부 (110) 에 의한 영상의 지면 포함 여부는 FDM 신뢰도 산출부 (120) 에서의 동작에 영향을 미친다.
다시 도 1을 참조하면, FDM 신뢰도 산출부 (120) 는 영상이 지면을 포함하는지 포함하지 않는지에 따라 포커스 뎁스 맵에 대한 신뢰도를 산출한다. FDM 신뢰도 산출부 (120) 는 영상이 지면을 포함하는 경우 영상의 하부 영역이 포커스되는지에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 산출한다. FDM 신뢰도 산출부 (120) 는 영상이 지면을 포함하지 않는 경우 영상에 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 산출한다. 포커스 뎁스 맵에 대한 신뢰도를 산출하는 보다 구체적인 구성에 대해서는 도 3 및 4를 참조하여 후술한다.
FDM 생성부 (130) 는 영상으로부터 포커스 뎁스 맵을 생성한다. 포커스 뎁스 맵은 영상에서의 블러 정도에 대한 뎁스 맵이다. 포커스 뎁스 맵은 촬영되는 객체가 영상을 촬영한 장치로부터 멀어질수록 포커스 블러가 증가한다는 가정에 기초한다. 따라서, 포커스 뎁스 맵은 포커스 블러의 양에 의해 결정된다.
포커스 블러의 양을 측정하기 위한 다양한 방식이 있다. FDM 생성부 (130) 는 제한되지 않고 라플라시안 (Laplacian) 기반 방식, 통계적인 측정 방식, 그라디언트 (gradient) 기반 방식 등 중 적어도 하나의 방식을 이용하여 포커스 뎁스 맵을 생성할 수 있다. 바람직하게 FDM 생성부 (130) 는 라플라시안 기반 방식을 이용할 수 있다.
뎁스 맵 생성부 (140) 는 FDM 생성부 (130) 로부터의 포커스 뎁스 맵과 FDM 신뢰도 산출부 (120) 로부터의 포커스 뎁스 맵에 대한 신뢰도를 수신하고, 적어도 포커스 뎁스 맵과 포커스 뎁스 맵에 대한 신뢰도에 기초하여 최종 뎁스 맵을 생성한다.
뎁스 맵 생성부 (140) 는 포커스 뎁스 맵 뿐만 아니라 다양한 뎁스 맵을 이용하여 최종 뎁스 맵을 생성할 수 있다. 예를 들어, 뎁스 맵 생성부 (140) 는 포커스 뎁스 맵 이외에 의사 뎁스 맵 (pseudo depth map), 컨텍스트 뎁스 맵 (context depth map), 현저성에 기초한 객체 뎁스 맵 (object depth map), 내추럴 분석에 의한 알파 뎁스 맵 (alpha depth), 수직/에지 뎁스 맵 등을 조합하여 최종 뎁스 맵을 생성할 수 있다.
예를 들어 뎁스 맵 생성부 (140) 가 포커스 뎁스 맵과 의사 뎁스 맵을 이용하는 경우 아래와 같은 수학식 1을 이용하여 최종 뎁스 맵을 생성할 수 있다.
[수학식 1]
Figure 112014020979208-pat00003

여기서, D (x,y) 는 뎁스 맵, DP (x,y) 는 의사 뎁스 맵, DF (x,y) 는 포커스 뎁스 맵, α는 의사 뎁스 맵에 대한 신뢰도,
Figure 112014020979208-pat00004
는 포커스 뎁스 맵에 대한 신뢰도이다.
수학식 1에서 의사 뎁스 맵과 포커스 뎁스 맵 각각은 포커스 뎁스 맵에 대한 신뢰도에 의해 조정된다. 즉, 포커스 뎁스 맵에 대한 독립적인 신뢰도는 최종 뎁스 맵 생성에 영향을 준다. 기존의 뎁스 맵 생성 방법에서는 포커스 뎁스 맵에 대한 신뢰도를 측정할 방법이 없었기 때문에 포커스 뎁스 맵에 대한 신뢰도는 독립적이지 않고, 예를 들어 의사 뎁스 맵에 대한 신뢰도에 종속적이었다. 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법은 포커스 뎁스 맵에 대한 독립적인 신뢰도를 이용함으로써, 포커스 뎁스 맵의 보다 효율적인 적용을 가능하게 한다.
도 3의 (a) 는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 있는 경우, 포커스 맵의 신뢰도를 산출하는 동작을 설명하기 위한 개략도이다. 설명의 편의를 위해 도 1에서의 FDM 신뢰도 산출부 (120) 를 참조하여 설명한다.
영상에 지면이 있는 경우, FDM 신뢰도 산출부 (120) 는 영상의 하부 영역에 위치한 포커스 픽셀의 수에 기초하여 포커스 뎁스 맵의 신뢰도를 산출한다. 포커스 픽셀이란 에지 픽셀들 중 라플라시안 포커스 값이 영상에서 상위 10% 이상인 픽셀들을 의미한다. 라플라시안 포커스 값은 영상의 픽셀들에 라플라시안 함수를 적용하는 경우 에지 픽셀들이 반환하는 값을 의미한다. 라플라시안 포커스 값이 클수록 픽셀이 더 포커스된 것으로 이해될 수 있다.
도 3의 (a) 를 참조하면, FDM 신뢰도 산출부 (120) 는 라플라시안 필터를 이용하여 영상 (310) 에서 에지를 검출한다. 검출된 에지 픽셀들은 에지 픽셀 영상 (320) 에 표시된다. 에지 픽셀들 각각은 라플라시안 포커스 값을 가진다.
FDM 신뢰도 산출부 (120) 는 에지 픽셀 영상 (320) 의 에지 픽셀들에서 포커스 픽셀을 선택한다. 도 3의 (b) 는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상 (310) 에 지면이 있는 경우, 포커스 맵의 신뢰도를 산출하는 동작을 설명하기 위한 그래프이다.
도 3의 (b) 의 그래프는 에지 픽셀 영상 (320) 의 픽셀들에 대한 라플라시안 포커스 값의 히스토그램이다. x축은 에지 픽셀들이 갖는 라플라시안 포커스 값을 나타내고, y축은 에지 픽셀들의 수를 나타낸다. 포커스 픽셀은 영상의 에지 픽셀들 중에서 상위 10% 이상의 라플라시안 포커스 값을 갖는 픽셀들이며, 이에 기초하여 포커스 픽셀을 선택하기 위한 임계치가 결정된다. 도 3의 (b) 의 그래프에서 임계치 이상의 라플라시안 포커스 값을 갖는 에지 픽셀들이 포커스 픽셀로 선택된다.
도 3의 (a) 에서 포커스 픽셀 영상 (330) 은 선택된 포커스 픽셀들만이 표시된 영상이다. FDM 신뢰도 산출부 (120) 는 포커스 픽셀들의 분포를 분석하여 포커스 뎁스 맵에 대한 신뢰도를 산출한다.
도 4는 본 발명의 일 실시예에 따른 뎁스 맵 생성 장치에서 영상에 지면이 있는 경우, 포커스 맵의 신뢰도를 산출하는 동작을 설명하기 위한 개략도이다. 설명의 편의를 위해 도 1에서의 FDM 신뢰도 산출부 (120) 를 참조하여 설명한다. 도 4의 포커스 픽셀 영상 (400) 은 도 3의 (a) 의 포커스 픽셀 영상 (330) 과 동일한 영상이다.
FDM 신뢰도 산출부 (120) 는 포커스 픽셀들이 나타난 포커스 픽셀 영상 (400) 의 일부에 존재하는 포커스 픽셀의 수와 포커스 픽셀 전체의 비를 포커스 뎁스 맵에 대한 신뢰도로 결정한다. 바람직하게는 포커스 픽셀 영상 (400) 의 일부는 영상의 하부 영역이다. 이하에서, 포커스 뎁스 맵에 대한 신뢰도
Figure 112014020979208-pat00005
는 다음 수학식 2와 같다.
[수학식 2]
Figure 112014020979208-pat00006

여기서,
Figure 112014020979208-pat00007
는 포커스 뎁스 맵에 대한 신뢰도이고, 0 내지 1 사이의 값이며, Nb는 포커스 픽셀 영상의 하부 영역에 존재하는 포커스 픽셀의 수이고, Nt는 전체 포커스 픽셀의 수이다.
도 4를 참조하면, 포커스 픽셀 영상 (400) 에 존재하는 전체 포커스 픽셀의 수 Nt는 7210개이고, 포커스 픽셀 영상 (400) 의 하부 영역 (410) 에 존재하는 전체 포커스 픽셀의 수 Nb는 4817이며, 포커스 뎁스 맵에 대한 신뢰도
Figure 112014020979208-pat00008
는 0.6681로 산출된다. 산출된 포커스 뎁스 맵에 대한 신뢰도
Figure 112014020979208-pat00009
는 전술된 수학식 1에서 포커스 뎁스 맵에 대한 신뢰도로 사용될 수 있다.
FDM 신뢰도 산출부 (120) 는 영상이 지면을 포함하지 않는 경우 영상에 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 결정한다. 영상이 지면을 포함하지 않는 영상은 클로즈-업 영상이거나 실내의 영상인 경우가 많다. 클로즈-업 영상이나 실내 영상에서 포커스 뎁스 맵에 대한 신뢰도는 현저한 객체의 존재 여부 및 객체가 얼마나 현저한지에 따라 결정된다. 포커스 뎁스 맵에 대한 신뢰도는 현저한 객체가 존재하지 않는 경우에 비해 영상에 현저한 객체가 존재하는 경우에 더 높게 된다. 따라서, FDM 신뢰도 산출부 (120) 는 영상이 지면을 포함하지 않는 경우라면, 현저한 객체가 존재하는지 여부 및 그 현저성의 정도에 기초하여 포커스 맵에 대한 신뢰도를 산출한다.
FDM 신뢰도 산출부 (120) 는 예를 들어 SVM, 주관적 평가를 포함하는 데이터베이스 또는 룩업테이블 (look-up table) 을 이용하여 영상에 현저한 객체가 존재하는지 및 그 현저성을 산출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법의 흐름도이다. 설명의 편의를 위해 도 1의 구성요소와 도면부호를 참조하여 설명한다.
먼저, 지면 결정부 (110) 는 영상이 지면을 포함하는지 여부를 결정한다 (S110). 영상이 지면을 포함하는지는 예를 들어 SVM을 이용하여 결정될 수 있다. 지면 결정부 (110) 의 지면 포함 여부를 기초로 FDM 신뢰도 산출부 (120) 는 영상이 지면을 포함하는 경우와 포함하지 않는 경우로 나누어 포커스 뎁스 맵에 대한 신뢰도를 산출한다.
영상이 지면을 포함하는 경우, FDM 신뢰도 산출부 (120) 는 먼저 영상의 에지 픽셀을 식별한다 (S120). 영상의 에지 픽셀은 예를 들어 라플라시안 필터를 통해 획득될 수 있다. 다음으로, FDM 신뢰도 산출부 (120) 는 영상의 에지 픽셀들 중에서 라플라시안 포커스 값을 기초로 포커스 픽셀을 선택한다 (S130). 예를 들어 FDM 신뢰도 산출부 (120) 는 영상의 에지 픽셀들 중에서 상위 10% 이상의 라플라시안 포커스 값을 갖는 에지 픽셀들을 포커스 픽셀로 결정할 수 있다.
다음으로, FDM 신뢰도 산출부 (120) 는 영상의 포커스 픽셀 전체의 수와 영상 중 일부 포커스 픽셀의 수에 대한 비를 포커스 뎁스 맵에 대한 신뢰도로 결정한다 (S140). 일부 포커스 픽셀의 수는 영상의 하부 영역에 존재하는 포커스 픽셀의 수일 수 있다.
영상이 지면을 포함하지 않는 경우, FDM 신뢰도 산출부 (120) 는 영상의 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 결정한다 (S150). 포커스 뎁스 맵에 대한 신뢰도는 현저한 객체의 존재 여부 및 객체가 얼마나 현저한지에 따라 결정된다. 포커스 뎁스 맵에 대한 신뢰도는 현저한 객체가 존재하지 않는 경우에 비해 영상에 현저한 객체가 존재하는 경우에 더 높게 된다.
다음으로, 뎁스 맵 생성부 (140) 는 포커스 뎁스 맵과 FDM 신뢰도 산출부 (120) 로부터의 포커스 뎁스 맵에 대한 신뢰도를 수신하고, 적어도 포커스 뎁스 맵과 포커스 뎁스 맵에 대한 신뢰도에 기초하여 최종 뎁스 맵을 생성한다. 뎁스 맵 생성부 (140) 는 영상이 지면을 포함하는 경우, 포커스 픽셀의 수에 기초하여 산출된 포커스 뎁스 맵에 대한 신뢰도를 이용하고, 영상이 지면을 포함하지 않는 경우 현저한 객체에 기초한 포커스 뎁스 맵에 대한 신뢰도를 이용한다. 최종 뎁스 맵은 포커스 뎁스 맵과 다른 타입의 뎁스 맵을 조합하여 생성될 수 있다. 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법은 포커스 뎁스 맵에 대한 독립적인 신뢰도를 사용된다는 점에서, 포커스 뎁스 맵의 효율적인 적용을 가능하게 한다.
도 6의 (a) 는 포커스 뎁스 맵에 대한 독립적인 신뢰도가 사용되지 않는 뎁스 맵 생성 방법을 설명하기 위한 개략도이고, 도 6의 (b) 는 포커스 뎁스 맵에 대한 독립적인 신뢰도가 적용되는 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법을 설명하기 위한 개략도이다.
도 6의 (a) 및 (b) 에서의 영상 (610) 은 지면을 포함하는 영상이다. 도 6의 (a) 에서 사용된 뎁스 맵 생성 방법은 영상 (610) 으로부터 의사 뎁스 맵 (620) 과 포커스 뎁스 맵 (630) 을 생성한다. 도 6의 (a) 에서 사용된 뎁스 맵 생성 방법은 이하의 수학식 3을 이용하여 최종 뎁스 맵을 생성한다.
[수학식 3]
Figure 112014020979208-pat00010

여기서, D (x,y) 는 뎁스 맵, DP (x,y) 는 의사 뎁스 맵, DF (x,y) 는 포커스 뎁스 맵, α는 의사 뎁스 맵에 대한 신뢰도이다.
예를 들어, 도 6의 (a) 에서 의사 뎁스 맵 (620) 에 대한 신뢰도 α가 SVM을 통해 0.6446으로 결정되는 경우, 포커스 뎁스 맵 (630) 에 대한 신뢰도는 의사 뎁스 맵 (620) 에 대한 신뢰도 α에 의존하여 0.3554으로 결정된다. 따라서, 최종 뎁스 맵 (640A) 는 포커스 뎁스 맵 (630) 이 0.3554의 신뢰도로 반영되어 생성된다. 도 6의 (a) 를 참조하면, 최종 뎁스 맵 (640A) 는 의사 뎁스 맵 (620) 과 포커스 뎁스 맵 (630) 이 조합되어 생성된다. 그러나, 영상 (610) 은 지면을 포함하는 영상이긴 하지만 영상 촬영시 빠른 이동으로 인해 영상 (610) 의 하부 영역 픽셀들이 블러에 의해 포커스되지 않은 영상이다. 즉, 이러한 영상에서 포커스 뎁스 맵에 대한 신뢰도가 높은 경우, 정확한 최종 뎁스 맵이 생성되지 않는다.
도 6의 (b) 에서는 본 발명의 일 실시예에 따른 뎁스 맵 생성 방법이 의사 뎁스 맵 (620) 에 대한 신뢰도 α와 별도로, 포커스 뎁스 맵 (630) 에 대한 신뢰도를 산출한다. 뎁스 맵 생성 방법은 포커스 픽셀 영상 (650) 으로부터 포커스 픽셀을 선택하고, 영상 (650) 전체의 포커스 픽셀의 수와 포커스 픽셀 영상 (650) 의 하부 영역에서의 포커스 픽셀의 수에 대한 비를 포커스 뎁스 맵 (630) 에 대한 신뢰도
Figure 112014020979208-pat00011
로 산출한다. 영상 (650) 에서 산출된 포커스 뎁스 맵 (630) 에 대한 신뢰도는 0이다. 본 발명의 일 실시예에 따른 맵 생성 방법은 전술된 수학식 1을 사용하여 최종 뎁스 맵 (640B) 을 생성한다. 산출된 포커스 뎁스 맵 (630) 에 대한 신뢰도가 0이므로, 포커스 뎁스 맵 (630) 은 최종 뎁스 맵 (640B) 을 생성하는데 적용되지 않는다. 최종 뎁스 맵 (640B) 는 실질적으로 의사 뎁스 맵 (620) 과 동일하다. 영상 (610) 의 하부 영역이 블러에 의해 포커스되지 않은 영상이므로, 포커스 뎁스 맵 (630) 이 적용되지 않는 것이 보다 정확한 최종 뎁스 맵 (640B) 을 생성하는 것일 수 있다.
본 명세서에서, 각 구성부 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 함수, 세그먼트 등의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 단계들은 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 뎁스 맵 생성 장치
110 : 지면 결정부
120 : FDM 신뢰도 산출부
130 : FDM 생성부
140 : 뎁스 맵 생성부
210, 220, 230, 240, 310, 610 : 영상
320 : 에지 픽셀 영상
330, 400 : 포커스 픽셀 영상
410 : 하부 영역
620 : 의사 뎁스 맵
630 : 포커스 뎁스 맵
640A, 640B : 최종 뎁스 맵
650 : 포커스 픽셀 영상

Claims (11)

  1. 영상이 지면을 포함하는지 여부를 결정하는 단계;
    상기 영상이 지면을 포함하는지 포함하지 않는지에 따라 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계; 및
    상기 포커스 뎁스 맵에 대한 신뢰도와 상기 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계를 포함하는 것을 특징으로 하는, 뎁스 맵 생성 방법.
  2. 제1항에 있어서,
    상기 영상이 지면을 포함하는 경우, 상기 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계는,
    상기 영상의 에지 픽셀을 식별하는 단계,
    상기 영상의 에지 픽셀로부터 라플라시안 값을 기초로 포커스 픽셀을 선택하는 단계 및
    상기 영상의 전체 포커스 픽셀의 수에 대한 상기 영상 중 일부의 포커스 픽셀의 수의 비를 상기 포커스 뎁스 맵에 대한 신뢰도로 결정하는 단계를 포함하는 것을 특징으로 하는, 뎁스 맵 생성 방법.
  3. 제2항에 있어서,
    상기 영상 중 일부는 상기 영상의 하부 영역인 것을 특징으로 하는, 뎁스 맵 생성 방법.
  4. 제1항에 있어서,
    상기 영상이 지면을 포함하지 않는 경우, 상기 포커스 뎁스 맵에 대한 신뢰도를 산출하는 단계는,
    상기 영상에 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 결정하는 단계를 포함하는 것을 특징으로 하는, 뎁스 맵 생성 방법.
  5. 제1항에 있어서,
    상기 뎁스 맵을 생성하는 단계는, 의사 뎁스 맵, 컨텍스트 뎁스 맵, 객체 뎁스 맵, 알파 뎁스 및 수직-에지 뎁스 중 적어도 하나의 뎁스 맵과 상기 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계인 것을 특징으로 하는, 뎁스 맵 생성 방법.
  6. 제5항에 있어서,
    상기 적어도 하나의 뎁스 맵과 상기 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하는 단계는 하기의 식에 기초하여 뎁스 맵을 생성하는 것을 특징으로 하는, 뎁스 맵 생성 방법.
    Figure 112014020979208-pat00012
    (식 1)
    (여기서, D (x,y) 는 뎁스 맵, DP (x,y) 는 상기 적어도 하나의 뎁스 맵, DF (x,y) 는 상기 포커스 뎁스 맵, α는 상기 적어도 하나의 뎁스 맵에 대한 신뢰도,
    Figure 112014020979208-pat00013
    는 상기 포커스 뎁스 맵에 대한 신뢰도이다.)
  7. 제1항에 있어서,
    상기 영상이 지면을 포함하는지 여부를 결정하는 단계는 SVM (support vector machine) 을 통해 수행되는 것을 특징으로 하는, 뎁스 맵 생성 방법.
  8. 영상에 대한 뎁스 맵을 생성하기 위한 뎁스 맵 생성 장치로서,
    상기 영상이 지면을 포함하는지 여부를 결정하도록 구성된 지면 결정부;
    상기 영상이 지면을 포함하는지 포함하지 않는지에 따라 포커스 뎁스 맵에 대한 신뢰도를 산출하기 위한 신뢰도 산출부; 및
    상기 포커스 뎁스 맵에 대한 신뢰도와 상기 포커스 뎁스 맵에 기초하여 뎁스 맵을 생성하도록 구성된 뎁스 맵 생성부를 포함하는 것을 특징으로 하는, 뎁스 맵 생성 장치.
  9. 제8항에 있어서,
    상기 신뢰도 산출부는 상기 영상이 지면을 포함하는 경우, 상기 영상의 에지 픽셀을 식별하고,
    상기 영상의 에지 픽셀로부터 라플라시안 값을 기초로 포커스 픽셀을 선택하고,
    상기 영상의 포커스 픽셀 전체와 상기 영상 중 일부의 포커스 픽셀의 비를 상기 포커스 뎁스 맵에 대한 신뢰도로 결정함으로써, 상기 포커스 뎁스 맵에 대한 신뢰도를 산출하도록 구성된 것을 특징으로 하는, 뎁스 맵 생성 장치.
  10. 제9항에 있어서,
    상기 영상 중 일부는 상기 영상의 하부 영역인 것을 특징으로 하는, 뎁스 맵 생성 장치.
  11. 제8항에 있어서,
    상기 신뢰도 산출부는 상기 영상이 지면을 포함하지 않는 경우, 상기 영상에 현저한 객체에 기초하여 포커스 뎁스 맵에 대한 신뢰도를 결정함으로써, 상기 포커스 뎁스 맵에 대한 신뢰도를 산출하도록 구성된 것을 특징으로 하는, 뎁스 맵 생성 장치.
KR1020140025214A 2014-03-03 2014-03-03 뎁스 맵 생성 방법 및 이를 이용하는 장치 KR101556684B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140025214A KR101556684B1 (ko) 2014-03-03 2014-03-03 뎁스 맵 생성 방법 및 이를 이용하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140025214A KR101556684B1 (ko) 2014-03-03 2014-03-03 뎁스 맵 생성 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20150103602A KR20150103602A (ko) 2015-09-11
KR101556684B1 true KR101556684B1 (ko) 2015-10-01

Family

ID=54243769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140025214A KR101556684B1 (ko) 2014-03-03 2014-03-03 뎁스 맵 생성 방법 및 이를 이용하는 장치

Country Status (1)

Country Link
KR (1) KR101556684B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240034010A (ko) * 2022-09-06 2024-03-13 삼성전자주식회사 전자 장치 및 그 영상 처리 방법

Also Published As

Publication number Publication date
KR20150103602A (ko) 2015-09-11

Similar Documents

Publication Publication Date Title
US8611641B2 (en) Method and apparatus for detecting disparity
US8340422B2 (en) Generation of depth map for an image
US10762649B2 (en) Methods and systems for providing selective disparity refinement
US9007435B2 (en) Real-time depth-aware image enhancement system
EP2547111A1 (en) Method and apparatus for processing multi-view image using hole rendering
US20120169722A1 (en) Method and apparatus generating multi-view images for three-dimensional display
US20120051625A1 (en) Method and Apparatus for 2D to 3D Conversion Using Scene Classification and Face Detection
TW201432622A (zh) 產生一關於一影像之深度圖
WO2011060579A1 (en) Method for generating depth maps from monocular images and systems using the same
KR101618776B1 (ko) 3차원 깊이 영상의 개선 방법
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011203811A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
EP2608554B1 (en) Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing
JP2018151689A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
EP3311361A1 (en) Method and apparatus for determining a depth map for an image
KR101025405B1 (ko) 초점 조절 영상 생성 시스템, 방법 및 이를 채용한 촬영 장치
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
US20120050485A1 (en) Method and apparatus for generating a stereoscopic image
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system
CN104537627B (zh) 一种深度图像的后处理方法
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
KR102490985B1 (ko) 깊이 맵을 처리하기 위한 장치 및 방법
JP5422538B2 (ja) 画像処理装置、表示装置、方法およびそのプログラム
Aydin et al. A New Adaptive Focus Measure for Shape From Focus.
KR101556684B1 (ko) 뎁스 맵 생성 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 5