KR101212802B1 - 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치 - Google Patents

피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치 Download PDF

Info

Publication number
KR101212802B1
KR101212802B1 KR1020110029873A KR20110029873A KR101212802B1 KR 101212802 B1 KR101212802 B1 KR 101212802B1 KR 1020110029873 A KR1020110029873 A KR 1020110029873A KR 20110029873 A KR20110029873 A KR 20110029873A KR 101212802 B1 KR101212802 B1 KR 101212802B1
Authority
KR
South Korea
Prior art keywords
image
depth
field
pattern
pattern image
Prior art date
Application number
KR1020110029873A
Other languages
English (en)
Other versions
KR20120111420A (ko
Inventor
김재완
김익재
안상철
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110029873A priority Critical patent/KR101212802B1/ko
Priority to US13/437,229 priority patent/US9094609B2/en
Publication of KR20120111420A publication Critical patent/KR20120111420A/ko
Application granted granted Critical
Publication of KR101212802B1 publication Critical patent/KR101212802B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 영상의 피사계 심도 영역을 강조하고, 피사계 심도 영역을 이용한 추가 영상 처리를 수행하는 방법을 개시한다.
조명 장치를 통해 서로 다른 패턴을 따라 빛을 조사하는 촬영된 제 1 패턴 영상 및 제 2 패턴 영상을 획득하고, 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여 피사계 심도 영역을 검출하고, 검출된 피사계 심도 영역을 이용하여 가중치를 결정하여, 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 가중치를 적용하여 피사계 심도 강조 영상을 생성함으로써, 피사계 심도가 강조된 영상을 생성하는 방법이 개시된다.

Description

피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치{Method and apparatus for generating image with depth-of-field highlighted}
본 발명은, 영상의 피사계 심도 영역을 검출하고, 검출된 피사계 심도 영역을 활용하는 영상 처리에 관한 것이다.
피사계 심도란, 카메라 렌즈에 의해 촬영되는 피사체의 상이 뚜렷하게 보일 수 있는 가장 가까운 위치와 가장 먼 위치 사이의 범위를 지칭한다. 카메라 렌즈를 통해 촬영된 영상 중에서, 피사계 심도에 해당하는 영역은 시각적으로 초점이 맞은 것으로 인식될 수 있다. 따라서, 피사계 심도의 특정 피사체에 초점이 맞더라도, 피사계 심도 영역 안에 위치한 다른 피사체도 초점이 맞는 것으로 보일 수 있다.
촬영 영상의 피사체들 중에서, 피사계 심도 영역의 피사체는 선명한 상하게 보이는데 반해, 피사계 심도 이외의 영역의 피사체는 상대적으로 흐리게 보이므로, 피사계 심도 영역의 피사체와 이외 영역이 피사체 간에 선명도의 차이가 존재한다. 따라서 일반적으로, 영상 중 피사계 심도 영역이 이외 영역에 비해 선명도가 높은 특성을 이용하거나, 피사계 심도 영역과 이외 영역 간의 선명도 차이를 더욱 강조하는 영상 처리 기법이 이용되고 있다.
본 발명은, 패턴을 이용한 조명 장치를 통해 영상의 피사계 심도 영역을 검출하고, 피사계 심도 영역을 이외 영역에 비해 명확히 보일 수 있도록 강조하기 위함이다. 또한, 강조된 피사계 심도 영역을 이용하여 추가적인 영상 처리가 가능하다.
본 발명의 일 실시예에 따른 피사계 심도 강조 영상을 획득하는 방법은, 조명 장치를 통해 서로 다른 패턴을 따라 빛을 조사하는 촬영된 제 1 패턴 영상 및 제 2 패턴 영상을 획득하는 단계; 상기 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여 피사계 심도 영역을 검출하는 단계; 상기 검출된 피사계 심도 영역을 이용하여 가중치를 결정하는 단계; 및 상기 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 상기 가중치를 적용하여 상기 피사계 심도 강조 영상을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 피사계 심도 강조 영상 획득 장치는, 서로 다른 패턴에 따라 빛을 조사하는 조명 장치; 상기 조명 장치를 이용해 촬영된 제 1 패턴 영상 및 제 2 패턴 영상을 획득하는 패턴 영상 획득부; 및 상기 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여 피사계 심도 영역을 검출하여, 상기 검출된 피사계 심도 영역을 이용하여 가중치를 결정하고, 상기 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 상기 가중치를 적용하여 상기 피사계 심도 강조 영상을 생성하는 피사계 심도 강조 영상 생성부를 포함한다.
도 1 은 일 실시예에 따른 피사계 심도 강조 영상 획득 장치의 블록도를 도시한다.
도 2 및 3은, 일 실시예에 따른 피사계 심도 강조 영상 생성 장치를 구현하는 디지털 카메라의 구조와 프로젝터의 패턴을 이용하여 패턴 영상을 획득하는 실시예를 예시한다.
도 4 는 일 실시예에 따른 피사계 심도 강조 영상 생성 장치가 피사계 심도 강조 영상을 획득하는 일 동작의 흐름도를 예시한다.
도 5 는 일 실시예에 따라 조명 장치가 조사하는 패턴을 도시한다.
도 6 는 일 실시예에 따라 획득된 영상에서, 피사계 심도 영역과 이외 영역 간에 차이점을 도시한다.
도 7 은 일 실시예에 따라, 검출된 피사계 심도 영역을 도시한다.
도 8 은 일 실시예에 따라, 피사계 심도 강조 영상을 생성하는 과정을 도시한다.
도 9 및 10 는 피사체의 깊이에 따라, 일반 영상들과 일 실시예에 따라 피사계 심도 강조 영상들을 비교한 결과들을 예시한다.
도 11, 12 및 13 은 일 실시예에 따라 피사계 심도 강조 영상을 이용하여 추가적으로 영상 처리를 수행한 결과 영상들을 도시한다.
도 14 는 일 실시예에 따른 피사계 심도 강조 영상 획득 방법의 흐름도를 도시한다.
이하 도 1 내지 도 14을 참조하여, 일 실시예에 따른 피사계 심도가 강조된 영상을 획득하기 위한 장치 및 피사계 심도가 강조된 영상의 획득 방법이 상술된다.
도 1 은 일 실시예에 따른 피사계 심도 강조 영상을 획득하기 위한 장치의 블록도를 도시한다.
일 실시예에 따른 피사계 심도 강조 영상 획득 장치(100)는, 조명 장치(110), 패턴 영상 획득부(120) 및 피사계 심도 강조 영상 생성부(130)를 포함한다.
또한, 영상 중 피사계 심도 영역은 시각적으로 초점이 맞은 영역이므로, 이하 본 명세서에서 피사계 심도 영역 또는 초점 영역이라는 용어가 혼용되더라도, 동일한 영역을 지칭하는 것으로 해석될 수 있다.
조명 장치(110)는 빛을 조사하고, 패턴 영상 획득부(120)는 조명 장치(100)가 조사한 빛을 이용하여 피사체를 촬영하여 영상을 획득한다.
일 실시예에 따른 조명 장치(110)는, 패턴에 따라 빛을 조사한다. 조명 장치(110)는 여러 가지 패턴들을 따라 빛을 조사할 수 있다. 일 실시예에 따른 패턴 영상 획득부(120)는, 일 실시예에 따른 조명 장치(100)가 패턴을 따라 조사한 빛을 이용하여 영상을 획득할 수 있다. 이하 설명의 편의를 위해, 패턴을 따라 피사체를 조명하여 촬영함으로써 획득된 영상을 '패턴 영상'이라 지칭하고, 일 실시예에 따라 피사계 심도 영역이 강조된 영상을 '피사계 강조 영상'이라 지칭한다.
일 실시예에 따른 조명 장치(110)가 서로 다른 두 가지 패턴들을 따라 빛을 조사한 경우, 일 실시예에 따른 패턴 영상 획득부(120)는, 첫번째 패턴을 따른 빛이 조사될 때 촬영된 제 1 패턴 영상과, 두번째 패턴을 따른 빛이 조사될 때 촬영된 제 2 패턴 영상을 획득할 수 있다. 따라서 일 실시예에 따른 패턴 영상 획득부(120)는 동일한 피사체에 대해 피사계 심도는 고정한 채 서로 다른 패턴을 따라 조명되는 피사체를 촬영하여, 두 영상인 제 1 패턴 영상과 제 2 패턴 영상을 획득할 수 있다.
일 실시예에 따른 조명 장치(110)는, 카메라의 프로젝터 장치 및 플래쉬 장치와 같은 발광 장치를 포함할 수 있다. 일 실시예에 따른 조명 장치(110)의 패턴은 동일한 크기의 블록들이 번갈아 나열되는 체커보드(checkerboard) 패턴을 포함하고, 서로 다른 패턴은 빛이 투과하는 블록과 빛이 차단되는 블록의 위치가 반전된 두 패턴일 수 있다.
일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 패턴 영상 획득부(120)에 의해 획득된 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여, 제 1 패턴 영상 및 제 2 패턴 영상을 촬영한 카메라의 피사계 심도에 해당하는 영역을 검출한다. 일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 서로 반전 관계인 패턴의 조명에 의해 촬영된 제 1 패턴 영상 및 제 2 패턴 영상의 차이 영상을 이용하여, 제 1 패턴 영상 및 제 2 패턴 영상의 카메라의 피사계 심도 영역이 검출될 수 있다.
일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 검출된 피사계 심도 영역을 이용하여 피사계 심도 영역 및 이외 영역을 구별하기 위한 초점 가중치를 결정한다. 일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 픽셀별로 초점 가중치를 결정할 수 있다.
일 실시예에 따른 초점 가중치는, 제 1 패턴 영상 및 제 2 패턴 영상의 피사계 심도 영역을 보여주는 제 1 패턴 영상 및 제 2 패턴 영상의 차이 영상을 정규화함으로써 결정되며, 0 이상 1 이하의 값으로 결정될 수 있다.
일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 초점 가중치를 적용하여 피사계 심도 강조 영상을 생성한다. 일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 제 1 패턴 영상 및 제 2 패턴 영상 중 최대값이 큰 영상의 픽셀값에 픽셀별 초점 가중치를 곱함으로써, 피사계 심도 강조 영상을 생성할 수 있다.
일 실시예에 따른 피사계 심도 강조 영상 획득 장치(100)는, 피사계 심도 강조 영상의 이진화 영상을 생성하고, 생성된 이진화 영상을 이용하여 강조된 피사계 심도에 대해 추가적으로 영상 처리를 수행할 수 있다. 일 실시예에 따른 피사계 심도 강조 영상 획득 장치(100)는, 일 실시예에 따라 피사계 심도 강조 영상의 이진화 영상을 이용하여, 영상 분리(image segmentation) 기법, 알파 매트(alpha matte) 기법, 다른 영상과의 합성 기법 등의 영상 처리를 수행할 수 있다.
도 2 및 3은, 일 실시예에 따른 피사계 심도 강조 영상 생성 장치(100)를 구현하는 디지털 카메라의 구조와 프로젝터의 패턴을 이용하여 패턴 영상을 획득하는 실시예를 예시한다.
일 실시예에 따른 피사계 심도 강조 영상 생성 장치(100)를 구현하기 위해서, 프로젝터(200)가 일 실시예에 따른 조명 장치(110)로서, 디지털 카메라(210) 위에 탑재될 수 있다. 일 실시예에 따른 조명 장치(110)는, 디지털 카메라(210)의 영상 촬영을 위해 빛을 조사하는 수단이므로, 카메라 플래쉬 등을 포함하여 순간적으로 상당한 양의 빛을 발광시키는 장치를 포함할 수 있다. 또한, 프로젝터(200)는 디지털 카메라(210)의 외부에 탑재되어 있지만 이는 일 실시예일 뿐이며, 일 실시예에 따른 조명 장치(110)는 디지털 카메라(210)에 내재되어 있거나 분리되어 있을 수도 있다.
일 실시예에 따른 프로젝터(200)는, 피사체 300 및 310에 디하여, 체커보드 형태의 패턴을 직접 조사할 수 있다. 프로젝터(200)가 패턴에 따른 빛을 조사하는 동안, 패턴 영상 획득부(110)는 피사체 300 및 310을 촬영할 수 있다. 또한 프로젝터(200)가 서로 다른 두 패턴에 따라 각각 빛을 조사하는 동안, 패턴 영상 획득부(110)는 피사체 300 및 310을 촬영하여, 제 1 패턴에 따라 촬영된 제 1 패턴 영상 및 제 2 패턴에 따라 촬영된 제 2 패턴 영상을 획득할 수 있다.
디지털 카메라(210)는, 일 실시예에 따른 패턴 영상 획득부(120)와 피사계 심도 강조 영상 생성부(130)를 구현하기 위한 하드웨어 구조를 포함할 수 있다. 또는 디지털 카메라(210)는, 일 실시예에 따른 피사계 심도 강조 영상 생성 장치(100)를 소프트웨어적으로 구현하기 위한 회로가 탑재된 칩셋 또는 컴퓨터 연산 모듈을 내장할 수 있다.
프로젝터(200)를 포함하여, 일 실시예에 따른 조명 장치(110)는, 패턴에 따라 빛을 조사하기 위해, 조명 장치(110)가 자체적으로 패턴을 따라 빛을 조사할 수 있다. 또한, 일 실시예에 따른 패턴을 가지며, 필름 등과 같이 빛이 투과할 수 있는 소재의 패턴층이 조명 장치(110)의 발광부 앞에 위치하여, 발광부로부터 조사된 빛이 패턴층을 투과함으로써, 일 실시예에 따르는 패턴을 따르는 빛이 조사될 수도 있다.
또한, 일 실시예에 따른 조명 장치(110)가 채택할 수 있는 패턴의 형태는 다양할 수 있다. 일 실시예에 따른 조명 장치(110)의 자체적인 패턴이 변경되거나, 조명 장치(110)의 패턴층의 패턴이 변경될 수 있다.
또한 디지털 카메라(210) 또는 피사계 심도 강조 영상 생성부(140)의 제어에 따라, 조명 장치(110)가 조사하는 빛의 패턴 또는 조명 장치(110) 앞에 위치되는 패턴층의 패턴이 변경될 수도 있다.
도 4 는 일 실시예에 따른 피사계 심도 강조 영상 생성 장치(100)가 피사계 심도 강조 영상을 획득하는 일 동작의 흐름도를 예시한다.
일 실시예에 따른 프로젝터(220)는 제 1 패턴 및 제 2 패턴을 따르는 빛을 조사할 수 있으며, 디지털 카메라(210)의 촬영부(400)는 프로젝터(220)의 조명을 이용하여 피사체를 촬영함으로써 영상을 획득할 수 있다. 즉, 단계 212에서 프로젝터(220)가 제 1 패턴의 빛을 조사하고 단계 222에서 촬영부(400)는 제 1 패턴의 빛이 조사된 피사체를 촬영함으로써 제 1 패턴 영상을 획득할 수 있다. 마찬가지로 단계 214에서 프로젝터(220)가 제 2 패턴의 빛을 조사하고 단계 224에서 촬영부(400)는 제 2 패턴의 빛을 기반으로 촬영된 제 2 패턴 영상을 획득할 수 있다.
디지털 카메라(210)의 중앙 연산부 CPU(410)는 일 실시예에 따른 피사계 심도가 강조된 영상을 생성하기 위한 피사계 심도 강조 영상 생성부(130)의 동작을 제어할 수 있다.
단계 420에서 먼저 중앙 연산부 CPU(400)는, 서로 다른 패턴에 기초하여 촬영된 제 1 패턴 영상 및 제 2 패턴 영상의 피사계 심도 영역을 결정할 수 있다. 중앙 연산부 CPU(400)는, 제 1 패턴 영상 및 제 2 패턴 영상 중에서, 픽셀값이 더 큰 최대 영상 Imax를 결정하고, 제 1 패턴 영상 및 제 2 패턴 영상 간의 차이 영상 Idiff을 생성하여 제 1 패턴 영상 및 제 2 패턴 영상의 피사계 심도 영역을 검출할 수 있다.
단계 430에서, 중앙 연산부 CPU(410)는 제 1 패턴 영상 및 제 2 패턴 영상 간의 차이 영상 Idiff를 정규화하여 초점 가중치 영상인 Idiff'을 생성할 수 있다.
일 실시예에 따른 초점 가중치는, 제 1 패턴 영상 및 제 2 패턴 영상의 피사계 심도 영역을 보여주는 제 1 패턴 영상 및 제 2 패턴 영상의 차이 영상 Idiff을 정규화함으로써 결정되며, 0 이상 1 이하의 값으로 결정될 수 있다. 제 1 패턴 영상 및 제 2 패턴 영상의 차이값들 중에서 최대값, 즉 차이 영상 Idiff의 픽셀값들 중 최대값으로 차이 영상 Idiff의 픽셀값들을 나눔으로써, 차이 영상 Idiff이 정규화된 초점 가중치 영상 Idiff'이 생성될 수 있다. 일 실시예에 따른 초점 가중치 영상 Idiff'의 픽셀값이 픽셀별 초점 가중치로 결정될 수 있다.
단계 440에서, 제 1 패턴 영상 및 제 2 패턴 영상 중 최대 영상 Imax과 초점 가중치 영상 Idiff'을 합성하여 피사계 심도 강조 영상 IHDOF가 생성될 수 있다. 즉, 초점 가중치 영상 Idiff'의 픽셀별 초점 가중치와 제 1 패턴 영상 및 제 2 패턴 영상 중 최대 영상 Imax의 픽셀값을 각각 곱한 결과 영상으로서, 피사계 심도 강조 영상 IHDOF이 출력될 수 있다.
일 실시예에 따르면, 단계 430의 차이 영상 Idiff의 가중치 결정 방식은, 제 1 패턴 영상 및 제 2 패턴 영상의 차이 영상 Idiff을 차이 영상 Idiff의 최대값으로 일괄적으로 나누는 선형 함수적 정규화를 포함할 수 있다. 또한, 단계 430의 차이 영상 Idiff의 가중치 결정 방식은, 픽셀별 초점 가중치를 제 1 패턴 영상 및 제 2 패턴 영상의 피사계 심도 이외 영역에 비해 피사계 심도 영역을 강조하는 정도를 조절하기 위해, 영역별로 가중치를 조절할 수도 있다.
예를 들어, 초점 가중치 영상 Idiff'의 가중치에 비해, 피사계 심도 이외 영역에 대한 가중치는 보다 약화되도록 조절되고, 피사계 심도 영역에 대한 가중치는 보다 강화되도록 조절된 초점 가중치 영상 Idiff"이 결정될 수 있다. 이로 인해, 초점 가중치 영상 Idiff"과 제 1 패턴 영상 및 제 2 패턴 영상 중 최대 영상 Imax을 곱한 피사계 심도 강조 영상 IHDOF'은, 피사계 심도 강조 영상 IHDOF에 비해 피사계 심도 이외 영역은 보다 어둡고 피사계 심도 영역은 보다 밝으므로, 피사계 심도 영역이 더 강조될 수 있다.
도 5 는 일 실시예에 따라 조명 장치(110)가 조사하는 패턴을 도시한다.
일 실시예에 따른 조명 장치(110)가 서로 다른 패턴들(510, 520)을 이용하여 피사체를 조명하여, 패턴 영상 획득부(120)가 서로 다른 패턴에 기반한 패턴 영상들을 획득할 수 있다. 패턴들(510, 520) 중 흑색 블록은 빛이 차단되는 블록이며, 백색 블록은 빛이 투과하는 블록이다. 즉, 패턴들(510, 520)은, 서로 빛이 투과하는 블록과 빛이 차단되는 블록의 위치가 서로 반전된 형태이다.
특히, 패턴 영상 획득부(120)가 획득한 패턴 영상들을 처리하여, 패턴 영상들 중에서 피사계 심도 영역과 이외 영역을 구별하기 위하여, 조명 장치(110)는 빛이 투과하는 블록과 빛이 차단되는 블록의 위치가 서로 반전된 패턴들(510, 520)을 이용하여 피사체를 조명할 수 있다.
도 6 는 일 실시예에 따라 획득된 영상에서, 피사계 심도 영역과 이외 영역 간에 차이점을 도시한다.
원본 영상(610)은 현재 영상 획득 장치(100)의 피사계 심도에 따라 패턴 없는 조명으로 촬영된 영상이다. 원본 영상(610)에서 사람 얼굴에 초점이 맺혀 있으므로, 영상(610) 중 사람 얼굴 영역이 피사계 심도 영역이다. 일 실시예에 따른 피사계 심도 강조 영상 생성 장치(100)는, 원본 영상(610)에서 촬영된 피사체에 대해, 현재 영상 획득 장치(100)의 피사계 심도를 유지한 채, 일 실시예에 따른 패턴들(510, 520)의 빛을 조사하여 패턴 영상을 획득할 수 있다.
패턴 영상의 제 1 확대 영상(620)은, 패턴 영상 중에서, 원본 영상(610)의 피사계 심도 영역인 사람 얼굴의 일부 영역(612)에 상응하는 일부 영역을 확대한 영상이다. 패턴 영상의 제 1 확대 영상(620)에서는, 패턴들(510, 520)에 따라 일정 간격으로 어두운 영역과 밝은 영역이 번갈아 나타난다.
하지만, 패턴 영상의 제 2 확대 영상(640)은, 패턴 영상 중에서, 원본 영상(610)의 피사계 심도 이외 영역인 사자 인형의 일부 영역(614)에 상응하는 일부 영역을 확대한 영상이다. 패턴 영상의 제 2 확대 영상(640)을 살펴보면, 패턴들(510, 520)은 보이지 않고, 흐릿한 상만이 보인다.
즉, 패턴 영상의 피사계 심도 영역은 패턴들(510, 520)의 영향을 받지만, 피사계 심도 이외 영역은 패턴들(510, 520)의 영향을 거의 받지 않는다. 특히 서로 반전된 형태인 패턴들(510, 520)에 따라 획득된 패턴 영상들은, 피사계 심도 영역에서는 패턴들(510, 520)의 서로 반전된 형태에 따라, 화소값도 반전된다.
도 7 은 일 실시예에 따라, 검출된 피사계 심도 영역을 도시한다.
각각의 패턴(510, 520)을 이용하여 획득한 제 1 패턴 영상과 제 2 패턴 영상에서, 피사계 심도 영역에 해당하는 부분들은 각각 패턴(510, 520)이 나타나므로, 제 1 패턴 영상과 제 2 패턴 영상의 피사계 심도 영역들도 명암이 서로 반전된 형태일 수 있다. 하지만, 제 1 패턴 영상과 제 2 패턴 영상에서, 피사계 심도 이외 영역들은 각각 해당 패턴들(510, 520)이 드러나지 않는다.
일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 서로 반전된 패턴(510 또는 520)에 따라 발생하는 1 패턴 영상과 제 2 패턴 영상의 특성을 이용하여, 제 1 패턴 영상과 제 2 패턴 영상의 피사계 심도 영역을 검출할 수 있다.
일 실시예에 따른 피사계 심도 강조 영상 생성부(130)는, 제 1 패턴 영상과 제 2 패턴 영상의 차이 영상 Idiff(700)을 생성할 수 있다. 제 1 패턴 영상과 제 2 패턴 영상의 피사계 심도 영역들도 명암이 서로 반전된 형태일 수 있으므로, 제 1 패턴 영상과 제 2 패턴 영상의 피사계 심도 영역의 픽셀값들 간의 차이값은 유효값을 갖는다.
이에 반해, 제 1 패턴 영상과 제 2 패턴 영상의 피사계 심도 이외 영역은 패턴(510 또는 520)의 형태와 무관하게 흐릿한 상을 가지므로, 제 1 패턴 영상과 제 2 패턴 영상의 피사계 심도 영역의 픽셀값들 간의 차이값은 매우 작다.
따라서 서로 반전된 패턴들을 통한 조명을 이용하여 획득된 패턴 영상들 간의 차이 영상 Idiff(700)을 통하여, 현재 영상 획득 장치(100)의 현재 피사체에 대한 피사계 심도 영역과 이외 영역이 명확히 구별되어, 피사계 심도 영역이 검출될 수 있다.
도 8에서, 피사계 심도 강조 영상 생성부(130)는, 패턴 영상들 간의 차이 영상 Idiff(700)에 대한 정규화를 통해 초점 가중치 영상 Idiff'(800)를 생성할 수 있다.
피사계 심도 강조 영상 생성부(130)는, 제 1 패턴 영상과 제 2 패턴 영상 중 최대값이 큰 최대 영상 Imax(810)을 선택하여, 초점 가중치 영상 Idiff'(800)과 최대 영상 Imax(810)을 곱하여 피사계 심도 강조 영상 IHDOF(820)을 생성할 수 있다.
원본 영상(610)에 비해, 피사계 심도 강조 영상 IHDOF(820)에서 피사계 심도 영역인 '사람 얼굴' 영역의 밝기값이 상대적으로 크고, 피사계 심도 이외 영역인 '사자 인형' 영역의 밝기값이 상대적으로 작다. 즉, 피사계 심도 영역과 피사계 심도 이외 영역 간의 밝기차가 커진다.
이에 따라, 일 실시예에 따른 피사계 심도 강조 영상 IHDOF(820)은 피사계 심도 영역과 피사계 심도 영역 사이에 선명도의 차이 뿐만 아니라 밝기의 차이를 증폭시킴으로써, 시각적으로 피사계 심도 영역이 피사계 심도 이외 영역에 비해 강조되어 보이도록 처리할 수 있다.
도 9 및 10 는 피사체의 깊이에 따라, 일반 영상들과 일 실시예에 따라 피사계 심도 강조 영상들을 비교한 결과들을 예시한다.
도 9 에서, 원본 영상들(910, 920, 930, 940, 950, 960, 970)의 피사체는 7개의 크레용들(912, 922, 932, 942, 952, 962, 972)이며, 첫번째 원본 영상(910)은 카메라로부터 가장 멀리 위치한 크레용(912)에 초점을 잡고 촬영된 영상이다. 나머지 원본 영상들(910, 920, 930, 940, 950, 960, 970)도 각각, 가장 멀리 위치한 크레용(912)으로부터 카메라로 가까워지는 순서에 따라, 하나의 크레용(922, 932, 942, 952, 962, 972)에 초점을 잡고 획득된 영상들이다. 따라서, 원본 영상들(910, 920, 930, 940, 950, 960, 970)의 피사계 심도 영역은 각각 초점이 잡힌 크레용(912, 922, 932, 942, 952, 962, 972)을 포함하는 영역이다.
원본 영상들(910, 920, 930, 940, 950, 960, 970)의 하단에, 일 실시예에 따라 피사계 심도 영역이 강조된 결과 영상들(915, 925, 935, 945, 955, 965, 975)이 도시된다.
원본 영상들(910, 920, 930, 940, 950, 960, 970)에 비해, 결과 영상들(915, 925, 935, 945, 955, 965, 975)의 피사계 심도 영역은 피사계 심도 이외 영역보다 더욱 밝고 선명하게 강조되어, 초점이 잡힌 크레용(917, 927, 937, 947, 957, 967, 977)이 이외 영역에 비해 선명하고 더욱 밝게 보인다.
도 10 에서, 원본 영상들(1010, 1020)의 피사체는 다수의 인형들이며, 좌측 원본 영상(1010)의 초점은 우측 전방에 위치한 인형들에 맞춰져 있으므로 피사계 심도 영역(1015)은 우측 전방에 위치한 인형들을 포함한다. 우측 원본 영상들(1020)의 초점은 좌측 후방에 위치한 인형들에 맞춰져 있으므로 피사계 심도 영역(1025)은 좌측 후방에 위치한 인형들을 포함한다.
원본 영상들(1010, 1020)의 하단에, 일 실시예에 따라 피사계 심도 영역이 강조된 결과 영상들(1030, 1040)이 도시된다. 원본 영상들(1010, 1020)의 피사계 심도 영역(1015, 1025)과 비교하여, 결과 영상들(1030, 1040)의 피사계 심도 영역(1035, 1045)은, 피사계 심도 이외 영역보다 더욱 밝게 강조된 것이 확인된다.
따라서, 일 실시예에 따른 피사계 심도 강조 영상 생성 장치(100)는, 피사체들의 위치가 서로 중첩되거나 전후좌우에 있는지 여부와 전혀 상관없이, 초점이 잡힌 피사체만을 강조할 수 있다.
도 11, 12 및 13 은 일 실시예에 따라 피사계 심도 강조 영상을 이용하여 추가적으로 영상 처리를 수행한 결과 영상들을 도시한다.
일 실시예에 따른 피사계 심도 강조 영상 획득 장치(100)는, 피사계 심도 강조 영상을 이진화할 수 있다. 피사계 심도 강조 영상의 이진화 영상에서는, 피사계 심도 영역과 피사계 심도 이외 영역이 명확히 구별되어 피사계심도 영역이 검출될 수 있다. 일 실시예에 따른 피사계 심도 강조 영상 획득 장치(100)는, 이러한 피사계 심도 강조 영상의 이진화 영상 또는 검출된 피사계 심도 영역을 이용하여, 추가적인 영상 처리 기법을 수행할 수 있다.
도 11, 12 및 13에서, 원본 영상(1110)에서는 좌측 피사체인 사자 인형(1115)에 초점이 맞아 '사자 인형' 영역이 피사계 심도 영역에 해당한다. 하단 원본 영상(1120)에서는, 우측 피사체인 사람 인형(1125)에 초점이 맞아 '사람 인형' 영역이 피사계 심도 영역이다.
일 실시예에 따른 피사계 심도 강조 방식에 따라, 상단 원본 영상(1110)의 피사계 심도 강조 영상(1120)이 생성될 수 있다. 또한, 상단 원본 영상(1110)의 패턴 영상들 간의 차이 영상(1150)에서, 사자 인형 영역의 밝기값이 다른 영역의 밝기값에 비해 매우 크므로, 상단 원본 영상(1110)의 피사계 심도 영역이 사자 인형 영역임이 확인될 수 있다. 유사한 방식으로, 하단 원본 영상(1120)의 피사계 심도 강조 영상(1140)이 생성되고, 패턴 영상들 간의 차이 영상(1160)을 통해 하단 원본 영상(1120)의 피사계 심도 영역이 사람 인형 영역임이 확인될 수 있다.
도 11 에서는, 상단 원본 영상(1110)의 패턴 영상들 간의 차이 영상(1150)을 소정 임계치를 기준으로 임계화함으로써, 상단 원본 영상(1110)의 피사계 심도 영역인 사자 인형 영역만이 표시된 이진화 영상(1170)이 생성될 수 있다. 이로 인해, 상단 원본 영상(1110)의 피사계 심도 영역인 사자 인형 영역만이 다른 영역들과 분리되는, 영상 분리 기법이 구현될 수 있다.
유사한 방식으로, 하단 원본 영상(1120)의 패턴 영상들 간의 차이 영상(1160)을 소정 임계치를 기준으로 임계화함으로써, 하단 원본 영상(1120)의 피사계 심도 영역인 사람 인형 영역만이 표시된 이진화 영상(1180)이 생성되고, 하단 원본 영상(1120)의 피사계 심도 영역인 사람 인형 영역만이 분리될 수 있다.
도 12 에 따르면, 영상 중 원하는 영역을 지워버리는 알파 매트 기법이 구현될 수 있다. 상단 원본 영상(1110)의 피사계 심도 영역인 사자 인형 영역만이 표시된 이진화 영상(1170)으로부터, 사자 인형 영역의 이외 영역을 모두 지워버린 알파 매트 영상(1270)이 생성될 수 있다. 하단 원본 영상(1110)의 피사계 심도 영역인 사자 인형 영역만이 표시된 이진화 영상(1170)으로부터, 사람 인형 영역의 이외 영역을 모두 지워버린 알파 매트 영상(1280)이 생성될 수 있다.
또한 도 13 에 따르면, 초점이 맞은 피사체 영역만이 분리된 영상을 이용하여 해당 피사체 영역을 다른 영상과 합성하는 영상 처리 기법이 구현될 수도 있다. 상단 원본 영상(1110)과 그 알파 매트 영상(1270)을 이용하면, 초점이 맞은 피사체인 사자 인형을 제외한 나머지 영역은 투명하게 처리될 수 있다. 따라서, 사자 인형 영역과 다른 영상이 결합한 합성 영상(1370)이 생성될 수 있다. 유사한 방식으로, 하단 원본 영상(1120)과 그 알파 매트 영상(1280)을 이용하면, 피사계 심도 영역인 사람 인형과 다른 영상이 결합한 합성 영상(1380)이 생성될 수 있다.
따라서 일 실시예에 따른 피사계 심도 강조 영상 획득 장치(100)는, 피사계 심도 영역을 검출하여 생성한 이진화 영상을 이용하여, 피사계 심도 영역에 대한 영상 분리 기법, 알파 매트 기법, 다른 영상과의 합성 기법 등과 같은 추가적인 영상 처리 기법을 수행할 수 있다.
도 14 는 일 실시예에 따른 피사계 심도 강조 영상 획득 방법의 흐름도를 도시한다.
단계 1410에서, 조명 장치가 피사체를 향해 조사한 서로 다른 패턴의 빛을 이용하여 피사체가 촬영되므로, 제 1 패턴 영상 및 제 2 패턴 영상이 획득된다. 조명 장치는 카메라의 프로젝터 장치 및 플래쉬 장치 중 적어도 하나를 포함할 수 있다. 조명 장치는 카메라에 탑재되거나 내장된 형태이거나, 외부 조명을 이용하는 형태를 포함할 수 있다.
조명 장치의 패턴은, 빛이 투과하는 블록과 빛이 차단되는 블록이 번갈아 나열되는 체커보드 패턴을 포함할 수 있으며, 체커보드 패턴의 블록 크기는 임의로 결정될 수 있다. 또한 서로 다른 각각의 패턴은, 서로 빛이 투과하는 블록과 빛이 차단되는 블록의 위치가 반전된 형태일 수 있다.
단계 1420에서, 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여 피사계 심도 영역이 검출된다. 제 1 패턴 영상 및 제 2 패턴 영상의 차이 영상을 이용하여 피사계 심도 영역이 검출될 수 있다.
단계 1430에서, 검출된 피사계 심도 영역을 이용하여 가중치가 결정된다. 제 1 패턴 영상 및 제 2 패턴 영상의 차이 영상의 픽셀값을 정규화하여 초점 가중치 영상이 생성되고, 초점 가중치 영상의 픽셀값이 해당 패턴 영상의 픽셀에 대한 가중치가 될 수 있다. 차이 영상을 정규화한 후 피사계 심도 이외 영역에 대한 가중치는 감소시키고, 피사계 심도 영역에 대한 가중치를 증가시키도록 초점 가중치 영상의 픽셀값이 조절될 수도 있다.
단계 1440에서, 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 단계 1430에서 결정된 가중치를 적용하여 피사계 심도 강조 영상이 생성될 수 있다. 제 1 패턴 영상 및 제 2 패턴 영상 중 최대값이 큰 영상과 초점 가중치 영상을 곱한 결과 영상이, 피사계 심도 강조 영상으로서 출력될 수 있다.
단계 1450에서, 피사계 심도 강조 영상의 이진화 영상이 생성되고, 이진화 영상을 이용하여, 강조된 피사계 심도 영역을 활용한 다양한 영상 처리 기법이 구현될 수 있다. 예를 들어, 패턴 영상들의 차이 영상으로부터 초점 영역이 분리되는 영상 분리 기법이 수행될 수 있다. 또한 영상 분리 기법에 따라 초점 영역이 분리되므로, 초점 영역 이외 영역이 제거된 영상을 생성하는 알파 매트 기법이 추가적으로 수행될 수 있다. 또한, 초점 영역 이외 영역이 제거된 알파 매트 영상을 이용하여 초점 영역과 다른 영상을 합성하는 영상 합성 기법이 추가적으로 수행될 수도 있다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 피사계 심도 강조 영상을 획득하는 방법에 있어서,
    카메라가 조명 장치를 통해 서로 다른 패턴을 따라 빛을 조사하여 촬영한 제 1 패턴 영상 및 제 2 패턴 영상을 획득하는 단계;
    상기 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여 피사계 심도 영역을 검출하는 단계;
    상기 검출된 피사계 심도 영역을 이용하여 가중치를 결정하는 단계; 및
    상기 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 상기 가중치를 적용하여 상기 피사계 심도 강조 영상을 생성하는 단계를 포함하고,
    상기 피사계 심도 영역은, 상기 카메라가 촬영한 영상에서 피사체의 상이 뚜렷하게 보일 수 있는 가장 가까운 위치와 가장 먼 위치 사이의 범위 영역인 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  2. 제 1 항에 있어서,
    상기 피사계 심도 영역 검출 단계는, 상기 제 1 패턴 영상 및 상기 제 2 패턴 영상의 차이 영상을 생성하는 단계를 포함하고,
    상기 가중치 결정 단계는, 상기 차이 영상을 정규화한 가중치 영상을 생성하는 단계를 포함하고,
    상기 피사계 심도 강조 영상 생성 단계는, 상기 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상과 상기 가중치 영상을 곱하는 단계를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  3. 제 1 항에 있어서, 상기 피사계 심도 강조 영상 생성 단계는,
    상기 생성된 피사계 심도 강조 영상의 이진화 영상을 생성하는 단계; 및
    상기 이진화 영상을 이용하여, 상기 강조된 피사계 심도에 대해 추가적으로 영상 처리 기법을 수행하는 단계를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  4. 제 3 항에 있어서,
    상기 추가 영상 처리 기법은, 상기 이진화 영상을 이용한 영상 분리(image segmentation) 기법, 알파 매트(alpha matte) 기법 및 다른 영상과의 합성 기법 중 적어도 하나를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  5. 제 1 항에 있어서,
    상기 조명 장치는 상기 카메라의 프로젝터 장치 및 플래쉬 장치 중 적어도 하나를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  6. 제 1 항에 있어서, 상기 제 1 패턴 영상 및 제 2 패턴 영상 획득 단계는,
    상기 조명 장치로부터 직접 상기 패턴에 따라 빛이 조사되어, 상기 제 1 패턴 영상 및 상기 제 2 패턴 영상을 획득하는 것을 특징으로 하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  7. 제 1 항에 있어서, 상기 제 1 패턴 영상 및 제 2 패턴 영상 획득 단계는,
    상기 조명 장치 앞에 위치한, 상기 패턴을 가지며 빛을 투과하는 재질로 된 필름을 통과하여 빛이 조사되어, 상기 제 1 패턴 영상 및 상기 제 2 패턴 영상을 획득하는 것을 특징으로 하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  8. 제 1 항에 있어서,
    상기 패턴은 빛이 투과하는 블록과 빛이 차단되는 블록이 번갈아 나열되는 체커보드(chekerboard) 패턴을 포함하고, 상기 블록의 크기는 임의로 결정되는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  9. 제 1 항에 있어서,
    상기 제 1 패턴 영상의 제 1 패턴 및 제 2 패턴 영상의 제 2 패턴은, 서로 빛이 투과하는 블록과 빛이 차단되는 블록의 위치가 반전된 패턴인 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  10. 제 2 항에 있어서, 상기 가중치 결정 단계는,
    상기 차이 영상을 상기 차이 영상의 최대값으로 나누고, 상기 차이 영상 중 상기 피사계 심도로 검출되지 않은 영역에 대한 가중치를 감소시키고, 상기 피사계 심도로 검출된 영역에 대한 가중치를 증가시킨 가중치 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  11. 제 1 항에 있어서, 상기 피사계 심도 강조 영상 생성 단계는,
    상기 제 1 패턴 영상의 픽셀들 및 제 2 패턴 영상의 픽셀들 중 픽셀값이 더 큰 픽셀들에 대해 상기 가중치를 적용하여 상기 피사계 심도 강조 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상을 획득하는 방법.
  12. 피사계 심도 강조 영상을 획득하는 장치에 있어서,
    서로 다른 패턴에 따라 빛을 조사하는 조명 장치;
    카메라가 상기 조명 장치를 이용해 촬영한 제 1 패턴 영상 및 제 2 패턴 영상을 획득하는 패턴 영상 획득부; 및
    상기 제 1 패턴 영상 및 제 2 패턴 영상을 이용하여 피사계 심도 영역을 검출하여, 상기 검출된 피사계 심도 영역을 이용하여 가중치를 결정하고, 상기 제 1 패턴 영상 및 제 2 패턴 영상 중 한 영상에 대해 상기 가중치를 적용하여 상기 피사계 심도 강조 영상을 생성하는 피사계 심도 강조 영상 생성부를 포함하고,
    상기 피사계 심도 영역은, 상기 카메라가 촬영한 영상에서 피사체의 상이 뚜렷하는 보일 수 있는 가장 가까운 위치와 가장 먼 위치 사이의 범위 영역인 것을 특징으로 하는 피사계 심도 강조 영상 획득 장치.
  13. 제 12 항에 있어서, 상기 피사계 심도 강조 영상 획득 장치는,
    상기 생성된 피사계 심도 강조 영상의 이진화 영상을 생성하고, 상기 생성된 이진화 영상을 이용하여 상기 강조된 피사계 심도에 대해 추가적으로 영상 처리 기법을 수행하는 영상처리부를 더 포함하고,
    상기 영상 처리 기법은, 상기 이진화 영상을 이용한 영상 분리(image segmentation) 기법, 알파 매트(alpha matte) 기법 및 다른 영상과의 합성 기법 중 적어도 하나를 포함하는 것을 특징으로 하는 피사계 심도 강조 영상 획득 장치.
  14. 제 12 항에 있어서,
    상기 조명 장치는, 상기 카메라의 프로젝터 장치 및 플래쉬 장치 중 적어도 하나를 포함하고,
    상기 패턴은 빛이 투과하는 블록과 빛이 차단되는 블록이 번갈아 나열되는 체커보드 패턴을 포함하고, 상기 제 1 패턴 영상의 제 1 패턴 및 제 2 패턴 영상의 제 2 패턴은 빛이 투과하는 블록과 빛이 차단되는 블록의 위치가 서로 반전된 두 패턴인 것을 특징으로 하는 피사계 심도 강조 영상 획득 장치.
  15. 제 13 항에 있어서, 상기 피사계 심도 강조 영상 생성부는,
    상기 제 1 패턴 영상 및 상기 제 2 패턴 영상의 차이 영상을 상기 차이 영상의 최대값으로 나누고, 상기 차이 영상 중 상기 피사계 심도로 검출되지 않은 영역에 대한 가중치를 감소시키고, 상기 피사계 심도로 검출된 영역에 대한 가중치를 증가시킨 가중치 영상을 생성하는 것을 특징으로 하는 피사계 심도 강조 영상 획득 장치.
KR1020110029873A 2011-03-31 2011-03-31 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치 KR101212802B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110029873A KR101212802B1 (ko) 2011-03-31 2011-03-31 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치
US13/437,229 US9094609B2 (en) 2011-03-31 2012-04-02 Method and apparatus for generating image with highlighted depth-of-field

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110029873A KR101212802B1 (ko) 2011-03-31 2011-03-31 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20120111420A KR20120111420A (ko) 2012-10-10
KR101212802B1 true KR101212802B1 (ko) 2012-12-14

Family

ID=46926710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110029873A KR101212802B1 (ko) 2011-03-31 2011-03-31 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치

Country Status (2)

Country Link
US (1) US9094609B2 (ko)
KR (1) KR101212802B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740019B2 (en) * 2010-02-02 2017-08-22 Apple Inc. Integrated structured-light projector
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
CN104103083A (zh) * 2013-04-03 2014-10-15 株式会社东芝 图像处理装置和方法以及医学成像设备
US10066933B2 (en) 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
CN108363939B (zh) * 2017-01-26 2022-03-04 阿里巴巴集团控股有限公司 特征图像的获取方法及获取装置、用户认证方法
US11935285B1 (en) 2017-06-02 2024-03-19 Apple Inc. Real-time synthetic out of focus highlight rendering
US10410327B2 (en) 2017-06-02 2019-09-10 Apple Inc. Shallow depth of field rendering
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
US10488746B2 (en) 2017-11-14 2019-11-26 Dolby Laboratories Licensing Corporation Aperture sharing for highlight projection
CN108322639A (zh) * 2017-12-29 2018-07-24 维沃移动通信有限公司 一种图像处理的方法、装置以及移动终端
CN108259740A (zh) * 2017-12-29 2018-07-06 维沃移动通信有限公司 一种全景图像生成的方法、装置以及移动终端
CN108347558A (zh) * 2017-12-29 2018-07-31 维沃移动通信有限公司 一种图像优化的方法、装置以及移动终端
US10992845B1 (en) 2018-09-11 2021-04-27 Apple Inc. Highlight recovery techniques for shallow depth of field rendering
CN115131467A (zh) * 2021-03-26 2022-09-30 北京小米移动软件有限公司 图像处理方法及装置、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119623A (ja) 1999-10-20 2001-04-27 Eastman Kodak Japan Ltd 焦点合わせ装置
JP2011130169A (ja) 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
KR101056051B1 (ko) 2009-10-08 2011-08-10 중앙대학교 산학협력단 자동 초점 시스템의 초점 조절장치 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958180A (en) * 1987-05-23 1990-09-18 Minolta Camera Kabushiki Kaisha Focus detecting device and auxiliary illuminating device therefor
US5313246A (en) * 1989-09-06 1994-05-17 Nikon Corporation Exposure control device in a camera
US5428420A (en) * 1991-08-28 1995-06-27 Canon Kabushiki Kaisha Focus detecting apparatus having photoelectric area sensors
DE4330265B4 (de) * 1992-09-07 2004-07-29 Canon K.K. Vorrichtung zum Erfassen der Sehachse eines Auges einer ein optisches Gerät bedienenden Person
US5850578A (en) * 1994-09-14 1998-12-15 Canon Kabushiki Kaisha Light-projecting system for automatic focus detection
US5926655A (en) * 1995-08-15 1999-07-20 Canon Kabushiki Kaisha Line of sight detection device and an apparatus having a line of sight detection device
US6583811B2 (en) * 1996-10-25 2003-06-24 Fuji Photo Film Co., Ltd. Photographic system for recording data and reproducing images using correlation data between frames
JP2000258682A (ja) * 1999-03-08 2000-09-22 Olympus Optical Co Ltd 自動焦点調節装置
US20010041073A1 (en) * 2000-02-03 2001-11-15 Noam Sorek Active aid for a handheld camera
US7158182B2 (en) * 2001-09-28 2007-01-02 Nikon Corporation Camera that engages in a focusing operation through a contrast method
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP2009103912A (ja) * 2007-10-23 2009-05-14 Olympus Corp 撮像装置
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
JP5276374B2 (ja) * 2008-07-25 2013-08-28 キヤノン株式会社 焦点検出装置
CN101783129B (zh) * 2009-01-04 2012-12-05 虹软(杭州)科技有限公司 影像缩放装置以及影像缩放方法
KR101259835B1 (ko) * 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
JP5464934B2 (ja) * 2009-07-23 2014-04-09 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119623A (ja) 1999-10-20 2001-04-27 Eastman Kodak Japan Ltd 焦点合わせ装置
KR101056051B1 (ko) 2009-10-08 2011-08-10 중앙대학교 산학협력단 자동 초점 시스템의 초점 조절장치 및 방법
JP2011130169A (ja) 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置

Also Published As

Publication number Publication date
US9094609B2 (en) 2015-07-28
KR20120111420A (ko) 2012-10-10
US20120249743A1 (en) 2012-10-04

Similar Documents

Publication Publication Date Title
KR101212802B1 (ko) 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
US20200043225A1 (en) Image processing apparatus and control method thereof
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP4548542B1 (ja) 情報処理装置、情報処理方法及びプログラム
US8854489B2 (en) Image processing method and image processing apparatus
JP2017147658A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP6273640B2 (ja) 撮影画像表示装置
JP2005353010A (ja) 画像処理装置および撮像装置
JP2007110638A5 (ko)
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP5018652B2 (ja) 物体存在判定装置
JPWO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP7292905B2 (ja) 画像処理装置及び画像処理方法、及び撮像装置
JP2018182700A (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP5282461B2 (ja) 撮像装置
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6675461B2 (ja) 画像処理装置およびその制御方法、ならびにプログラム
JP7446080B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
JP2013197892A (ja) 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
Hsieh et al. Pixel-based multi-focus image fusion by color appearance model
JP2018098744A (ja) 画像処理装置、及び画像処理方法
CN114071126A (zh) 基于成像系统的测试设备、测试方法以及测试装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 8