KR101994473B1

KR101994473B1 - 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램

Info

Publication number: KR101994473B1
Application number: KR1020170175820A
Authority: KR
Inventors: 이경택
Original assignee: (주)이더블유비엠
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2019-07-31
Also published as: KR20190074455A

Abstract

평면이미지의 입체화에 이용되는 양안이미지의 생성방법으로서, 상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리단계와, 청구항 1에 의해 생성된 마스크가 상기 제1 이미지 및 제2 이미지에 적용되어, 각각 배경에 대해 전경이 천이된 제1 시프트이미지 및 제2 시프트이미지가 생성되는 시 프트이미지 생성단계와, 상기 제1 시프트이미지와 제2 시프트이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정단계를 포함하여 이루어짐을 특징으로 한다.

Description

평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램 {METHOD, APPARATUS AND PROGRAM SOTRED IN RECORDING MEDIUM FOR REFOCUCING OF PLANAR IMAGE}

본 발명은, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램에 관한 것으로서, 보다 상세히는, 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 4컬러센서(4-color sensor) 카메라에서 추출된 평면이미지인 RGB이미지 및 IR이미지와 함께 깊이이미지(깊이정보)를 이용하여, 평면이미지 생성 이후에 이 평면이미지의 포커싱 깊이를 다시 조정하는 효과를 내는 방법, 장치 및 기록매체에 저장된 프로그램에 관한 것이다.

일반적으로 이미지는, 깊이감의 제공 유무에 따라 평면이미지와 입체이미지로 나뉜다. 일반적으로 평면이미지는, 카메라 등 촬상장치에 의해 생성되는데, 그 촬상 전에 촬상장치의 렌즈가 조절되어 선명히 나타나야 할 거리 부분에 포커스(초점)가 설정되고, 그 후 셔터 등에 의해 촬상이 되면, 그 설정된 포커스가 반영된 이미지가 생성된다. 따라서, 촬상 이후에 그 포커스를 변경하는 것은 불가능하다.

다만, 평면이미지와 함께 이 평면이미지의 각 화소에 대응하는 깊이정보가 알려져 있는 경우에는, 이 평면이미지에 이 깊이정보를 이용한 후처리를 행함으로써, 사후 포커스 변경, 즉 리포커싱이 가능하다. 즉, 깊이정보를 기반으로 하여, 선명히 나타내고자 하는 어느 특정 깊이에 해당되는 화소들의 선명도를 유지 또는 향상시키고, 그 이외의 깊이에 해당되는 화소들의 선명도를 저하 또는 유지시킴으로써, 마치 처음부터 그 깊이에 포커스가 설정되어서 촬상된 것처럼 나타나도록 할 수 있다.

그런데, 종래에는, 이 깊이정보가 리포커싱의 대상이 되는 평면이미지와 독립적으로 추출되었다. 즉, 이미지를 촬상하고, 이 이미지의 촬상과 별도로 추가로 깊이정보를 산출하였다.

먼저, 이미지의 촬상은 카메라에 의해 수행될 수 있다. 하나의 카메라는 하나의 정면 컬러 이미지를 생성한다. 다만, 이런 통상의 카메라와 대비하여, 특수 카메라도 존재한다. 예컨대, 카메라가 서로 이격되어 대상체를 향해 서로 다른 각도로 배치된 서로 다른 2대의 카메라로 이루어지는 스테레오 카메라(stereo camera)인 경우에는, 좌측 및 우측의 2대의 카메라에 의해 하나의 대상체가 각각 촬상되어, 2개의 컬러 이미지가 생성된다. 이 촬상장치를 스테레오스코프(stereoscope, 입체경, 쌍안사진경, 입체카메라)라 한다. 상기 촬상된 두 이미지는, 서로 각도차(시차)를 가지도록 형성되고, 스테레오쌍(stereo pairs)이라 한다. 이 2개의 이미지는, 중앙보다 각각 좌측, 우측에 치우쳐 설치된 2대의 카메라로부터 촬상된 것이므로, 서로 각도가 상이하고, 또한 어느 것도 중앙의 정면이미지가 아니다. 따라서, 하나의 카메라에 의한 중앙의 정면이미지를 대상으로 하는 본원발명과는 그 분야가 다르다.

한편, 깊이정보는 이미지의 촬상과 별개로 다양한 방식으로 산출될 수 있다. 예컨대, 위의 스테레오 카메라를 이용하는 경우에는, 좌측 카메라와 우측 카메라의 시차(視差)에 의해 공지의 방식으로 깊이정보가 산출될 수 있다. 다만, 이는 2대의 카메라를 필요로 한다. 다른 방식으로서, 예컨대, 비행시점(Time Of Flight; TOF) 방식의 경우에는, IR 에미터(emitter) 등에 의해 펄스파를 방사하고 그 반향파를 수집함으로써 공지의 방식으로 깊이정보가 산출될 수 있다. 다만, 이는 카메라 외에도 IR 에미터와 같은 특수 부가장비를 추가로 필요로 한다. 따라서, 하나의 카메라에 의해 산출되는 깊이정보를 대상으로 하는 본원발명과는 그 분야가 다르다.

종래의 특허문헌에는, 사진촬영될 피사체이면서 상이한 필드 깊이를 가지는 적어도 2개의 이미지를 획득하는 단계; 상기 적어도 2개의 이미지 중 하나의 이미지의 부분적인 영역에 대해 사용자에 의해 수행되는 명령 시행(instruction operation)을 획득하는 단계; 상기 명령 시행에 따라 목표 영역을 결정하는 단계; 상기 적어도 2개의 이미지 각각에서의 목표 영역의 화질(definition)을 획득하는 단계; 및 상기 적어도 2개의 이미지 각각에서의 목표 영역의 화질에 따라 목표 이미지를 생성하는 단계를 포함하는 리포커싱을 실행하는 방법이 개시되어 있다.

특허공개 10-2015-0120317 공보

그런데, 평면이미지와 깊이정보를 이용한 리포커싱을 위해, 이미지를 획득하는 경우에, 상기 스테레오쌍을 직접 취득하는 상기 스테레오 카메라는, 비교적 매우 고가의 장비이고, 양 카메라가 별개로 구비되어 있고, 그 촬상각도와 초점의 설정 및 유지도 별도로 해야 하고, 촬상의 동기화도 필요하므로, 취급하기 쉽지 않다는 단점이 있다. 그리고 양 카메라는 RGB카메라이므로, 특히 낮은 조도에서는 촬상된 이미지의 품질이 크게 저하된다는 문제가 있다. 낮은 조도에서 이미지 정확성이 저하되므로, 깊이정보가 부정확하여, 전경/배경 등의 경계선(edge)이 부정확해지고 오인식된다는 문제가 있다. 또한, 두 이미지는 정면이미지가 아니라, 좌측 이미지는 좌측으로, 우측 이미지는 우측으로, 각기 약간의 각도를 틀어서 찍힌 이미지라는 점에서, 본원발명처럼 하나의 카메라에 의해 찍힌 완전 정면이미지를 대상으로 할 수 없다는 문제가 있다.

그리고 상기 비행시간 방식의 센서는, 발사된 펄스의 기준시점과 대상물에서의 반사된 펄스의 검출시점 사이의 시간차를 이용하여 거리를 측정하는 것이므로, 카메라 이외에 펄스의 발신 및 수신을 위한 별도의 장치가 추가로 필요한데, 상기 펄스장비가 비교적 매우 고가의 장비라는 문제가 있고, 펄스의 종류에 따라서는, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 따라 인식율이 취약하다는 단점이 있다. 게다가 카메라와의 동기화도 필요하므로, 역시 취급하기 쉽지 않다는 단점이 있다.

이처럼, 상기 스테레오 카메라로부터의 깊이정보나 비행시간 방식의 깊이정보를 이용한 경우, 평면이미지의 전경(Foreground)의 추출 및 가공을 위한 경계선의 검출이 부정확하고, 평면이미지로부터 가공된 스테레오쌍의 이미지가 정확한 정면이미지가 아니고 매끄럽지 못하다. 이러한 단점은 저조도 환경이나 외란이 있는 환경에서 특히 심하다.

본 발명은, 상기 문제점을 해소하기 위해 이루어진 것으로서, 장비의 비용을 최소화할 수 있고, 단일 카메라에 의해 구성되어, 촬상각도와 초점의 설정 및 유지가 불필요하고, 촬상의 동기화도 불필요한, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램을 제공하고자 하는 것이다.

그리고 카메라에서 RGB뿐 아니라 IR이미지도 함께 취득함으로써, 특히 낮은 조도에서도 촬상된 이미지의 품질이 크게 향상되는, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램을 제공하고자 하는 것이다.

그리고 카메라로부터 취득된 깊이정보가 낮은 조도에서도 정확성이 유지되어, 전경/배경 등의 경계선(edge)이 정확하고 오인식이 해소되는, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램을 제공하고자 하는 것이다.

그리고 펄스의 송수신에 의한 깊이정보 취득방식이 아니어서, 펄스발신 및 수신을 위한 별도의 장치나 카메라와의 동기화 장치가 불필요하고, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 영향을 받지 않는, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램을 제공하고자 하는 것이다.

상기 과제를 해결하기 위한 본 발명의 방법은, 평면이미지의 리포커싱 방법으로서, 조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정단계와, 상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출단계와, 상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출단계와, 상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정단계와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 단계와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 단계와, 상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성단계가 포함되어 이루어짐을 특징으로 한다.

여기서, 상기 제1 깊이보다 제2 깊이가 크면, 상기 배경이미지가 선명하게 처리되는 배경샤프닝 단계와, 상기 제1 깊이보다 제2 깊이가 작으면, 상기 배경이미지가 흐리게 처리되는 배경블러링 단계가 더 포함되어 이루어짐이 바람직하다.

그리고 상기 전경이미지 추출단계는, 각 전경이미지의 마스크가 결정되는 마스크 결정단계와, 상기 마스크가 상기 전경이미지에 적용되어 전경이미지가 생성되는 전경이미지 생성단계가 포함되어 이루어짐이 바람직하다.

여기서, 상기 마스크 결정단계는, 촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출단계와, 상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성단계가 포함되어 이루어짐이 바람직하다.

여기서, 상기 촬상장치는, 이중조리개 (dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라임이 바람직하다.

여기서, 상기 깊이배경 추출단계는, 미리 정해진 깊이 임계값을 기준으로 깊이 배경이미지와 깊이 전경이미지를 분리하도록 구성됨이 바람직하다.

여기서, 상기 마스크 생성단계의 경계선 이미지는, 상기 IR이미지로부터 추출됨이 바람직하다.

여기서, 상기 마스크 생성단계에서, 상기 경계선 전경이미지 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고, 이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함이 바람직하다.

그리고 상기 샤프닝 단계나 상기 블러링 단계의 처리 정도는, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차 사이의 편차 또는 비율에 따라 결정됨이 바람직하다.

여기서, 상기 샤프닝 단계는, 상기 RGB이미지를 YCrCb 도메인으로 변환하는 변환단계와, 상기 Y의 조도와 상기 IR이미지의 강도의 평균치를 얻는 파라미터 추출단계와, 상기 IR이미지의 강도의 평균치에 대한 상기 Y의 조도의 평균치의 비율로 스케일 개선도를 산출하는 스케일 파라미터 산출단계와, 상기 IR의 조도를 스케일 파라미터로 개선하여, 새로운 Y'의 조도로 설정하는 신규조도 산출단계와, 상기 개선된 IR의 조도인 Y'을 CrCb에 병합하여 개선된 Y'CrCb를 생성하는 개선단계와, 상기 Y'CrCb를 RGB 도메인으로 변환하는 역변환단계를 포함하여 이루어짐이 바람직하다.

그리고, 상기 블러링 단계는, 상기 전경이미지나 배경이미지를 분리시킨 후, 스무딩 필터링을 통과시켜서, 원하는 정도만큼의 블러 효과를 내도록 하여 이루어짐이 바람직하다.

한편, 상기 과제를 해결하기 위한 본 발명의 장치는, 평면이미지의 리포커싱 장치로서, 조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정부와, 상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출부와, 상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출부와, 상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정부와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 부와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 부와, 상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성부가 포함되어 이루어짐을 특징으로 한다.

한편, 상기 과제를 해결하기 위한 본 발명의 정보처리기기에서 읽을 수 있는 기록매체에 저장된 프로그램은, 정보처리기기에서 읽을 수 있는 기록매체에 저장된, 평면이미지의 리포커싱 방법을 실행시키기 위한 프로그램으로서, 조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정단계와, 상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출단계와, 상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출단계와, 상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정단계와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 단계와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 단계와, 상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성단계가 포함되어 이루어짐을 특징으로 한다.

본 발명에 의하면, 장비의 비용을 최소화할 수 있고, 단일 카메라에 의해 구성되어, 촬상각도와 초점의 설정 및 유지가 불필요하고, 촬상의 동기화도 불필요한, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램이 제공된다.

그리고 카메라에서 RGB뿐 아니라 IR이미지도 함께 취득함으로써, 특히 낮은 조도에서도 촬상된 이미지의 품질이 크게 향상되는, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램이 제공된다.

그리고 카메라로부터 취득된 깊이정보가 낮은 조도에서도 정확성이 유지되어, 전경/배경 등의 경계선(edge)이 정확하고 오인식이 해소되는, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램이 제공된다.

그리고 펄스의 송수신에 의한 깊이정보 취득방식이 아니어서, 펄스발신 및 수신을 위한 별도의 장치나 카메라와의 동기화 장치가 불필요하고, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 영향을 받지 않는, 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램이 제공된다.

도 1은, 본 발명의 방법 및 이 방법이 적용되는 장치에서의 데이터 흐름과 처리를 나타내는 블럭도이다.
도 2는, 리포커싱의 개념 및 샤프닝, 블러링의 효과를 설명하기 위한 도면이다.
도 3은, 이중조리개(dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라를 이용하는 반도체 칩의 출력인 깊이(depth)이미지(깊이 맵), RGB 이미지, 및 IR이미지를 나타내는 예시도이다.
도 4는, 깊이이미지를 깊이 전경(FG; Foreground)이미지와 깊이 배경(BG; Background)이미지로 분리하는 과정을 나타내는 예시도이다.
도 5는, IR이미지로부터 IR 경계선(edge) 이미지를 추출하는 경계선 검출과정을 나타내는 예시도이다.
도 6은, IR 경계선 이미지에서 깊이 배경이미지를 감산하여 IR 경계선 전경이미지를 만드는 과정을 나타내는 예시도이다.
도 7은, IR 경계선 전경이미지의 경계선 내부를 삭제하여 형성된 마스크의 예시도이다.
도 8은, 마스크를 적용하여, RGB 전경이미지와 RGB 배경이미지를 분리하는 과정을 나타내는 예시도이다.
도 9는, 배경이미지를 선명하게 하는 샤프닝 과정을 나타내는 예시도이다.
도 10은, 흐리게 처리된 전경이미지와 선명하게 처리된 배경이미지를 합성하여, 원래의 이미지(도 3)보다 배경에 포커스가 이동된 이미지를 생성하는 과정을 나타내는 예시도이다.
도 11은, 전경에 포커스가 있는 원래 이미지와 배경에 포커스가 이동된 결과 이미지를 나란히 나타내는 예시도이다.

이하, 첨부도면을 참조하면서 본 발명을 상세히 설명한다. 다만, 동일 구조에 의해 동일 기능을 수행하는 부재는, 도면이 달라지더라도 동일 부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 그리고 하나의 단계나 모듈은, 2 이상의 단계나 모듈로 분리되어 구현될 수 있고, 역으로, 2 이상의 단계나 모듈은, 하나의 단계나 모듈로 병합되어 구현될 수 있다. 그리고 방법을 수행하는 장치는, 하드웨어와 고정 형성된 회로에 의해 구현되어도 좋고, 하드웨어에 설치된 프로그램에 의해 가변적으로 변화 가능한 회로에 의해 구현되어도 좋다. 그리고 포커스 이동의 대상이 되는 이미지로서, 이하의 설명에서는 RGB이미지를 들어서 설명하지만, IR이미지에도 동일하게 적용될 수 있다.

<기본구성>

본 발명의 평면이미지의 리포커싱 방법은, 깊이 설정단계와, 피사체 깊이 추출단계와, 전경이미지 추출단계와, 배경이미지 결정단계와, 샤프닝 단계와, 블러링 단계와, 합성단계가 포함되어 이루어짐을 특징으로 한다.

상기 깊이 설정단계는, 도 2와 같이, 조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 단계이다. 도 2에서는, 예컨대 사각 박스(b)에 포커스가 존재하던 원래의 조정 전 평면이미지를 텐트(t)에 포커스가 존재하는 조정 후 평면이미지로 변경할 때의 개념을 나타내고 있다. 여기서, 조정 전에는, 사각 박스(b)의 상대 포커스도가 0이고, 그보다 카메라 가까운 쪽에 존재하는, 즉 깊이값이 작은 파리(f)의 상대 포커스도가 -1, 그리고 사각 박스(b)보다 카메라에서 먼 쪽에 존재하는, 즉 깊이값이 큰 사람(h), 텐트(t), 비행기(p) 등의 상대 포커스도가 1~3으로 나타나 있다. 반면, 조정 후에는, 텐트(t)의 상대 포커스도가 0이 되고, 그보다 카메라 가까운 쪽에 존재하는, 즉 깊이값이 작은 사람(h), 사각 박스(b), 파리(f)의 상대 포커스도가 1~3, 그리고 텐트(t)보다 카메라에서 먼 쪽에 존재하는, 즉 깊이값이 큰 비행기(p)의 상대 포커스도가 1로 나타나 있다. 여기서, 상대 포커스도는, 포커스된 깊이와의 상대거리의 순서를 나타내는 것으로서, 플러스는 깊이값이 커지는 방향, 마이너스는 깊이값이 작아지는 방향을 나타낸다.

상기 피사체 깊이 추출단계는, 상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 단계이다. 도 2에 있어서 피사체는, 깊이값이 작은 쪽에서 큰 쪽으로 파리(f), 사각 박스(b), 사람(h), 텐트(t), 비행기(p)가 예시되어 있다.

상기 전경이미지 추출단계는, 상기 각 피사체의 전경이미지를 추출하는 단계이다. 전경이미지의 추출을 위해서는, 전경이미지에 해당되는 마스크를 생성하고, 그 마스크를 예컨대 이미지로부터 감산이나 비트 논리연산 등을 하는 공지의 방법을 이용할 수 있다. 마스크의 생성에 대해서는 후술한다.

상기 배경이미지 결정단계는, 상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 단계이다. 배경이미지는, 상기 전경이미지가 추출되면, 예컨대 전경이미지를 이미지에서 감산하거나 기타 비트 논리연산에 의한 공지의 방법을 이용하여 구할 수 있다. 상기 전경이미지의 추출과 배경이미지의 결정에 의해, 도 8과 같이, 대상이 되는 이미지, 예컨대 RGB이미지가 RGB 전경이미지와 RGB 배경이미지로 분리된다. 다만, RGB 전경이미지는, 처리하고자 하는 피사체의 수만큼 증가될 수 있다.

상기 샤프닝 단계는, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 단계이다. 샤프닝은, 포커스가 맞은 상태에 가까운 형태가 되도록 이미지를 변형시키는 과정을 말하고, 각 피사체마다 선명하게 처리되는 정도가 서로 다를 수 있다. 도 9의 예시에서는, 배경이미지에 대해 샤프닝 처리를 행하는 것이 예시되어 있지만, 이에 한하지 않고, 어느 전경이미지에 포커스도가 더 증가한 경우에는, 그 전경이미지에 대해 샤프닝 처리가 행해질 수 있다. 샤프닝 전의 원본 이미지(RGB)에 대해, 샤프팅 후에는 선명 이미지(RGB')가 된다.

상기 블러링 단계는, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 단계이다. 블러링은, 포커스가 맞지 않은 상태에 가까운 형태가 되도록 이미지를 변형시키는 과정을 말하고, 각 피사체마다 흐리게, 즉 선명하지 않게 처리되는 정도가 서로 다를 수 있다. 도 10의 우상측에는, 전경이미지에 대해 블러링 처리를 행한 것이 예시되어 있지만, 이에 한하지 않고, 다른 전경이미지나 배경이미지에 포커스도가 더 감소한 경우에는, 그 전경이미지나 배경이미지에 대해 블러링 처리가 행해질 수 있다. 블러링 전의 원본 이미지(RGB)에 대해, 블러링 후에는 흐린 이미지(RGB'')가 된다.

즉, 상기 샤프닝이나 블러링은, 전경이미지에 대해서만 적용되는 것이 아니고, 배경이미지에 대해서도 적용될 수 있다. 그리고 상기 샤프닝과 블러링은, 각 피사체가 포커스 깊이에 얼마나 가까운지를 나타내는 포커스도를 산출하고, 이 포커스도가 증가하면 샤프닝 처리를, 포커스도가 감소되면 블러링 처리를 행하는 것으로 이해하면 된다.

예컨대, 배경이미지에 대해서는, 상기 제1 깊이보다 제2 깊이가 크면, 상기 배경이미지가 선명하게 처리되는 배경샤프닝 단계와, 상기 제1 깊이보다 제2 깊이가 작으면, 상기 배경이미지가 흐리게 처리되는 배경블러링 단계를 더 구비할 수 있다. 이로써, 포커스가 카메라에서 멀어지면, 배경이미지가 이전보다 선명해지고, 포커스가 카메라에 가까워지면, 배경이미지가 이전보다 흐려지도록 처리된다.

상기 합성단계는, 도 10과 같이, 상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 단계이다. 다만, 합성된 결과이미지의 부정합 느낌을 저감시키기 위해, 상기 합성 전에 경계선 부분을 더욱 흐리게 처리하는 블러링 과정을 거치도록 할 수도 있다. 상기 합성으로 인해, 예컨대 도 11과 같이, 원래 전경에 포커스가 존재하던 좌측 이미지가, 전경에는 포커스가 없어지고 배경에 보다 포커스가 더 맞춰진 우측 이미지로 변형될 수 있다. 이로써 포커스의 이동, 즉 리포커싱이 완료된다.

<효과>

상기 본 발명의 방법의 구성에 따르면, 마스크를 이용하여 이미지 속의 복수의 피사체의 전경과 배경을 분리하고, 각 피사체마다 이전 포커스 깊이와 신규 포커스 깊이에 의해 연산하여, 각 피사체마다의 샤프닝 정도와 블러링 정도를 조정하여 샤프닝과 블러링 처리를 수행하고, 그 후 배경과 합성하여 결과 이미지를 생성한다. 따라서, 이미지가 특정 포커스를 가지고 완성된 이후라도, 그 깊이정보를 활용하여 다른 깊이에 포커스를 가지는 새로운 이미지를 사후적으로 생성할 수 있다. 즉, 포커스를 새로 설정하는 리포커싱을 구현할 수 있다.

또한, 새로운 포커스 깊이가 배경에 가까워지는지 멀이지는지에 따라 배경이미지에도 샤프닝과 블러링을 적용함으로써, 보다 포커싱 효과를 실감나게 극대화할 수 있다.

<마스크의 생성>

상기 전경이미지 추출단계 및 그 후속의 배경이미지 결정단계의 수행을 위해, 본 발명의 평면이미지의 리포커싱 방법은, 이미지에서 전경을 분리하기 위해 이용되는 도 7과 같은 마스크(24)의 생성을 수행한다. 따라서, 상기 전경이미지 추출단계는, 도 1과 같이, 각 전경이미지의 마스크가 결정되는 마스크 결정단계(24)와, 상기 마스크가 상기 전경이미지에 적용되어 전경이미지가 생성되는 전경이미지 생성단계(41)가 포함되어 이루어짐이 바람직하다.

상기 마스크 결정단계(24)는, 도 1과 같이, 깊이배경 추출단계(13)와, 마스크 생성단계(24)가 포함됨을 특징으로 한다.

상기 깊이배경 추출단계(31)는, 촬상장치(11)로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지(40)와 IR이미지(20)로부터 깊이맵 모듈(12)에 의해 산출된 깊이(depth)정보를 나타내는 깊이이미지(30)로부터 깊이 배경(background)이미지(31)를 분리 추출하는 단계이다.

상기 촬상장치(11)는 RGB이미지(40)와 IR이미지(20)를 동일 각도로 동시에 생성하는 장치이다. 여기서, 상기 촬상장치(11)는, 예컨대 이중조리개 (dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라임이 바람직하다. 상기 이중조리개 단일렌즈 4-컬러 센서는, 하나의 촬상소자에 RGB와 IR 촬상소자가 함께 구현된 센서로서, 하나의 렌즈를 통해 들어온 빛이 2개의 조리개를 통해 수광되어 4개의 컬러, 즉, R, G, B, IR의 컬러 이미지를 받아들이는 장치이다. 이로써 RGB이미지와 IR이미지는, 서로 동일 각도로 동시에 촬상된다.

이와 대비하여, 예컨대 종래기술의 스테레오그래프는, 2개의 RGB이미지를 생성하는 장치이므로, RGB이미지와 IR이미지를 생성하는 본 발명의 촬상장치와는 다르다. 게다가 상기 스테레오그래프는, 2개의 RGB이미지들이 서로 시차를 가지도록 생성하므로, 동일 각도로 생성하는 본 발명의 촬상장치와는 다르다.

그리고 상기 깊이이미지(30)는, RBG이미지(40)와 IR이미지(20)로부터 생성되는 것이므로, IR이미지에 의해 저조도에 강인한 효과가 있다. 예컨대 RGB이미지가 전혀 획득될 수 없는 칠흑같은 어둠 속에서도, 본원발명은 IR이미지에 의해 깊이정보의 취득이 가능하다.

이와 비교하여, 오직 2개의 RGB이미지들로부터 얻어지는 스테레오그래프에 의한 깊이정보는, 저조도에서 깊이정보의 취득이 불가능하거나 부정확하므로, 본 발명의 상기 깊이이미지(30)와 다르다.

게다가 비행시간 방식 센서에 의한 깊이정보는, 펄스의 발신 및 수신을 위한 별도의 장치가 추가로 필요하므로, 본 발명의 상기 촬상장치와는 다르다. 그리고 펄스의 종류에 따라서는, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 따라 인식율이 취약하다는 단점이 있다.

그리고 상기 깊이배경 추출단계는, 미리 정해진 깊이 임계값(D threshold)을 기준으로 깊이 배경이미지(31)와 깊이 전경이미지(32)를 분리하도록 구성됨이 바람직하다. 깊이 임계값은, 예컨대 중간값, 예컨대 0~100 중 50으로 설정(Th = 50)될 수 있다.

상기 마스크 생성단계는, 상기 깊이이미지(30), RGB이미지(40) 또는 IR이미지로(20)부터 추출된 경계선(edge) 이미지(21)에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지(23)의 경계선 내부를 삭제하여 이루어진 마스크(24)를 생성하는 단계이다.

그리고 상기 마스크 생성단계의 상기 경계선 이미지(21)는, 상기 깊이이미지(30)나 RGB이미지(40)에서 추출되어도 좋지만, 선명도나 조도의 면에서, 특히 상기 IR이미지(20)로부터 추출됨이 바람직하다. 상기 IR이미지(20)는, 전초점(all in-fucus) 이미지이고, 저조도 환경에서 강인하다.

그리고 상기 마스크 생성단계에서, 상기 경계선 내부의 삭제과정은, 상기 경계선 전경이미지(23) 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고, 이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함이 바람직하다.

<효과>

상기 과정에서 따라 마스크가 생성되면, 촬상장치가 간이하고 정밀도가 높으므로, 마스크의 경계선이 정밀하고 선명하게 된다. 또한, 별도의 IR장치 없이 촬상장치에서 IR이미지를 직접 획득하므로, 간소하게 저조도 하에서 정밀도가 향상된다. 그리고 하나의 촬상장치에 의해 RGB이미지와 IR이미지가 동시에 얻어지므로, 동기화가 필요치 않다. 게다가 촬상장치에 의해 RGB이미지와 IR이미지가 동일 각도로 촬상되므로, 두 이미지의 중심 어긋남이 발생되지 않는다. 그리고 하나의 촬상장치에 의한 RGB이미지와 IR이미지로부터 직접 깊이이미지가 추출되므로, 연산이 신속하고 정확하다.

<샤프닝과 블러링의 정도>

상기 샤프닝 단계나 상기 블러링 단계의 처리 정도는, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차 사이의 편차 또는 비율에 따라 결정됨이 바람직하다.

예컨대 도 2에 도시된 바와 같이, 피사체 사람(h)이 원래의 제1 포커스와의 거리보다 조정 후의 제2 포커스와의 거리가 더 증가하게 되었다. 따라서, 원래의 제1 포커스 때의 사람(h)의 흐림 정도보다, 조정 후의 제2 포커스 때의 흐림 정도가 더 심해지도록 블러링 정도가 설정될 필요가 있다.

상기 샤프닝이나 블러링의 처리 정도의 값은, 선형적인 값, 즉 예컨대 거리의 차(편차)에 의존하여 결정되어도 좋고, 비례적인 값, 즉 예컨대 거리의 차의 비(비율)에 의존하여 결정되어도 좋다. 그리고 샤프닝이나 블러링의 처리 정도는, 깊이 값이 작을수록 크게 하고, 깊이 값이 클수록 작게 함이 바람직하다. 이로써 카메라 가까운 곳의 피사체일수록 포커스 이동에 따른 교정효과를 크게 반영할 수 있다.

<효과>

이로써, 포커스 이동에 따른 각 피사체의 샤프닝 또는 블러링의 효과가 극대화된다.

<샤프닝의 구체적 기법>

상기 샤프닝 단계는, 변환단계와, 파라미터 추출단계와, 스케일 파라미터 산출단계와, 신규조도 산출단계와, 개선단계와, 역변환단계를 포함하여 이루어짐이 바람직하다.

상기 변환단계는, 상기 RGB이미지(RGB)를 YCrCb 도메인으로 변환하는 단계이다. 이러한 도메인의 변환은 공지이므로, 상세한 설명을 생략한다.

상기 파라미터 추출단계는, 상기 Y의 조도와 상기 IR이미지의 강도의 평균치를 얻는 단계이다. YCrCb의 Y는, 조도를 나타내고, IR이미지는 조도 위주의 파라미터를 가진다. 이들은 이미지로부터 공지의 수법으로 용이하게 취득될 수 있다.

상기 스케일 파라미터 산출단계는, 상기 IR이미지의 강도의 평균치에 대한 상기 Y의 조도의 평균치의 비율로 스케일 개선도를 산출하는 단계이다. 상기 스케일 개선도는, 포커스의 변화에 따라 반영되어야 할 이미지의 변화량 중에서 조도 관련 스케일의 값과 관련된 수치이다.

상기 신규조도 산출단계는, 상기 IR의 조도를 스케일 파라미터로 개선하여, 새로운 Y'의 조도로 설정하는 단계이다. 이로써 YCrCb 이미지를 개선하여 새로운 Y'CrCb 이미지를 생성할 때 반영되어야 할 조도 Y'이 산출된다.

상기 개선단계는, 상기 개선된 IR의 조도인 Y'을 CrCb에 병합하여 개선된 Y'CrCb를 생성하는 단계이다. 이로써 새로운 Y'CrCb 이미지가 완성되었다.

상기 역변환단계는, 상기 Y'CrCb를 RGB 도메인으로 변환하는 단계이다. 이로써 새로운 RGB 이미지(RGB')가 완성되었다. 이 RGB' 이미지는, 원래의 이미지였던 전경이미지나 배경이미지에 대해 포커스 변경이 반영되어 더욱 선명하게 보정된 이미지이다.

한편, 상기 블러링 단계는, 상기 전경이미지나 배경이미지(RGB)를 분리시킨 후, 스무딩 필터링을 통과시켜서, 원하는 정도만큼의 블러 효과를 내도록 하여 이루어짐이 바람직하다.

스무딩 필터링은, 주변화소와의 관계를 고려하여, 부드러운 이미지가 되도록 하는 필터를 적용하는 처리이다. 이로써, 이미지 경계선이 흐리게 처리된 새로운 RGB 이미지(RGB'')가 완성된다. 이 RGB 이미지(RGB'')는, 원래의 이미지였던 전경이미지나 배경이미지에 대해 포커스 변경이 반영되어 더욱 흐리게 보정된 이미지이다.

<장치>

상기 본 발명의 방법은, 소프트 와이어링 또는 하드 와이어링을 통한 장치로서 구현될 수 있다.

본 발명의 평면이미지의 리포커싱 장치는, 조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정부와, 상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출부와, 상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출부와, 상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정부와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 부와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 부와, 상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성부가 포함되어 이루어짐을 특징으로 한다. 이는 본 발명의 평면이미지의 리포커싱 방법과 대응된다.

<기록매체에 저장된 프로그램>

상기 본 발명의 방법은, 정보처리기기에 의해 읽을 수 있는 기록매체에 저장된 프로그램으로서 구현될 수 있다.

본 발명의 기록매체에 저장된 프로그램은, 조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정단계와, 상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출단계와, 상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출단계와, 상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정단계와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 단계와, 각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 단계와, 상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성단계가 포함되어 이루어짐을 특징으로 하는, 정보처리기기에서 읽을 수 있는 기록매체에 저장된, 평면이미지의 리포커싱 방법을 실행시키기 위한 프로그램이다.

이상, 본 발명의 구체적 구성에 대해 첨부도면 및 실시예를 통해 상세히 설명하였으나, 본 발명은 이에 한하는 것이 아니고, 첨부된 청구범위에 기재된 범위 내에서 이루어지는 개량, 변형, 변경은 모두, 본 발명의 범위에 속하는 것으로 이해되어야 한다.

예컨대, 상기 실시예에서는, RGB 이미지에 대해 포커싱이 조정되는 리포커싱에 대해 설명되었으나, 이에 한하지 않고, IR 이미지에 대해 포커싱이 조정되어 리포커싱이 이루어지도록 해도 좋다. 이를 위해서는, IR이미지의 각 피사체에 대해 전경과 배경을 분리하여, 샤프닝과 블러링을 처리하면 된다.

본 발명은, 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체의 산업에 이용될 수 있다.

10: 정보추출장치
11: DA 카메라 모듈(촬상장치)
12: DA 깊이맵 모듈
20: IR이미지
21: IR 경계선이미지
22: 필터링
23: IR 경계선 전경이미지
24: 마스크
30: 깊이이미지
31: 깊이 배경이미지
32: 깊이 전경이미지
40: RGB이미지
41: 전경이미지(선명 전경, 흐린 전경)
42: 배경이미지(선명 배경, 흐린 배경)
43: 결과이미지(올인 포커스, 전경 포커스, 배경 포커스, 올아웃 포커스)
44: 원본 YCrCb 형식
45: 샤프닝된 Y'CrCb 형식
46: 샤프닝된 RGB' 형식
47: 블러링된 RGB''이미지
cam: 카메라, f: 파리, b: 사각 박스, h: 사람, t: 텐트, p: 비행기

Claims

평면이미지의 리포커싱 방법으로서,
조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정단계와,
상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출단계와,
상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출단계와,
상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정단계와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 단계와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 단계와,
상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성단계
가 포함되어 이루어지고,
상기 전경이미지 추출단계는,
각 전경이미지의 마스크가 결정되는 마스크 결정단계와,
상기 마스크가 상기 전경이미지에 적용되어 전경이미지가 생성되는 전경이미지 생성단계
가 포함되어 이루어지며,
상기 마스크 결정단계는,
촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출단계와,
상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성단계
가 포함되어 이루어지고,
상기 마스크 생성단계에서,
상기 경계선 전경이미지 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고,
이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함
을 특징으로 하는 평면이미지의 리포커싱 방법.
평면이미지의 리포커싱 방법으로서,
조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정단계와,
상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출단계와,
상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출단계와,
상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정단계와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 단계와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 단계와,
상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성단계
가 포함되어 이루어지고,
상기 샤프닝 단계나 상기 블러링 단계의 처리 정도는, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차 사이의 편차 또는 비율에 따라 결정됨
을 특징으로 하는 평면이미지의 리포커싱 방법.
평면이미지의 리포커싱 방법으로서,
조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정단계와,
상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출단계와,
상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출단계와,
상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정단계와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 단계와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 단계와,
상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성단계
가 포함되어 이루어지고,
상기 전경이미지 추출단계는,
각 전경이미지의 마스크가 결정되는 마스크 결정단계와,
상기 마스크가 상기 전경이미지에 적용되어 전경이미지가 생성되는 전경이미지 생성단계
가 포함되어 이루어지며,
상기 마스크 결정단계는,
촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출단계와,
상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성단계
가 포함되어 이루어지고,
상기 샤프닝 단계는,
상기 RGB이미지를 YCrCb 도메인으로 변환하는 변환단계와,
상기 Y의 조도와 상기 IR이미지의 강도의 평균치를 얻는 파라미터 추출단계와,
상기 IR이미지의 강도의 평균치에 대한 상기 Y의 조도의 평균치의 비율로 스케일 개선도를 산출하는 스케일 파라미터 산출단계와,
상기 IR의 조도를 스케일 파라미터로 개선하여, 새로운 Y'의 조도로 설정하는 신규조도 산출단계와,
상기 개선된 IR의 조도인 Y'을 CrCb에 병합하여 개선된 Y'CrCb를 생성하는 개선단계와,
상기 Y'CrCb를 RGB 도메인으로 변환하는 역변환단계
를 포함하여 이루어짐을 특징으로 하는 평면이미지의 리포커싱 방법.
청구항 1 내지 청구항 3 중 어느 하나에 있어서,
상기 제1 깊이보다 제2 깊이가 크면, 상기 배경이미지가 선명하게 처리되는 배경샤프닝 단계와,
상기 제1 깊이보다 제2 깊이가 작으면, 상기 배경이미지가 흐리게 처리되는 배경블러링 단계
가 더 포함되어 이루어짐을 특징으로 하는 평면이미지의 리포커싱 방법.
청구항 1 내지 청구항 3 중 어느 하나에 있어서,
상기 평면이미지의 촬상장치는, 이중조리개(dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라임
을 특징으로 하는 평면이미지의 리포커싱 방법.
청구항 1 내지 청구항 3 중 어느 하나에 있어서,
상기 전경이미지 추출단계는 마스크 결정단계 및 전경이미지 생성단계로 이루어지고,
상기 마스크 결정단계는 깊이배경 추출단계 및 마스크 생성단계로 이루어지며,
상기 깊이배경 추출단계는, 미리 정해진 깊이 임계값을 기준으로 깊이 배경이미지와 깊이 전경이미지를 분리하도록 구성됨
을 특징으로 하는 평면이미지의 리포커싱 방법.
청구항 1 내지 청구항 3 중 어느 하나에 있어서,
상기 전경이미지 추출단계는 마스크 결정단계 및 전경이미지 생성단계로 이루어지고,
상기 마스크 결정단계는 깊이배경 추출단계 및 마스크 생성단계로 이루어지며,
상기 마스크 생성단계의 경계선 이미지는, 상기 IR이미지로부터 추출됨
을 특징으로 하는 평면이미지의 리포커싱 방법.
청구항 1 내지 청구항 3 중 어느 하나에 있어서,
상기 블러링 단계는, 상기 전경이미지나 배경이미지를 분리시킨 후, 스무딩 필터링을 통과시켜서, 원하는 정도만큼의 블러 효과를 내도록 하여 이루어짐
을 특징으로 하는 평면이미지의 리포커싱 방법.
평면이미지의 리포커싱 장치로서,
조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정부와,
상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출부와,
상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출부와,
상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정부와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 부와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 부와,
상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성부
가 포함되어 이루어지고,
상기 전경이미지 추출부는,
각 전경이미지의 마스크가 결정되는 마스크 결정부와,
상기 마스크가 상기 전경이미지에 적용되어 전경이미지가 생성되는 전경이미지 생성부
가 포함되어 이루어지며,
상기 마스크 결정부는,
촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출부와,
상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성부
가 포함되어 이루어지고,
상기 마스크 생성부는,
상기 경계선 전경이미지 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고,
이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함
을 특징으로 하는 평면이미지의 리포커싱 장치.
평면이미지의 리포커싱 장치로서,
조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정부와,
상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출부와,
상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출부와,
상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정부와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 부와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 부와,
상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성부
가 포함되어 이루어지고,
상기 샤프닝 부나 상기 블러링 부의 처리 정도는, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차 사이의 편차 또는 비율에 따라 결정됨
을 특징으로 하는 평면이미지의 리포커싱 장치.
평면이미지의 리포커싱 장치로서,
조정 전 평면이미지에 적용되어 있는 제1 포커스에 해당되는 제1 깊이와, 조정 후 평면이미지에 적용되어야 할 제2 포커스에 해당되는 제2 깊이가 설정되는 깊이 설정부와,
상기 평면이미지에 포함된 각 피사체마다, 피사체 깊이를 추출하는 피사체 깊이 추출부와,
상기 각 피사체의 전경이미지를 추출하는 전경이미지 추출부와,
상기 전경이미지 이외의 부분으로 이루어지는 배경이미지를 결정하는 배경이미지 결정부와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 작으면, 상기 전경이미지가 선명하게 처리되는 샤프닝 부와,
각 피사체마다, 상기 피사체 깊이와 상기 제1 깊이의 차보다 상기 피사체 깊이와 상기 제2 깊이의 차가 크면, 상기 전경이미지가 흐리게 처리되는 블러링 부와,
상기 샤프닝 또는 블러링 처리된 전경이미지들을 상기 배경이미지에 합성하여 결과이미지를 생성하는 합성부
가 포함되어 이루어지고,
상기 전경이미지 추출부는,
각 전경이미지의 마스크가 결정되는 마스크 결정부와,
상기 마스크가 상기 전경이미지에 적용되어 전경이미지가 생성되는 전경이미지 생성부
가 포함되어 이루어지며,
상기 마스크 결정부는,
촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출부와,
상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성부
가 포함되어 이루어지고,
상기 샤프닝 부는,
상기 RGB이미지를 YCrCb 도메인으로 변환하는 변환부와,
상기 Y의 조도와 상기 IR이미지의 강도의 평균치를 얻는 파라미터 추출부와,
상기 IR이미지의 강도의 평균치에 대한 상기 Y의 조도의 평균치의 비율로 스케일 개선도를 산출하는 스케일 파라미터 산출부와,
상기 IR의 조도를 스케일 파라미터로 개선하여, 새로운 Y'의 조도로 설정하는 신규조도 산출부와,
상기 개선된 IR의 조도인 Y'을 CrCb에 병합하여 개선된 Y'CrCb를 생성하는 개선부와,
상기 Y'CrCb를 RGB 도메인으로 변환하는 역변환부
를 포함하여 이루어짐을 특징으로 하는 평면이미지의 리포커싱 장치.
정보처리기기에서 읽을 수 있는 기록매체에 저장된, 평면이미지의 리포커싱 방법을 실행시키기 위한 프로그램으로서,
청구항 1 내지 청구항 3 중 어느 하나에 기재된 평면이미지의 리포커싱 방법의 각 단계가 포함되어 이루어짐을 특징으로 하는, 정보처리기기에서 읽을 수 있는 기록매체에 저장된, 평면이미지의 리포커싱 방법을 실행시키기 위한 프로그램.
삭제