KR102105029B1

KR102105029B1 - 피사체 자동 선택 장치 및 방법

Info

Publication number: KR102105029B1
Application number: KR1020180140752A
Authority: KR
Inventors: 정한별; 김경훈
Original assignee: 주식회사 아이에스피디
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2020-04-27

Abstract

단안 카메라에서 촬영된 화면내의 각각의 피사체를 분석하여 아웃포커싱을 위한 최상의 피사체를 자동으로 선택하도록 하는 피사체 자동 선택 장치 및 방법을 제시한다. 제시된 장치는 촬영된 화면내의 각각의 피사체의 면적을 계산하는 면적 계산부, 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 거리 계산부, 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 심도 계산부, 및 각각의 피사체에 대한 면적 계산부와 거리 계산부 및 심도 계산부의 계산 결과를 근거로 어느 한 피사체를 선택하는 피사체 선택부를 포함한다.

Description

피사체 자동 선택 장치 및 방법{Apparatus and method for automatically selecting an object}

본 발명은 피사체 자동 선택 장치 및 방법에 관한 것으로, 보다 상세하게는 단안 카메라에서 촬영된 화면에서 아웃포커싱을 위한 최상의 피사체를 자동으로 선택할 수 있는 장치 및 방법에 관한 것이다.

이미지 촬영을 위한 촬영 장치가 과거에는 카메라 또는 캠코더 등에 한정되었던 것에 반해, 근래에는 핸드폰, 노트북에 이르기까지 다양한 장치에 응용되어 탑재되어 있다.

또한, 탑재된 촬영 장치의 기능도 더욱 향상되고 다양해져서, 실제에 가까운 이미지의 촬영이 가능하고, 촬영된 이미지를 이미지 처리함으로써 다양한 효과를 줄 수도 있다. 예를 들어, 촬영된 이미지의 처리를 통하여 다양한 필터 효과뿐만 아니라, 아웃포커스 효과 등을 구현할 수 있게 되었다.

여기서, 아웃포커스 효과는 영상에서 초점을 두고자 하는 객체를 선명하게 나오게 하고, 나머지 사물 또는 배경을 흐릿하게 처리하여 관심 영역을 더욱 뚜렷하게 보이도록 하는 것이다. 즉, 아웃포커스 효과란 초점 심도(Depth of field)에서 벗어난 배경 화상을 흐려지게 하는 것을 말한다. 이는 렌즈의 초점 거리가 길어지면 더욱 잘 나타나게 되지만, 일반적으로 핸드폰, 스마트폰, 태블릿 PC 등의 휴대용 통신단말에 장착되는 카메라의 렌즈의 초점 거리는 짧아서 상술한 아웃포커스 효과를 광학적으로 내기가 어렵다.

최근에는 촬영자가 촬영 화면속의 특정 영역을 터치하면 해당 영역을 블러(blur) 처리해 준다. 즉, 촬영자가 직접 블러 처리할 영역을 손가락 등으로 선택하면 해당 영역을 블러링시키는 정도이다.

선행기술 1 : 대한민국 공개특허 제10-2016-0096989호(깊이 정보를 이용하여 조리개 효과를 구현하는 모바일 디바이스 및 그 제어 방법) 선행기술 2 : 대한민국 등록특허 제10-1792641호(이동 단말기 및 그의 아웃 포커싱 이미지 생성방법) 선행기술 3 : 대한민국 공개특허 제10-2006-0124176호(아웃포커싱 방법 및 이를 구현하는 카메라)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 단안 카메라에서 촬영된 화면내의 각각의 피사체를 분석하여 아웃포커싱을 위한 최상의 피사체를 자동으로 선택하도록 하는 피사체 자동 선택 장치 및 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 피사체 자동 선택 장치는, 촬영된 화면내의 각각의 피사체의 면적을 계산하는 면적 계산부; 상기 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 거리 계산부; 상기 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 심도 계산부; 및 상기 각각의 피사체에 대한 상기 면적 계산부와 거리 계산부 및 심도 계산부의 계산 결과를 근거로 어느 한 피사체를 선택하는 피사체 선택부;를 포함한다.

상기 면적 계산부는, 상기 계산된 각각의 피사체별 면적값 중에서 기설정된 범위를 벗어나는 피사체의 면적값을 데이터에서 제외시키고, 제외된 면적값을 갖는 피사체가 어느 피사체인지를 알리는 피사체 제외 정보를 상기 거리 계산부와 상기 심도 계산부 및 상기 피사체 선택부에게로 전송할 수 있다.

상기 거리 계산부는, 상기 면적 계산부에서 제외하고 남은 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산할 수 있다.

상기 심도 계산부는, 상기 면적 계산부에서 제외하고 남은 각각의 피사체별로 해당 피사체에 대한 심도를 계산할 수 있다.

상기 피사체 선택부는, 상기 면적 계산부에서 제외하고 남은 각각의 피사체에 대한 상기 면적 계산부와 상기 거리 계산부 및 상기 심도 계산부의 계산 결과를 근거로 어느 한 피사체를 선택할 수 있다.

상기 피사체 선택부는, 상기 남은 각각의 피사체별로 계산 결과를 모두 곱하고, 곱한 최종값이 가장 큰 피사체를 선택할 수 있다.

상기 피사체 선택부는, 상기 각각의 피사체에 대한 상기 면적 계산부의 면적값과 거리 계산부의 거리값 및 심도 계산부의 심도값을 수신함에 따라, 기설정된 범위를 벗어나는 면적을 가진 피사체를 제외시키고, 남은 피사체별로 각각의 면적값과 거리값 및 심도값을 곱하고, 곱한 최종값 중에서 가장 큰 값을 갖는 피사체를 선택할 수 있다.

상기 심도 계산부는, 상기 촬영된 화면에 대하여 외곽선을 설정하는 외곽선 설정부; 상기 외곽선의 내부에 다수의 마커를 배열하는 마커 배열부; 상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 영역 분할부; 상기 영역 분할부에서 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 심도맵 생성부; 및 상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 존재하는 피사체에 대한 심도를 측정하는 심도 측정부;를 포함할 수 있다.

상기 심도 측정부는, 상기 심도맵에서 각각의 피사체가 다른 마커별 영역과의 겹쳐친 갯수에 따라 해당 피사체에 대한 심도를 측정할 수 있다.

삭제

상기 촬영된 화면내의 각각의 피사체는 사각형 형태의 마커에 의해 감싸여지고, 상기 마커의 중심이 해당 피사체의 중심점이 될 수 있다.

한편, 본 발명의 바람직한 실시양태에 따른 피사체 자동 선택 방법은, 피사체 자동 선택 장치에서의 피사체 자동 선택 방법으로서, 촬영된 화면내의 각각의 피사체의 면적을 계산하는 단계; 상기 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 단계; 상기 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 단계; 및 상기 각각의 피사체에 대한 상기 면적을 계산하는 단계와 상기 거리를 계산하는 단계 및 상기 심도를 계산하는 단계의 계산 결과를 근거로 어느 한 피사체를 선택하는 단계;를 포함한다.

이러한 구성의 본 발명에 따르면, 실시간 촬영 화면에서 피사체를 검출하고, 각각의 피사체의 면적과 각각의 피사체의 중심과 화면 중심점 간의 거리 및 각각의 피사체의 심도를 계산한 후에, 이를 조합한 값으로 아웃포커싱을 위한 최상의 피사체를 자동으로 선택할 수 있다.

도 1은 본 발명의 실시예에 따른 피사체 자동 선택 장치의 구성을 설명하기 위한 블럭도이다.
도 2는 도 1에 도시된 심도 계산부의 내부 구성도이다.
도 3은 도 1에 도시된 심도 계산부의 동작을 설명하기 위한 플로우차트이다.
도 4 내지 도 15는 도 3의 설명에 채용되는 화면예이다.
도 16은 본 발명의 실시예에 따른 피사체 자동 선택 방법을 설명하기 위한 플로우차트이다.
도 17 내지 도 20은 본 발명의 실시예에 따른 피사체 자동 선택 방법의 설명에 채용되는 화면예이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 피사체 자동 선택 장치의 구성을 설명하기 위한 블럭도이다.

본 발명의 실시예에 따른 피사체 자동 선택 장치는 촬영가능한 카메라 등을 포함하는 휴대용 단말기 등에 탑재될 수 있다.

다르게는, 본 발명의 실시예에 따른 피사체 자동 선택 장치는 스탠드 얼론(stand alone)형 컴퓨터에 탑재될 수도 있는데, 여기서 스탠드 얼론형 컴퓨터는 촬영가능한 카메라 등을 포함하는 기기인 휴대용 단말기와 연결된 것으로 한다.

여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

또한, 휴대용 단말기는 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기로 구성될 수 있다.

본 발명의 실시예에 따른 피사체 자동 선택 장치(50)는, 화면 수신부(100), 피사체 검출부(110), 면적 계산부(120), 거리 계산부(130), 심도 계산부(140), 및 피사체 선택부(150)를 포함한다.

화면 수신부(100)는 휴대용 단말기 등의 카메라에서 촬영한 화면을 수신한다. 여기서, 카메라는 단안 카메라이다. 양안 카메라를 사용하지 않아도 된다.

피사체 검출부(110)는 화면 수신부(100)에 수신된 화면내에 존재하는 하나 이상의 피사체를 검출해 낸다. 널리 알려진 다양한 객체 검출(object detection) 방식 중에서 어느 하나를 이용하면 화면내에서 객체가 되는 피사체를 충분히 검출해 낼 수 있다.

피사체 검출부(110)는 피사체를 검출하게 되면 해당 피사체를 감싸는 사각형의 마커를 화면에 표시할 수 있다.

면적 계산부(120)는 피사체 검출부(110)에서 검출된 각각의 피사체의 면적을 계산한다. 예를 들어, 면적 계산부(120)는 각각의 피사체를 감싸는 마커의 가로 길이와 세로 길이를 곱하여 해당 피사체의 면적을 계산할 수 있다.

또한, 면적 계산부(120)는 기설정된 범위를 벗어나는 면적값을 가지는 피사체의 면적값은 데이터로서 쓸모가 없는 것으로 간주하여 해당 피사체의 면적값을 데이터에서 제외시킨다. 예를 들어, 면적 계산부(120)는 계산된 피사체의 면적값이 5 이하이면 제외시키고, 계산된 피사체의 면적값이 50 이상이면 제외시킨다.

면적값이 5 이하인 피사체는 촬영된 화면내에서 너무 작은 피사체이고, 면적값이 50 이상인 피사체는 촬영된 화면내에서 너무 큰 피사체이다. 너무 작은 피사체 및 너무 큰 피사체는 사용자가 포커싱을 맞춘 피사체가 아닐 확률이 매우 높다. 따라서, 기설정된 범위를 벗어나는 면적값을 데이터에서 미리 제외시켜 버리면 추후의 피사체 선택부(150)에서 피사체를 선택할 때의 신호 처리량 및 처리시간을 줄일 수 있게 된다. 이러한 이유로 기설정된 범위를 벗어나는 면적값을 미리 제외시킨다.

그리고, 면적 계산부(120)는 계산된 모든 피사체의 면적값 중에서 데이터에서 제외시킨 면적값이 있다면 제외시킨 면적값을 갖는 피사체가 어느 피사체인지를 알리는 정보를 거리 계산부(130)와 심도 계산부(140) 및 피사체 선택부(150)에게로 전송한다. 여기서, 제외시킨 면적값을 갖는 피사체가 어느 피사체인지를 알리는 정보를 피사체 제외 정보라고 한다.

거리 계산부(130)는 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산한다. 여기서, 피사체는 사각형 형태의 마커로 감싸여져 있으므로, 마커의 중심이 피사체의 중심점이 될 수 있다. 화면 중심점 역시 쉽게 구해질 수 있다.

특히, 거리 계산부(130)는 면적 계산부(120)로부터 피사체 제외 정보를 수신한 경우에는 제외된 피사체 이외로 남아 있는 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산한다.

심도 계산부(140)는 각각의 피사체별로 해당 피사체에 대한 심도를 계산한다. 심도 계산부(140)에 대한 보다 상세한 설명은 후술하기로 한다.

특히, 심도 계산부(140)는 면적 계산부(120)로부터 피사체 제외 정보를 수신한 경우에는 제외된 피사체 이외로 남아 있는 피사체별로 해당 피사체에 대한 심도를 계산한다.

피사체 선택부(150)는 각각의 피사체에 대한 면적 계산부(120)와 거리 계산부(130) 및 심도 계산부(140)의 계산 결과(즉, 면적값, 거리값, 심도값)를 근거로 아웃포커싱을 위한 최상의 피사체를 선택한다.

예를 들어, 피사체 선택부(150)는 피사체별로 면적값과 거리값 및 심도값을 모두 곱하고, 곱한 최종값(즉, 조합결과)이 가장 큰 피사체를 아웃포커싱을 위한 최상의 피사체로 선택한다. 여기서, 선택된 피사체는 사용자와의 포커싱이 가장 잘 된 것으로 추정된다고 볼 수 있다.

물론, 피사체 선택부(150)는 면적 계산부(120)로부터 피사체 제외 정보를 수신한 경우에는 제외된 피사체 이외로 남아 있는 피사체별로 면적값과 거리값 및 심도값을 모두 곱하고, 곱한 최종값(즉, 조합결과)이 가장 큰 피사체를 아웃포커싱을 위한 최상의 피사체로 선택한다.

도 1에서, 미설명 부호 160은 피사체 선택부(150)에서 선택된 피사체에 대해서는 블러링을 수행하지 않고 나머지 피사체 및 배경에 대해 블러링을 수행하는 블러링 장치이다.

상술한 도 1에서는 면적 계산부(120)가 기설정된 범위를 벗어나는 면적을 가진 피사체를 거리 계산부(130) 및 심도 계산부(140)에서의 계산 대상에서 제외시키고 피사체 선택부(150)에서의 선택 대상에서 미리 제외시키는 것으로 하였다. 그러나, 이와 다르게, 피사체 선택부(150)에서 상술한 동작을 수행하도록 하여도 무방하다. 즉, 면적 계산부(120)에서 제외 동작을 수행하지 않고, 모든 피사체에 대해 계산된 면적값과 거리값 및 심도값이 피사체 선택부(150)에게로 인가되고, 피사체 선택부(150)는 상기 예시한 기설정된 범위를 벗어나는 면적값을 가진 피사체를 제외시킨 후에, 남은 피사체별로 각각의 면적값과 거리값 및 심도값을 곱하고, 곱한 최종값(즉, 조합결과) 중에서 가장 큰 값을 갖는 피사체를 아웃포커싱을 위한 최상의 피사체로 선택할 수도 있다.

도 2는 도 1에 도시된 심도 계산부(140)의 내부 구성도이다.

심도 계산부(140)는 외곽선 설정부(12), 마커 배열부(14), 영역 분할부(16), 심도맵 생성부(18), 및 심도 측정부(20)를 포함할 수 있다.

외곽선 설정부(12)는 수신된 화면에 대하여 외곽선을 설정한다. 이때, 외곽선 설정부(12)는 해당 화면내에 존재하는 피사체를 가급적 많이 포함할 수 있도록 최대한 넓게 외곽선을 설정할 수 있다.

마커 배열부(14)는 외곽선 설정부(12)에 의해 설정된 외곽선 내에 다수의 마커를 배열한다. 이때, 배열되는 각각의 마커의 위치는 고정적으로 미리 정해져 있다. 예를 들어, 마커의 형태는 정사각형, 직사각형, 원형, 계란형 등과 같이 다양할 수 있다. 이러한 마커의 형태 및 사이즈는 필요에 따라 가변가능하다.

영역 분할부(16)는 외곽선 내부의 각각의 마커를 기준으로 영역 분할(regional segmentation)을 행한다.

삭제

영역 분할부(16)에서 영역 분할을 하게 되면, 각각의 마커와 접촉된 피사체가 해당 마커별 영역에 포함될 것이다.

여기서, 영역 분할부(16)에서의 영역 분할에 대한 보다 구체적인 설명을 하지 않더라도, 동종업계에 종사하는 자라면 주지의 기술을 통해 충분히 이해할 수 있으리라 본다.

심도맵 생성부(18)는 영역 분할부(16)에서 분할된 마커별 영역을 외곽선 내부의 자신의 위치에 그대로 배치(즉, 투영)시킨 심도맵을 생성한다. 그에 따라, 심도맵 생성부(18)에 의해 생성된 심도맵에는 마커별 영역의 일부 또는 전부가 서로 겹쳐질 수 있다.

심도 측정부(20)는 심도맵을 분석하여 각각의 마커별 영역의 서로 겹쳐진 부위에 존재하는 피사체에 대한 심도를 측정한다. 즉, 심도 측정부(20)는 심도맵에서 각각의 피사체가 다른 마커별 영역과의 겹쳐친 갯수(즉, 겹수라고 할 수 있음)에 따라 해당 피사체에 대한 심도를 측정한다.

예를 들어, 심도 측정부(20)는 다른 마커별 영역과 전혀 겹쳐지지 않은 피사체에 대해서는 심도를 0(zero)으로 하고, 1개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 1로 하고, 2개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 2로 하고, 3개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 3으로 하고, 4개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 4로 할 수 있다. 이와 같은 방식으로 심도 측정부(20)는 피사체의 심도를 대략 0 ~ 9 까지 측정할 수 있다.

이와 같이 심도 측정부(20)는 심도맵 생성부(18)에서 생성된 심도맵에서 각각의 피사체가 다른 마커별 영역과의 겹쳐친 갯수(즉, 겹수)에 상응하는 값을 해당 피사체에 대한 심도로 결정한다고 이해하면 된다.

도 3은 도 1에 도시된 심도 계산부(140)의 동작을 설명하기 위한 플로우차트이고, 도 4 내지 도 15는 도 3의 설명에 채용되는 화면예이다.

먼저, 휴대용 단말기 등의 카메라(즉, 단안 카메라)에서 촬영한 화면을 실시간으로 수신한다(S10).

이어, 외곽선 설정부(12)는 실시간으로 수신되는 화면에 대하여 외곽선(30)을 설정한다(S12). 이때, 외곽선 설정부(12)는 도 4에 예시한 바와 같이 해당 화면내에 존재하는 객체(즉, 피사체)를 가급적 많이 포함할 수 있도록 최대한 넓게 외곽선(30)을 설정한다.

그리고, 마커 배열부(14)는 외곽선 설정부(12)에 의해 설정된 외곽선(30)의 내부에 다수의 마커를 배열한다(S14). 예를 들어, 마커 배열부(14)는 도 5에 예시한 바와 같이 여러 개의 마커(M1 ~ M9)를 외곽선(30)의 내부에 촘촘히 배열한다. 도 5에서는 마커의 갯수를 9개로 하였는데, 필요에 따라서는 마커의 형태 및 사이즈를 변경하여 마커의 갯수를 더 많이 하거나 더 적게 하여도 무방하다.

이후, 영역 분할부(16)가 외곽선(30)의 내부에 존재하는 각각의 마커를 기준으로 영역 분할(regional segmentation)을 행한다(S16). 영역 분할의 경우, 각각의 마커와 접촉된 피사체가 해당 마커별 영역에 포함될 것이다. 물론, 각각의 마커와 접촉된 피사체가 없다면 해당 마커별 영역에는 피사체가 포함되지 않을 것이다. 도 6에서는 마커(M1)가 차지하는 고유 영역 및 해당 마커(M1)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R1)으로 하여 분할하였다. 도 7에서는 마커(M2)가 차지하는 고유 영역 및 해당 마커(M2)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R2)으로 하여 분할하였다. 도 8에서는 마커(M3)가 차지하는 고유 영역 및 해당 마커(M3)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R3)으로 하여 분할하였다. 도 9에서는 마커(M4)가 차지하는 고유 영역 및 해당 마커(M4)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R4)으로 하여 분할하였다. 도 10에서는 마커(M5)가 차지하는 고유 영역 및 해당 마커(M5)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R5)으로 하여 분할하였다. 도 11에서는 마커(M6)가 차지하는 고유 영역 및 해당 마커(M6)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R6)으로 하여 분할하였다. 도 12에서는 마커(M7)가 차지하는 고유 영역 및 해당 마커(M7)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R7)으로 하여 분할하였다. 도 13에서는 마커(M8)가 차지하는 고유 영역 및 해당 마커(M8)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R8)으로 하여 분할하였다. 도 14에서는 마커(M9)가 차지하는 고유 영역 및 해당 마커(M9)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R9)으로 하여 분할하였다.

그리고 나서, 심도맵 생성부(18)는 영역 분할부(16)에서 분할된 마커별 영역(R1 ~ R9)을 외곽선(30) 내부의 자신의 위치에 그대로 배치(즉, 투영)시킨 심도맵을 생성한다(S18). 이 경우, 생성된 심도맵은 도 15와 같은 형태가 될 수 있다. 여기서, 생성된 심도맵에는 각각의 마커별 영역의 일부 또는 전부가 서로 겹쳐질 수 있다.

이후, 심도 측정부(20)는 심도맵을 분석하여 각각의 마커별 영역의 서로 겹쳐진 부위에 존재하는 피사체에 대한 심도를 측정한다(S20). 즉, 심도 측정부(20)는 심도맵에서 각각의 피사체가 다른 마커별 영역과의 겹쳐친 갯수(즉, 겹수라고 할 수 있음)에 따라 해당 피사체에 대한 심도를 측정한다. 예를 들어, 심도 측정부(20)는 다른 마커별 영역과 전혀 겹쳐지지 않은 피사체에 대해서는 심도를 0(zero)으로 하고, 1개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 1로 하고, 2개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 2로 하고, 3개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 3으로 하고, 4개의 다른 마커별 영역과 겹쳐친 피사체에 대해서는 심도를 4로 할 수 있다.

이번에는, 본 발명의 실시예에 따른 피사체 자동 선택 방법을 설명한다. 도 16은 본 발명의 실시예에 따른 피사체 자동 선택 방법을 설명하기 위한 플로우차트이고, 도 17 내지 도 20은 본 발명의 실시예에 따른 피사체 자동 선택 방법의 설명에 채용되는 화면예이다.

먼저, 화면 수신부(100)가 휴대용 단말기 등의 카메라(즉, 단안 카메라)에서 촬영한 화면을 실시간으로 수신한다(S100).

이어, 피사체 검출부(110)는 화면 수신부(100)에 수신된 화면내에 존재하는 하나 이상의 피사체를 검출해 낸다(S110). 피사체 검출부(110)는 통상의 객체 검출(object detection) 방식을 통해 화면내에서 객체가 되는 피사체를 충분히 검출해 낼 수 있다.

피사체 검출부(110)는 피사체를 검출하게 되면 도 17에 예시한 바와 같이 해당 피사체를 감싸는 사각형의 마커를 화면에 표시한다. 도 17에서와 같이, 피사체 검출부(110)는 피사체 A(종이컵)를 감싸는 마커(52), 피사체 B(약통)를 감싸는 마커(54), 피사체 C(책상)을 감싸는 마커(56), 피사체 D(책)를 감싸는 마커(58), 피사체 E(다이어리)를 감싸는 마커(60), 피사체 F(경광등)을 감싸는 마커(62), 및 피사체 G(책제목란)를 감싸는 마커(64) 등을 화면에 표시할 수 있다.

그리고 나서, 면적 계산부(120)는 피사체 검출부(110)에서 검출된 각각의 피사체의 면적을 계산한다(S120). 예를 들어, 면적 계산부(120)는 도 18에서와 같이 각각의 피사체를 감싸는 마커(52, 54, 56, 58, 60, 62, 64)의 가로 길이와 세로 길이를 곱하고, 곱해진 결과값을 해당 피사체의 면적이라고 한다.

한편, 면적 계산부(120)는 기설정된 범위를 벗어나는 면적값을 가지는 피사체의 면적값은 데이터로서 쓸모가 없는 것으로 간주하여 해당 피사체의 면적값을 데이터에서 제외시킨다(S130). 예를 들어, 면적 계산부(120)는 계산된 피사체의 면적값이 5 이하이면 제외시키고, 계산된 피사체의 면적값이 50 이상이면 제외시킨다.

그리고, 면적 계산부(120)는 피사체 제외 정보(즉, 제외시킨 면적값을 갖는 피사체가 어느 피사체인지를 알리는 정보)를 거리 계산부(130)와 심도 계산부(140) 및 피사체 선택부(150)에게로 전송한다.

이후, 거리 계산부(130)는 면적 계산부(120)로부터의 피사체 제외 정보에 근거하여 해당하는 피사체를 제외하고, 남은 피사체별로 도 19에서와 같이 해당 피사체의 중심점과 화면 중심점(center) 간의 거리를 계산한다(S140). 여기서, 피사체는 사각형 형태의 마커로 감싸여져 있으므로, 마커의 중심이 피사체의 중심점이 될 수 있다. 화면 중심점 역시 쉽게 구해질 수 있다.

심도 계산부(140)는 면적 계산부(120)로부터의 피사체 제외 정보에 근거하여 해당하는 피사체를 제외하고, 남은 피사체별로 해당 피사체에 대한 심도를 계산한다(S150). 심도 계산부(140)에서 행해지는 피사체 심도 계산 동작에 대해서는 앞서 도 3 내지 도 15를 참조하여 상세히 설명한 바 있다.

그리고 나서, 최종적으로 피사체 선택부(150)는 면적 계산부(120)로부터의 피사체 제외 정보에 근거하여 해당하는 피사체를 제외하고, 남은 피사체별로의 면적 계산부(120)와 거리 계산부(130) 및 심도 계산부(140)의 계산 결과(즉, 면적값, 거리값, 심도값)를 조합하여 아웃포커싱을 위한 최상의 피사체를 선택한다(S160). 즉, 피사체 선택부(150)는 남은 피사체별로 면적값과 거리값 및 심도값을 모두 곱하고, 곱한 최종값이 가장 큰 피사체를 아웃포커싱을 위한 최상의 피사체로 선택한다. 여기서, 선택된 피사체는 사용자와의 포커싱이 가장 잘 된 것으로 추정된다고 볼 수 있다.

예를 들어, 도 20에서와 같이 피사체 A(70), 피사체 B(71), 피사체 C(72), 피사체 D(73), 피사체 E(74), 피사체 F(75), 및 피사체 G(76)가 있는 화면을 가정하였을 경우, 피사체 선택부(150)는 피사체 B(71)를 선택할 것이다. 이 과정을 하기의 표 1로 나타내 본다.

피사체	면적	제외여부	거리	심도	조합결과	최종 선택
A	10	통과	1.2	2	24
B	10	통과	0.8	4	32	선택
C	8	통과	0.2	2	3.2
D	3	제외	-	-	-
E	4	제외	-	-	-
F	3	제외	-	-	-
G	82	제외	-	-	-

다시 말해서, 면적 계산부(120)는 각각의 피사체의 면적을 계산하고, 그 중에서 기설정된 범위를 벗어나는 면적을 가진 피사체(즉, 피사체 D ~ 피사체 G)를 제외시킨다.

그에 따라, 거리 계산부(130)는 피사체 A ~ C에 대해서만 각각의 중심점과 화면 중심점(center) 간의 거리를 계산하고, 심도 계산부(140)는 피사체 A ~ C에 대해서만 각각에 대한 심도를 계산한다.

면적 계산부(120)와 거리 계산부(130) 및 심도 계산부(140)에서의 계산 결과값이 표 1과 같다면, 피사체 선택부(150)는 피사체 A ~ C에 대해서만 면적값과 거리값 및 심도값을 모두 곱하고, 곱한 최종값(즉, 조합결과)이 가장 큰 피사체 B를 아웃포커싱을 위한 최상의 피사체로 선택한다.

이와 같이 피사체 선택부(150)에서 어느 한 피사체를 선택하게 되면 본 발명의 피사체 자동 선택 장치와 연결된 블러링 장치(160)는 피사체 선택부(150)에서 선택한 피사체에 대해서는 블러링을 수행하지 않고 나머지 피사체 및 배경에 대해 블러링을 수행하여 아웃포커싱을 구현할 수 있다.

상술한 본 발명의 피사체 자동 선택 방법에서는 면적 계산부(120)가 기설정된 범위를 벗어나는 면적을 가진 피사체를 거리 계산부(130) 및 심도 계산부(140)에서의 계산 대상에서 제외시키고 피사체 선택부(150)에서의 선택 대상에서 미리 제외시키는 것으로 하였다.

그러나, 이와 다르게, 면적 계산부(120)에서 제외 동작을 수행하지 않고, 모든 피사체에 대해 계산된 면적값과 거리값 및 심도값이 피사체 선택부(150)에게로 인가되고, 피사체 선택부(150)는 상기 예시한 기설정된 범위를 벗어나는 면적을 가진 피사체를 제외시킨 후에, 남은 피사체별로 각각의 면적값과 거리값 및 심도값을 곱하고, 곱한 최종값(즉, 조합결과) 중에서 가장 큰 값을 갖는 피사체를 아웃포커싱을 위한 최상의 피사체로 선택할 수도 있다.

또한, 상술한 본 발명의 피사체 자동 선택 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

12 : 외곽선 설정부 14 : 마커 배열부
16 : 영역 분할부 18 : 심도맵 생성부
20 : 심도 측정부 50 : 피사체 자동 선택 장치
100 : 화면 수신부 110 : 피사체 검출부
120 : 면적 계산부 130 : 거리 계산부
140 : 심도 계산부 150 : 피사체 선택부

Claims

촬영된 화면내의 각각의 피사체의 면적을 계산하는 면적 계산부;
상기 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 거리 계산부;
상기 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 심도 계산부; 및
상기 각각의 피사체에 대한 상기 면적 계산부와 거리 계산부 및 심도 계산부의 계산 결과를 근거로 어느 한 피사체를 선택하는 피사체 선택부;를 포함하고,
상기 촬영된 화면내의 각각의 피사체는 사각형 형태의 마커에 의해 감싸여지고, 상기 마커의 중심이 해당 피사체의 중심점이 되는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 1에 있어서,
상기 면적 계산부는,
상기 계산된 각각의 피사체별 면적값 중에서 기설정된 범위를 벗어나는 피사체의 면적값을 데이터에서 제외시키고, 제외된 면적값을 갖는 피사체가 어느 피사체인지를 알리는 피사체 제외 정보를 상기 거리 계산부와 상기 심도 계산부 및 상기 피사체 선택부에게로 전송하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 2에 있어서,
상기 거리 계산부는,
상기 면적 계산부에서 제외하고 남은 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 2에 있어서,
상기 심도 계산부는,
상기 면적 계산부에서 제외하고 남은 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 2에 있어서,
상기 피사체 선택부는,
상기 면적 계산부에서 제외하고 남은 각각의 피사체에 대한 상기 면적 계산부와 상기 거리 계산부 및 상기 심도 계산부의 계산 결과를 근거로 어느 한 피사체를 선택하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 5에 있어서,
상기 피사체 선택부는,
상기 남은 각각의 피사체별로 계산 결과를 모두 곱하고, 곱한 최종값이 가장 큰 피사체를 선택하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 1에 있어서,
상기 피사체 선택부는,
상기 각각의 피사체에 대한 상기 면적 계산부의 면적값과 거리 계산부의 거리값 및 심도 계산부의 심도값을 수신함에 따라, 기설정된 범위를 벗어나는 면적을 가진 피사체를 제외시키고, 남은 피사체별로 각각의 면적값과 거리값 및 심도값을 곱하고, 곱한 최종값 중에서 가장 큰 값을 갖는 피사체를 선택하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 1에 있어서,
상기 심도 계산부는,
상기 촬영된 화면에 대하여 외곽선을 설정하는 외곽선 설정부;
상기 외곽선의 내부에 다수의 마커를 배열하는 마커 배열부;
상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 영역 분할부;
상기 영역 분할부에서 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 심도맵 생성부; 및
상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 존재하는 피사체에 대한 심도를 측정하는 심도 측정부;를 포함하는 것을 특징으로 하는 피사체 자동 선택 장치.
청구항 8에 있어서,
상기 심도 측정부는,
상기 심도맵에서 각각의 피사체가 다른 마커별 영역과의 겹쳐친 갯수에 따라 해당 피사체에 대한 심도를 측정하는 것을 특징으로 하는 피사체 자동 선택 장치.
삭제
삭제
피사체 자동 선택 장치에서의 피사체 자동 선택 방법으로서,
촬영된 화면내의 각각의 피사체의 면적을 계산하는 단계;
상기 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 단계;
상기 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 단계; 및
상기 각각의 피사체에 대한 상기 면적을 계산하는 단계와 상기 거리를 계산하는 단계 및 상기 심도를 계산하는 단계의 계산 결과를 근거로 어느 한 피사체를 선택하는 단계;를 포함하고,
상기 촬영된 화면내의 각각의 피사체는 사각형 형태의 마커에 의해 감싸여지고, 상기 마커의 중심이 해당 피사체의 중심점이 되는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 12에 있어서,
상기 면적을 계산하는 단계는,
상기 계산된 각각의 피사체별 면적값 중에서 기설정된 범위를 벗어나는 피사체의 면적값을 데이터에서 제외시키는 단계;를 포함하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 13에 있어서,
상기 거리를 계산하는 단계는,
상기 면적을 계산하는 단계에서 제외하고 남은 각각의 피사체별로 해당 피사체의 중심점과 화면 중심점 간의 거리를 계산하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 13에 있어서,
상기 심도를 계산하는 단계는,
상기 면적을 계산하는 단계에서 제외하고 남은 각각의 피사체별로 해당 피사체에 대한 심도를 계산하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 13에 있어서,
상기 피사체를 선택하는 단계는,
상기 면적을 계산하는 단계에서 제외하고 남은 각각의 피사체에 대한 계산된 면적값과 거리값 및 심도값을 근거로 어느 한 피사체를 선택하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 16에 있어서,
상기 피사체를 선택하는 단계는,
상기 남은 각각의 피사체별로 계산 결과를 모두 곱하고, 곱한 최종값이 가장 큰 피사체를 선택하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 12에 있어서,
상기 피사체를 선택하는 단계는,
상기 각각의 피사체에 대한 계산된 면적값과 거리값 및 심도값을 수신함에 따라, 기설정된 범위를 벗어나는 면적을 가진 피사체를 제외시키고, 남은 피사체별로 각각의 면적값과 거리값 및 심도값을 곱하고, 곱한 최종값 중에서 가장 큰 값을 갖는 피사체를 선택하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 12에 있어서,
상기 심도를 계산하는 단계는,
상기 촬영된 화면에 대하여 외곽선을 설정하는 단계;
상기 외곽선의 내부에 다수의 마커를 배열하는 단계;
상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 단계;
상기 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 단계; 및
상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 존재하는 피사체에 대한 심도를 측정하는 단계;를 포함하는 것을 특징으로 하는 피사체 자동 선택 방법.
청구항 19에 있어서,
상기 심도를 측정하는 단계는,
상기 심도맵에서 각각의 피사체가 다른 마커별 영역과의 겹쳐친 갯수에 따라 해당 피사체에 대한 심도를 측정하는 것을 특징으로 하는 피사체 자동 선택 방법.