KR102137921B1 - 포커스 방법, 단말기 및 컴퓨터 판독 가능 저장 매체 - Google Patents

Abstract

포커스 방법, 단말기 및 컴퓨터 판독 가능 저장 매체가 개시된다. 상기 방법은, 촬영 미리보기 모드에서 이미지에서 얼굴 ROI를 획득하는 단계, 제1포커스 모드에서 상기 얼굴 ROI에 포커스 하는 단계, 상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단하는 단계, 및 상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 상기 제2포커스 모드를 트리거 하여 상기 ROI에 다시 포커스 하되, 상기 제1포커스 모드는 제2포커스 모드와 다른 단계를 포함한다.

Description

포커스 방법, 단말기 및 컴퓨터 판독 가능 저장 매체

본 발명은 포커스 기술 분야에 관한 것으로서, 특히 포커스 방법, 단말기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.

스마트 단말기들의 급속한 발전에 따라 스마트 단말기들의 촬영 기능이 특히 사람을 촬영하는 데 점점 더 자주 사용된다. 쇼핑몰, 명소 및 관심 있는 곳에서 단체 사진이나 셀카를 찍는 사람들을 공통적으로 볼 수 있다. 현재 업계에서, 상기 단말기들의 카메라들은 보통 얼굴 영역의 검출에 기초하여 포커스가 트리거 되는 얼굴 포커스 기능을 지원한다. 즉, 포커스 및 촬영은 가장 선명한 포커스로 얼굴을 사용하여 실현된다.

얼굴을 촬영할 때, 획득된 얼굴 관심 영역(ROI)이 안정된 후에 오토포커스(AF) 모드가 일반적으로 트리거 되어 촬영이 완료된다. 그러나, 촬영 중에 피사체가 움직이면 촬영된 사진이 흐려질 수 있다.

본 발명의 실시 예는 빠르고 정확한 포커스로 움직이는 얼굴을 명확하게 촬영할 수 있는 포커스 방법, 단말기 및 컴퓨터 판독 가능 저장 매체를 제공한다.

일 양태에 따르면, 포커스 방법이 제공된다. 상기 방법은, 촬영 미리보기 모드에서 이미지에서 얼굴 ROI를 획득하는 단계, 제1포커스 모드에서 상기 얼굴 ROI에 포커스 하는 단계, 상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단하는 단계, 및 상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 상기 제2포커스 모드를 트리거 하여 상기 ROI에 다시 포커스 하되, 상기 제1포커스 모드는 제2포커스 모드와 다른 단계를 포함한다.

다른 양태에 따르면, 단말기가 제공된다. 상기 단말기는 촬상 장치, 디스플레이 장치, 메모리, 프로세서 및 컴퓨터 프로그램을 포함한다. 상기 컴퓨터 프로그램은 메모리에 저장되고 하나 이상의 동작을 구현하기 위해 프로세서에 의해 실행되도록 구성된다. 상기 하나 이상의 동작은, 촬영 미리보기 모드에서 이미지에서 얼굴 ROI를 획득하고, 제1포커스 모드에서 상기 얼굴 ROI에 포커스 하며, 상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단하고, 및 상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 상기 제2포커스 모드를 트리거 하여 상기 ROI에 다시 포커스 하되, 상기 제1포커스 모드는 제2포커스 모드와 다른 것을 포함한다.

또한, 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 컴퓨터 프로그램은 하나 이상의 동작을 구현하기 위해 프로세서에 의해 실행되도록 구성된다. 상기 하나 이상의 동작은, 촬영 미리보기 모드에서 이미지에서 얼굴 ROI를 획득하고, 제1포커스 모드에서 상기 얼굴 ROI에 포커스 하며, 상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단하고, 및 상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 상기 제2포커스 모드를 트리거 하여 상기 ROI에 다시 포커스 하되, 상기 제1포커스 모드는 제2포커스 모드와 다른 것을 포함한다.

이러한 기술의 다른 특징들은 다음의 상세한 설명에 포함된 정보의 고려로부터 명백해질 것이다.

본 발명의 기술적 구성을 더 잘 설명하기 위해, 여기에 사용된 첨부된 도면에 대한 간략한 설명이 아래에 제공된다. 명백하게, 아래에 열거된 도면은 단지 실시 예고 당업자는 창조적인 활동없이 이러한 예시적인 도면에 기초하여 다른 도면을 얻을 수 있음을 알아야 한다.
도 1은 일 실시 예의 단말기의 내부 구조의 개략도이다.
도 2는 일 실시 예에서의 포커스 방법의 순서도이다.
도 3은 일 실시 예에서 사람의 얼굴의 관심 영역을 도시하는 다이어그램이다.
도 4는 다른 실시 예에서의 포커스 방법의 순서도이다.
도 5는 일 실시 예의 포커스 장치의 구조 블록도이다.
도 6은 일 실시 예에서 컴퓨터 프로그램을 실행할 때 단말기 프로세서에 의해 구현되는 단계들의 순서도이다.
도 7은 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램들(명령어들)이 실시 예에서 프로세서에 의해 실행될 때 구현되는 동작의 흐름도이다.

본 발명의 목적, 기술적 해결책 및 이점을 보다 명확하게 하기 위해, 본 발명은 첨부된 도면 및 실시 예를 참조하여 더욱 상세하게 설명된다. 본 명세서에서 설명된 특정 실시 예는 본 발명을 설명하기 위해 사용된 것이며, 동일한 것을 제한하려는 것이 아님을 이해해야 한다.

본 발명의 다양한 실시 예들에서의 단말기들은 첨부된 도면들을 참조하여 설명될 것이다. 이하의 설명에서, 구성 요소를 나타내는 "모듈" 또는 "유닛"과 같은 단어는 단지 설명을 용이하게 하기 위해 사용되고 특정 의미를 갖지 않는다. 따라서 "모듈"과 "유닛"을 혼용하여 사용할 수 있다.

컴퓨터 또는 이동통신 단말기를 포함하는, 촬영이 가능한 단말기와 같은 단말기에 일 실시 예에 제공된 포커스 장치가 적용될 수 있음을 주목해야 한다.

상기 단말기는 다양한 형태로 구현될 수 있다. 예를 들면, 본 발명에 기술된 단말기는 모바일 폰, 스마트 폰, 노트북 컴퓨터, PDA(Personal Digital Assistant), 태블릿(PAD), 휴대용 멀티미디어 플레이어(PMP), 내비게이션 장치 등과 같은 이동 통신 단말기 및 디지털 TV와 같은 고정 장치, 데스크 탑 컴퓨터 등을 포함할 수 있다. 이하, 상기 단말기는 이동통신 단말기라고 가정한다. 그러나, 이동을 위해 특히 사용되는 요소를 제외하고는, 실시 예에 따른 구성이 고정식 단말기에도 적용될 수 있다는 것은 당업자에게 이해될 것이다. 도 1은 일 실시 예의 단말기의 내부 구조의 개략도이다. 도 1을 참조하면, 상기 단말기는 촬상 장치(110), 프로세서(120), 메모리(130), 내부 메모리(140), 네트워크 인터페이스(150), 스피커(160), 디스플레이 장치(170) 및 입력 장치(180)를 포함한다. 상기 단말기의 메모리(130)는 운영 시스템 및 컴퓨터 판독 가능 명령어들을 저장한다. 상기 컴퓨터 판독 가능 명령어들은 프로세서(120)에 의해 실행되어 포커스 방법을 구현한다. 상기 프로세서(120)는 상기 전체 단말기의 운영을 지원하는 컴퓨팅 및 제어 기능을 제공하는데 사용된다. 상기 단말기의 내부 메모리(140)는 메모리(130)에서 상기 컴퓨터 판독 가능 명령어들의 실행을 위한 환경을 제공한다. 상기 네트워크 인터페이스(150)는 상기 서버와의 네트워크 통신에 사용된다. 상기 단말기의 상기 디스플레이 스크린(170)은 액정 디스플레이(LCD) 또는 전자 잉크 디스플레이(E-ink)일 수 있고, 입력 장치(180)는 상기 디스플레이 스크린을 커버하는 터치 층, 혹은 상기 단말기 하우징에 제공된 버튼, 트랙 볼 또는 터치 패드일 수 있으며, 외부 키보드, 터치 패드 또는 마우스일 수 있다. 당업자는 도 1에 도시된 상기 구조가 단지 본 발명의 해결 수단과 관련된 일부 구조의 블록도이며, 본 출원의 상기 해결 수단이 적용되는 단말기에 대한 제한을 구성하지 않는다는 것을 이해할 수 있다. 상기 구체적인 단말기는 도면에 도시된 것보다 더 많거나 적은 구성 요소, 또는 일부 구성 요소의 조합 또는 다른 구성 배열을 포함할 수 있다.

도 2는 일 실시 예에서의 포커스 방법의 순서도이다. 본 실시 예에서, 포커스 방법이 제공된다. 단계(210)에서, 촬영 미리보기 모드에서 이미지의 얼굴 ROI가 획득된다.

본 발명의 실시 예에서 제공되는 포커스 방법은 단말기에서 촬영되는 장면에서 구현된다는 점에 유의해야 한다. 사용자가 사진 촬영을 원할 때, 상기 단말기의 쵤상 장치(110)가 활성화될 수 있다. 상기 촬상 장치(110)는 전방 카메라, 후방 카메라, 이중 카메라 등일 수 있다. 상기 단말기의 촬상 장치(110)가 활성화되어 촬영 미리보기 모드로 진입한다. 상기 이미지 내의 얼굴은 기 설정된 얼굴 인식 알고리즘에 의해 검출되고, 상기 이미지 내의 얼굴의 위치 정보가 획득된다. 일반적으로, 상기 이미지 내의 얼굴을 얼굴 프레임으로 둘러쌀 수 있고, 상기 얼굴 프레임의 경계 파라미터 정보를 얼굴 위치 정보로 간주한다. 얼굴 프레임들은 박스들, 둥근 박스들 또는 기타 기하학적 폐 박스들일 수 있다.

구체적으로, 상기 얼굴 프레임이 박스인 경우, 상기 얼굴 위치 정보는 상기 얼굴 프레임의 시작점의 수평 및 수직 좌표 정보, 상기 얼굴 프레임의 길이 정보 및 상기 얼굴 프레임의 폭 정보를 포함한다.

상기 얼굴의 검출된 상기 위치 정보에 따라, 획득된 상기 얼굴 위치 정보는 기 설정된 오토포커스 알고리즘(AF)에 의해 상기 포커스 과정에서 요구되는 얼굴 ROI(region of interest)의 정보로 변환될 수 있다. 상기 얼굴 ROI는 머신 비젼 및 이미지 처리 분야에서 처리된 이미지로부터 박스, 원, 타원, 불규칙한 다각형 등 다양한 형태로 윤곽 처리되는 영역이다. Halcon, OpenCV, Matlab 등과 같은 머신 비전 소프트웨어에서, 얼굴 ROI를 얻고 이미지 처리의 다음 단계를 수행하기 위해 다양한 운영자들 및 기능들이 일반적으로 사용된다. 일반적으로, 상기 변환 처리는 얼굴 ROI를 형성하도록 얼굴 프레임을 확대 및/또는 신장시키는 것이다.

특히, 본 발명의 실시 예에서, 상기 얼굴 ROI는 상기 처리된 이미지로부터 아우트라인 박스에서 처리될 영역이다. 상기 얼굴 ROI의 위치 정보는 상기 박스의 경계 좌표 파라미터 정보이다. 도 3을 참조하면, 상기 경계 좌표 파라미터 정보는 박스의 특정 정점의 수평 및 수직 좌표 정보 O(x, y), 상기 박스의 길이 정보(L) 및 박스의 폭 정보(W)를 포함한다.

단계(220)에서, 상기 방법은 제1포커스 모드에서 얼굴 ROI에 초점을 맞추는 단계로 진행한다.

예를 들어, 상기 제1포커스 모드는 약칭 PDAF모드로서, 위상 검출 오토포커스(Phase Detection Auto Focus) 모드일 수 있다. 각 프레임의 상기 얼굴 ROI는 PDAF 모드에서 포커스 될 수 있다. PDAF 모드의 원리는 감광 소자 상에 위상 검출에 특화된 차폐 픽셀들을 확보하고, 상기 픽셀들과 그 변화들 사이의 거리에 따라 포커스의 오프셋 값을 판단함으로써 정확한 포커스를 실현하는 것이다. 상기 PDAF 모드에서는 오프셋 값만이 검출되고 "정확한 포커스" 또는 "부정확한 포커스"의 신호만 제공된다. 따라서 상기 포커스 시스템은 상기 신호의 상기 피크 위치에 따라 오프셋의 방향을 알 수 있다.

특히, 실시 예에서, 상기 PDAF 모드는 상기 오토포커스 센서와 상기 픽셀 센서를 직접 통합하는 것에 관한 것으로; 즉, 상기 픽셀 센서로부터의 좌우 픽셀 포인트 쌍을 추출하여 상기 장면 내의 물체의 광량과 같은 정보를 각각 검출한다. 좌측 및 우측 관련 값을 비교함으로써 렌즈 모터가 포커스를 완료하기 위해 대응하는 위치로 렌즈를 한 번에 밀어 넣기 전에 정확한 포커스 포인트를 신속하게 찾을 수 있다.

PDAF는 렌즈의 반복적인 이동을 요구하지 않으므로 포커스 스트로크가 더 짧아지고, 포커스 처리가 깔끔하고 빠르다. PDAF의 이러한 특성들을 통해 상기 얼굴이 안정적일 때까지 기다릴 필요가 없다; 이로써 실시간으로 상기 얼굴을 추적할 수 있다.

단계(230)에서, 상기 방법은 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단한다.

단계(240)에서 제2포커스 모드는 상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적이라는 판단에 응답하여 상기 얼굴 ROI에 재 포커스 하도록 트리거 된다. 상기 제1포커스 모드는 상기 제1포커스 모드와 다르다.

상기 제1포커스 모드에서 얼굴 ROI가 안정적인지 여부를 판단함으로써, 보조 포커스 모드일 수 있는 상기 제2포커스 모드는 상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 얼굴 ROI에 재 포커스 하도록 트리거 된다. 이러한 방식으로, 코오스(coarse) 포커스 모드인 PDAF에 의해 실질적인 포커스 영역을 신속하게 판단하는 것이 가능하다; 얼굴 ROI가 안정된 후에, 가장 정확한 포커스 위치를 판단하기 위해 보조 포커스 모드에서 파인(fine) 포커스가 수행된다. 즉, PDAF 모드와 보조 포커스 모드의 결합된 포커스에 의해, 포커스 시간을 크게 줄이고, 얼굴 ROI에 오토포커스 하는 것이 빠르고 정확하게 이루어질 수 있다.

전술한 포커스 방법에 있어서, 포커스 처리에서 상기 얼굴 ROI는 이미지에서 검출된 위치 정보에 따라 판단되며, 상기 얼굴 ROI가 판단되면 PDAF 모드에서 포커스가 수행된다. 즉, 얼굴이 촬영 미리보기 모드에 표시되는 한, 상기 얼굴의 움직임에 관계없이 항상 깨끗하다. 동시에, 상기 PDAF 모드에서 얼굴 ROI가 안정되면, 상기 보조 포커스 모드는 얼굴 ROI에 재 포커스 하기 위해 트리거 될 것이다. PDAF 모드와 보조 포커스 모드의 결합된 포커스에 의해, 상기 포커스 시간은 크게 단축되고, 상기 얼굴 ROI에 오토포커스 하는 것이 빠르고 정확하게 이루어질 수 있다.

일 실시 예에서, 상기 얼굴 ROI의 안정성을 판단하기 위한 기준은 연속적인 N개의 프레임에서 제1포커스 모드에서 상기 얼굴 ROI의 위치 정보를 획득하는 단계, 및 상기 얼굴 ROI의 위치 정보가 변하는지 여부를 판단하는 단계를 포함한다.

특히, N은 3 내지 5, 즉 3≤N≤5의 범위에 있다.

N = 3인 경우, 먼저, 상기 제 1 프레임에서 얼굴 ROI의 위치 정보가 검출되고 저장된다. 이어서, 상기 제2프레임에서 얼굴 ROI의 위치 정보가 획득되고, 상기 제2프레임에서 얼굴 ROI의 위치 정보가 상기 제1프레임에서 얼굴 ROI의 위치 정보에 대해 변경이 있는지 여부가 판단된다. 상기 제2프레임에서 얼굴 ROI의 위치 정보가 변하면, 상기 얼굴 ROI의 위치 정보가 안정적이지 않다는 것을 나타낸다. 변화가 없으면, 제3프레임에서 얼굴 ROI의 위치 정보가 획득될 것이고, 상기 제3프레임에서 얼굴 ROI의 위치 정보가 상기 제1프레임에서 얼굴 ROI의 위치 정보에 대해 변경이 있는지 여부가 판단된다. 상기 제3프레임에서 얼굴 ROI의 위치 정보가 변경되면, 얼굴 ROI가 안정적이지 않다는 것을 나타낸다. 변화가 없다면, 얼굴 ROI가 안정적임을 나타낸다.

또는, N = 4 또는 N = 5 인 경우, 상기 방법은 연속적인 N개의 프레임에서 얼굴 ROI의 안정성을 판단하는데 더 사용될 수 있다.

일 실시 예에서, 연속적인 N개의 프레임에서의 얼굴 ROI의 위치 정보가 변화 하는지를 판단하는 단계는, 상기 연속적인 N개의 프레임의 얼굴 ROI의 경계 좌표 파라미터 정보가 변경되는지 여부를 획득 및 판단하는 단계를 포함한다. 특히, 얼굴 ROI는 폐 박스이고, 그리고 상기 경계 좌표 파라미터 정보는 박스의 특정 정점의 수평 및 수직 좌표 정보(O), 상기 박스의 길이 정보 및 박스의 폭 정보이다. 연속적인 N개의 프레임에서 얼굴 ROI의 경계 좌표 파라미터 정보에서 파라미터 중 어느 하나가 변경되면, 얼굴 ROI가 불안정한 것으로 간주된다. 상기 경계 좌표 파라미터 정보의 모든 파라미터가 변경되지 않은 경우, 얼굴 ROI이 안정한 것으로 간주된다.

일 실시 예에서, 도 4를 참조하면, 포커스 방법이 상세히 도시되어 있다. 단계(440)에서, 얼굴 ROI이 안정적이지 않다는 것이 검출될 때, 상기 제1포커스 모드에서 얼굴 ROI이 안정될 때까지 제1포커스 모드에서 얼굴 ROI가 PDAF 모드에서 연속적으로 포커스 된다.

상기 단계들(410, 420, 430 및 440)은 도 2의 단계들(210, 220, 230 및 240)에 일대일 대응하고, 이에 대한 상세한 설명은 여기서 다시 설명하지 않는다.

단계(450)에서, 상기 방법은 다음과 같이 이해될 수 있다: 상기 제2프레임에서 얼굴 ROI의 위치 정보가 상기 제1프레임에서 얼굴 ROI의 위치 정보와 일치하지 않는 경우, 상기 제2프레임에서 상기 얼굴 ROI는 PDAF 모드에서 포커스 된다. 상기 제3프레임에서 얼굴 ROI의 위치 정보가 상기 제2프레임에서 얼굴 ROI의 위치 정보와 일치하지 않는 경우, 제4프레임 내지 제5프레임에서 얼굴 ROI의 위치 정보가 상기 제3프레임에서 얼굴 ROI의 위치 정보와 일치할 때까지 상기 제3프레임 모드에서 얼굴 ROI는 PDAF 모드에서 포커스 된다.

일 실시 예에서, 상기 보조 포커스 모드는 콘트라스트(contrast) 포커스 모드이다.

상기 콘트라스트 포커스 기술에서, 촬상 장치(110)가 포커스를 시작하면, 구동 렌즈는 점차적으로 이동한다. 포커스 영역의 포커스 값(FV)은 기 설정된 알고리즘에 따라 렌즈 이동 처리 동안 실시간으로 계산된다. 포커스 값은 점차적으로 증가하여 포커스 할 때 상기 프레임의 포커스 영역의 최대 값(포커스 영역이 가장 선명함)에 도달함을 알 수 있다. 상기 포커스 값은 이미지의 샤프니스(sharpness)를 나타내며, 촬상 장치(110)에 의해 출력된 상기 이미지를 처리함으로써 획득된다. 일반적으로 상기 포커스 영역의 콘트라스트가 높을수록 이미지의 포커스 값이 커진다. 따라서, 상기 콘트라스트 포커스 모드는 이미지의 가장 큰 포커스 값에 대응하는 포커스 위치를 찾아 포커스를 달성한다.

구체적으로, 상기 콘트라스트 포커스 모드에서, 상기 코오스 스캔은 제1단계 길이에서 더 넓은 범위의 검색을 수행한다. 상기 모터의 총 스트로크가 1000이라고 가정하면, 상기 코오스 스캔 처리에서, 상기 모터는 제1스텝 길이(80)에서 검색을 시작하고, 상기 모터가 80의 거리만큼 움직일 때마다 포커스 값이 계산된다. 상기 모터가 움직이는 동안, 상기 모터가 포커스 값이 감소 추세인 위치(A)로 이동할 때까지 상기 포커스 값이 점차 증가한다. 이 때, 코오스 스캔 처리가 종료되고 파인(fine) 스캔이 시작된다. 상기 파인 스캔은 상기 코오스 스캔이 종료되는 지점(A)으로부터 제2단계 길이(30)에서 역방향으로 탐색을 시작한다. 상기 파인 스캔 처리에서, 상기 모터가 30 거리만큼 움직일 때마다 상기 포커스 값이 계산된다. 상기 모터가 이동하는 동안, 상기 모터가 포커스 값이 감소 추세인 특정 위치(B)로 이동할 때까지 상기 포커스 값이 점차 증가한다. 이때 파인 스캔 처리가 종료된다. 위치 A, 위치 B 및 파인 스캔 처리에서 위치 A 또는 B와 일치하지 않는 위치 Q에서의 상기 모터의 구동 거리 및 대응하는 포커스 값이 각각 획득된다. 상기 3가지 위치에 따라 간단한 이차 함수가 적용된다. 상기 2차 함수의 정점 좌표를 획득하는데, 이는 포커스 과정에서 프레임의 포커스 영역의 최대 포커스 값이다. 따라서, 상기 구동 모터는 상기 2차 함수의 정점 가로 좌표로 이동하고, 포커스가 달성될 수 있다.

또는, 상기 보조 포커스 모드는 마찬가지로 레이저 포커스 모드일 수 있다.

후면 카메라 근처에 설치된 적외선 레이저 센서에 의해, 상기 단말기는 피사체에 저전력 레이저 빔을 방출할 수 있다. 상기 레이저 빔에 장애물(가령, 포커스 대상)이 발생하면, 다시 되돌아와 상기 센서에 수신된다. 그리고, 상기 이동 시간에 기초하여 상기 센서와 상기 피사체의 거리를 산출할 수 있다. 상기 렌즈 간 모터는 상기 렌즈를 해당 위치로 직접 밀어 포커스를 완성할 수 있다.

또한, 본 발명의 일 실시 예는 포커스 장치를 더 제공한다. 도 5를 참조하면, 상기 포커스 장치는 획득 모듈(510), 제1포커스 모듈(520) 및 제2포커스 모듈(530)을 포함한다. 상기 획득 모듈(510)은 촬영 미리보기 모드에서 이미지의 얼굴 ROI를 획득하도록 구성된다. 상기 제1포커스 모듈(520)은 제1포커스 모드에서 얼굴 ROI에 포커스 하도록 구성된다. 상기 제2포커스 모듈(530)은 상기 제1포커스 모드에서 얼굴 ROI가 안정적인지 여부를 판단하도록 구성되고, 얼굴 ROI가 안정적이라는 판단에 응답하여 제2포커스 모드를 트리거 하여 얼굴 ROI에 다시 포커스 한다. 상기 제1포서크 모드는 제2포커스 모드와 다르다. 일 실시 예에서, 제1포커스 모드는 PDAF(Phase Detection Auto Focus) 모드일 수 있고, 제2포커스 모드는 보조 포커스 모드이다.

상기 포커스 장치에서, 상기 획득 모듈(510)은 상기 이미지에서 검출된 상기 위치 정보에 따라 포커스 처리에서 얼굴 ROI를 획득할 수 있다. 얼굴 ROI가 판단되면, 제1포커스 모듈(520)은 상기 PDAF 모드에서 포커스 처리를 수행할 수 있다. 즉, 얼굴이 촬영 미리보기 모드에 나타나는 한, 상기 얼굴이 어떻게 움직여도 항상 깨끗해진다. 한편, 얼굴 ROI가 안정되면, 제2포커스 모듈(530)은 보조 포커스 모드를 트리거 하여 얼굴 ROI에 다시 포커스 할 것이다. 상기 PDAF 모드와 상기 보조 포커스 모드의 결합된 포커스에 의해, 포커스 시간이 크게 단축되고, 얼굴 ROI에 대한 오토포커스가 빠르고 정확하게 이루어질 수 있다.

일 실시 예에서, 제2포커스 모듈(530)은 검출부(531), 판단부(533), 제어부(535) 및 포커스부(537)을 포함한다. 상기 검출부(531)는 연속적인 N개 프레임에서 얼굴 ROI의 위치 정보를 검출하도록 구성된다. 상기 판단부(533)는 연속적인 N개의 프레임에서 얼굴 ROI의 상기 위치 정보가 변경되는지 여부를 판단하도록 구성된다. 상기 제어부(535)는 판단부(533)의 판단 결과에 따라 얼굴 ROI가 안정적인지 여부를 판단하고, 얼굴 ROI가 안정될 때 제1포커스 신호를 생성하거나, 또는 얼굴 ROI가 안정되지 않을 때 제2포커스 신호를 생성한다. 상기 포커스부(537)는 제2포커스 신호를 수신하고, 상기 보조 포커스 모드를 트리거 하여 얼굴 ROI에 다시 포커스 하도록 구성된다.

구체적으로, N은 3 내지 5, 즉 3≤N≤5의 범위에 있다.

N = 3 인 경우, 먼저, 상기 제1프레임에서 얼굴 ROI의 상기 위치 정보가 검출되고 저장된다. 이어서, 상기 제2프레임에서 얼굴 ROI의 위치 정보가 검출되고, 상기 제 2 프레임에서 얼굴 ROI의 위치 정보가 상기 제1프레임에서 얼굴 ROI의 위치 정보에 대해 변하는지 여부가 판단된다. 상기 제2프레임에서 얼굴 ROI의 위치 정보가 변하면, 얼굴 ROI가 안정적이지 않다는 것을 나타낸다. 변화가 없으면, 제3프레임에서 얼굴 ROI의 위치 정보가 감지되고, 상기 제3프레임에서 얼굴 ROI의 위치 정보가 상기 제1프레임에서 얼굴 ROI의 위치 정보에 대해 변하는지 여부가 판단된다. 상기 위치 정보가 변하면, 얼굴 ROI가 안정적이지 않다는 것을 나타낸다. 변화가 없으면 얼굴 ROI가 안정적임을 나타낸다.

혹은, N = 4 또는 N = 5 인 경우, 상기 장치는 마찬가지로 연속적인 N개 프레임에서 얼굴 ROI의 안정성을 판단하는데 사용될 수 있다.

제어부(535)는 판단부(533)의 판단 결과에 따라 얼굴 ROI의 안정성을 판단하고, 얼굴 ROI가 불안정한 경우 제2포커스 신호를 생성할 수 있다. 포커스부(537)는 제2포커스 신호를 수신하고 상기 보조 포커스 모드를 트리거 하여 얼굴 ROI에 다시 포커스 한다.

일 실시 예에서, 상기 보조 포커스 모드는 콘트라스트 포커스 모드이다.

상기 콘트라스트 포커스 기술에서, 촬상 장치(110)가 포커스를 시작하면, 상기 구동 렌즈는 점차적으로 이동한다. 상기 포커스 영역의 포커스 값(FV)은 기 설정된 알고리즘에 따라 렌즈 이동 처리 동안 실시간으로 계산된다. 상기 포커스 값이 점차 증가하여 포커스 시 상기 프레임의 포커스 영역의 최대 값(포커스 영역이 가장 샤프니스 함)에 도달함을 알 수 있다. 상기 포커스 값은 상기 이미지의 샤프니스를 나타내며, 촬상 장치(110)에 의해 출력된 이미지를 처리함으로써 얻어진다. 일반적으로 포커스 영역의 콘트라스트가 높을수록 이미지의 포커스 값이 커진다. 따라서, 상기 콘트라스트 포커스 모드는 상기 이미지의 가장 큰 포커스 값에 대응하는 포커스 위치를 찾아 포커스를 달성한다.

내지는, 상기 보조 포커스 모드는 또한 레이저 포커스 모드일 수 있다.

후면 카메라 근처에 설치된 적외선 레이저 센서에 의해, 상기 단말기는 피사체에 저전력 레이저 빔을 방출할 수 있다. 상기 레이저 빔이 장애물, 즉 포커스 대상에 부딪치면 다시 되돌아와 센서에 의해 수신된다. 이어서, 이동 시간에 기초하여 상기 센서와 상기 피사체의 거리를 산출할 수 있다. 상기 렌즈 간 모터는 렌즈를 해당 위치로 직접 밀어 포커스를 완성할 수 있다.

일 실시 예에서, 제1포커스 모듈(520)은 상기 제1포커스 신호를 수신하고, 상기 PDAF 모드를 계속 사용하여 얼굴 ROI가 안정될 때까지 얼굴 ROI 영역에 포커스 하도록 더 구성된다.

상기 제2프레임에서 얼굴 ROI의 위치 정보가 상기 제1프레임에서 얼굴 ROI의 위치 정보와 일치하지 않으면, 제1포커스 모듈(520)은 상기 PDAF 모드에서 상기 제2프레임에서 얼굴 ROI에 계속해서 포커스 할 수 있다는 것을 이해할 수 있다. 상기 제3프레임에서 얼굴 ROI의 위치 정보가 여전히 상기 제2프레임에서 얼굴 ROI의 위치 정보와 일치하지 않으면, 상기 제4프레임 내지 제5프레임에서 얼굴 ROI의 위치 정보가 상기 제3프레임에서 얼굴 ROI의 위치 정보와 일치할 때까지, 제1포커스 모듈(520)은 상기 PDAF 모드에서 상기 제3프레임의 얼굴 ROI에 연속적으로 포커스 할 수 있다.

상기 PDAF 모드에서 얼굴 ROI의 위치 정보는 상기 얼굴 ROI의 경계 좌표 파라미터 정보이다.

구체적으로, 얼굴 ROI는 폐 박스이고, 경계 좌표 파라미터 정보는 상기 박스의 특정 정점(O)의 수평 및 수직 좌표 정보, 박스의 길이 정보 및 폭 정보이다. 연속적인 N개의 프레임에서 얼굴 ROI의 경계 좌표 파라미터 정보에서 파라미터 중 어느 하나가 변경되면, 얼굴 ROI가 불안정한 것으로 간주된다. 상기 경계 좌표 파라미터 정보의 모든 파라미터가 변경되지 않은 경우, 얼굴 ROI가 안정한 것으로 간주된다.

상술한 포커스 장치에서 각 모듈의 분할은 단지 예시를 위해 사용된다. 다른 실시 예에서, 상기 포커스 장치는 전술한 포커스 장치의 기능의 전부 또는 일부를 완료하기 위해 필요에 따라 상이한 모듈로 분할될 수 있다.

본 발명의 실시 예는 단말기가 더 제공된다. 도 1에 도시된 바와 같이, 설명의 편의를 위해 본 발명의 실시 예와 관련된 부분 만이 도시된다. 개시되지 않은 특정 기술적 세부 사항에 대해서는, 본 발명의 실시 예의 방법 부분을 참조할 것이다. 단말기는 촬상 장치(110), 프로세서(120), 메모리(130), 디스플레이 장치(170), 및 상기 메모리에 저장되고 프로세서(120) 상에서 동작 가능한 컴퓨터 프로그램을 포함한다.

본 발명의 실시 예에서, 상기 단말기에 포함된 프로세서(120)는 상기 메모리에 저장된 컴퓨터 프로그램을 실행할 때 하나 이상의 동작을 구현할 수 있다. 상기 하나 이상의 동작은 단계(610)에서, 촬영 미리보기 모드에서 이미지에서 얼굴 ROI를 획득하는 단계를 포함한다. 단계(620)에서, 얼굴 ROI가 제1포커스 모드에서 포커스 된다. 단계(630)에서, 상기 제1포커스 모드에서 얼굴 ROI가 안정적인지 여부가 판단된다. 단계(640)에서, 제2포커스 모드는 상기 제1포커스 모드에서 얼굴 ROI가 안정하다는 판단에 응답하여 얼굴 ROI에 다시 포커스 하도록 트리거 된다. 상기 제1포커스 모드는 상기 제2포커스 모드와 다르다. 일 실시 예에서, 상기 제1포커스 모드는 PDAF(Phase Detection Auto Focus) 모드이고, 상기 제2포커스 모드는 콘트라스트 포커스 모드 또는 레이저 포커스 모드일 수 있다.

상기 단말기의 프로세서(120)에 의해 컴퓨터 프로그램을 실행할 때, 상기 포커스 처리에서 얼굴 ROI는 상기 이미지에서 검출된 위치 정보에 따라 판단될 수 있고, 상기 얼굴 ROI가 판단되면 상기 PDAF 모드에서 포커스가 수행된다. 즉, 얼굴이 촬영 미리보기 모드에 나타나는 한 상기 얼굴이 어떻게 움직이든 항상 얼굴이 깨끗해질 것이다. 동시에, 상기 PDAF 모드에서 얼굴 ROI가 안정되면, 상기 보조 포커스 모드는 얼굴 ROI에 다시 포커스 하기 위해 트리거 될 것이다. PDAF 모드와 보조 포커스 모드의 결합된 포커스에 의하면, 상기 포커스 시간이 크게 단축되고 얼굴 ROI의 오토포커스가 빠르고 정확하게 달성될 수 있다.

도 7은 실시 예에서 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램들(명령어들)이 프로세서(120)에 의해 실행될 때 구현되는 동작의 순서도이다. 도 7에 도시된 바와 같이, 컴퓨터 판독 가능 저장 매체는 하나 이상의 동작을 구현하기 위해 프로세서(120)에 의해 실행되는 컴퓨터 프로그램들(명령어들)을 저장한다. 상기 하나 이상의 동작은 단계(710)에서 촬영 미리보기 모드에서 이미지의 얼굴 ROI를 획득하는 단계를 포함한다. 단계(720)에서, 상기 ROI는 제1포커스 모드에서 포커스 된다. 단계(730)에서, 상기 제1포커스 모드에서 얼굴 RIO가 안정적인지 여부가 판단된다. 단계(740)에서, 보조 포커스 모드는 상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 얼굴 ROI에 다시 포커스 하도록 트리거 된다. 상기 제1포커스 모드는 상기 제2포커스 모드와 다르다. 일 실시 예에서, 상기 제1포커스 모드는 상기 PDAF(Phase Detection Auto Focus) 모드이고, 상기 제2포커스 모드는 콘트라스트 포커스 모드 또는 레이저 포커스 모드 일 수 있다.

컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램(명령어들)이 실행될 때, 포커스 처리에서 얼굴 ROI는 이미지에서 검출된 위치 정보에 따라 판단될 수 있고, 얼굴 ROI가 판단되면 상기 PDAF 모드에서 포커스가 수행된다. 즉, 얼굴이 촬영 미리보기 모드에 나타나는 한, 얼굴이 어떻게 움직여도 항상 깨끗해진다. 동시에, 상기 PDAF 모드에서 얼굴 ROI가 안정되면, 보조 포커스 모드는 얼굴 ROI에 다시 포커스 하기 위해 트리거 될 것이다. 상기 PDAF 모드와 상기 보조 포커스 모드의 결합된 포커스에 의하면, 포커스 시간이 크게 단축되고, 상기 얼굴 ROI의 오토포커스가 빠르고 정확하게 달성될 수 있다.

전술한 실시 예의 기술적 특징은 임의로 조합될 수 있다. 설명을 간결하게 하기 위해, 상기 실시 예에서의 기술적 특징의 모든 가능한 조합이 설명되지는 않는다. 그러나, 조합에 모순이 없는 한, 이들 기술적 특징의 조합은 본 명세서에 기술된 바와 같이 고려되어야 한다.

전술한 실시 예는 본 발명의 여러 가지 구현을 나타내며, 그 설명은 보다 구체적이고 상세하지만, 본 발명의 범위가 제한되는 것으로 이해되어서는 안 된다. 당업자에게 있어서, 본 발명의 개념을 벗어나지 않고 몇 가지 변형 및 개선이 이루어질 수 있으며, 이들은 모두 본 발명의 보호 범위 내에 있음에 유의해야 한다. 그러므로, 본 발명의 보호 범위는 첨부된 청구 범위에 종속될 것이다.

Claims (15)

1. 촬영 미리보기 모드에서 이미지에서 얼굴 ROI를 획득하는 단계;
   제1포커스 모드에서 상기 얼굴 ROI에 포커스 하는 단계;
   상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단하는 단계; 및
   상기 제1포커스 모드에서 얼굴 ROI가 안정적이라는 판단에 응답하여 제2포커스 모드를 트리거 하여 상기 ROI에 다시 포커스 하되, 상기 제1포커스 모드는 제2포커스 모드와 다른 단계를 포함하고,
   상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적인지 여부를 판단하는 단계는,
   제1프레임에서 상기 얼굴 ROI의 위치 정보를 획득하는 단계-상기 제1프레임은 상기 얼굴 ROI가 제1포커스 모드에서 포커스 된 프레임임-;
   제2프레임으로부터 카운트되는 연속적인 N-1개 프레임에서 상기 ROI의 위치 정보를 획득하고, 상기 연속적인 N-1개 프레임 각각의 상기 얼굴 ROI의 상기 위치 정보와 상기 제1프레임에서 상기 얼굴 ROI의 상기 위치 정보 사이의 차이가 기 설정된 임계 값을 초과하는지 여부를 판단하는 단계-N은 3 내지 5, 즉 3≤N≤5의 범위에 있음-;
   상기 연속적인 N-1개 프레임 각각과 상기 제1프레임 사이에서 상기 얼굴 ROI의 상기 위치 정보의 차이가 기 설정된 임계 값을 초과하지 않으면, 상기 연속적인 N개 프레임에서 상기 얼굴 ROI의 위치 정보가 변경되지 않는다고 판단하는 단계;
   상기 연속적인 N-1개 프레임 각각과 상기 제1프레임 사이에서 상기 얼굴 ROI의 상기 위치 정보의 차이가 기 설정된 임계 값을 초과하면, 상기 연속적인 N개 프레임에서 상기 얼굴 ROI의 위치 정보가 변경된다고 판단하는 단계;
   상기 얼굴 ROI의 상기 위치 정보가 변경되지 않는다는 판단에 응답하여, 상기 제1포커스 모드에서 상기 얼굴 ROI가 안정적이라고 판단하는 단계; 및
   상기 얼굴 ROI의 상기 위치 정보가 변경된다는 판단에 응답하여, 상기 제1포커스 모드에서 상기 얼굴 ROI가 불안정하다고 판단하는 단계;
   를 포함하여 구성됨을 특징으로 하는 포커스 방법.
2. 제 1 항에 있어서,
   상기 제1포커스 모드에서 상기 얼굴 ROI의 상기 위치 정보는 상기 얼굴 ROI의 경계 좌표 파라미터 정보인 것을 특징으로 하는 포커스 방법.
3. 제 1 항에 있어서,
   상기 제1포커스 모드에서 상기 얼굴 ROI가 안정될 때까지 상기 제1포커스 모드에서 상기 ROI에 계속 포커스 하는 단계를 더 포함하여 구성됨을 특징으로 하는 포커스 방법.
4. 제 1 항에 있어서,
   상기 제1포커스 모드는 PDAF모드이고, 그리고
   상기 제2포커스 모드는 콘트라스트 포커스 모드 또는 레이저 포커스 모드인 것을 특징으로 하는 포커스 방법.
5. 제 3 항에 있어서,
   상기 제1포커스 모드에서 상기 얼굴 ROI가 안정될 때까지 상기 제1포커스 모드에서 상기 ROI에 계속 포커스 하는 단계는:
   상기 연속적인 N-1개 프레임의 제n프레임과 상기 제1프레임 사이에서 상기 얼굴 ROI의 위치 정보의 차이가 기 설정된 임계 값을 초과하는 경우, 상기 제1포커스 모드에서 제n프레임의 상기 얼굴 ROI에 포커스 하고, 상기 제n프레임에서 상기 얼굴 ROI의 위치 정보를 획득하는 단계; 및
   상기 제n프레임으로부터 카운트되는 연속적인 N-1개 프레임에서 상기 얼굴 ROI의 위치 정보를 획득하고, 상기 연속적인 N-1개의 프레임 각각의 상기 얼굴 ROI의 위치 정보와 상기 제n프레임에서 상기 얼굴 ROI의 위치 정보 사이의 차이가 기 설정된 임계 값을 초과하는지 여부를 결정하는 단계를 포함하여 구성됨을 특징으로 하는 포커스 방법.
6. 촬상 장치, 디스플레이 장치, 메모리, 프로세서, 및 상기 메모리 상에 저장되고 상기 프로세서 상에서 실행 가능한 컴퓨터 프로그램을 포함하는 단말기로서, 상기 프로세서는 컴퓨터 프로그램을 실행하여 청구항 1 내지 청구항 5 중 어느 한 항에 따른 방법을 구현하도록 구성되는 것을 특징으로 하는 단말기.
7. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되어 청구항 1 내지 청구항 5 중 어느 한 항에 따른 방법을 구현하도록 구성되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
   
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images