KR20150099880A - 무인 이미지 캡쳐를 위한 방법 및 장치 - Google Patents

Abstract

이미지 센서로 캡쳐된 이미지 내에서 피사체들 또는 안면들을 식별할 수 있는 무인 이미지 캡쳐에 대한 방법 및 장치가 설명된다. 본 방법들 및 장치는 그 후, 이미지에서 검출된 피사체들 또는 안면들의 스코어들, 안면 표정들의 스코어들, 포커스 스코어, 노출 스코어, 안정성 스코어, 또는 오디오 스코어에 적어도 부분적으로 기초하여, 이미지를 스코어링할 수도 있다. 이미지의 스코어가 임계값을 초과하면, 스냅샷 이미지가 이미징 디바이스 상의 데이터 스토어에 저장된다. 이미지의 스코어가 임계값 미만이면, 이미지 캡쳐 프로세스 동안에 피사체들이 포지션을 변경하거나 웃거나 또는 보다 정지된 상태를 유지해야 함을 나타내는 하나 이상의 가청 프롬프트들이 생성될 수도 있다.

Description

무인 이미지 캡쳐를 위한 방법 및 장치{METHOD AND APPARATUS FOR UNATTENDED IMAGE CAPTURE}

본 출원은 2012년 9월 12일에 출원되고 발명의 명칭이 "METHOD AND APPARATUS FOR UNATTENDED IMAGE CAPTURE"인 미국 출원 번호 제13/612,215호 (현재 미국 특허 제________호) 의 계속 출원이고, 이는 2012년 2월 6일에 출원되고 발명의 명칭이 "METHOD AND APPARATUS TO PROVIDE VOICE PROMPTS WITH A DIGITAL IMAGING DEVICE"이고 본 출원의 양수인에게 양도된 미국 가특허출원 번호 제61/595,423호를 우선권으로 주장한다. 이들 이전 출원들의 개시물은 본 개시물의 일부로서 간주되고 본 개시물에 참조로서 포함된다.

본 실시형태들은 이미징 디바이스들에 관한 것이고, 보다 자세하게는 이미지 디바이스들을 이용한 이미지들의 무인 캡쳐를 위한 방법들 및 장치들에 관한 것이다.

디지털 이미지 디바이스들의 하나의 일반적인 사용은 무인 이미지 캡쳐이다. 무인 이미지 캡쳐 모드는 그룹의 모든 멤버들이 이미지 내에 포함되기를 원할 때 이용될 수도 있다. 이 경우에, 이미지가 캡쳐될 때 어느 누구도 이미징 디바이스에 주의를 기울이지 않을 수도 있다. 이는 이미지 디바이스에 위치된 통상의 "셔터 버튼" 을 이용하여 이미지가 캡쳐되는 경우에 특히 그러하게 된다. 이러한 이용 케이스를 해결하기 위하여, "셀프 타이머" 가 디지털 이미징 디바이스들의 피쳐로서 유비쿼터스식으로 된다. 셀프 타이머는 셔터 릴리스가 눌러질 때와 이미지가 캡쳐될 때 사이에 지연을 제공한다. 이 지연은 포토그래퍼가 셔터 릴리스 버튼을 누른 다음, 포토그래프화되는 장면속으로 신속하게 움직이게 하는 기회를 제공한다. 타이머가 만료할 때, 포토그래퍼가 이미지 내에 자신들을 성공적으로 포지셔닝할 수 있었는지의 여부와 무관하게 그리고 임의의 다른 이미지 피사체들이 타이머가 만료할 때 준비가 되었는지의 여부와 무관하게 이미지가 캡쳐된다.

셀프 타이머에 더하여, 일부 이미징 디바이스들은 무인 이미지 캡쳐를 보조하는 원격 제어 능력을 제공한다. 원격 제어 능력을 이용하면 셀프 타이머를 이용할 필요가 거의 없을 수도 있다. 그 대신에, 원격 제어부를 갖는 "포토그래퍼" 가 이미징 디바이스에 의해 캡쳐되어지는 장면 내에 자신들을 포지셔닝할 수 있다. 원격 제어부 상의 "셔터 릴리스"를 활성화하는 것은 이미징 디바이스에 이미지를 캡쳐하도록 원격으로 명령할 것이다. 원격 제어부가 포토그래프 내에서 가시적이지 않도록 포토그래퍼가 원격 제어부를 포지셔닝할 수 있다면, 원격 제어부들은 무인 이미지 캡쳐에 대한 양호한 솔루션을 제공할 수 있다.

그러나, 포토그래퍼가 카메라 뒤에 없는 상태에서 이미지를 캡쳐하려고 시도할 때 발생할 수 있는 많은 문제들이 있다. 이는 이미지가 캡쳐되기 전에 포토그래퍼가 장면을 프리뷰하는 능력이 없음에 적어도 부분적으로 기인할 수 있다. 장면들은 종종 다이나믹하고, 피사체들이 사진 찍힐 준비를 할 때 장면이 변할 수도 있다. 예를 들어, 포토그래퍼가 먼저 뷰 파인더를 통하여 보거나 초기에 전자 디스플레이를 통하여 장면을 프리뷰할 때, 몇몇 피사체들이 이미지 프레임 내에서 적절하게 포지셔닝되지 않을 수도 있다. 추가로, 일부 피사체들은 카메라를 보고 있지 않을 수도 있고, 원하는 포토그래프를 얻기 위한 적절한 표정을 갖지 않을 수도 있다. 그러나, 적절한 순간을 기다림으로써, 피사체들의 포지션은 개선될 수도 있고, 피사체들은 포토그래퍼가 원하는 이미지를 얻을 수 있도록 카메라를 향해 웃을 수도 있다. 그 후, 포토그래퍼는 스냅샷 이미지를 캡쳐할 수도 있다.

일부 포토그래퍼들은 정확한 순간을 기다릴 수도 있을 뿐만 아니라, 그 대신에 포토그래프화되는 피사체들에게 안내를 제공할 수도 있다. 예를 들어, 포토그래퍼는 다른 피사체에 보다 더 가깝게 이동하거나 이미지의 중심을 향하여 이동하도록 한 피사체에게 요구할 수도 있다. 포토그래퍼는 또한 예를 들어, 피사체에 웃으라고 하거나 카메라를 보라고 요구함으로써, 피사체에게 그들의 표정들을 코칭할 수도 있다. 그 후, 포토그래퍼가 이미징되는 장면이 원하는 스냅샷을 생성하는 포지션으로 피사체들을 코칭할 때, 포토그래퍼는 스냅샷 이미지를 캡쳐할 수도 있다.

그러나, 셀프 타이머는 장면에서 피사체가 이들을 적절하게 포지셔닝하는 것을 기다리지 않으며 그 대신에 특정 시간량이 경과한 후 이미지를 캡쳐한다. 스냅샷은 모든 피사체들이 적절하게 포지셔닝되는지와 무관하게 캡쳐된다. 원격 제어부를 이용하여 스냅샷 이미지를 캡쳐하는 것은 원격 제어부를 가진 "포토그래퍼"가 피사체에 지시하는데 있어 일정 역할을 허용할 수도 있지만, 포토그래퍼의 장면내 위치는 캡쳐될 때 이미지가 어떻게 나타나는지의 관점을 포토그래퍼에게 제공할 수 없다. 이는 이들이 제공하는 임의의 지시의 유용성을 제한할 수도 있다. 예를 들어, 이들은 모든 피사체들이 적절하게 포지셔닝되었는지의 여부 또는 포토그래프의 모든 피사체들이 원하는 표정을 갖고 있는지의 여부에 대하여 코멘트가능하지 않을 수도 있다.

본 실시형태들의 일부는 디지털 이미징 디바이스로 이미지를 캡쳐하는 방법을 포함할 수도 있다. 본 방법은 이미지 센서로 장면의 이미지를 캡쳐하는 것, 이미지에서의 복수의 피사체들을 결정하는 것, 이미지에서의 둘 이상의 피사체들 각각에 대한 피사체 스코어를 결정하는 것, 피사체 스코어들에 적어도 부분적으로 기초하여 이미지 스코어를 결정하는 것, 이미지 센서로 장면의 스냅샷 이미지를 캡쳐하고, 이미지 스코어가 임계값을 초과하면 데이터 스토어에 스냅샷 이미지를 저장하는 것, 및 이미지 스코어가 임계값 미만이면 피사체의 스코어에 기초하여 프롬프트를 출력하는 것을 포함한다. 일부 실시형태들에서, 본 방법은 또한 캡쳐된 이미지에서 안면을 검출하는 것을 포함한다. 일부 실시형태들에서, 본 방법은 또한, 이름을 검출된 안면과 연관시키기 위해 검출된 안면에 대한 안면 인식을 수행하는 것을 포함한다. 일부 실시형태들에서, 프롬프트의 출력은 이름에 기초한다.

일부 다른 실시형태들에서, 이미지를 스코어링하는 것은 안면 포지션 스코어, 안면 가려짐 스코어, 안면 블링크 스코어, 안면 스마일 스코어 또는 안면 응시 스코어에 적어도 부분적으로 기초한다. 일부 실시형태들에서, 이미지를 스코어링하는 것은 이미지 안정성 스코어, 이미지 포커스 스코어, 이미지 노출 스코어, 또는 이미지 오디오 스코어에 적어도 부분적으로 기초한다.

일부 실시형태들에서, 본 방법은 이미지 스코어에 기초하여 스냅샷 이미지를 캡쳐하는 것 및 스냅샷 이미지를 스토리지에 저장하는 것을 포함한다. 일부 실시형태들에서, 본 방법은 또한 마이크로폰으로부터 오디오 신호를 수신하는 것, 오디오 신호에서 키워드들 또는 키 사운드들을 검출하는 것, 및 검출된 키워드들 또는 키 사운드들에 기초하여 캡쳐된 이미지를 스코어링하는 것을 포함한다.

다른 양태는 이미지를 캡쳐하기 위한 장치이다. 본 장치는 이미지 센서 및 이미지 센서에 동작가능하게 커플링된 프로세서를 포함한다. 본 장치는 또한 이미지 센서로 장면의 이미지를 캡쳐하도록 구성되는 이미지 센서 제어 모듈, 캡쳐된 이미지에서의 복수의 피사체들을 검출하도록 구성되는 피사체 검출 모듈, 캡쳐된 이미지에서 검출된 복수의 피사체들 중 둘 이상의 피사체 각각에 대한 스코어를 결정하도록 구성되는 피사체 스코어링 모듈, 피사체 스코어들에 적어도 부분적으로 기초하여 이미지 스코어를 결정하도록 구성되는 이미지 스코어링 모듈, 이미지 스코어가 미리 정해진 이미지 스코어 임계값을 초과하면 이미지 센서로 스냅샷 이미지를 캡쳐하도록 구성되는 스냅샷 캡쳐 모듈, 이미지 스코어에 적어도 부분적으로 기초하여 프롬프트를 결정하도록 구성되는 프롬프트 결정 모듈, 및 프롬프트를 출력하도록 구성되는 유저 상호작용 모듈을 포함한다.

일부 실시형태들에서, 본 장치는 또한 검출된 피사체들 중 하나와 이름을 연관시키도록 구성되는 안면 인식 모듈을 포함하며, 프롬프트 출력은 또한 이름에 기초한다. 일부 실시형태들에서, 이미지를 스코어링하는 것은 안면 포지션 스코어, 안면 가려짐 스코어, 안면 블링크 스코어, 안면 스마일 스코어 또는 안면 응시 스코어에 적어도 부분적으로 기초한다. 일부 실시형태들에서, 이미지를 스코어링하는 것은 이미지 안정성 스코어, 이미지 포커스 스코어, 이미지 노출 스코어, 또는 이미지 오디오 스코어에 적어도 부분적으로 기초한다.

일부 실시형태들에서, 본 장치는 또한 마이크로폰, 및 마이크로폰을 이용하여 이미지와 연관된 오디오 신호를 캡쳐하도록 구성되는 오디오 캡쳐 모듈을 포함하고, 이미지 스코어는 또한 캡쳐된 오디오 신호에 기초한다.

개시된 다른 양태는 이미지 캡쳐 디바이스이다. 이미지 캡쳐 디바이스는 이미지 센서로 장면의 이미지를 캡쳐하는 수단, 이미지에서의 복수의 피사체들을 결정하는 수단, 복수의 피사체들 중 둘 이상의 피사체들 각각에 대한 피사체 스코어를 결정하는 수단, 피사체 스코어들에 적어도 부분적으로 기초하여 이미지 스코어를 결정하는 수단, 이미지 센서로 장면의 이미지를 캡쳐하고, 이미지 스코어가 임계값을 초과하면 데이터 스토어에 이미지를 저장하는 수단, 및 이미지 스코어가 임계값 미만이면 피사체의 스코어에 기초하여 프롬프트를 출력하는 수단을 포함한다.

일부 실시형태에서, 이미지 캡쳐 디바이스는 이미지와 연관된 오디오를 캡쳐하는 수단을 더 포함한다. 이미지 스코어는 캡쳐된 오디오에 추가로 기초한다. 일부 실시형태들에서, 복수의 피사체들 각각을 스코어링하는 수단은 안면 포지션 스코어를 결정하는 수단, 안면 가려짐 스코어를 결정하는 수단, 안면 블링크 스코어를 결정하는 수단, 안면 스마일 스코어를 결정하는 수단 또는 안면 응시 스코어를 결정하는 수단을 포함한다. 일부 실시형태들에서, 이미지를 스코어링하는 수단은 이미지 안정성 스코어를 결정하는 수단, 이미지 포커스 스코어를 결정하는 수단, 이미지 노출 스코어를 결정하는 수단, 또는 이미지 오디오 스코어를 결정하는 수단을 포함한다.

개시된 다른 양태는 비일시적 컴퓨터 판독가능 매체이며, 이 매체는 프로세서에 의해 실행될 때, 프로세서로 하여금 이미지 센서로 장면의 이미지를 캡쳐하게 하고, 이미지에서의 복수의 피사체들을 결정하게 하고, 복수의 피사체들 중 둘 이상의 피사체들 각각에 대한 피사체 스코어를 결정하게 하고, 피사체 스코어들에 적어도 부분적으로 기초하여 이미지 스코어를 결정하게 하고, 이미지 센서로 장면의 이미지를 캡쳐하게 하고, 이미지 스코어가 임계값을 초과하면 데이터 스토어에 이미지를 저장하게 하고, 그리고 이미지 스코어가 임계값 미만이면 피사체의 스코어에 기초하여 프롬프트를 출력하게 하는 명령들을 저장한다.

일부 실시형태들에서, 이미지를 스코어링하는 것은 안면 포지션 스코어, 안면 가려짐 스코어, 안면 블링크 스코어, 안면 스마일 스코어, 안면 응시 스코어, 이미지 안정성 스코어, 이미지 포커스 스코어, 이미지 노출 스코어, 또는 이미지 오디오 스코어에 적어도 부분적으로 기초한다. 일부 실시형태들에서, 컴퓨터 판독가능 매체는 또한 실행될 때, 캡쳐된 이미지에서 안면을 검출하는 것 및 검출된 안면과 이름을 연관시키기 위해 검출된 안면에서 안면 인식을 수행하는 것을 포함하는 방법을 확장하는 명령들을 더 포함하고, 프롬프트의 출력은 이름에 기초한다.

개시된 양태들은 이하에서 개시된 양태들을 제한하기 위한 것이 아닌 설명하기 위하여 제공된 것으로서, 첨부된 도면들과 연결하여 설명될 것으며, 유사한 도면부호들은 유사한 엘리먼트들을 표기한다.
도 1 은 복수의 피사체들을 포함하는 장면의 이미지를 포함하는 이미징 환경을 보여준다.
도 2 는 개시된 방법들 및 장치의 적어도 하나의 실시예를 구현하는 이미징 디바이스의 기능 블록도이다.
도 3 은 이미지를 캡쳐하는 방법의 일 구현예의 흐름도이다.
도 4 는 하나 이상의 식별된 안면들을 스코어링하는 방법의 일 구현예를 나타내는 흐름도이다.
도 5 는 이미지를 스코어링하는 방법의 일 구현예의 흐름도이다.
도 6 은 프롬프트가능한 이미지 스코어 컴포넌트들을 우선순위화하는 방법의 일 구현예의 흐름도이다.
도 7 은 복수의 피사체들을 포함하는 장면의 이미지를 포함하는 이미징 환경을 보여준다.

본 발명의 실시형태들은 이미징 디바이스가 무인형일 때 이미징 디바이스로 이미지를 캡쳐하는 방법들 및 장치에 관한 것이다. 일 실시형태에서, 이미징 디바이스는 프롬프팅을 통하여 포토그래프되고 있는 피사체들에게 안내를 제공하는 소프트웨어 및 하드웨어를 포함한다. 프롬프팅은 비쥬얼 프롬프팅 또는 오디오식 프롬프팅, 또는 일부 경우들에서 비쥬얼 및 오디오식 프롬프팅 양쪽 모두일 수도 있다. 시스템은 장면에서 피사체들의 포지션 또는 표정을 평가 (measure) 한 다음, 장면에서 인식되는 피사체들에게 그들의 포지션 또는 안면 표정을 변경하도록 요청한다. 예를 들어, 일 실시형태에서, 아래 설명된 방법들 및 장치는 이들이 이미지 프레임에 보다 양호하게 센터링하도록 포지션들을 변경하라고 피사체들에게 지시할 수도 있다. 일부 실시형태들에서, 방법들 및 장치는 피사체들의 포지션들을 평가할 수도 있고 이들의 전체 형태나 안면이 캡쳐된 이미지의 부분이도록 보장할 수도 있다. 방법들 및 장치는 또한 피사체들에게 이들의 표정들을 변경하도록 지시할 수도 있는데, 예를 들어, 보다 원하는 포토그래프를 제공하도록 카메라를 보라고 하거나 웃으라고 촉구할 수도 있다.

일 실시형태에서, 이미지 디바이스에 의한 개개의 피사체들의 프롬프팅은 안면 스코어링 및 이미징 스코어링 프로세스를 이용하여 달성된다. 일부 구현예들에서, 다수의 피사체들을 포함하는 장면의 프리뷰 이미지가 캡쳐된다. 그 후, 이미징 시스템은 예를 들어, 안면 검출 프로세스를 통하여 프리뷰 이미지에 의해 캡쳐된 장면에서 하나 이상의 피사체들을 검출한다. 일 구현예에서, 그 후, 방법들 및 장치는 장면에서 검출된 각각의 안면을 인식하려 시도한다. 인지된 안면들의 데이터베이스가 안면 인식을 용이하게 하기 위해 유지될 수도 있다. 안면들이 인식되었다면, 각각의 검출되거나 또는 인식된 안면은 안면에서의 눈을 깜빡이고 있는지, 웃고 있는지 또는 응시하고 있는지를 포함한 여러 속성들에 대해 스코어링될 수도 있다. 각각의 피사체의 개별적인 컴포넌트 안면 스코어들은 전체적인 프리뷰 이미지에 관련된 다른 스코어들과 결합되어 전체적인 이미지 스코어가 생성될 수도 있다.

전체적인 이미지에 대한 스코어는 위에 설명된 안면 스코어들 뿐만 아니라 전체적인 이미지의 속성들에 관련된 스코어들을 포함하는, 각각의 피사체로부터 합쳐진 다수의 컴포넌트 스코어들에 기초할 수도 있다. 이들은 이미지의 노출, 이미지의 안정성, 전체적인 이미지의 포커스, 또는 이미지와 연관된 오디오에 관련된 스코어를 포함할 수도 있다.

일부 구현예들에서, 이미지 품질 기준은 스냅샷 이미지가 캡쳐될 수도 있을 때를 결정하기 위해 설정될 수도 있다. 스냅샷 이미지는 프리뷰 이미지와 상이할 수도 있다. 일부 구현예들에서, 프리뷰 이미지들이 연속적으로 캡쳐될 수도 있지만, 프리뷰 이미지들은 일반적으로, 짧은 과도 주기를 초과하는 동안에는 메모리에 저장되지 않는다. 이미지 프로세싱 방법들은 이미지 파라미터들, 이를 테면, 노출, 어퍼쳐, 또는 센서 감도를 튜닝하는 것을 용이하게 하기 위해 프리뷰 이미지들에 대해 수행될 수도 있다. 이들은 또한 스냅샷 이미지의 캡쳐를 용이하게 하기 위해 디스플레이 상에서 이미징 디바이스의 유저에게 디스플레이될 수도 있다. 스냅샷 이미지는 일부 구현예들에서 프리뷰 이미지보다 분해능이 더 높을 수도 있다. 스냅샷 이미지는 또한 스테이블 스토리지, 이를 테면, 내부 메모리, 플래시 드라이브, 콤팩트 플래스 카드, 시큐어 디지털 및 멀티미디어 카드들, xD 픽쳐 카드, 메모리 스틱, 마이크로드라이브, 스마트미디어 카드 또는 다른 스테이블 스토리지에 저장될 수도 있는 반면, 프리뷰 이미지는 스테이블 스토리지에 일반적으로 저장되지 않는다.

일부 구현예들에서, 스냅샷 캡쳐 품질 기준은 전체적인 이미지 스코어에 대한 임계값을 포함할 수도 있다. 이미지의 개선된 특징들을 나타내기 위해 더 높은 스코어들을 사용하는 구현예들에서, 전체적인 이미지 스코어가 임계값을 초과하면, 프리뷰 이미지의 품질은 원하는 스냅샷 이미지를 생성하기에 충분한 것으로 결정된다. 이들 구현예들에서, 스냅샷 이미지는 전체적인 이미지 스코어가 임계값을 초과할 때 이미징 디바이스에 의해 자동으로 캡쳐될 수도 있다. 이미지의 개선된 특징들을 나타내기 위해 보다 낮은 스코어들을 이용하는 일부 다른 구현예들에서는, 전체적인 이미지 스코어가 임계값 미만이면, 이전 이미지의 품질은 원하는 스냅샷 이미지를 생성하기에 충분한 것으로 결정될 수도 있다. 이들 구현예들에서, 스냅샷 이미지는 전체적인 이미지 스코어가 임계값 미만일 때 이미징 디바이스에 의해 자동으로 캡쳐될 수도 있다.

다른 구현예들은 보다 확장적인 스냅샷 캡쳐 품질 기준을 가질 수도 있다. 예를 들어, 일부 구현예들은 안면 스코어들의 개별적인 컴포넌트들에 대한 하나 이상의 미리 정해진 기준 또는 임계값들의 이용을 포함하는, 이미지 스코어의 개별적인 컴포넌트들에 대한 미리 정해진 기준 및/또는 임계값들을 포함할 수도 있다. 기준은 하나 이상의 스코어들이 하나 이상의 임계값들보다 큰지, 작은지, 크거나 같은지 또는 작거나 같은지의 여부를 결정하는 것을 포함할 수도 있다. 일부 구현예들에서, 각각의 개별적인 스코어는 대응하는 임계값을 가질 수도 있다. 다른 구현예들에서, 다수의 스코어들은 품질 기준이 충족되는지의 여부를 결정하기 위해 동일한 임계값을 이용할 수도 있다. 일부 구현예들에서, 컴포넌트 스코어들 중 어느 것이 임계값 미만이면, 스냅샷 이미지는 캡쳐되지 않을 수도 있다. 일부 구현예들은 스냅샷 이미지를 자동으로 캡쳐할지의 여부를 결정할 때 이들의 품질 기준을 충족하는 이미지 스코어 컴포넌트들의 백분율을 측정할 수도 있다. 예를 들어, 이들의 품질 기준을 충족하는 이미지 스코어 컴포넌트들의 백분율이 70%, 75%, 80%, 85%, 90%, 95% 또는 99% 보다 크면, 이미지가 캡쳐될 수도 있다.

프리뷰 이미지의 스코어들이 스냅샷 이미지 품질 기준을 충족하지 못하면, 스냅샷 이미지는 이미징 디바이스에 의해 캡쳐될 수도 있다. 그 대신에, 이미지의 컴포넌트 스코어들은 하나 이상의 프롬프팅 기준에 대하여 평가될 수도 있다. 예를 들어, 프리뷰 이미지에서의 각각의 검출된 안면의 스코어들은 전체적인 이미지 스코어에 대한 이들의 부정적 영향에 기초하여 우선순위화될 수도 있다. 그 후, 높은 우선순위 스코어들을 가진 안면들을 갖는 피사체들은 프롬프팅을 위하여 선택될 수도 있다.

프롬프트들은 이전에 결정된 인식 정보에 기초하여 선택된 피사체들에 대하여 커스터마이즈될 수도 있다. 예를 들어, 프리뷰 이미지에서의 피사체들의 안면들을 인식함으로써 이미징 시스템은 프롬프팅을 위해 선택된 피사체에 이름을 연관시킬 수도 있다. 따라서, 시스템은 밥 (Bob) 의 이름에 대해 저장된 이전 데이터에 기초하여 피사체들 중 한명을 "밥" 으로서 인식하도록 안면 인식을 수행할 수도 있다. 밥이 피사체들 중 한명인 것으로 찾아지면, 그리고 이들의 안면 컴포넌트 스코어들의 적어도 일부분이 최고 우선순위 스코어들인 것으로 결정되면, 오디오 프롬프트는, 예를 들어, 이미징 디바이스에 연결되거나 이미지 디바이스에 통합된 스피커를 통하여 "밥, 웃으세요!"라고 오디오식으로 언급함으로써, 이들을 직접 어드레싱할 수도 있다.

도 1 은 복수의 피사체들을 포함하는 장면 (100) 의 이미지를 포함하는 이미징 환경을 보여준다. 예시된 바와 같이, 일부는 이 장면의 포토그래프를 원하지 않는 것으로서 고려할 수도 있다. 예를 들어, 피사체들 중 다수, 이를 테면, 피사체 (102 및 104) 는 카메라를 보고 있지 않다. 추가로, 피사체 (106) 는 그 머리가 장면 (100) 외부에 있게 될 정도로 장면에서 적절하게 포지셔닝되지 않는다. 또한, 피사체들 중 몇몇은 원하는 사진을 생성하지 못할 수도 있는 표정들을 갖고 있다. 예를 들어, 피사체 (108) 는 먼곳을 응시하는 것으로 나타난다. 피사체 (110) 는 눈을 깜빡이거나 찡그릴 수도 있다. 피사체 (112 및 114) 는 카메라를 보고 있지 않다. 추가로, 피사체 (112) 는 피사체 (116) 의 안면을 부분적으로 가리고 있다.

카메라 (150) 는 장면을 이미징하는 것으로서 예시되어 있다. 카메라 (150) 는 또한 오디오식 프롬프트들 (155 및 156) 을 이용하여 장면 내의 피사체들에게 프롬프팅하는 것으로 도시되어 있다. 예를 들어, 프롬프트 (156) 는 현재 카메라를 응시하고 있지 않는 칼렙에게 보내지고 있다. 프롬프트 (155) 는 피사체 (112) 인 린넬에 의해 부분적으로 얼굴이 가려진 피사체 (116) 인 프레드에게 보내지고 있다. 아래 보다 자세하게 설명될 바와 같이, 카메라 (150) 의 일 실시형태는 장면의 피사체들에 대한 안면 인식을 수행한 다음, 인식된 안면들을 카메라 (150) 내에 저장된 안면들의 테이블 또는 데이터베이스와 비교하는 모듈들을 포함한다. 그 테이블 또는 데이터베이스로부터, 카메라는 각각의 인식된 피사체의 이름을 결정할 수도 있고 그 후, 그 정보를 이용하여 각각의 피사체와 오디오식으로 통신할 수도 있다.

도 2 는 이미징 디바이스 내에서 이용되는 방법의 적어도 일 실시형태를 구현하는 이미징 디바이스 (150) 의 기능 블록도이다. 이미징 디바이스 (150) 는 프로세서 (220) 를 포함한다. 프로세서 (220) 는 이미징 센서 (215), 가속도계 (280), 작업 메모리 (205), 마이크로폰 (208), 스토리지 (210), 출력 디바이스 (290) 및 메모리 (230) 에 동작가능하게 접속되어 있다.

메모리 (230) 는 이미징 디바이스 (150) 의 기능들을 수행하도록 프로세서 (220) 를 구성시키는 명령들을 포함하는 모듈들을 저장한다. 센서 제어 모듈 (235) 은 이미징 센서 (215) 를 제어하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 예를 들어, 센서 제어 모듈 (235) 에서의 명령들은 이미징 센서 (215) 의 하나 이상의 파라미터들, 이를 테면, 어퍼쳐, 셔터 속도, 또는 이미징 센서의 감도를 조정하도록 프로세서 (220) 를 구성시킬 수도 있다. 센서 제어 모듈 (235) 은 또한 프로세서 (220) 로 하여금, 하나 이상의 이미지들을 캡쳐하도록 이미징 센서 (215) 에 커맨드하게 하는 명령들을 포함할 수도 있다. 따라서, 센서 제어 모듈 (235) 에서의 명령들은 이미지 센서로 장면의 이미지를 캡쳐하기 위한 일 수단을 나타낼 수도 있다.

피사체 검출 모듈 (250) 은 이미징 센서 (215) 에 의해 캡쳐된 이미지에서 하나 이상의 피사체들을 검출하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 일부 구현예들에서, 피사체 검출 모듈은 이미지에서의 물체들을 검출할 수도 있다. 따라서, 피사체 검출 모듈 (250) 에서의 명령들은 이미지에서의 복수의 피사체들을 결정하기 위한 일 수단을 나타낼 수도 있다. 피사체는 여러 물체를 포함할 수도 있다. 예를 들어, 피사체는 빌딩, 자동차, 인간, 또는 동물, 이를 테면, 말, 개, 고양이, 또는 소일 수도 있다.

안면 검출 모듈 (251) 은 이미징 센서 (215) 에 의해 캡쳐된 이미지에서 하나 이상의 안면들을 검출하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 일부 구현예들에서, 안면 검출 모듈 (250) 은 피사체 검출 모듈 (250) 에 의해 검출되는 피사체 또는 물체에서의 안면을 검출할 수도 있다. 다른 구현예들에서, 안면 검출 모듈 (251) 은 피사체 검출 모듈 (250) 로부터 독립적으로 동작할 수도 있고, 이미징 센서 (215) 에 의해 캡쳐된 이미지에서 안면을 직접 검출할 수도 있다.

안면 인식 모듈 (252) 은 이미징 센서 (215) 에 의해 캡쳐된 이미지에 존재하거나 또는 피사체 검출 모듈 (250) 에 의해 검출된 피사체들의 적어도 일부에서의 안면들을 인식 및 식별하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 안면 인식 모듈 (252) 은 인식 기능을 수행하도록 인지된 안면들의 데이터베이스를 검색할 수도 있다. 인지된 안면들의 데이터베이스는 예를 들어, 스토리지 (210) 에 저장될 수도 있다. 안면 인식 모듈 (252) 은 또한 안면 인식을 수행하기 위해 당해 기술 분야에 알려진 안면 인식 방법들 중 어느 것을 이용할 수도 있다.

안면 스코어링 모듈 (255) 은 안면 인식 모듈 (252) 에 의해 인식되거나 또는 안면 검출 모듈 (250) 에 의해 검출된 각각의 안면을 스코어링하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 안면 스코어링 모듈 (255) 은 예를 들어, 안면에서 눈을 깜빡이는지, 안면이 웃고 있는지 또는 찡그리고 있는지의 여부에 기초하여 하나 이상의 안면들을 스코어링할 수도 있다. 일 구현예에서, 안면 검출 모듈 (251) 은 눈 코너들의 위치, 눈들의 위치, 콧구멍의 위치, 및 입술코너들의 위치를 제공할 수도 있다. 이들 위치들은 "키포인트들" 로서 처리될 수도 있다. 이들 키포인트들 간의 공간적 관계에 기초하여, 안면 스코어링 모듈 (255) 은 웃는 정도, 눈 깜빡임 정도 또는 응시 방향을 결정할 수도 있다. 예를 들어, 눈 깜빡임은 눈의 상단 및 하단에서의 키포인트들 간의 정점 거리를 측정함으로써 결정될 수도 있다.

안면 스코어링 모듈 (255) 은 또한 안면이 카메라를 응시하고 있는지의 여부 또는 안면들이 이미지 내에서 다른 물체들에 의해 부분적으로 또는 전체적으로 가려지는지에 기초하여 하나 이상의 안면들을 스코어링할 수도 있다. 일 실시형태에서, 안면 스코어링 모듈 (255) 은 얼마나 많은 키 포인트들이 안면에서 검출되는지를 카운트함으로써 안면이 부분적으로 가려지는지의 여부를 결정할 수도 있다. 예를 들어, 왼쪽 눈의 키포인트들만이 안면에서 검출되면, 안면의 오른쪽 눈은 가려질 수도 있다. 다른 구현예에서, 안면 스코어링 모듈은 안면을 스코어링하도록 다수의 이미지 프레임들을 이용할 수도 있다. 이들 구현예들에서, 제 2 안면이 제 1 이름에서의 제 1 안면의 포지션의 임계값 근방 내에 있다면, 제 1 이름에서 검출되었지만 제 2 후속 프레임에서는 검출되지 않은 제 1 안면은 가려질 수도 있다. 일 구현예에서, 다른 피사체들 또는 안면들에 대하여 또는 이미지 내에서의 그 포지션에 기초하여 안면은 스코어링될 수도 있다.

일 구현예들에서, 유저는 이들이 이미지 프레임 내에 위치될 안면을 선호하는 경우에 대한 선택을 제공받을 수도 있다. 이들 구현예들에서, 위치 스코어는 선택된 위치로부터 검출된 안면의 거리에 기초하여 결정될 수도 있다. 일부 구현예들에서, 안면들은 안면 검출 모듈 (250) 에 의해 검출된 피사체에서 검출될 수도 있기 때문에, 안면 스코어링 모듈 (255) 에서의 명령들은 복수의 피사체들을 스코어링하기 위한 일 수단을 나타낼 수도 있다. 안면 스코어링 모듈 (255) 에서의 명령들은 또한 안면 포지션 스코어를 결정하는 수단, 안면 가려짐 스코어를 결정하는 수단, 안면 블링크 스코어를 결정하는 수단, 안면 스마일 스코어를 결정하는 수단 또는 안면 응시 스코어를 결정하는 수단을 나타낼 수도 있다.

이미지 스코어링 모듈 (256) 은 이미징 센서 (215) 에 의해 캡쳐된 이미지를 스코어하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 이미지 스코어는 이미지 포커스, 안정성, 노출, 또는 이미지에서 검출된 하나 이상의 안면들의 스코어들에 기초하여 이미지 스코어링 모듈 (240) 에서의 명령들에 의해 결정될 수도 있다. 이미지 스코어는 또한 이미지와 연관되고 디바이스 (150) 에 의해 캡쳐된 오디오에 기초할 수도 있다. 예를 들어, 이미지 스코어링 모듈에서의 명령들은 키워드들 또는 키 사운드들을 결정하도록 이미지와 연관된 오디오 데이터를 분석할 수도 있다. 예를 들어, 키 사운드들은 특정 가청 워드들 또는 어구들, 이를 테면, "기다리세요" 또는 "사진을 찍으세요"를 포함할 수도 있다. 키 사운드들은 또한 사운드들, 이를 테면, 웃음 소리, 셔플링 또는 움직임의 소리를 포함할 수도 있다. 키 사운드는 또한 상대적 고요함의 기간일 수도 있다. 그 후, 이들 키워드들 또는 키 사운드들의 존재 또는 부재를 이용하여 이미지 오디오 스코어를 결정할 수도 있다. 예를 들어, 일부 구현예들은 검출될 때, 이미지의 스냅샷이 (아래 설명된) 스냅샷 캡쳐 모듈 (260) 에 의해 캡쳐되도록 검출된 사운드와 동시에 캡쳐된 이미지가 스코어링되게 하는 하나 이상의 키 사운드들을 정의할 수도 있다. 예를 들어, 웃음 사운드, 또는 커맨드, 이를 테면, "사진을 찍으세요" 의 검출이 캡쳐될 스냅샷 이미지를 트리거링할 수도 있다. 이와 유사하게, 일부 구현예들은 스냅샷이 금지되도록, 동시에 캡쳐된 이미지로 하여금 스코어링되게 하는 하나 이상의 키 사운드들을 정의할 수도 있다. 예를 들어, 사운드들, 이를 테면, "기다리세요" 가 스냅샷 이미지의 캡쳐를 금지할 수도 있다.

일부 구현예들에서, 이미지에서 검출된 안면들이 또한 피사체들일 수도 있다. 따라서, 일부 구현예들에서, 이미지 스코어링 모듈 (256) 에서의 명령들은 적어도, 두개의 결정된 피사체들의 스코어들에 적어도 부분적으로 기초하여 이미지를 스코어링하는 일 수단일 수도 있다. 이미지 스코어링 모듈 (256) 에서의 명령들은 또한, 이미지 안정성 스코어를 결정하는 수단, 이미지 포커스 스코어를 결정하는 수단, 이미지 노출 스코어를 결정하는 수단, 또는 오디오 스코어를 결정하는 수단을 나타낼 수도 있다.

스냅샷 캡쳐 모듈 (260) 은 스냅샷 캡쳐 품질 기준에 기초하여 장면의 스냅샷을 캡쳐하도록 프로세서 (220) 를 구성시키는 명령들을 포함할 수도 있다. 예를 들어, 일부 구현예들에서, 스냅샷 캡쳐 품질 기준은 하나 이상의 스코어 임계값들을 포함할 수도 있다. 일부 구현예들에서, 이미지 캡쳐 모듈은 프리뷰 이미지의 전체 이미지 스코어를 스코어 임계값에 비교하여 스냅샷 이미지가 캡쳐되어야 하는지의 여부를 결정할 수도 있다. 프리뷰 이미지의 전체 이미지 스코어가 임계값을 초과하면, 이미지 캡쳐 모듈은 스냅샷 이미지를 캡쳐할 수도 있다. 따라서, 스냅샷 캡쳐 모듈 (260) 에서의 명령들은 이미지 센서로 장면의 스냅샷 이미지를 캡쳐하기 위한 일 수단일 수도 있다.

일부 구현예들에서, 스냅샷 캡쳐 품질 기준은 수개의 컴포넌트 스코어 임계값들을 포함할 수도 있다. 예를 들어, 스냅샷 캡쳐 품질 기준은 안면 스마일 스코어 임계값, 안면 포지션 스코어 임계값, 안면 블링크 스코어 임계값, 안면 응시 스코어 임계값, 또는 안면 가려짐 스코어 임계값 중 하나 이상을 포함할 수도 있다. 이들 스코어들 및 임계값이 어떻게 적용될 수도 있는지의 일 예가 아래 도 7 을 참조로 설명된다. 그 후, 스냅샷 캡쳐 모듈 (260) 은 이들 컴포넌트 스코어 임계값들 중 하나 이상을 프리뷰 이미지의 컴포넌트 스코어들에 비교할 수도 있다. 일부 구현예들에서, 컴포넌트 스코어들 중 어느 것이 대응하는 컴포넌트 스코어 임계값보다 낮은 품질 레벨을 나타내면, 스냅샷 캡쳐 모듈 (260) 은 스냅샷 이미지를 캡쳐하지 않을 수도 있다. 일부 다른 구현예들에서, 더 낮은 품질 레벨을 나타내는 컴포넌트 스코어들의 백분율이 백분율 임계값을 초과하면, 스냅샷 캡쳐 모듈 (260) 은 스냅샷 이미지를 캡쳐하지 않을 수도 있다. 일부 다른 구현예들에서, 더 낮은 품질 레벨을 나타내는 컴포넌트 스코어들의 수가 수량 임계값을 초과하면, 스냅샷 캡쳐 모듈 (260) 은 스냅샷 이미지를 캡쳐하지 않을 수도 있다.

일부 다른 구현예들은 컴포넌트 스코어들을 적어도 두개의 그룹들로 그룹화할 수도 있다. 이들 구현예들에서, 스냅샷 캡쳐 모듈 (260) 이 스냅샷 이미지를 캡쳐하기 전에, 제 1 그룹에서의 컴포넌트 스코어들의 그룹이 (위에 설명된) 이들의 대응하는 컴포넌트 스코어 그룹 임계값들을 초과할 수도 있다. 스냅샷 캡쳐 모듈 (260) 은 또한, 스냅샷 이미지가 캡쳐되기 전에, 제 2 그룹에서의 컴포넌트 스코어의 수 또는 백분율이 이들의 대응하는 컴포넌트 스코어 임계값들을 초과할 것을 요구할 수도 있다.

프롬프트 결정 모듈 (265) 은 어느 프롬프트들이 이미징 디바이스 (150) 에 의해 출력되거나 생성되어야 하는지를 결정하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 프롬프트 결정 모듈 (265) 은 예를 들어, 안면 스코어링 모듈 (255) 및 이미지 스코어링 모듈 (256) 에 의해 생성된 스코어들을 우선순위화할 수도 있다. 일부 구현예들에서, 스코어들은 이미지 스코어링 모듈 (256) 에 의해 결정된 전체 이미지 스코어에 대한 스코어의 효과에 기초하여 우선순위화될 수도 있다.

유저 상호작용 모듈 (270) 은 위에 설명된 프롬프트 결정 모듈 (265) 의 출력에 기초하여 하나 이상의 프롬프트들을 생성 또는 출력할 수도 있다. 예를 들어, 일 구현예에서, 유저 상호작용 모듈 (270) 은 프롬프트 결정 모듈 (265) 에 의해 결정된 최고 우선순위 스코어들로 하나 이상의 피사체들을 식별할 수도 있다. 그후, 유저 상호작용 모듈 (270) 은 안면 인식 모듈 (252) 에 의해 수행된 안면 인식에 기초하여 이들 피사체들의 이름을 결정할 수도 있다. 그 후, 피사체의 이름은 유저 상호작용 모듈 (270) 에 의해 생성 또는 출력되는 비쥬얼 또는 오디오 프롬프트에 포함될 수도 있다. 프롬프트는 그들의 포지션 또는 안면 표정을 변경하도록 피사체에게 지시하도록 설계될 수도 있다. 피사체가 프롬프트의 방향을 따른다면, 신규 프리뷰 이미지의 전체 이미지 스코어는 위에 설명된 안면 스코어들 및 이미지 스코어들을 결정하는데 이용된 프리뷰 이미지에 비교될 때 개선될 수도 있다.

예를 들어, 유저 상호작용 모듈 (270) 은 출력 디바이스 (290) 에 신호들을 전송하도록 프로세서 (220) 를 구성시키는 프롬프트를 생성 또는 출력할 수도 있다. 일부 구현예들에서, 출력 디바이스 (290) 는 스피커일 수도 있고, 유저 상호작용 모듈 (270) 은 출력 디바이스 (290) 를 이용하여 오디오 프롬프트들을 생성 또는 출력할 수도 있다. 일부 다른 구현예들에서, 출력 디바이스 (290) 는 디스플레이일 수도 있고, 유저 상호작용 모듈 (270) 은 출력 디바이스 (290) 를 이용하여 비쥬얼 프롬프트들을 생성 또는 출력할 수도 있다.

일부 구현예들에서, 유저 상호작용 모듈은 이것이 프롬프트를 생성해야 하는지를 결정하도록 이미지 스코어를 평가할 수도 있다. 따라서, 유저 상호작용 모듈 (270) 에서의 명령들은 이미지 스코어가 임계값 미만이라면, 피사체의 스코어에 기초하여 프롬프트를 출력하기 위한 일 수단을 나타낼 수도 있다.

오디오 캡쳐 모듈 (272) 은 마이크로폰 (208) 으로 오디오를 캡쳐하도록 프로세서 (220) 를 구성시키는 명령들을 포함한다. 오디오 캡쳐 모듈 (272) 에 포함된 명령들로 캡쳐된 오디오는 일부 구현예들에서, 이미징 센서 (215) 에 의해 캡쳐된 이미지와 연관될 수도 있다. 예를 들어, 일부 구현예들에서, 이미지는 오디오 캡쳐 모듈 (272) 에 의해 오디오가 캡쳐된 때와 거의 동시에 이미지 센서 (215) 에 의해 캡쳐될 수도 있다. 따라서, 오디오 캡쳐 모듈 (272) 에서의 명령들은 이미지와 연관된 오디오를 캡쳐하기 위한 일 수단을 나타낼 수도 있다.

도 3 은 이미지를 캡쳐하기 위한 프로세스 (300) 의 일 구현예의 흐름도이다. 프로세스 (300) 는 도 2 에 예시된 이미징 디바이스 (150) 에 의한 일 실시형태에서 구현될 수도 있다. 프로세스 (300) 는 시작 블록 (305) 에서 시작한 다음, 프로세싱 블록 (310) 으로 이동하고, 이 블록에서 장면의 이미지가 이미징 센서로 캡쳐된다. 일부 구현예들에서, 프로세싱 블록 (310) 은 도 2 에 예시된 이미지 센서 제어 모듈 (235) 에 포함된 명령들에 의해 구현될 수도 있다. 그 후, 프로세스 (300) 는 프로세싱 블록 (312) 로 이동하고 이 블록에서, 이미지와 연관된 오디오가 캡쳐된다. 일부 구현예들에서, 마이크로폰으로부터의 오디오 신호는, 이미지가 프로세싱 블록 (310) 에서 캡쳐되기 전에 일정 기간 동안 캡쳐될 수도 있다. 예를 들어, 오디오는 이미지가 프로세싱 블록 (310) 에서 캡쳐되기 전에 0.5 초와 10 초 사이에서 캡쳐될 수도 있다. 일부 구현예들은 프로세싱 블록 (312) 을 포함하지 않을 수도 있다.

그 후, 프로세스 (300) 는 이미지에서 복수의 피사체들이 검출되는 프로세싱 블록 (315) 으로 이동한다. 프로세싱 블록 (315) 은 도 2 에 양쪽 모두가 도시된, 피사체 검출 모듈 (250) 또는 안면 검출 모듈 (251) 에 포함된 명령들에 의해 구현될 수도 있다. 그 후, 프로세스 (300) 는 복수의 안면들이 이미지에서 검출되는 프로세싱 블록 (318) 으로 이동한다. 블록 (318) 은 도 2 에 예시된 안면 검출 모듈 (251) 에 포함된 명령들에 의해 구현될 수도 있다. 일부 구현예들에서, 프로세싱 블록 (250) 및 프로세싱 블록 (251) 의 기능들이 결합될 수도 있다.

그 후, 프로세스 (300) 는 검출된 안면이 스코어링되는 프로세싱 블록 (320) 으로 이동한다. 프로세싱 블록 (320) 은 안면 스코어링 모듈 (255) 에 포함된 명령들에 의해 구현될 수도 있다. 일부 구현예들에서, 검출된 피사체들은 안면들과 비안면들 양쪽 모두를 포함할 수도 있다.

수개의 컴포넌트 안면 스코어들은 프로세싱 블록 (320) 에서 각각의 검출된 안면에 대하여 결정될 수도 있다. 이들 컴포넌트 스코어들은 예를 들어, 안면에서 눈을 깜빡임, 찡그림 또는 웃고 있는지의 여부에 관련될 수도 있다. 안면 스코어들은 또한 안면이 카메라를 보고 있는지의 여부 또는 안면이 부분적으로 가려지지 않았는지의 여부에 적어도 부분적으로 기초할 수도 있다. 그 후, 프로세스 (300) 는 프로세싱 블록 (310) 에서 캡쳐된 이미지가 스코어링되는 블록 (325) 으로 이동한다. 이미지는 적어도, 두개의 식별된 피사체들의 스코어에 적어도 부분적으로 기초하여 스코어링된다. 그 후, 프로세스 (300) 는 이미지 스코어가 임계값을 초과하는지의 여부를 결정하는 결정 블록 (330) 으로 이동한다. 결정 블록 (330) 은 도 2 에 예시된 스냅샷 캡쳐 모듈 (260) 에 포함된 명령들에 의해 구현될 수도 있다. 일부 구현예들에서, 결정 블록 (330) 은 도 2 에 예시된 유저 상호작용 모듈 (270) 에 포함된 명령들에 의해 구현될 수도 있다.

스코어가 임계값을 초과하면, 프로세스 (300) 는 장면의 스냅샷 이미지가 이미지 센서로 캡쳐되는 프로세싱 블록 (345) 으로 이동한다. 프로세싱 블록 (345) 은 도 2 에 예시된 이미지 캡쳐 모듈 (260) 에 포함된 명령들에 의해 구현될 수도 있다. 일부 구현예들에서, 프로세싱 블록 (310) 에서 캡쳐되는 이미지는 제 1 해상도를 가질 수도 있고, 프로세싱 블록 (345) 에서 캡쳐되는 이미지는 제 1 해상도보다 높은 제 2 해상도를 가질 수도 있다. 예를 들어, 일부 구현예들에서, 프로세싱 블록 (310) 에서 캡쳐되는 이미지는 프리뷰 이미지로서 고려될 수도 있고 프로세싱 블록 (345) 에서 캡쳐되는 이미지는 스냅샷 이미지로서 고려될 수도 있다. 이미지가 블록 (345) 에서 캡쳐된 후, 프로세스 (300) 는 이미지가 데이터 스토어에 저장되는 프로세싱 블록 (350) 으로 이동한다. 그 후, 프로세스 (300) 는 종료 블록 (355) 으로 이동한다.

결정 블록 (330) 이 블록 (325) 에서 결정된 이미지 스코어를 임계값에 비교하는 것으로 예시되어 있지만, 다른 구현예들은 프로세싱 블록 (345) 또는 프로세싱 블록 (335) 으로 이동할지의 여부를 결정할 때의 이들의 스코어들의 평가에 있어서 상이할 수도 있다. 예를 들어, 일부 구현예들은 블록 (320 또는 325) 에서 결정된 컴포넌트 스코어들을, 각각의 컴포넌트 스코어에 대하여 정의되고 이에 대응하는 하나 이상의 임계값들에 비교할 수도 있다. 임의의 스코어가 그 대응하는 임계값 미만이면, 이들 구현예들에서의 프로세스 (300) 는 결정 블록 (330) 으로부터 블록 (335) 으로 이동할 수도 있다.

예시된 구현예에서, 프로세싱 블록 (325) 에서 결정된 이미지 스코어가 임계값을 초과하지 않으면, 프로세스 (300) 는 프롬프트가능한 이미지 스코어 컴포넌트들이 결정되는 프로세싱 블록 (335) 으로 이동한다. 프롬프트가능한 이미지 스코어 컴포넌트들은 전체적인 이미지 스코어가 기초하는 모든 컴포넌트 스코어들의 서브세트일 수도 있다. 일부 구현예들에서, 일부 컴포넌트 스코어들은 프롬프트들의 생성을 통하여 개선가능하지 않을 수도 있다. 예를 들어, 이미지 스코어가 이미지 포커스 스코어에 적어도 부분적으로 기초하면, 프롬프트의 생성은 이미지의 포커스를 개선시키지 않을 수도 있다. 이들 구현예들에서, 컴포넌트 이미지 포커스 스코어는 프롬프트가능한 이미지 스코어 컴포넌트로서 고려되지 않을 수도 있다.

프로세싱 블록 (335) 은 도 2 에 예시된 프롬프트 결정 모듈 (265) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세싱 블록 (335) 은 프롬프트 이미지 스코어 컴포넌트들을, 예를 들어, 블록 (325) 에서 결정된 이미지 스코어에 대한 이들의 효과에 기초하여 또한 우선순위화할 수도 있다. 예를 들어, 일부 구현예들에서, 이미지 스코어에 대한 프롬프트가능한 이미지 스코어 컴포넌트들의 효과는 스코어, 및 이미지 스코어 컴포넌트에 할당된 하나 이상의 가중치들의 함수일 수도 있다.

그 후, 프로세스 (300) 는 하나 이상의 프롬프트들이 최고 우선순위 컴포넌트 스코어들을 가진 피사체에 대하여 생성 또는 출력되는 프로세싱 블록 (340) 으로 이동한다. 프로세싱 블록 (340) 은 유저 상호작용 모듈 (270) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세싱 블록 (340) 에서 생성된 프롬프트들은 예를 들어, 스피커 또는 전자 디스플레이에 의해 생성된 오디오 또는 비쥬얼 프롬프트들일 수도 있다. 프롬프트들이 프로세싱 블록 (340) 에서 생성 또는 출력된 후, 프로세스 (300) 는 프로세싱 블록 (310) 으로 리턴하고 다른 이미지가 캡쳐된다. 그 후, 프로세스는 위에 설명한 바와 같이 반복된다.

도 4 는 하나 이상의 식별된 안면들을 스코어링하는 방법의 일 구현예를 나타내는 흐름도이다. 프로세스 (320) 는 도 2 에 예시된 안면 스코어링 모듈 (255) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세스 (320) 는 시작 블록 (405) 에서 시작한 다음, 프로세스가 추가의 안면들이 스코어링될 필요가 있는지의 여부를 결정하는 결정 블록 (415) 으로 이동한다. 안면들이 스코어링될 필요가 없다면, 프로세스 (320) 는 종료 블록 (410) 으로 이동한다. 추가의 면들이 스코어링될 필요가 있다면, 프로세스 (320) 는 스코어링될 다음 안면이 획득되는 블록 (418) 으로 이동한다. 결정 블록 (419) 에서, 안면은 안면이 가려졌는지를 결정하도록 평가된다. 안면이 가려지면, 눈을 깜빡였는지, 웃는지, 응시하고 있는지 또는 응시 방향에 관련하여 적절하게 평가되지 못할 수도 있다. 안면이 가려지면, 프로세스 (320) 는 결정 블록 (415) 으로 리턴한다. 안면이 가려지지 않으면, 프로세스 (320) 는 안면 블링크 스코어가 결정되는 프로세싱 블록 (420) 으로 이동한다. 예를 들어, 안면이 눈을 깜빡이는 것으로 나타나면, 블록 (420) 에서 결정된 스코어는 음의 스코어일 수도 있다. 안면이 눈을 깜빡이는 것으로 나타나지 않으면, 예를 들어, 눈을 크게 뜨고 있다면, 블록 (420) 에서 결정된 스코어는 양의 스코어일 수도 있다. 당해 기술 분야에 알려진 눈 깜빡임 검출의 방법들 중 어느 것이 프로세싱 블록 (420) 에서 구현될 수도 있다. 예를 들어, 검출된 안면에서의 4 개의 입 코너들을 나타내는 키포인트들 간의 거리에 기초하여 웃는 정도가 단순히 계산될 수도 있는 것처럼, 블링크 스코어도 또한, 검출된 안면의 눈들의 상단부와 하단부를 나타내는 키포인트들의 거리들의 유사한 측정에 기초할 수도 있다.

안면 블링크 스코어가 블록 (420) 에서 결정된 후, 프로세스 (320) 는 안면 스마일 스코어가 결정되는 프로세싱 블록 (425) 으로 이동한다. 일부 구현예들에서, 굳어있는 안면은 음의 스마일 스코어를 할당받을 수도 있고, 웃고 있는 안면은 양의 스마일 스코어를 할당받을 수도 있다. 당해 기술 분야에 알려진 스마일 검출의 방법들 중 어느 것이 프로세싱 블록 (425) 을 구현하는데 이용될 수도 있다. 안면 스마일 스코어가 결정된 후, 프로세스 (320) 는 안면 응시 스코어가 결정되는 프로세싱 블록 (430) 으로 이동한다. 응시하는 것으로 결정된 안면은 프로세싱 블록 (430) 에서 음의 스코어를 받을 수도 있는 한편 비응시 표정을 가진 안면은 양의 응시 스코어를 받을 수도 있다. 당해 기술 분야에 알려진 안면 응시 검출의 방법들 중 어느 것이 프로세싱 블록 (430) 을 구현하는데 이용될 수도 있다.

그 후, 프로세스 (320) 는 안면 포지션 스코어가 결정되는 블록 (435) 으로 이동한다. 예를 들어, 안면 포지션 스코어는 예를 들어, 안면이 다른 안면과 얼마나 가까이 있는지에 기초할 수도 있다. 다른 안면들에 대한 근접성에 기초한 안면 포지션 스코어는 유저 상호작용 모듈에 의해 이용되어 이미지에서의 피사체들이 이미지에서 함께 그룹화되도록 보장할 수도 있다. 일부 구현예들에서, 안면 포지션 스코어는 또한, 안면이 캡쳐되고 있는 장면의 이미지의 에지에 대해 얼마나 가까운지에 기초할 수도 있다. 이미지 프레임의 에지로부터의 임계 거리 내의 안면들은 음의 안면 포지션 스코어를 받을 수도 있는 반면, 이미지의 중심에 보다 가까운 안면들은 양의 안면 포지션 스코어를 받을 수도 있다.

그 후, 프로세스 (320) 는 안면 방향 스코어가 결정되는 프로세싱 블록 (437) 으로 이동한다. 안면 방향 스코어는 안면이 이미지를 캡쳐하는 이미징 센서의 방향으로 얼마나 바로 보고 있는지를 결정하는 것에 기초할 수도 있다. 이미징 센서를 바로 보고 있는 것으로 결정된 안면은 높은 안면 방향 스코어를 받을 수도 있는 한편, 카메라로부터 어긋나게 보고 있는 것으로 결정된 안면은 낮은 또는 음의 안면 방향 스코어를 받을 수도 있다.

일 구현예들에서, 응시 방향은 안구 또는 동공과 함께 눈의 상단, 하단, 좌, 우의 코너들에 위치된 키포인트들을 포함한, 눈의 키포인트들 사이의 분포에 기초하여 계산될 수도 있다. 안구 또는 동공과 눈의 네개의 코너들 사이의 거리에 기초하여 응시 방향이 결정될 수도 있다.

그 후, 프로세스 (320) 는 안면을 인식하려 시도하는 프로세싱 블록 (440) 으로 이동한다. 일부 구현예들에서, 안면 인식은 이미징 디바이스에 저장된 개인들의 이름에, 캡쳐된 이미지 내에서 식별된 식별자들, 또는 안면 속성들을 매핑하는 안면 인식 데이터베이스에 기초할 수도 있다. 이름들은 이미징 디바이스 상의 구성 인터페이스에 입력된, 개인들의 공식 이름 또는 비공식 이름일 수도 있다. 안면 인식 데이터베이스는 사용자에 의해 미리 구성되어, 도 2 에 예시된 스토리지 (210) 와 같은 스토리지에 저장될 수도 있다. 프로세싱 블록 (440) 의 안면 인식은 당해 기술 분야에 알려진 안면 인식 방법들의 어느 것을 또한 이용할 수도 있다.

그 후, 프로세스 (320) 는 안면이 스코어링되는 블록 (445) 으로 이동한다. 예시된 구현예들에서, 안면은 하나 이상의 "컴포넌트" 안면 스코어들에 기초하여 스코어링된다. 프로세스 (320) 에서, 컴포넌트 안면 스코어들은 안면 블링크 스코어, 안면 응시 스코어, 안면 포지션 스코어, 안면 구성 스코어, 및 안면 방향 스코어이다. 일부 구현예들에서, 이들 컴포넌트 스코어들의 가중 평균은 안면 스코어를 결정하는데 이용될 수도 있다. 특히, 특정 임계값들은 위에 설명된 각각의 컴포넌트 스코어에 대하여 사용자에 의해 설정되거나 디바이스 내에서 사전설정될 수도 있다. 그 대응하는 "허용가능" 임계값보다 낮은 임의의 컴포넌트 스코어에는 다른 스코어들보다 비례적으로 더 높은 가중치를 할당받을 수도 있다. 이는 그 대응하는 "허용가능" 임계값보다 낮은 컴포넌트 스코어를 가진 임의의 안면에 대하여 허용가능하지 않은 또는 음의 안면 스코어를 가져올 수도 있다. 프로세싱 블록 (450) 에서, 안면 스코어들 및 인식 데이터, 이를 테면, 안면의 아이덴티티는 메모리에 저장된다. 메모리는 도 2 에 예시된 작업 메모리 (205) 와 같은 메모리 또는 도 2 에 예시된 스토리지 (210) 와 같은 스토리지일 수도 있다. 프로세싱 블록 (450) 에 저장된 인식 데이터는 프로세싱 블록 (440) 에서 인식된 안면들의 다른 식별 정보 및 이름을 포함할 수도 있다. 그 후, 프로세스 (320) 는 결정 블록 (415) 으로 리턴한다.

도 4 에 예시된 프로세싱 블록들 모두가 모든 구현예들에 제공되는 것은 아닐 수도 있다. 예를 들어, 일부 구현예들은 프로세싱 블록들 (420, 425, 430, 435, 436, 437, 440, 또는 445) 중 하나 이상을 포함하지 않을 수도 있다. 추가로, 도 4 에 예시된 구현예들은 예를 들어, 프로세싱 블록 (425) 이전에 프로세싱 블록 (420) 을 갖는 것으로서 프로세싱 순서를 보여주고 있지만, 다른 구현예들은 예시된 것과 상이한 순서로 도 4 의 프로세싱 블록들의 기능들을 수행할 수도 있다.

도 5 는 이미지를 스코어링하는 방법의 일 구현예의 흐름도이다. 프로세스 (325) 는 도 2 에 예시된 이미징 스코어링 모듈 (256) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세스 (325) 는 시작 블록 (505) 에서 시작한 다음, 이미지의 포커스 스코어가 결정되는 블록 (510) 으로 이동한다. 일부 구현예들에서, 포커스 스코어는 이미지의 선명도 (sharpness) 에 기초할 수도 있다. 일부 다른 구현예들에서, 이미지의 대상이 되는 영역들이 검출될 수도 있고 대상이 되는 영역들 중 하나에서의 선명도에 기초하여 포커스 선명도가 결정될 수도 있다. 당해 기술 분야에 알려진 이미지의 포커스를 평가하는 다른 방법들은 프로세싱 블록 (510) 을 구현하는데 이용될 수도 있다. 그 후, 프로세스 (325) 는 이미지의 안정성 스코어가 결정되는 블록 (515) 으로 이동한다. 이미지의 안정성 스코어는 일부 구현예들에서, 이미지에 존재하는 블러의 양에 기초할 수도 있다. 그 후, 프로세스 (325) 는 노출 스코어가 이미지에 대해 결정되는 프로세싱 블록 (520) 으로 이동한다. 일부 구현예들에서, 노출 스코어는 제 1 임계값을 초과하는 픽셀 값들의 수 및 제 2 임계값 미만의 픽셀 값들의 수에 기초할 수도 있다.

그 후, 프로세스 (325) 는 이미지의 오디오 스코어가 결정되는 프로세싱 블록 (525) 으로 이동한다. 프로세싱 블록 (525) 은 이미지와 연관된 오디오 데이터를 분석할 수도 있다. 예를 들어, 오디오 신호는 이미지가 캡쳐되었던 때와 거의 동시에 캡쳐될 수도 있다. 프로세싱 블록 (525) 에서의 오디오의 분석은 오디오 신호의 하나 이상의 특징들, 키워드들, 또는 키 사운드들을 검출 또는 인식할 수도 있다. 예를 들어, 웃음 소리, 말하는 소리, 정적, 뛰거나 걷는 소리의 존재 또는 부재를 이용하여 프로세싱 블록 (525) 에서 이미지에 대한 오디오 스코어를 결정할 수도 있다. 일부 구현예들은 이미지에 대한 전체 스코어의 결정에서 오디오 스코어의 결정을 포함하지 않을 수도 있다.

프로세싱 블록 (530) 에서, 이미지가 스코어링된다. 일부 구현예들에서, 이미지 스코어는 프로세싱 블록들 (510 내지 525) 에서 결정된 스코어들의 가중 평균 스코어일 수도 있다. 다른 구현예들에서, 이미지 스코어는 또한 도 4 에 예시된 프로세스 (320) 에 의해 결정된 안면 스코어들에 기초할 수도 있다. 그 후, 프로세스 (325) 는 종료 블록 (540) 으로 이동한다.

도 5 에 예시된 프로세싱 블록들 모두가 모든 구현예들에 제공되는 것은 아닐 수도 있다. 예를 들어, 일부 구현예들은 프로세싱 블록들 (510, 515, 520, 또는 525) 중 하나 이상을 포함하지 않을 수도 있다. 추가적으로, 도 5 의 프로세싱 블록들이 특정 순서로 위에 예시되고 도 5 에 도시되어 있지만, 프로세싱 블록들의 순서는 다른 구현예들에서는 상이할 수도 있다. 예를 들어, 도 5 는 프로세싱 블록 (525) 이전에 프로세싱 블록 (510) 을 보여주고 있지만, 다른 구현예들은 프로세싱 블록 (510) 이전에 프로세싱 블록 (515) 을 수행할 수도 있다. 다른 프로세싱 블록들의 순서는 또한 다른 구현예들에서 상이할 수도 있다.

도 6 은 프롬프트가능한 이미지 스코어 컴포넌트들을 우선순위화하는 방법의 일 구현예의 흐름도이다. 프로세스 (335) 는 도 2 에 예시된 스코어 우선순위화 모듈 (265) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세스 (335) 는 시작 블록 (605) 에서 시작한 다음, 이미지 스코어가 식별되는 블록 (610) 으로 이동한다. 블록 (610) 에서 식별된 이미지 스코어 컴포넌트들은 도 4 의 프로세스 (320) 또는 도 5 의 프로세스 (325) 에서 결정된 이미지 스코어 컴포넌트들 중 어느 것일 수도 있다. 그 후, 프로세스 (335) 는 프롬프트가능한 이미지 스코어 컴포넌트들이 결정되는 프로세싱 블록 (612) 으로 이동한다. 일부 구현예들에서, 이미지 스코어 컴포넌트들 모두가 비쥬얼 또는 오디오 프롬프트의 생성 또는 출력에 의해 개선될 수 있는 것은 아닐 수도 있다. 예를 들어, 일부 구현예들에서, 이미지 포커스 스코어는 프롬프트를 생성함으로써 개선되지 않을 수도 있다.

프로세싱 블록 (615) 에서, 각각의 프롬프트가능한 이미지 스코어 컴포넌트에 대한 가중치들이 결정된다. 일부 구현예들에서, 각각의 프롬프트가능한 이미지 스코어의 가중치들은 만족스러운 포토그래프에 대한 스코어 컴포넌트의 상대 중요도에 기초하여 결정될 수도 있다. 예를 들어, 일부 구현예들은 카메라로부터 어긋나게 보고 있는 이미지의 피사체가 눈을 깜빡이는 이미지의 피사체보다 더 높은 중요도로서 고려되도록 설계될 수도 있다. 이들 구현예들에서, 도 4 의 프로세스 (320) 의 프로세싱 블록 (437) 에서 결정된 안면 방향 스코어에 할당된 가중치는 프로세스 (320) 의 프로세싱 블록 (420) 에서 결정된 블링크 스코어에 할당된 가중치보다 더 클 수도 있다. 이와 유사하게, 일부 구현예들은 눈을 깜빡이는 피사체가 순간적 상태인 것으로 보고, 이에 따라, 블링크 스코어가 보다 안정적인 상태를 나타낸 것으로 판단될 수도 있는 다른 스코어, 이를 테면, 안면 가려짐 스코어 또는 안면 포지션 스코어 보다 더 낮은 가중치를 할당받을 수도 있다.

프로세싱 블록 (620) 에서, 각각의 프롬프트가능한 이미지 스코어는 프로세싱 블록 (615) 에서 결정된 그 대응하는 가중치에 기초하여 조정된다. 블록 (625) 에서, 가중된 스코어들이 분류된다. 그 후, 프로세스 (335) 는 종료 블록 (630) 으로 이동하고 종료한다.

도 6 에 예시된 프로세싱 블록들 모두가 모든 구현예들에 제공되는 것은 아닐 수도 있다. 예를 들어, 일부 구현예들은 프로세싱 블록들 (612, 615 또는 620) 중 하나 이상을 포함하지 않을 수도 있다. 추가적으로, 도 6 의 프로세싱 블록들이 특정 순서로 위에 예시되고 도 6 에 도시되어 있지만, 프로세싱 블록들의 순서는 다른 구현예들에서는 상이할 수도 있다. 예를 들어, 도 6 은 프로세싱 블록 (615) 이전에 프로세싱 블록 (612) 을 보여주고 있지만, 다른 구현예들은 프로세싱 블록 (612) 이전에 프로세싱 블록 (615) 을 수행할 수도 있다. 다른 프로세싱 블록들의 순서는 또한 다른 구현예들에서 상이할 수도 있다.

도 7 은 복수의 피사체들을 포함하는 장면의 이미지를 나타낸다. 아래의 표 1 은 도 7 의 이미지 (100) 에서 검출된 피사체들에 대한 일 구현예의 컴포넌트 스코어들을 나타낸다.

표 1 은 이미징 디바이스에 의해 수개의 피사체들이 검출되었음을 예시한다. 이들 피사체들은 일 예로서, 도 2 에 예시된 피사체 검출 모듈 (250) 에 포함된 명령들에 의해 검출되었을 수도 있다. 이들 피사체는 컬럼 1 에 리스트되어 있다. 표 1 의 컬럼 2 는 도 7 에서 식별 번호들로 리스트함으로써 피사체들을 식별한다. 컬럼 3 은 소정 구현에 의해 알려진다면 피사체의 이름을 리스트한다. 예를 들어, 컬럼 1 에 리스트된 피사체들은 도 2 의 안면 인식 모듈 (252) 에 의해 식별되었을 수도 있다. 그 결과, 피사체들의 적어도 일부의 이름들이 알려진다. 일부 구현예들에서, 이름들은 소정 구현에 의해 생성될 수도 있다. 예를 들어, 일부 구현예들은 이미지에서의 피사체의 포지션에 기초하여 이름을 생성할 수도 있다. 예를 들어, 네명의 피사체를 포함하는 이미지에서, 구현예는 "상단 좌측의 피사체", "하단 좌측의 피사체", "상단 우측의 피사체" 및 "하단 우측의 피사체"와 같은 이름을 생성할 수도 있다.

표 1 에 도시된 다른 피사체들, 예를 들어, 피사체 6 및 7 은 이름을 갖지 않는다. 피사체 6 인 아이템 108 은 검출된 안면을 가지며, 이에 따라 안면과 관련된 컴포넌트 스코어들을 갖는다. 피사체 7 은 검출된 안면을 갖지 않으며, 이에 따라 컬럼 4 - 6 및 8 과 같이, 검출된 안면에 관련된 컴포넌트 스코어들을 포함하지 않는다. 컬럼들 4 - 7 은 검출된 피사체들 각각에 대한 스마일, 응시, 포지션, 및 방향에 대한 컴포넌트 스코어들을 나타낸다. 예시된 구현예에서의 스코어들은 컬럼 1 에서 식별된 피사체의 적어도 하나의 속성의 상대적 바람직함에 관련된다. 예시된 구현예들에서, 제로 (0) 을 초과하는 컴포넌트 스코어는 허용가능한 것으로 고려된다. 이 구현예들에서, 모든 컴포넌트 스코어들이 제로를 초과하면, 스냅샷 이미지는 예를 들어, 도 2 에 예시된 스냅샷 캡쳐 모듈 (260) 에 의해 자동으로 캡쳐된다. 일부 구현예들에서, 스냅샷 이미지를 캡쳐하는 것은 메모리 버퍼에 이미지를 저장하는 것을 포함할 수도 있다. 음의 스코어들은 스냅샷 이미지가 자동으로 캡쳐되는 것을 금지시킬 수도 있다.

컴포넌트 스코어들의 일부가 제로 미만이기 때문에, 스냅샷 이미지는 예시된 구현예에 의해 자동으로 캡쳐되지 않을 수도 있다. 그 대신에, 표 1 의 컴포넌트 스코어들이 프롬프트가능한 컴포넌트 스코어들을 결정하도록 우선순위화될 수도 있다. 이러한 우선순위화는 아래 표 2 와 유사한 데이터를 이용하여 일부 구현예들에서 수행될 수도 있다.

표 2 는 이들이 우선순위화된 후에 표 1 로부터 컴포넌트 스코어들의 일부를 예시한다. 우선순위화는 컴포넌트 스코어 및 할당된 가중치로부터 유도된 가중된 스코어에 기초할 수도 있다. 우선순위화는 표에 제공된 순서로 도시되어지며, 표의 로우들은 로우 1 에서 최고 우선순위 피사체들 및 스코어들로부터 최저 우선순위 피사체들 및 스코어들로 순서화된다. 일부 구현예들에서, 가중치가 스코어 타입에 기초하여 할당될 수도 있다. 다른 구현예들에서, 컴포넌트 스코어에 가중치를 할당하는 다른 방법들을 가질 수도 있다.

도면 부호 112 로서 피사체 2 인 린넬의 방향 스코어는 예시된 구현예에서 최고로 우선순위화된다. 도 7 의 프리뷰 이미지 (100) 로 나타낸 바와 같이, 린넬의 안면 (112) 이 프리뷰 이미지 (100) 에서 간신히 알아 볼 수 있을 정도로 아래를 보고 있다. 우선순위에 있어 다음은 도면 부호 104 로서 피사체 2 인 칼렙이며 이 사람은 그 얼굴이 이미지에서 쉽게 관찰될 수 없도록 또한 아래를 보고 있다. 그의 방향 스코어가 낮았기 때문에 이 구현예는 칼렙을 "스코어 타입" 컬럼에 나타낸 바와 같이 우선순위화하고 있지만, 도면 부호 110 인 피사체 8 은 칼렙보다 더 낮게 우선순위화되었다. 피사체 8 은 낮은 스마일 스코어를 갖지만, 그 가중치는 방향 스코어 가중치보다 더 낮으며, 이는 린넬 또는 칼렙보다 낮은 우선순위를 가져온다.

그 후, 일부 구현예들은 우선순위화된 스코어들에 기초하여 하나 이상의 프롬프트들을 생성할 수도 있다. 이들 구현예들은 최고 우선순위 스코어를 이용하여 프롬프트들을 생성하는 것을 시작할 수도 있다. 예를 들어, 위의 표 2 를 이용한 구현은 로우 1 에서의 비카스의 가려짐 스코어에 기초하여 제 1 프롬프트를 생성할 수도 있다. 일부 구현예들은 위에 설명된 분석의 결과로서 하나보다 많은 프롬프트를 생성할 수도 있다. 예를 들어, 위의 표 2 를 이용한 구현은 로우 2 에서의 칼렙의 방향 스코어에 기초하여 제 2 프롬프트를 생성할 수도 있다. 일부 구현예들은 분석의 결과로서 추가적인 프롬프트들, 예를 들어, 3, 4 또는 5개의 프롬프트들을 생성할 수도 있다. 일부 구현예들은 피사체들이 제공된 프롬프트들에 작용하는 시간을 허용하도록 분석을 다시 수행하기 전에 소정의 기간을 대기할 수도 있다.

프롬프트들을 선택하기 위해, 구현예는 아래 표 3 과 유사한 데이터 구조를 이용할 수도 있다.

표 3 은 표 2 에 제공된 스코어들의 타입에 기초하여 프롬프트들이 어떻게 결정될 수도 있는지의 간단한 예시로서만 제공된다. 최고 우선순위 스코어들이 표 2 를 이용하여 프롬프팅하기 위해 선택되면, 프롬프트는 표 3 에서의 스코어 타입과 표 2 에서의 선택된 스코어의 스코어 타입을 매칭시킴으로써 생성될 수도 있다. 프롬프트는 피사체를 식별하기 위해 스트링 치환 “%s”을 포함한 스트링으로서 도시되어 있다. 일부 구현예들은 표 3 의 프롬프트 필드에 도시된 스트링 치환으로 표 1 의 이름 필드를 치환할 수도 있다. 그 후, 당해 기술 분야에 알려진 바와 같은 텍스트 투 스피치 능력은 표 3 의 프롬프트 컬럼에 기초하여 오디오 프롬프트를 생성할 수도 있다. 대안으로서, 일부 구현예들은 내부적으로 오디오 파일들을 저장할 수도 있고 하나 이상의 프롬프트들을 생성할 때 오디오 프로파일들을 재생할 수도 있다.

기술은 복수의 다른 일반 목적 또는 특수 목적 컴퓨팅 시스템 환경들 또는 구성들로 동작한다. 본 발명에 이용하기에 적합한 잘 알려진 컴퓨팅 시스템들, 환경들 및/또는 구성들의 예들은 퍼스널 컴퓨터들, 서버 컴퓨터들, 핸드헬드 또는 랩톱 디바이스들, 멀티프로세서 시스템들, 프로세서 기반 시스템들, 프로그래밍가능 소비자 전자 장치들, 네트워크 PC들, 미니컴퓨터들, 메인프레임 컴퓨터들, 위에 시스템들 또는 디바이스들의 어느 것을 포함하는 분산형 컴퓨팅 환경들 등을 포함하지만 이들에 제한되지 않는다.

여기에 이용된 명령들은 시스템에서 정보를 프로세싱하기 위한 컴퓨터 구현 단계들을 지칭한다. 명령들은 시스템의 컴포넌트들에 의해 진행되는 프로그램된 단계의 임의의 유형을 포함하며 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수도 있다.

프로세서는 임의의 통상의 일반 목적의, 단일 또는 멀티 칩 프로세서, 이를 테면, Pentium^® 프로세서, Pentium^® Pro 프로세서, 8051 프로세서, MIPS^® 프로세서, Power PC^® 프로세서, 또는 Alpha^® 프로세서일 수도 있다. 추가로, 프로세서는 임의의 통상의 특수 목적 프로세서, 이를 테면, 디지털 신호 프로세서, 또는 그래픽 프로세서일 수도 있다. 프로세서는 통상적으로 통상의 어드레스 라인들, 통상의 데이터 라인들, 및 하나 이상의 통상의 제어 라인들을 갖는다.

시스템은 자세히 설명된 바와 같이 여러 모듈들로 구성된다. 당해 기술 분야의 당업자에 의해 알 수 있는 바와 같이, 모듈들 각각은 여러 서브루틴, 절차들, 정의가능한 스테이트먼트 및 매크로스를 포함한다. 모듈들 각각은 통상적으로 별도로 컴파일링되고 단일의 실행가능 프로그램에 링크된다. 따라서, 모듈들 각각의 설명은 바람직한 시스템의 기능을 설명하기 위한 편의를 위해 이용된다. 따라서, 모듈들 각각에 의해 진행되는 프로세스들은 다른 모듈들 중 하나에 임의적으로 재배포될 수도 있거나, 단일 모듈로 함께 결합될 수도 있거나 또는 예를 들어, 쉐어가능 다이나믹 링크 라이브러리에서 입수가능할 수도 있다.

시스템은 여러 오퍼레이팅 시스템들, 이를 테면, Linux^®, UNIX^® 또는 Microsoft Windows^® 와 결합하여 이용될 수도 있다.

시스템은 통상의 오퍼레이팅 시스템 하에서 구동되고 C, C++, BASIC, Pascal, 또는 Java 와 같은 임의의 통상의 프로그래밍 언어로 기록될 수도 있다. C, C++, BASIC, Pascal, Java, 및 FORTRAN 은 많은 상업적 컴파일러들이 실행가능 코드를 생성하는데 이용될 수도 있는 산업 표준 프로그래밍 언어이다. 시스템은 또한 해석된 언어, 이를 테면, Perl, Python 또는 Ruby 를 이용하여 기록될 수도 있다.

본원에서 개시된 실시예들과 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자 모두의 조합들로서 구현될 수도 있다는 것을 당업자들은 또한 알 수 있을 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들을 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들이 본 개시물의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.

본원에서 개시된 실시예들과 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (digital signal processor; DSP), 주문형 반도체 (application specific integrated circuit; ASIC), 필드 프로그래머블 게이트 어레이 (field programmable gate array; FPGA) 혹은 다른 프로그래머블 로직 디바이스, 이산 게이트 혹은 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에서 개시된 기능들을 수행하도록 디자인된 것들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 상기 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

하나 이상의 예시적인 실시형태들에서, 설명된 기능들은 프로세서 상에서 실행되는 하드웨어, 소프트웨어, 미들웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독 가능한 매체라고 적절히 칭해진다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 이용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크, 및 블루레이 디스크를 포함하는데, 여기서 디스크 (disk) 는 보통 데이터를 자기적으로 재생하며, 반면 디스크 (disc) 는 레이저들을 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

상술한 설명은 여기에 개시된 시스템들, 디바이스들, 및 방법들의 특정실시형태들을 세부설명한다. 그러나, 시스템들, 디바이스들, 및 방법들이 텍스트에서의 자세하게 설명되었더라도 많은 방식으로 실시될 수 있음을 알 것이다. 위에 또한 언급된 바와 같이, 본 발명의 특정 특징 또는 양태를 설명할 때 특정 용어의 이용은 용어가 그 용어와 관련된 기술의 특징 또는 양태들의 어떠한 특수 특징들을 포함하는 것으로 제한되도록 재정의됨을 함축하지는 않아야 함을 주지해야 한다.

여러 변형예들 및 수정예들이 설명된 기술의 범위로부터 벗어남이 없이 이루어질 수도 있음을 당해 기술 분야의 당업자는 알 것이다. 이러한 수정예와 변형예들은 첨부된 특허청구범위의 범위 내에 있는 것으로 의도된다. 일 실시형태에 포함된 부분들은 다른 실시형태들과 상호교환가능하고, 묘사된 실시형태들로부터 하나 이상의 부분들이 임의의 조합으로 다른 묘사된 실시형태들과 함께 포함될 수 있음을 당해 기술 분야의 당업자는 알 것이다. 예를 들어, 본 명세서에 설명되고/되거나 도면들에 도시된 여러 컴퍼넌트들 중 어느 것은 다른 실시형태들과 결합, 상호교환 또는 배제될 수도 있다.

본원에서의 실질적인 임의의 단복수 용어들의 사용과 관련하여, 당업자라면, 상황 및/또는 어플리케이션에 적절하게 복수에서 단수로 및/또는 단수에서 복수로 변경할 수 있을 것이다. 본원에서의 여러 단/복수 치환들은 명확화를 위해 명백히 설명될 수도 있다.

당업자라면, 일반적으로, 본원에서 사용된 용어들이 일반적으로, "열린" 용어들로서 의도된다는 것을 이해할 것이다 (예를 들면, 용어 "포함하는"은 "포함하지만 제한되지 않는"으로 해석되어야 하고, 용어 "구비하는"은 "적어도 구비하는"으로 해석되어야 하며, 용어 "포함한다"는 "포함하며 그러나 제한되지 않는"으로 해석되는 등등). 하기의 특허청구범위에서 특정 청구항의 인용을 의도하면, 그러한 의도는 청구항에서 명시적으로 인용될 것이며, 이러한 인용이 없으면 그러한 의도가 없는 것으로 당업자는 더 이해할 수 있을 것이다. 예를 들면, 이해를 돕기 위한 것으로서, 하기의 특허청구범위에서는, 청구항의 인용관계를 도입하기 위해, 도입부에 "적어도 하나" 및 "하나 이상의"의 사용을 포함할 수도 있다. 그러나, 이러한 구들의 사용은, 부정 관사 "a(본 번역문에서는 특별히 번역하지 않음)" 또는 "an(본 번역문에서는 특별히 번역하지 않음)"에 의한 청구항의 인용 관계의 도입이, 이렇게 도입된 청구항 인용관계를 포함하는 임의의 특정 청구항을, 그 동일한 청구항이 도입구 "하나 이상의" 또는 "적어도 하나" 및 "a" 또는 "an"(예를 들면, "a" 및/또는 "an"은 "적어도 하나" 또는 "하나 이상"으로 해석되어야 한다)과 같은 부정 관사들을 포함하는 경우에도, 단지 하나의 인용항을 포함하는 구체예들로 제한한다는 것을 의미하는 것으로 이해되어선 안되며; 청구항 인용관계를 도입하기 위해 정관사를 사용하는 경우에도 마찬가지이다. 또한, 특정 인용항이 명시적으로 인용되어도, 당업자들은 이러한 인용은 통상적으로 적어도 인용된 번호를 의미하는 것으로 해석되어야 한다는 것을 이해할 것이다 (예를 들어, 다른 수정자들이 없는 "두 인용항들"의 순수한 인용은 통상적으로 적어도 두 개의 인용항들 또는 두개 이상의 인용항들을 의미한다). 또한, "A, B 및 C 중 적어도 하나 등"과 유사한 방식이 사용되는 경우들에서, 일반적으로 이러한 구성을 당업자가 그 방식을 이해할 것이라는 관점에서 의도된다 (예를 들면, "A, B, 및 C 중 적어도 하나를 구비하는 시스템"은, A 단독, B 단독, C 단독, A와 B를 같이, A와 C를 같이, B와 C를 같이, 및/또는 A, B, 및 C를 같이 구비하는 시스템 등을 포함할 것이지만 이에 제한되는 것은 아니다). "A, B 또는 C 중 적어도 하나 등"과 유사한 방식이 사용되는 경우들에서, 일반적으로 이러한 구성을 당업자가 그 방식을 이해할 것이라는 관점에서 의도된다 (예를 들면, "A, B, 또는 C 중 적어도 하나를 구비하는 시스템"은, A 단독, B 단독, C 단독, A와 B를 같이, A와 C를 같이, B와 C를 같이, 및/또는 A, B, 및 C를 같이 구비하는 시스템 등을 포함할 것이지만 이에 제한되는 것은 아니다). 상세한 설명, 청구항들, 또는 도면들 어디에서든, 2 개 이상의 대안적인 용어들을 나타내는 사실상 임의의 이접 단어 및/또는 구는 용얻르 중 하나, 용어들 중 어느 일방, 또는 용어들 양자 모두를 포함하는 가능성들을 고려한다는 것이 이해되어야 한다는 것이 당업자들에 의해 또한 이해될 것이다. 예를 들어, 구 "A 또는 B" 는 "A" 나 "B", 또는 "A 및 B" 의 가능성들을 포함하는 것으로 이해될 것이다.

많은 양태들 및 실시형태들이 여기에 설명되어 있지만, 다른 양태들 및 실시형태들이 당업자에게는 명백할 것이다. 여기에 설명된 여러 양태들 및 실시형태들은 설명의 목적을 위한 것이지 제한하기 위한 것이 아니다.

Claims (20)

1. 이미지를 캡쳐하는 방법으로서,
   안면을 가진 피사체의 이미지를 획득하는 단계;
   상기 피사체의 상기 안면의 포지션에 기초하여 상기 이미지에서 상기 피사체에 대한 피사체 스코어를 결정하는 단계;
   상기 피사체 스코어에 적어도 부분적으로 기초하여 이미지 스코어를 결정하는 단계; 및
   상기 이미지 스코어가 임계값을 초과하는 것에 응답하여, 장면의 이미지를 캡쳐하고 상기 이미지를 데이터 스토어에 저장하는 단계를 포함하는, 이미지를 캡쳐하는 방법.
2. 제 1 항에 있어서,
   상기 이미지 스코어가 임계값 미만인 것에 응답하여 상기 피사체 스코어에 기초하여 프롬프트를 출력하는 단계를 더 포함하는, 이미지를 캡쳐하는 방법.
3. 제 1 항에 있어서,
   안면 응시 스코어에 적어도 부분적으로 기초하여 상기 이미지를 스코어링하는 단계를 더 포함하는, 이미지를 캡쳐하는 방법.
4. 제 1 항에 있어서,
   상기 이미지를 스코어링하는 것은 또한, 안면 가려짐 스코어에 적어도 부분적으로 기초하는, 이미지를 캡쳐하는 방법.
5. 제 1 항에 있어서,
   안면 포지션 스코어는 상기 이미지의 중심에 대한 상기 피사체의 안면의 근접성에 기초하는, 이미지를 캡쳐하는 방법.
6. 제 1 항에 있어서,
   안면 포지션 스코어는 제 2 검출된 안면에 대한 상기 피사체의 안면의 근접성에 기초하는, 이미지를 캡쳐하는 방법.
7. 제 2 항에 있어서,
   상기 이미지에서 적어도 두개의 피사체들의 프롬프트가능한 이미지 스코어 컴포넌트들을 결정하는 단계;
   상기 적어도 두개의 피사체들의 상기 프롬프트가능한 이미지 스코어 컴포넌트들을 우선순위화하는 단계; 및
   우선순위화된 상기 프롬프트가능한 이미지 스코어 컴포넌트들에 기초하여 상기 프롬프트를 출력하는 단계를 더 포함하는, 이미지를 캡쳐하는 방법.
8. 이미지를 캡쳐하는 장치로서,
   전자 프로세서;
   상기 전자 프로세서에 동작적으로 접속되는 이미지 센서; 및
   상기 전자 프로세서에 동작적으로 접속되는 전자 메모리를 포함하고,
   상기 전자 메모리는,
   상기 이미지 센서를 통하여 안면을 가진 피사체의 이미지를 획득하도록 구성되는 센서 제어 모듈;
   피사체의 검출된 안면의 안면 포지션에 기초하여 이미지에서 상기 피사체에 대한 스코어를 결정하도록 구성되는 피사체 스코어링 모듈;
   상기 피사체의 스코어에 적어도 부분적으로 기초하여 이미지 스코어를 결정하도록 구성되는 이미지 스코어링 모듈; 및
   상기 이미지 스코어가 미리 정해진 이미지 스코어 임계값을 초과하는 것에 응답하여 스냅샷 이미지를 캡쳐하도록 구성되는 스냅샷 캡쳐 모듈을 저장하도록 구성되는, 이미지를 캡쳐하는 장치.
9. 제 8 항에 있어서,
   상기 메모리는 또한, 상기 이미지 스코어에 응답하여 프롬프트를 결정하도록 구성되는 프롬프트 결정 모듈; 및 상기 프롬프트를 출력하도록 구성되는 유저 상호작용 모듈을 저장하도록 구성되는, 이미지를 캡쳐하는 장치.
10. 제 8 항에 있어서,
    상기 메모리는 또한, 검출된 피사체들 중 하나와 이름을 연관시키도록 구성되는 안면 인식 모듈을 저장하도록 구성되고, 프롬프트는 오디오 프롬프트이고, 상기 프롬프트의 출력은 또한 상기 이름에 기초하는, 이미지를 캡쳐하는 장치.
11. 제 8 항에 있어서,
    안면 포지션 스코어는 제 2 검출된 안면에 대한 상기 피사체의 안면의 근접성에 기초하는, 이미지를 캡쳐하는 장치.
12. 제 8 항에 있어서,
    상기 이미지를 스코어링하는 것은 상기 피사체의 눈의 키 포인트들의 분포에 기초한 안면 방향 스코어에 적어도 부분적으로 기초하는, 이미지를 캡쳐하는 장치.
13. 제 12 항에 있어서,
    안면 방향은 또한, 눈의 눈동자 (pupil) 와 상기 눈의 4 개의 코너들 사이의 거리에 기초하는, 이미지를 캡쳐하는 장치.
14. 이미지를 캡쳐하는 이미지 캡쳐 디바이스로서,
    안면을 가진 피사체의 이미지를 획득하는 수단;
    이미지 내에서 피사체들 각각의 각자 포지션에 기초하여 상기 이미지에서 복수의 검출된 피사체들 각각을 스코어링하는 수단;
    상기 피사체들의 스코어들에 적어도 부분적으로 기초하여 상기 이미지를 스코어링하는 수단; 및
    이미지 스코어가 임계값을 초과하면, 장면의 이미지를 캡쳐하고 상기 이미지를 데이터 스토어에 저장하는 수단을 포함하는, 이미지를 캡쳐하는 이미지 캡쳐 디바이스.
15. 제 14 항에 있어서,
    상기 이미지 스코어가 임계값 미만인 것에 응답하여 프롬프트를 출력하는 수단을 더 포함하는, 이미지를 캡쳐하는 이미지 캡쳐 디바이스.
16. 제 14 항에 있어서,
    상기 이미지와 연관된 오디오를 캡쳐하는 수단을 더 포함하고, 상기 이미지 스코어는 또한, 캡쳐된 상기 오디오에 기초하는, 이미지를 캡쳐하는 이미지 캡쳐 디바이스.
17. 제 14 항에 있어서,
    검출된 피사체의 안면의 안면 가려짐 스코어를 생성하도록 구성되는, 안면 가려짐 스코어를 결정하는 수단; 및
    검출된 피사체의 안면의 안면 응시 스코어를 생성하도록 구성되는, 안면 응시 스코어를 결정하는 수단을 더 포함하고,
    상기 복수의 검출된 피사체들 각각을 스코어링하는 수단은, 검출된 피사체의 스코어가 상기 검출된 피사체의 안면 가려짐 스코어 및 안면 응시 스코어에 기초하도록 구성되는, 이미지를 캡쳐하는 이미지 캡쳐 디바이스.
18. 제 14 항에 있어서,
    상기 이미지를 스코어링하는 수단은 상기 이미지의 안정도, 상기 이미지의 포커스, 상기 이미지의 노출, 및 상기 이미지와 동시에 캡쳐된 오디오 중 하나 이상에 기초하여 상기 이미지를 스코어링하도록 구성되는, 이미지를 캡쳐하는 이미지 캡쳐 디바이스.
19. 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 실행될 때, 프로세서로 하여금,
    이미지 센서로부터, 안면을 가진 피사체의 이미지를 획득하는 단계;
    상기 이미지에서 검출된 복수의 피사체들을 스코어링하는 단계로서, 각각의 피사체의 스코어는 상기 피사체의 안면의 상대적 포지션에 기초하는, 상기 복수의 피사체들을 스코어링하는 단계;
    상기 피사체들의 스코어들에 적어도 부분적으로 기초하여 상기 이미지를 스코어링하는 단계; 및
    이미지 스코어가 임계값을 초과하는 것에 응답하여, 장면의 이미지를 캡쳐하고 상기 이미지를 데이터 스토어에 저장하는 단계를 포함하는 이미지를 캡쳐하는 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
20. 제 19 항에 있어서,
    상기 방법은 안면 가려짐 스코어에 적어도 부분적으로 기초하여 상기 이미지를 스코어링하는 단계를 더 포함하고, 상기 안면 가려짐 스코어는 상기 안면에서 검출된 키 포인트들의 수에 기초하는, 비일시적 컴퓨터 판독가능 저장 매체.

Images