KR101731771B1 - 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택 - Google Patents

버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택 Download PDF

Info

Publication number
KR101731771B1
KR101731771B1 KR1020167006182A KR20167006182A KR101731771B1 KR 101731771 B1 KR101731771 B1 KR 101731771B1 KR 1020167006182 A KR1020167006182 A KR 1020167006182A KR 20167006182 A KR20167006182 A KR 20167006182A KR 101731771 B1 KR101731771 B1 KR 101731771B1
Authority
KR
South Korea
Prior art keywords
images
image
temporal sequence
scene
quality metric
Prior art date
Application number
KR1020167006182A
Other languages
English (en)
Other versions
KR20160040711A (ko
Inventor
브레트 키팅
빈센트 왕
토드 작스
클라우스 몰가드
마이클 루쏭
엘리어트 해리스
저스틴 티티
카를 슈
제프 브래스켓
마르코 줄리아니
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20160040711A publication Critical patent/KR20160040711A/ko
Application granted granted Critical
Publication of KR101731771B1 publication Critical patent/KR101731771B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N5/23222—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/46—
    • G06K9/6201—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H04N5/23219—
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

이미지들의 일반적으로 캡처된 세트로부터의 키퍼 이미지(keeper image)들의 자동 선택을 개선하기 위한 시스템들 및 방법들이 기술된다. 이미지 유형 식별과 이미지 품질 메트릭들의 조합이, 세트에서의 하나 이상의 이미지들을 키퍼 이미지들로서 식별하기 위해 사용될 수 있다. 이미지 유형 식별은, 캡처된 이미지들을, 예를 들어, 3개 이상의 카테고리들로 카테고리화하기 위해 사용될 수 있다. 카테고리들은 인물화, 행동, 또는 "기타"를 포함할 수 있다. 식별되는 카테고리에 따라, 이미지들은 상이하게 분석되어서 키퍼 이미지들을 식별할 수 있다. 인물화 이미지들의 경우, 얼굴들의 최상의 세트를 식별하기 위한 동작이 이용될 수 있다. 행동 이미지들의 경우, 세트는 섹션들로 분할되어서 각각의 섹션으로부터 선택되는 키퍼 이미지들이 행동의 스토리를 알려 주도록 될 수 있다. "기타" 카테고리의 경우, 이미지들은 식별된 관심 영역에 대한 더 높은 품질 메트릭들을 갖는 것들이 선택되도록 분석될 수 있다.

Description

버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택{AUTOMATED SELECTION OF KEEPER IMAGES FROM A BURST PHOTO CAPTURED SET}
본 발명은 대체로 디지털 사진 분야에 관한 것이다. 더 구체적으로, 본 발명은 버스트 포토 캡처 모드(burst photo capture mode) 동안 촬영한 일련의 이미지들로부터 소정 이미지를 선택하기 위한 기법들에 관한 것이지만 제한적인 것은 아니다. 본 명세서에 사용되는 바와 같이, 버스트 포토 캡처 모드는 일반적으로 사용자가 다수의 사진들을 단기간에 캡처할 수 있게 하는 카메라 설정을 지칭한다. 다수의 사진들은 일반적으로 사용자가 선택을 행하고 하나의 버튼을 누른 후에 자동으로 촬영되고, 이들은 일반적으로 특정한 속도(particular rate of speed)로 캡처된다. 속도는, 예를 들어, 초당 10개의 사진들일 수 있다.
전형적으로, 사용자는 이 모드를 특정 이유로 활용한다. 하나의 그러한 이유는, 어린이가 풀장에 다이빙하는 것 또는 생일 촛불을 불어 끄는 것과 같이, 행동 샷(action shot)을 캡처하기 위함일 수 있다. 그러한 경우에, 사용자는, 이벤트의 연대순, 즉, 특정 이벤트의 이전, 도중 또는 이후를 기록하는 다수의 사진들을 이용하여 이벤트를 캡처하기를 원할 수 있다. 그러나, 이벤트들이 발생하는 빠른 속도 때문에, 개별 버튼 누름들을 통해 정확히 원하는 순간들을 수동으로 캡처하는 것은 매우 어려울 수 있다. 버스트 캡처 모드를 사용하는 것은, 사용자가 다수의 사진들을 단기간에 캡처하고 그리하여 촬영된 사진들 중에서 정확히 원하는 순간들의 사진들이 있을 가능성들을 증가시킬 수 있게 한다. 그러한 행동 포토 버스트 캡처들에서, 종종 사진들이 촬영된 후에, 사용자는 예컨대, 이벤트의 이전, 도중 또는 이후를 보여주기 위해, 여러 장의 사진들을 간직하기(keep)로 판단할 수 있다.
사용자가 버스트 캡처 모드를 활용하기로 판단할 수 있게 되는 다른 이유는 많은 사람들의 인물화 사진(portrait picture)들을 촬영하기 위함이다. 이것은, 사용자가 단체 사진을 촬영하고 있고, 그리고 사진 속의 모든 사람들이 가로막힘이 없는 시선을 가진 채로 웃고 있고, 눈을 깜박이지 않고, 카메라를 바라보고 있기를 원할 때 일어날 수 있다.
장면에 특정한 행동 또는 사람들이 없지만 사용자가 어떤 미적 감각에서 최상의 사진을 찾기 위해 여러 장의 사진들로부터 고를 수 있기를 원하는 것이 또한 가능하다. 분수 및 폭포의 사진들을 캡처하는 것은 이 같은 상황의 일부 예들이다.
버스트 캡처 모드가 행동 장면들, 많은 사람들을 위한 장면들에 대해 또는 다수의 포토 캡처들로부터 최상의 사진을 선택하는 옵션을 제공하기 위해 매우 유용할 수 있지만, 그것은 메모리 저장 공간을 빠르게 가득 채우는 경향이 있기 때문에 일반적으로 자주 사용되지 않는다. 또한, 버스트 동안 촬영된 많은 사진들은 하나 이상의 키퍼 사진(keeper picture)들을 선택하기 위해 사용자에 의해 검토되어야 하고, 그것은 시간 소모적이고 번잡한 작업일 수 있다.
일 실시예에서, 이미지 세트에서의 이미지들의 시퀀스를 수신하고 유지하기 위한 방법이 제공된다. 본 방법은, 이미지들의 시퀀스에서의 이미지들의 각각이 얼굴들을 포함하는지 또는 장면이 행동을 포함하는지를 검출하는 단계를 포함한다. 이어서, 검출을 이용하여, 세트에서의 이미지들은 분류될 수 있다. 일 실시예에서, 하나 이상의 이미지들이 주로 얼굴들을 포함하는 것으로서 검출되는 경우, 이미지들은 인물화들로서 분류될 수 있다. 일부 실시예들에서, 장면이 행동을 포함하는 것으로서 검출되는 경우, 이미지들은 행동 이미지들로서 분류될 수 있다. 이어서, 획득된 이미지들의 각각에 대해 적어도 하나의 품질 메트릭 값(quality metric value)이 결정된다. 품질 메트릭 값은, 예를 들어, 이미지들에 대한 선예도 값(sharpness value)들을 포함할 수 있다. 다른 실시예들에서, 품질 메트릭 값은 흐림도(blurriness) 메트릭들을 포함할 수 있다. 품질 메트릭 값들이 결정되고 이미지들이 분류된 후에, 이미지 세트로부터 하나 이상의 이미지들이 키퍼 이미지(keeper image)들로서 선택된다. 일 실시예에서, 키퍼 이미지들은 분류 및 적어도 하나의 품질 메트릭 값에 기초하여 선택된다. 선택이 이루어진 후에, 하나 이상의 키퍼 이미지들은 사용자에게 제시될 수 있다.
다른 실시예에서, 이미지들의 버스트 캡처 세트로부터 키퍼 이미지들을 미리 선택하기 위한 방법은, 이미지 세트들에서의 검출된 얼굴들이 웃고 있거나 눈을 깜박이고 있는지를 판정하는 단계를 포함한다. 일 실시예에서, 각각의 얼굴에 대한 선예도 값이 또한 계산될 수 있다. 다른 실시예에서, 장면이 행동을 포함하는지를 판정하기 위해, 이미지들로부터 특징 벡터가 구성될 수 있고 분류기에서 사용될 수 있다. 일부 실시예들에서, 이미지들이 행동으로서 분류되는 경우, 이미지들의 시퀀스는 2개 이상의 섹션들로 분할될 수 있고, 각각의 섹션으로부터 하나의 키퍼 이미지가 선택될 수 있다.
또 다른 실시예에서, 이미지 세트가 주로 얼굴들을 포함하는 것으로서 검출되지 않는 경우 또는 장면에서 행동이 검출되지 않는 경우, 이미지들은 "기타"로서 분류될 수 있다. 일부 구현예들에서, 수신된 이미지들의 시퀀스로부터 하나 이상의 키퍼 이미지들을 선택하는 것은, 이미지들에서의 관심 영역을 식별하는 것 및 관심 영역에 대한 적어도 하나의 품질 메트릭 값에 기초하여 이미지들의 시퀀스로부터 하나 이상의 키퍼 이미지들을 선택하는 것을 포함한다. 관심 영역을 식별하는 것은, 이미지들의 시퀀스에서의 각각 2개의 이미지들을 서로에 대하여 등록하는 것, 등록된 이미지들을 서로 비교하는 것, 및 등록된 이미지들에서, 등록된 이미지들 사이의 차이들이 특정 임계치보다 더 큰 영역을 식별하는 것을 포함할 수 있다.
도 1은 일 실시예에 따른 이미지 버스트 캡처 동작을 흐름도 형태로 도시한다.
도 2는 일 실시예에 따른 이미지 프로세싱 동작을 흐름도 형태로 도시한다.
도 3은 일 실시예에 따른 버스트 세트 분류 동작을 흐름도 형태로 도시한다.
도 4는 일 실시예에 따른 인물화 버스트를 위한 키퍼 이미지 선택 동작을 흐름도 형태로 도시한다.
도 5는 일 실시예에 따른 행동 버스트를 위한 키퍼 이미지 선택 동작을 흐름도 형태로 도시한다.
도 6는 일 실시예에 따른 키퍼 이미지 선택 동작을 흐름도 형태로 도시한다.
도 7은 일 실시예에 따른 다기능 전자 디바이스를 블록도 형태로 도시한다.
본 발명은 버스트 포토 캡처 모드에서 촬영된 다수의 이미지들로부터 하나 이상의 이미지들을 키퍼 이미지들로서 자동으로 미리 선택하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체들에 관련된다. 일 실시예에서, 사진사가 버스트 캡처 모드를 사용한 이유를 판정하기 위한 신규한 접근법이 이용될 수 있다. 이것은, 예를 들어, 이미지들이 주로 얼굴들을 포함하는지 또는 이미지들이 장면에서의 어떤 행동을 추적하는지를 판정하기 위해 이미지들을 분석함으로써 실시될 수 있다. 이어서, 판정된 이유에 기초하여, 버스트는 행동, 인물화 또는 기타로서 카테고리화될 수 있다.
버스트를 카테고리화한 후에, 접근법은 캡처된 이미지 세트를 분석할 수 있다. 선택된 카테고리에 따라, 접근법은 상이한 기준들을 이용하여, 이미지 세트로부터의 하나 이상의 이미지들을 키퍼 이미지(들)로서 미리 선택할 수 있다. 인물화 버스트의 경우, 접근법은 가장 잘 웃고 있고, 눈을 깜박이지 않는 얼굴들을 갖는 하나의 이미지를 선택할 수 있다. 행동 버스트의 경우, 동작은 이미지 세트를 각각이 행동의 상이한 단계들을 커버하는 섹션들로 분할할 수 있고, 섹션들의 각각으로부터 하나의 키퍼 이미지를 선택할 수 있다. 기타로서 분류되는 버스트의 경우, 접근법은 이미지 세트에서의 관심 영역을 식별할 수 있고, 식별된 관심 영역에 대해 더 높은 품질 메트릭들을 갖는 키퍼 이미지를 선택할 수 있다.
일 실시예에서, 최상의 하나 이상의 이미지들을 미리 선택하기 위해 사용되는 기법들은, 상당한 후처리 시간이 요구되지 않도록 이미지들의 통상적인 프로세싱 동안 이루어지는 계산들 중 일부를 활용할 수 있다. 이것은, 키퍼 이미지(들)를 미리 선택하기 위해 이루어지는 산출들이 사용자들에게 두드러지지 않아서, 그에 따라 이미지들이 캡처된 후에 사용자가 사실상 순간적으로 미리 선택된 이미지들에 액세스하게 할 수 있음을 의미한다. 일 실시예에서, 이미지들의 프로세싱 동안 이루어지는 계산들 및 키퍼 이미지들을 미리 선택하기 위해 이루어지는 산출들은 버스트 캡처 프레임 레이트를 간섭하지 않는다. 따라서, 사용자는, 이미지 캡처와 미리 선택된 키퍼 이미지들의 제시 사이의 어떤 상당히 두드러지는 지연을 겪지 않을 뿐만 아니라, 통상적인 버스트 캡처 프레임 레이트를 간섭하지도 않는다.
하기의 설명에서, 설명의 목적들을 위해, 다수의 특정 상세 사항들이 본 발명의 개념의 철저한 이해를 제공하기 위해 기재된다. 이러한 설명의 일부로서, 본 개시내용의 도면들의 일부는 본 발명을 모호하게 하는 것을 피하기 위해 구조들 및 디바이스들을 블록도 형태로 나타낸다. 명료하도록, 실제 구현예의 모든 특징부들이 기술되지는 않는다. 게다가, 본 개시내용에 사용된 표현은 원칙적으로 가독성 및 교육 목적들을 위해 선택되었으며, 본 발명의 요지를 기술하거나 제한하도록 선택되지는 않아서, 그러한 본 발명의 요지를 결정하기 위해 청구범위에 대한 의존이 필요할 수 있다. "일 실시예"에 대한 또는 "실시예"에 대한 본 개시내용에서의 언급은 실시예와 관련되어 기술되는 특정한 특징부, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 다수의 언급들이 반드시 모두 동일한 실시예를 지칭하는 것으로서 이해되어서는 안된다.
(임의의 개발 프로젝트에서처럼) 임의의 실제 구현예의 개발에서, 개발자들의 특정 목표들(예컨대, 시스템 관련 및 사업 관련 제약들의 준수)을 달성하기 위해 많은 판단들이 이루어져야 하며, 이러한 목표들은 구현예별로 달라질 수 있음이 이해될 것이다. 그러한 개발 노력들은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고 본 발명의 이득을 갖는 이미지 프로세싱 시스템들의 설계 및 구현예에서 당업자들에게는 일상적인 일임이 또한 이해될 것이다.
버스트 캡처 모드 동안 촬영된 이미지 세트로부터 키퍼 이미지들을 미리 선택하는 것에 대한 하나의 신규한 접근법은, 이미지들을 먼저 캡처하고 프로세싱하는 것이다. 도 1을 참조하여, 이 접근법에 따른 일 실시예에서, 동작(100)은 버스트 캡처 동작이 활성화될 때(블록(105)) 시작된다. 일 실시예에서, 이것은 카메라 모드를 버스트 캡처로 설정하고 이미지 캡처 버튼을 누름으로써 실시될 수 있다. 버스트 캡처 모드를 활성화할 시에, 카메라는 다수의 사진들을 촬영하는 것(블록(110)) 및 촬영된 각각의 사진에 대한 이미지 데이터를 수신하는 것(블록(115))을 시작할 수 있다.
본 명세서에 사용된 바와 같이, 용어 "카메라"는 디지털 이미지 캡처 기능을 포함 또는 통합하는 임의의 전자 디바이스를 지칭한다. 예를 들어, 이것은 단독형 카메라들(예컨대, 디지털 SLR 카메라들 및 '포인트 앤드 클릭(point-and-click)' 카메라들)뿐만 아니라 카메라 능력이 내장된 다른 전자 디바이스들을 포함한다. 그러한 후자 유형의 예에는 이동 전화기, 태블릿 및 노트북 컴퓨터 시스템, 및 디지털 미디어 플레이어 디바이스가 포함되지만, 이로 제한되지 않는다.
사진은 일반적으로 단기간에 특정한 속도로 촬영된다. 버스트에서 촬영된 사진들의 개수는 상이한 실시예들마다 다를 수 있다. 일 실시예에서, 사용자는 사진 촬영을 완료할 때까지 이미지 캡처 버튼을 누른 상태에서 유지할 수 있다. 그러한 실시예에서, 촬영된 사진들의 개수는 이미지 캡처 속도(image capture rate)에 따라 다양할 수 있다. 캡처 속도는, 예를 들어, 초당 6, 8 또는 10개의 사진들일 수 있다. 일 실시예에서, 사용자는 캡처 속도를 선택할 수 있다. 각각의 버스트 캡처 동안 촬영될 수 있는 사진들의 최대 개수가 또한 있을 수 있다. 예를 들어, 최대 개수는 999개일 수 있다. 다른 개수들이 또한 가능하다. 일 실시예에서, 사용자는 이용 가능한 옵션들의 범위로부터 촬영되는 사진들의 개수를 선택하는 능력을 가질 수 있다. 예를 들어, 사용자는 100, 200 또는 500개의 사진들 사이에서 선택할 수 있다. 일 실시예에서, 캡처된 이미지들을 유지하기 위해 특수 이미지 버퍼 메모리가 사용될 수 있다. 다른 실시예에서, 범용 메모리가 사용될 수 있다.
각각의 사진에 대한 이미지 데이터가 수신될 때, 그 데이터는 그것이 수신됨에 따라 프로세싱될 수 있다(블록(120)). 일 실시예에서, 이것은 사용자가 이미지들을 캡처하는 것과 그들을 보는 것 사이의 어떤 상당한 지연을 알아차리지 못하도록 실시간으로 발생한다. 일반적으로, 이미지들을 프로세싱하기 위해 제한된 시간만이 이용 가능할 수 있다. 예를 들어, 초당 10개의 이미지들의 속도로 버스트 캡처 동안 10개의 이미지들이 캡처되는 실시예에서, 각각의 이미지를 수신하고 프로세싱하기 위해 그리고 분석을 행하여 키퍼 이미지들을 미리 선택하기 위해 100 밀리초가 이용 가능할 수 있다. 대부분의 프로세싱 시간은 일반적으로, 이미지를 인코딩하고 저장하기 위해, 그리고 일 실시예에서, 버스트 캡처 진행을 보여주는 대화형 사용자 인터페이스를 유지하기 위해 필요하다. 따라서, 분석을 수행하여 키퍼 이미지들을 미리 선택하기 위해 이용 가능한 시간은 매우 제한될 수 있다. 일 실시예에서, 실시간 데이터 수집 및 프로세싱은 이용 가능한 전체 시간의 35 내지 55%보다 더 많이 걸리지 않는다. 초당 10개의 이미지들의 속도로 캡처되는 버스트의 경우, 그것은 데이터 수집, 프로세싱 및 분석을 위해 35 내지 55 밀리초로 변환된다. 본 명세서에 기술되는 실시예들은 대체로 이러한 시간 제약들을 충족할 수 있다.
도 2를 참조하면, 동작(120)(도 1의 블록(120))에서 수신된 각각의 이미지를 프로세싱하는 것은, 이미지를 더 작은 영역들(예컨대, 블록들, 타일들 또는 밴드들)로 분할하여(블록(200)) 이미지에 대해 수행되는 다수의 계산들의 더 빠르고 더 효율적인 프로세싱을 행함으로써 시작될 수 있다. 일 실시예에서, 블록들은 32x32이다. 다른 실시예에서, 블록들은 16x16이다. 다른 변경예들이 또한 가능하다. 대안적으로, 이미지 전체가 하나의 영역으로서 선택된다. 일 실시예에서, 더 효율적인 프로세싱을 행하기 위해, 이미지는 또한 당업계에 주지되어 있는 바와 같이 축소될 수 있다.
이미지가 더 작은 블록들로 분할된 후에, 블록들은 이미지 콘텐츠 및/또는 모션 센서 데이터에 따라 이미지 품질 메트릭들을 결정하기 위해 프로세싱될 수 있다(예컨대, 자이로 및 가속도계 센서들). 이러한 기법들은 특정한 용도 및/또는 시스템 리소스들에 따라, 함께 조합하여, 또는 별도로 사용될 수 있다. 하나의 특정한 실시예에서, 카메라의 AF 및/또는 AE 시스템들로부터의 출력은 통상적인 조명 조건들 동안 품질 메트릭을 생성하기 위해 사용될 수 있고, 한편으로 카메라의 모션 센서(들)는 낮은 조명 조건들 동안 사용될 수 있다. 품질 메트릭들은 각각의 이미지와 직접적으로(예컨대, 이미지가 메타데이터로서 저장됨) 또는 간접적으로(예컨대, 별도의 인덱스 또는 데이터베이스 파일을 통해) 연관될 수 있다.
일 실시예에서, 이미지를 프로세싱하고 품질 메트릭들을 결정할 때의 제1 단계는 UV 색 공간에서 이미지의 컬러 히스토그램을 생성하는 것(블록(205))을 수반할 수 있다. 일 실시예에서, 컬러 히스토그램은 U-값을 하나의 차원으로서 갖고 V-값을 다른 하나의 차원으로서 갖는 2차원 히스토그램일 수 있다. 이미지는 i번째 영역에 대한 차원들로서 Ui 및 Vi를 갖는 다수의 영역들로 분할될 수 있다. 예를 들어, 일 실시예에서, U1은 0 내지 7의 임의의 U-값을 포함할 수 있다. Ui 및 Vi 내에 있는 색이 발견되는 경우, (Ui,Vi)에 대응하는 "빈(bin)"은 증분될 수 있다. 빈들의 크기들은 균일할 수 있거나, 또는 이들은 색 조합들이 더 일반적이 되는 영역들이 더 많은 빈들에 의해 나타내지도록 조정될 수 있다. 이것은 빈들 내의 카운트들의 분포가 더 유익하게 할 수 있다. 이것은, 예를 들어, 중심 근처의 색들이 더 일반적이기 때문에, 그 영역들을 작게 (예컨대, 각각의 차원에서 더 적은 색들을 갖게) 함으로써 더 많은 빈들이 중심 근처에 배치될 수 있음을 의미한다. 중심으로부터 멀리 있는, 영역들은 각각의 차원에서 더 많은 색들을 가짐으로써 더 크게 될 수 있다. 이러한 프로세스는 블록 중심-가중된 빈(block center-weighted bin)들이라고 지칭될 수 있다. 컬러 히스토그램이 생성된 후에, 이미지의 선예도를 나타내는 품질 측정치가 계산될 수 있다(블록(210)). 선예도 측정치들은, 예를 들어, 카메라의 자동 초점(auto-focus, AF) 및/또는 자동 노출(auto-exposure, AE) 시스템들로부터 획득되거나 결정될 수 있다. 일 실시예에서, 선예도 측정치들은 인접한 픽셀 차이들의 합계를 계산함으로써 결정될 수 있다. 선예도를 결정하는 다른 방법들이 또한 가능하다. 본 발명의 목적을 위해, 이미지가 선명할수록 그의 대응하는 등급(예컨대, 품질 메트릭 값)이 높다고 판단된다.
하나 이상의 선예도 측정치들을 결정한 후에, 이미지를 압축하여, 그에 따라 더 효율적인 추가 계산들을 행하기 위해 각각의 블록에 대한 웨이블릿 변환(wavelet transform)이 계산될 수 있다(블록(215)). 일 실시예에서, 파장 변환은 하르 변환(Haar transform)일 수 있다. 하르 파장 변환을 계산하는 것은 당업계에 주지되어 있으므로, 여기서 서술되지 않는다. 웨이블릿 변환들을 계산한 후에, 이미지에 존재하는 블러(blur)의 양이 도출될 수 있다(블록(220)). 일 실시예에서, 블러의 양은 계산된 웨이블릿 변환들로부터 도출된다. 다른 접근법들이 또한 가능하다. 이미지에 존재하는 블러의 양을 결정하기 위한 하나의 접근법은, 전체적으로 본 명세서에 참고로 포함된, 발명의 명칭이 "정지 이미지 안정화를 위한 기준 프레임 선택(Reference Frame Selection for Still Image Stabilization)"인 미국 특허 출원 제13/911,873호에 서술되어 있다.
일 실시예에서, 이미지에 존재하는 블러의 양이 계산된 후에, 이미지가 사용하기에 너무 흐린지(blurry) 여부에 대한 판정이 이루어진다(블록(225)). 일 실시예에서, 이것은 이미지에 존재하는 블러의 양을 미리 결정된 임계치와 비교함으로써 실시된다. 이미지에 존재하는 블러의 양이 미리 결정된 임계치 초과인 경우, 또는 일부 실시예에서, 다른 계산된 품질 측정치가 상이한 임계 값 미만인 경우, 이미지는 너무 흐리다고 판정될 수 있다. 임계 값들은 정적이거나 미리 결정될 수 있거나(예를 들어, 카메라 시동 동안 프로그램 메모리로부터 획득될 수 있음) 또는 동적일 수 있다(예를 들어, 이미지 통계자료에 기초하여 결정될 수 있음). 일 실시예에서, 이미지의 품질 측정치들 중 하나 이상이 이미지 세트의 최대 품질 메트릭 값보다 상당히 더 작은 경우, 이미지는 사용하기에 너무 흐린 것으로 간주될 수 있다. 다른 구현예에서, 이미지의 품질 메트릭이 이미지 세트의 최대 품질 메트릭 값에 소정 비(예컨대, 0.6 내지 0.9의 비)를 곱한 것보다 더 작은 경우, 이미지는 사용하기에 너무 흐린 것으로 간주될 수 있다.
흐림도가 결정되게 하는 접근법에도 불구하고, 이미지가 너무 흐리다고 판정되는 경우(블록(225)의 예 갈래), 이미지는 폐기되거나 달리 추가 고찰로부터 제외될 수 있고, 프로세싱될 적어도 하나의 더 많은 수신된 이미지가 유지되는지를 판정하기 위한 확인이 이루어질 수 있다(블록(260)). 이미지가 사용하기에 너무 흐리지 않은 경우(블록(225)의 아니오 갈래), 이미지에 대한 2개의 일차원 시그니처들이 계산될 수 있다(블록(230)). 시그니처들은 이미지의 수직 및 수평 투영들의 함수들일 수 있다. 일 실시예에서, 시그니처들은 픽셀 값들의 수직 및 수평 합계들이다.
일부 구현예들에서, 이미지를 프로세싱할 때의 다음 단계는, 이미지가 얼굴들을 포함하는지 여부를 판정하는 것일 수 있다. 얼굴 인식 기법들은 당업계에 주지되어 있으므로, 본 명세서에서 서술되지 않는다. 얼굴 인식 알고리즘을 사용하여, 동작은 이미지에 얼굴들이 있는지를 검출할 수 있다(블록(235)). 이미지에서 어떠한 얼굴도 검출되지 않는 경우(블록(235)의 아니오 갈래), 이미지는 유지될 수 있고(블록(255)), 그 후에 세트로부터의 모든 이미지들이 수신되었는지를 판정하기 위한 확인이 이루어질 수 있고(블록(260)), 만약 그렇다면, 도 3의 블록(305)으로 계속되어 이미지 세트를 분류한다. 그러나, 수신될 적어도 하나의 더 많은 이미지가 유지되는 경우(블록(260)의 예 갈래), 동작은 다음 이미지를 획득하고 블록(200)으로 계속되어 다음 이미지를 프로세싱할 수 있다.
얼굴 인식 알고리즘에 의해 하나 이상의 얼굴들이 검출되는 경우(블록(235)의 예 갈래), 동작은 블록(240)으로 이동하여 각각의 얼굴의 크기 및 위치를 결정할 수 있다. 각각의 얼굴의 위치는 이미지 상에서 얼굴을 이루는 픽셀들의 블록들을 지칭할 수 있고, 크기는 블록의 크기를 지칭할 수 있다. 검출된 얼굴들의 각각에 대해, 동작은 또한 얼굴이 웃고 있는지 그리고 눈을 뜨고 있거나 깜박이고 있는지를 판정할 수 있다(블록(245)). 일단 얼굴 검출 및 분석이 수행되었다면, 이미지에서 검출된 얼굴들의 각각에 대해 선예도 값이 계산될 수 있다(블록(250)). 전술된 바와 같이, 이미지 선예도 값들을 계산하기 위한 다양한 공지된 절차들이 있다. 이러한 공지된 절차들 중 하나를 사용하여, 동작은 얼굴을 나타내는 것으로서 검출되는 픽셀들의 각 블록에 대해 별도의 선예도 값을 계산할 수 있다. 얼굴 선예도 값들이 계산된 후에, 동작은 블록(255)으로 이동하여 이미지를 그의 프로세싱 데이터와 함께 유지하고, 블록(260)으로 계속하여 이미지 세트에서 프로세싱할 더 많은 이미지들이 있는지를 판정한다. 더 많은 이미지들이 있는 경우, 동작은 블록(200)으로 다시 이동하여 다음 이미지에 대해 프로세스를 반복한다. 그러나, 이미지 세트에서의 다른 이미지들이 없는 경우, 동작은 도 3의 블록(305)으로 이동하여 이미지 세트를 분류한다.
일부 실시예들에서, 모든 이미지들이 수신되고 프로세싱된 후에, 계속해서 이미지 세트를 분류하기 전에, 가장 선명한 이미지(즉, 블록(210)에 따라 식별됨)의 선예도 메트릭 값과 다른 캡처된 이미지들의 각각의 선예도 메트릭 값 사이의 비가 결정될 수 있다. 이러한 비가 어떤 특정된 값 미만인 그러한 이미지들은, 추가 고찰로부터 무관한 것으로서 배제될 수 있다. 즉, 특정 임계치보다 더 큰 비 값을 갖는 그러한 이미지들만이, 키퍼 이미지들을 미리 선택하기 위해 고려될 것이다. 당업자는 선택된 임계치가 작업 또는 목표 의존적일 수 있고 구현예별로 달라질 수 있음을 인식할 것이다. 이것은, 낮은 품질의 것이며 키퍼들로서 선택될 가능성이 없는 이미지들을 배제하기 위해 실시된다. 원치 않는 이미지들을 배제하는 것은 효율을 증가시키고 프로세싱 시간을 단축(speed up)시킬 수 있다. 다른 실시예들에서, 이미지들은 서로 너무 유사한 이미지들이 있는지를 판정하기 위해 서로 비교될 수 있다. 2개의 그러한 이미지들이 발견되는 경우, 세트로부터 하나가 배제될 수 있다. 이것은 또한 증가된 효율을 야기할 수 있다.
동작(300)은, 버스트에서 캡처되는 이미지 세트를 분류하기 위해, 이미지들이 주로 얼굴들을 포함하는지를 판정함으로써(블록(305)) 시작된다. 일 실시예에서, 이것은 프로세싱 동작(120) 동안 수집된 데이터를 분석함으로써 실시될 수 있다. 얼굴들이 동작(120) 동안 검출된 경우, 동작은 또한 도 3에 관하여 전술된 바와 같이, 이미지들에서의 각각의 얼굴의 크기를 계산하였다. 일 실시예에서, 이미지에서의 얼굴들의 크기들은 각각의 이미지에 대해 합산되어 그 이미지에 대한 전체 얼굴 크기를 계산할 수 있다. 이어서, 전체 얼굴 크기는 이미지의 전체 크기와 비교될 수 있다. 전체 얼굴 크기가 이미지의 전체 크기에 대하여 소정 임계치 초과인 경우, 동작은 특정한 이미지가 주로 얼굴들을 포함한다고 판정할 수 있다. 전체 얼굴 크기가 임계치 미만인 경우, 동작은 이미지가 주로 얼굴을 포함하지 않는다고 판단할 수 있다. 일 실시예에서, 임계 값은 75%이어서, 전체 얼굴 크기가 전체 이미지 크기의 75% 미만인 경우, 이미지가 주로 얼굴들을 포함하지 않는 것으로서 간주되게 된다. 다른 임계 값들이 또한 가능함에 유의해야 한다. 세트에서의 이미지들이 주로 얼굴들을 포함하는지를 판정하기 위한 다른 접근법들이 또한 이용될 수 있다.
일 실시예에서, 이미지 세트에서의 이미지들의 대부분이 주로 얼굴들을 포함하는 경우, 동작(300)은 이미지 세트를 인물화 세트로서 카테고리화할 수 있다(블록(310)). 다른 실시예들에서, 세트에서의 이미지들의 50% 이상이 주로 얼굴들을 포함하는 경우, 세트는 인물화로서 카테고리화된다. 다른 구성들이 또한 가능하다. 버스트가 인물화로서 분류될 때, 동작은 도 4(동작(400))에서의 블록(405)으로 이동하여 인물화 이미지 세트에서의 키퍼 이미지를 미리 선택한다.
이미지 세트가 주로 얼굴들을 포함하지 않는다고 판정되는 경우(블록(305)의 아니오 갈래), 이미지에서 관심 영역이 식별될 수 있다. 이것은 일 실시예에서, 먼저 각각의 쌍의 이미지들을 서로에 대하여 등록함으로써(블록(315)) 실시될 수 있다. 이미지들을 서로에 대하여 등록하기 위한 다양한 주지된 방법들이 있다. 본 명세서에 참고로 포함된, 발명의 명칭이 "정지 이미지 안정화를 위한 이미지 등록 방법(Image Registration Methods for Still Image Stabilization)"인 미국 특허 출원 제13/911,793호에 몇몇 그러한 방법들이 기재되어 있다.
일 실시예에서, 등록은 이미지들의 프로세싱 동안 산출되는 2개의 시그니처들을 정렬함으로써 수행될 수 있다(도 2의 블록(230) 참조). 2개의 이미지들이 등록된 후에, 등록된 이미지들은 서로 비교되어, 그들 사이에 큰 차이가 있는 이미지들의 구역을 결정할 수 있다(블록(320)). 등록된 이미지들 사이의 차이는 등록 오류라고 지칭될 수 있다. 그러한 실시예에서, 등록이 수직 및 수평 시그니처들을 정렬함으로써 실시되는 경우, 비교는 등록된 수직 시그니처들 및 등록된 수평 시그니처들 사이의 차이들을 조사함으로써 발생할 수 있다. 이러한 수치들 사이에 큰 차이가 있는 경우, 움직이는 피사체(즉, 국부적인 모션)가 이미지들의 그 영역에 존재하였을 가능성이 있다. 그것은 일반적으로 이미지의 배경이 이미지 내의 픽셀들의 개수를 우세하게 차지하기 때문이다. 결과적으로, 등록은 하나의 이미지의 배경을 다른 것에 대하여 정렬할 가능성이 있어서, 일반적으로 등록된 이미지들에서의 배경들 사이에 현저한 차이가 없게 된다. 그러나, 예를 들어, 전경 객체의 모션으로 인해 국부적인 모션이 있을 때, 이미지들 사이의 차이가 더 클 수 있다. 따라서, 이미지들을 서로에 대하여 등록하고 등록된 이미지들을 서로 비교하는 것은 이미지들 사이의 국부적인 모션을 식별할 수 있다. 국부적인 모션을 포함하는 구역은 관심 영역으로서 식별될 수 있다(블록(325)). 예를 들어, 수직 및 수평 시그니처들을 사용하는 실시예에서, 수직 시그니처들이 2개의 이미지들이 그들의 x 열들(x1 및 x2) 사이에 큰 차이를 갖는 것을 나타내고 수평 시그니처들이 그들의 y 행들(y1 및 y2) 사이에 큰 차이를 갖는 경우, 관심 영역은 (x1, y1) 및 (x2, y2)로서 식별될 수 있다.
일 실시예에서, 관심 영역은 이미지들에서 등록 오류(즉, 2개의 등록된 이미지들 사이의 차이)가 특정 임계치보다 더 큰 영역으로서 선택될 수 있다. 관심 영역을 식별하기 위한 다른 절차들이 또한 가능함이 이해될 것이다. 국부적인 모션이 식별되지 않을 수 있는 경우(즉, 등록된 이미지들 사이의 차이가 작음), 전체 이미지가 관심 영역으로서 식별될 수 있다.
일단 등록 오류가 결정되고 관심 영역이 식별되면, 이미지들의 프로세싱 동안 지금까지 산출된 다수의 데이터 값들로부터 특징 벡터가 구성될 수 있다(블록(330)). 각각의 값은, 함께 조합될 때 특징 벡터라고 지칭되는 값들의 벡터를 형성하는 특징으로서 간주될 수 있다. 일 실시예에서, 특징 벡터를 형성하기 위해 사용되는 값들 중 하나는 산출된 컬러 히스토그램들일 수 있다. 컬러 히스토그램들은 이미지들이 서로 얼마나 유사한지 또는 상이한지를 나타낸다. 따라서, 컬러 히스토그램들이 이미지들이 너무 상이하다고 나타내는 경우, 장면이 어떤 행동을 포함했을 가능성이 있다. 특징 벡터를 형성할 때 사용될 수 있는 다른 값들 중 하나는 얼마나 큰 등록 오류들이 절대 값으로 또는 서로에 대하여 존재하는지이다. 사용될 수 있는 다른 값들은 버스트의 시작 및 끝에서의 이미지들 사이의 Y 채널의 L1 오류, 및 이미지들의 쌍들 사이의 등록 변환의 유클리드 놈(Euclidean norm)의 평균(카메라 모션에 대한 합리적인 대용물일 수 있음)이다. 다른 유형 값들이 또한 특징 벡터를 구성하기 위해 사용될 수 있다.
일단 특징 벡터가 구성되면, 특징 벡터로부터의 정보는 서포트 벡터 머신(Support Vector Machine, SVM), 인공 신경망(artificial neural network, ANN) 또는 베이지안(Bayesian) 분류기와 같은 분류기에 입력되어(블록(340)), 이미지 세트에서 캡처된 장면이 행동을 포함하는지를 판정할 수 있다. 일 실시예에서, 자동 사용 이전에, 분류기는 사람이 손으로 이미 분류한 훈련 특징 벡터들의 세트를 이용하여 훈련된다. 분류기는 이미지들이 행동을 포함하는지 여부를 나타내는 이진 판단으로 돌아갈 수 있다(블록(345)). 판단이 이미지들이 행동을 포함한다고 나타내는 경우, 버스트는 행동 버스트로서 분류될 수 있고(블록(350)), 동작은 동작(500)(도 5)의 블록(505)으로 계속되어, 행동 이미지 세트에서의 키퍼 이미지들을 미리 선택할 수 있다. 분류기 판단이 이미지들이 (충분한) 행동을 포함하지 않는다고 나타내는 경우, 그 세트는 기타로서 분류될 수 있고(블록(355)), 동작은 도 6에서의 동작(600)의 블록(605)으로 계속되어, 기타로서 카테고리화되는 세트에서의 최상의 이미지(들)를 결정할 수 있다.
도 4를 참조하면, 일 실시예에서, 인물화 세트로서 분류되는 이미지에서의 키퍼 이미지들을 미리 선택하기 위한 동작(400)은 세트에서의 각각의 이미지에서 각각의 얼굴에 대한 선예도 스코어를 계산함으로써(블록(405)) 시작된다. 전술된 바와 같이, 각각의 얼굴에 대한 선예도 값들은 일반적으로 각각의 이미지에 대한 프로세싱 동작(120) 동안 계산된다. 그러한 선예도 값들을 정규화함으로써, 선예도 스코어들이 각각의 얼굴에 대해 계산될 수 있다. 선예도 값들은 이미지 세트에 걸쳐 각각의 얼굴을 하나의 피사체로서 추적함으로써, 세트에서의 이미지들 모두에 대해 정규화된다. 이것은 세트에서의 이미지들 모두에 걸쳐 각각의 얼굴에 대한 평균 선예도 값을 먼저 계산함으로써 실시될 수 있다. 일 실시예에서, 평균 선예도 값은 세트에서의 이미지들 모두에 걸쳐 특정한 얼굴에 대한 눈들에 대해 계산된 이미지 경사(image gradient)들의 합계일 수 있다. 평균 선예도 값을 획득하는 다른 방식들이 또한 가능하다. 예를 들어, 세트에서의 이미지들 각각에서의 얼굴에 대한 선예도 값들을 평균하여 평균 선예도 값을 획득할 수 있다. 일단 각각의 얼굴에 대한 평균 선예도 값이 계산되면, 각각의 이미지에서의 얼굴에 대한 선예도 값을 그 얼굴에 대한 평균 선예도 값으로 나누어 각자의 얼굴에 대한 선예도 스코어를 획득할 수 있다.
일단 각각의 얼굴에 대한 선예도 스코어가 계산되었다면, 얼굴에 대한 전체 스코어가 계산될 수 있다(블록(410)). 전체 스코어는 이미지들의 프로세싱 동안 수집된 데이터의 다양한 카테고리들을 분석함으로써 계산될 수 있다. 데이터의 각각의 카테고리에는 특정한 범위의 스코어들이 배정될 수 있다. 예를 들어, 웃고 있는 얼굴들에 대해 그리고 눈을 깜박이지 않는 얼굴들에 대해 스코어들이 배정될 수 있다. 일 실시예에서, 데이터의 각각의 카테고리는 그 카테고리에 대한 스코어들에 대한 옵션들로서 이용 가능한 수치들의 범위를 갖는다. 더 높은 스코어는 더 양호한 품질의 이미지를 의미할 수 있다. 예를 들어, 얼굴이 웃고 있음을 나타내는 데이터는 10의 스코어가 될 수 있고, 한편 웃고 있지 않은 얼굴은 0의 스코어가 될 수 있다. 눈을 깜박이지 않는 얼굴은 또한 10의 스코어를 수신할 수 있고, 한편 눈을 깜박이는 얼굴은 0의 스코어를 수신할 수 있다. 계산된 선예도 스코어는 전체 스코어에 대해 고려될 수 있는 또 다른 카테고리이다. 전체 스코어에 기여할 수 있는 데이터의 다른 카테고리들은, 얼굴들의 위치, 예컨대, 얼굴이 이미지의 에지들에 가까운지 여부 및 얼굴에 의해 차지되는 이미지의 구역의 위치를 포함한다. 예를 들어, 이미지의 에지들에 가깝다는 것은 더 낮은 스코어를 수신할 수 있고, 한편 중간에 더 가깝다는 것은 더 높은 스코어를 수신할 수 있다. 일 실시예에서, 얼굴들이 어디에 위치되어야 하는지에 대한 선호도를 확립하기 위해 3의 법칙(rule of three)과 같은 사진 구도의 법칙들이 이용될 수 있다. 3의 법칙은 당업계에 주지되어 있다. 이러한 카테고리들 각각에 대한 스코어들이 배정될 수 있고, 이어서 정규화된 후에 합산되어 얼굴에 대한 전체 스코어를 계산할 수 있다. 일단 이미지에서의 모든 얼굴들에 대한 전체 스코어들이 계산되었으면, 전체 얼굴 스코어들이 합산되어 이미지에 대한 스코어를 획득할 수 있다(블록(415)).
이어서, 승수 인자(multiplicative factor)가 각각의 이미지 스코어에 적용될 수 있다(블록(420)). 승수 인자는 얼굴들을 갖는 이미지들에 대해 이미지 스코어를 더 높게 하도록 선택될 수 있다. 이것은 얼굴들을 갖는 이미지들에 대한 고유한 선호도(built-in preference)를 야기한다. 따라서, 세트 내에 어떠한 얼굴들도 포함하지 않는 이미지들이 있는 경우, 그들은 키퍼 이미지들로서 선택될 가능성이 더 적다. 이것은 인물화로서 카테고리화된 이미지 세트에 대해 유리한데, 이는 얼굴들을 포함하지 않는 이미지들이 그러한 세트에 대한 키퍼들로서 선택되지 않아야 하기 때문이다. 일단, 승수 인자가 이미지 스코어들 모두에 적용되었으면, 최고 스코어를 갖는 이미지가 버스트에 대한 키퍼 이미지로서 선택될 수 있고(블록(425)), 그렇게 사용자에게 제시될 수 있다(블록(430)).
얼굴들이 이미지 세트에서 검출되지 않을 때, 그 세트는 행동 또는 기타 유형의 세트로서 분류될 수 있다. 행동 세트로서 카테고리화된 세트의 경우, 다수의 이미지들이 키퍼 이미지들로서 선택될 수 있다. 이것은 일반적으로 행동 세트에서 바람직한데, 이는 사용자가, 이미지들이 행동의 스토리를 알려 주게 하고 싶을 수 있기 때문이다. 이것을 위해, 버스트에서 캡처되는 이미지 세트는 다양한 섹션들로 분할될 수 있고, 키퍼 이미지가 각각의 섹션으로부터 선택될 수 있다. 버스트의 각각의 섹션은 장면에서의 행동들의 특정 시퀀스에 관련된 이미지들을 포함할 수 있다. 예를 들어, 캡처된 버스트가 다이빙 보드로부터 풀장에 다이빙하는 어린이에 관한 것인 경우, 제1 섹션은 보드 상에 서 있는 어린이의 사진들을 포함할 수 있고, 제2 섹션은 공중에 있는 어린이의 사진들을 포함할 수 있고, 제3 섹션은 물 속에 있는 어린이의 사진들을 포함할 수 있다. 일 실시예에서, 이미지 세트가 분할될 수 있는 섹션들의 최대 개수가 있다. 예를 들어, 10개의 이미지들을 포함하는 이미지 세트에서, 최대 개수는 3일 수 있다. 최대 개수는 이미지 캡처 디바이스에서의 사전 설정치(preset)일 수 있거나 또는 그것은 사용자가 선택할 수 있는 선택적인 설정치일 수 있다.
도 5를 참조하면, 일 실시예에서, 행동 세트에서의 키퍼 이미지들을 미리 선택하기 위한 동작(500)은 이미지 세트에서의 각각의 쌍의 이미지들 사이의 거리를 계산함으로써(블록(505)) 시작된다. 일 실시예에서, 측정된 거리는 프로세싱 동작(120) 동안 계산된 2차원 컬러 히스토그램들의 바타차야 거리(Bhattacharyya distance)일 수 있다. 이어서, 계산된 거리는 이미지 세트를 상이한 섹션들로 분할하기 위해 군집화 모델(clustering model)에서 사용될 수 있다. 다양한 군집화 모델들이 이러한 접근법에서 사용 가능하다. 이들은 계층적 군집화(예컨대, 단일-링크, 완전-링크), 중심 모델들(예컨대, K-평균 알고리즘(K-means algorithm)들), 완결 탐색(exhaustive search), 및 장면 전환 검출 알고리즘들과 같은 연계성 모델들을 포함한다. 이러한 군집화 모델들 및 알고리즘들은 당업계에 주지되어 있어서, 여기서 상세하게 기술되지 않는다.
일 실시예에서, 이미지 세트를 상이한 섹션들로 군집화하기 위해 장면 전환 검출 동작이 먼저 사용될 수 있다(블록(510)). 이러한 동작으로부터의 결과들이 허용 가능한 경우(블록(515)의 예 갈래), 그들이 사용된다. 그러나, 결과들이 허용 가능하지 않은 경우, 완결 탐색 동작이 사용될 수 있다(블록(520)). 완결 탐색 동작은 일반적으로 세트가 미리 결정된 개수의 섹션들로 분할될 수 있는 모든 방식들을 조사한다. 이어서, 동작은 섹션 내부의 이미지들 사이의 평균 거리 대 상이한 섹션들로부터의 이미지들 사이의 평균 거리의 비를 최적화하려고 시도한다. 이러한 비를 최적화하는 결과들에 기초하여, 이미지 세트는 상이한 섹션들로 분할될 수 있다.
일단 세트가 상이한 섹션들로 분할되었으면, 각각의 섹션으로부터의 이미지가 키퍼로서 미리 선택될 수 있다(블록(525)). 일 실시예에서, 이것은 하나의 섹션 내의 모든 이미지들에 대한 이미지 품질 메트릭들을 비교하고 최고 및/또는 최상의 품질 메트릭들을 갖는 이미지를 선택함으로써 실시된다. 예를 들어, 프로세싱 동작(120) 동안 계산되는 선예도 및 흐림도 측정치들은 가장 선명하고 그리고/또는 가장 적게 흐린 이미지를 선택하기 위해 조사될 수 있다. 실제로, 다수의 이미지들이 동일한 또는 거의 동일한 품질 메트릭 값을 가질 수 있다. 그러한 경우에, 각각의 섹션에서 최고 품질 메트릭 값을 갖는 첫 번째 이미지가 선택될 수 있다. 다른 실시예에서, 그 섹션에서의 마지막 그러한 이미지가 선택될 수 있다. 또 다른 실시예에서, 최고 품질 메트릭 값을 갖는 그러한 이미지들 중에서, 이미지 섹션의 중간에 가장 가까운 그러한 이미지가 선택될 수 있다. 또 다른 실시예에서, 최고 품질 메트릭 값을 갖는 'N'개의 이미지들이 있는 경우(예컨대, 서로로부터 값들의 특정된 범위 내에 있음), N개의 이미지들 중 무작위 하나가 선택될 수 있다.
일 실시예에서, 각각의 섹션으로부터의 키퍼 이미지가 도 6에서의 동작(600)의 접근법에 따라 선택될 수 있다. 일단 분할된 섹션들 각각에 대한 키퍼 이미지들이 선택되었다면, 그들은 검토 및 선택을 위해 사용자에게 제시될 수 있다(블록(530)). 이러한 방식으로, 다수의 이미지들이 행동 이미지 세트에서의 행동 장면의 다양한 단계들을 보여주기 위해 키퍼 이미지들로서 미리 선택된다.
도 3을 다시 참조하면, 버스트가 인물화 또는 행동으로서 카테고리화되지 않는 경우, 그것은 기타로서 분류될 수 있다. 기타는 사용자가 버스트 캡처 모드를 사용한 이유를 판정할 수 없는 경우들을 커버하는 광범위한 카테고리이다. 그러한 버스트에서 캡처된 이미지들을 최상의 얼굴들에 대해 또는 행동에 대해 조사하는 것이 가능하지 않을 수 있지만, 그 세트에서의 하나 이상의 고 품질의 이미지들을 키퍼 이미지들로서 선택하는 것이 여전히 가능하다. 하나의 그러한 접근법은 이미지들의 관심 영역의 서로간의 비교를 통해 최상의 이미지를 식별하는 것을 수반한다. 전술한 바와 같이, 관심 영역은 분류 동작(300) 동안 식별된다(블록(325)).
이미지들에서의 관심 영역들을 서로 적절히 비교하기 위해, 그 영역은 먼저 관심 영역과 중첩하는 이미지의 블록들 모두를 커버하도록 확장될 수 있다(블록(620)). 블록들은 품질 메트릭 값들이 이전에 계산되어 있는 동작(120)의 프로세싱 블록들과 일치할 수 있으므로, 이미지 세트에서의 각각의 이미지에서의 관심 영역에 대해 그러한 메트릭들이 조사될 수 있다(블록(625)). 일 실시예에서, 품질 메트릭들은 선예도 측정치들 및 흐림도 메트릭들을 포함할 수 있다. 세트에서의 모든 이미지들에 대한 관심 영역들의 품질 메트릭들을 조사한 후에, 동작은 조사된 다양한 품질 메트릭들에 기초하여 각각의 이미지에 스코어를 배정할 수 있다(블록(630)). 스코어들은 각각의 품질 메트릭에 대한 수치들의 범위에 기초하여 배정될 수 있고, 합산되어 각각의 이미지에 대한 전체 스코어를 얻을 수 있다. 이어서, 전체 이미지 스코어에 기초하여 키퍼 이미지가 선택될 수 있다(블록(635)). 일 실시예에서, 이것은 관심 영역에 대한 최상의 품질 메트릭들을 갖는 이미지를 키퍼 이미지로서 선택하는 것을 야기한다. 이어서, 키퍼 이미지는 검토 및 선택을 위해 사용자에게 제시될 수 있다(블록(640)).
도 7을 참조하면, 예시적인 전자 디바이스(700)의 단순화된 기능 블록도가 일 실시예에 따라 도시되어 있다. 전자 디바이스(700)는, 예를 들어, 휴대 전화, 개인 미디어 디바이스, 휴대용 카메라, 또는 태블릿, 노트북 또는 데스크톱 컴퓨터 시스템일 수 있다. 도시된 바와 같이, 전자 디바이스(700)는 프로세서(705), 디스플레이(710), 사용자 인터페이스(715), 그래픽 하드웨어(720), 디바이스 센서들(725)(예컨대, 근접 센서/주변광 센서, 가속도계 및/또는 자이로스코프), 마이크로폰(730), 오디오 코덱(들)(735), 스피커(들)(740), 통신 회로(745), 이미지 캡처 회로 또는 유닛(750), 비디오 코덱(들)(755), 메모리(760), 저장장치(765), 및 통신 버스(770)를 포함할 수 있다.
프로세서(705)는 디바이스(700)에 의해 수행되는 (예컨대, 도 1 내지 도 6에 따른 이미지들의 캡처 및/또는 프로세싱과 같은) 많은 기능들의 동작을 이행하거나 제어하기 위해 필요한 명령어들을 실행시킬 수 있다. 예를 들어, 프로세서(705)는 디스플레이(710)를 구동하고 사용자 인터페이스(715)로부터 사용자 입력을 수신할 수 있다. 사용자 인터페이스(715)는 다양한 형태들, 예컨대 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치 스크린을 가질 수 있다. 사용자 인터페이스(715)는, 예를 들어, 이미지를 캡처할 때 사용자가 선택할 수 있게 하는 도관(conduit)일 수 있다. 프로세서(705)는 모바일 디바이스들에서 발견되는 것들과 같은 시스템-온-칩일 수 있고, 하나 이상의 전용 그래픽 프로세싱 유닛(GPU)들을 포함할 수 있다. 프로세서(705)는 감소된 명령어-세트 컴퓨터(reduced instruction-set computer, RISC) 또는 복합 명령어-세트 컴퓨터(complex instruction-set computer, CISC) 아키텍처들 또는 임의의 다른 적합한 아키텍처에 기초할 수 있으며, 하나 이상의 프로세싱 코어들을 포함할 수 있다. 그래픽 하드웨어(720)는 그래픽을 프로세싱하기 위한 특수 목적의 연산 하드웨어일 수 있고/있거나 보조 프로세서(705)는 연산 작업들을 수행한다. 일 실시예에서, 그래픽 하드웨어(720)는 하나 이상의 프로그램 가능 그래픽 프로세싱 유닛(GPU)들을 포함할 수 있다.
이미지 캡처 회로(750)는 이미지들을 생성하기 위해 프로세싱될 수 있는 정지 및 비디오 이미지들을 캡처할 수 있고, 본 발명에 따라, 본 명세서에 기술된 몇몇 또는 많은 행동들을 수행하기 위해 전문화된 하드웨어를 포함할 수 있다. 이미지 캡처 회로(750)로부터의 출력은 비디오 코덱(들)(755) 및/또는 프로세서(705) 및/또는 그래픽 하드웨어(720), 및/또는 전용 이미지 프로세싱 유닛(도시 생략)에 의해 적어도 부분적으로 프로세싱(또는 추가로 프로세싱)될 수 있다. 그렇게 캡처된 이미지들은 메모리(760) 및/또는 저장장치(765)에 저장될 수 있다. 메모리(760)는 디바이스 기능들을 수행하기 위해 프로세서(705), 그래픽 하드웨어(720), 및 이미지 캡처 회로(750)에 의해 사용되는 하나 이상의 상이한 유형들의 미디어를 포함할 수 있다. 예를 들어, 메모리(760)는 메모리 캐시, 판독 전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 저장장치(765)는 미디어(예컨대, 오디오, 이미지 및 비디오 파일들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호도 정보, 디바이스 프로파일 정보, 및 임의의 다른 적합한 데이터를 저장할 수 있다. 저장장치(765)는, 예를 들어 자기 디스크들(고정형, 플로피, 및 이동형) 및 테이프, CD-ROM들 및 DVD(digital video disk)들과 같은 광학 미디어, 및 EPROM(Electrically Programmable Read-Only Memory) 및 EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 반도체 메모리 디바이스들을 포함하는, 하나 이상의 비일시적 저장 매체들을 포함할 수 있다. 메모리(760) 및 저장장치(765)는 하나 이상의 모듈들로 조직화되고 임의의 원하는 컴퓨터 프로그래밍 언어로 기록되는 컴퓨터 프로그램 명령어들 또는 코드를 유지하기 위해 사용될 수 있다. 예를 들어, 프로세서(705)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 본 명세서에 기술된 방법들 중 하나 이상을 구현할 수 있다.
위의 상세한 설명이 의도적인 예시이며, 제한하려는 것이 아님이 이해될 것이다. 당업자가 발명의 개념들을 청구되는 바와 같이 만들고 사용하도록 할 수 있는 내용들이 제시되었고, 특정 실시예들의 상황에서 제공되지만, 그의 변형들이 당업자들에게 쉽게 이해될 것이다(예를 들어, 개시된 실시예들 중 일부는 서로 조합하여 사용될 수 있다). 예를 들어, 도 1 내지 도 6은 가공되지 않은 또는 프로세싱되지 않은 이미지들을 프로세싱하는 상황에서 기술되지만, 이는 반드시 필요한 것은 아니다. 본 개시내용에 따른 동작들은 프로세싱된 버전들의 캡처된 이미지들(예컨대, 에지 맵(edge-map)들) 또는 하위 샘플링된 버전들의 캡처된 이미지들(예컨대, 썸네일 이미지(thumbnail image)들)에 적용될 수 있다. 또한, 기술된 동작들 중 일부는 본 명세서에 제시된 것과 상이한 순서로, 또는 다른 단계들과 함께 수행되는 개별적인 단계들을 가질 수 있다. 이러한 첫 번째 차이의 예는 이미지들 중 하나 이상이 유지된 후에(예컨대, 블록(255)) 블록(120)에 따라 행동들을 수행하는 것일 것이다. 후자의 차이의 예는, (도 2에서 암시되는 바와 같이) 각각의 이미지가 캡처됨에 따라, 모든 이미지들이 캡처된 후에, 또는 하나보다 많지만 전부보다는 적은 이미지들이 캡처된 후에, 예컨대, 동작(120)에 따른, 품질 메트릭들의 결정일 것이다. 더 일반적으로, 하드웨어 지원이 있는 경우, 도 1 내지 도 6과 함께 기술되는 일부 동작들은 병렬로 수행될 수 있다.
그러므로, 상기 예들을 감안하여, 본 발명의 범주는 첨부된 청구범위를 참조하여, 이러한 청구범위의 권리를 갖는 등가물들의 전체 범주와 함께 결정되어야 한다. 첨부된 청구범위에서, 용어들 "포함하는(including)" 및 "여기서(in which)"는 각자의 용어들 "포함하는(comprising)" 및 "여기서(wherein)"의 평이한 영어 등가물들로서 사용된다.

Claims (20)

  1. 프로그램 가능 제어 디바이스(705)에 의해 판독 가능하고, 저장된 명령어들을 포함하는 비일시적 프로그램 저장 디바이스(765)로서, 상기 명령어들은 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금,
    장면(a scene)에 대한 시간적 시퀀스의 이미지들을 획득하게 하고(110, 115),
    상기 획득된 이미지들의 각각에 대한, 적어도 하나의 품질 메트릭 값(quality metric value)을 결정하게 하고(210, 220),
    이미지 프로세서에 의해, 상기 시간적 시퀀스의 이미지들의 상기 장면이 행동(action)을 포함하는지를 검출하게 하고(305),
    상기 장면이 행동을 포함한다는 결정에 응답하여, 상기 시간적 시퀀스의 이미지들을 둘 이상의 섹션들로 분할하게 하고(200),
    각 섹션 내에서 상기 이미지들의 상기 품질 메트릭 값들을 비교하게 하고(625),
    상기 둘 이상의 섹션들 각각 마다, 상기 품질 메트릭 값들의 비교에 기초하여, 적어도 하나의 이미지를 키퍼 이미지(keeper image)로서 선택하게 하는(635),
    비일시적 프로그램 저장 디바이스.
  2. 제1항에 있어서, 상기 시간적 시퀀스의 이미지들을 분할하는 것은, 장면의 변화를 검출하는 것(510)에 기초하는, 비일시적 프로그램 저장 디바이스.
  3. 제1항 또는 제2항에 있어서,
    상기 명령어들은 또한, 상기 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금, 상기 시간적 시퀀스의 이미지들 중의 이미지들 간의 거리를 계산하게 하고(505), 계산된 상기 이미지들 간의 거리에 기초하여 상기 시간적 시퀀스의 이미지들을 분할하게 하는, 비일시적 프로그램 저장 디바이스.
  4. 제2항에 있어서,
    상기 시간적 시퀀스의 이미지들을 분할하는 것은, 서로 다른 섹션들로부터의 이미지들 간의 평균 거리에 대한 하나의 섹션 내의 이미지들 간의 평균 거리의 비율에 더 기초하는, 비일시적 프로그램 저장 디바이스.
  5. 제1항, 제2항 및 제4항 중 어느 한 항에 있어서,
    상기 품질 메트릭 값은, 상기 이미지들의 선예도(sharpness)와 흐림도(blurriness) 중 적어도 하나를 나타내는, 비일시적 프로그램 저장 디바이스.
  6. 제1항, 제2항 및 제4항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금 상기 결정하게 하는 상기 명령어들은, UV 색 공간에서 상기 이미지들의 컬러 히스토그램을 생성하게 하게 하는(205) 것을 더 포함하는, 비일시적 프로그램 저장 디바이스.
  7. 제1항, 제2항 및 제4항 중 어느 한 항에 있어서, 상기 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금 상기 검출하게 하는 상기 명령어들은 상기 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금,
    상기 이미지들 각각으로부터 특징 벡터를 구성하게 하고(330),
    상기 장면이 행동을 포함하는지 여부를 결정하도록 상기 특징 벡터를 분류기(classifier)에 적용하게 하는(340)
    명령어들을 포함하는, 비일시적 프로그램 저장 디바이스.
  8. 제7항에 있어서,
    상기 특징 벡터는 또한, 각각의 이미지들 간의 등록 변환(registration translation)의 유클리드 놈(Euclidean norm)의 평균을 나타내는, 비일시적 프로그램 저장 디바이스.
  9. 제7항에 있어서,
    상기 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금 상기 검출하게 하는 상기 명령어들은, 상기 하나 이상의 프로그램 가능 제어 디바이스들(705)로 하여금,
    상기 시간적 시퀀스의 이미지들 중의 하나 이상의 제1 이미지들을, 상기 시간적 시퀀스의 이미지들 중의 하나 이상의 제2 이미지들과 함께 등록하게 하고(315),
    이미지 쌍을 형성하는, 등록된 제1 이미지와 등록된 제2 이미지 사이에서 관심 영역들을 식별 - 상기 식별은, 지정된 임계치보다 더 큰 차이를 보이는, 상기 제1 이미지 내의 영역과 상기 제2 이미지 내의 대응 영역을 식별하는 것을 포함함 - 하게 하며(325),
    상기 특징 벡터는, 상기 제1 이미지의 관심 영역과 상기 제2 이미지의 대응하는 관심 영역 사이의 색 분포의 유사도를 나타내는, 비일시적 프로그램 저장 디바이스.
  10. 디지털 이미지 캡처 디바이스(700)로서,
    메모리(760);
    상기 메모리(760)에 통신 가능하게 연결된 디스플레이(710); 및
    상기 메모리(760) 및 디스플레이(710)에 통신 가능하게 연결되며 상기 메모리(760)에 저장된 명령어들을 실행하도록 구성된 하나 이상의 프로세서들(705)을 포함하고, 상기 명령어들은,
    장면에 대한 시간적 시퀀스의 이미지들을 획득하고(110, 115),
    상기 획득된 이미지들의 각각에 대한, 적어도 하나의 품질 메트릭 값을 결정하고(210, 220),
    이미지 프로세서에 의해, 상기 시간적 시퀀스의 이미지들의 상기 장면이 행동을 포함하는지를 검출하고(305),
    상기 장면이 행동을 포함한다는 결정에 응답하여, 상기 시간적 시퀀스의 이미지들을 둘 이상의 섹션들로 분할하고(200),
    각 섹션 내에서 상기 이미지들의 상기 품질 메트릭 값들을 비교하고(625),
    상기 둘 이상의 섹션들 각각 마다, 상기 품질 메트릭 값들의 비교에 기초하여, 적어도 하나의 이미지를 키퍼 이미지로서 선택하는(635) 것
    을 포함하는, 디지털 이미지 캡처 디바이스.
  11. 제10항에 있어서, 상기 시간적 시퀀스의 이미지들을 분할하는 것은, 장면의 변화를 검출하는 것(510)에 기초하는, 디지털 이미지 캡처 디바이스.
  12. 제10항에 있어서,
    상기 하나 이상의 프로세서들(705)은,
    상기 시간적 시퀀스의 이미지들 중의 이미지들 간의 거리를 계산하게 하는(505) - 상기 시간적 시퀀스의 이미지들을 분할하는 것(200)은 계산된 상기 이미지들 간의 거리에 기초함 - 것을 더 포함하는,
    상기 메모리(760)에 저장된 명령어들을 실행하도록 더 구성된, 디지털 이미지 캡처 디바이스.
  13. 제12항에 있어서,
    상기 시간적 시퀀스의 이미지들을 분할하는 것(200)은, 서로 다른 섹션들로부터의 이미지들 간의 평균 거리에 대한 하나의 섹션 내의 이미지들 간의 평균 거리의 비율에 기초하는, 디지털 이미지 캡처 디바이스.
  14. 제10항에 있어서,
    상기 품질 메트릭 값은, 상기 이미지들의 선예도와 흐림도 중 적어도 하나를 나타내는, 디지털 이미지 캡처 디바이스.
  15. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 결정(210, 220)은, UV 색 공간에서 상기 이미지들의 컬러 히스토그램을 생성하게 하는(205) 것을 포함하는, 디지털 이미지 캡처 디바이스.
  16. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 검출(305)은,
    상기 이미지들 각각으로부터 특징 벡터를 구성하고(330),
    상기 장면이 행동을 포함하는지 여부를 결정하도록 상기 특징 벡터를 분류기에 적용하는(340)
    것을 더 포함하는, 디지털 이미지 캡처 디바이스.
  17. 이미지 처리 방법으로서,
    장면에 대한 시간적 시퀀스의 이미지들을 획득하는 단계(110, 115),
    상기 획득된 이미지들의 각각에 대한, 적어도 하나의 품질 메트릭 값을 결정하는 단계(210, 220),
    이미지 프로세서에 의해, 상기 시간적 시퀀스의 이미지들의 상기 장면이 행동을 포함하는지를 검출하는 단계(305),
    상기 장면이 행동을 포함한다는 결정(210, 220)에 응답하여, 상기 시간적 시퀀스의 이미지들을 둘 이상의 섹션들로 분할하는 단계(200),
    각 섹션 내에서 상기 이미지들의 상기 품질 메트릭 값들을 비교하는 단계(625), 및
    상기 둘 이상의 섹션들 각각 마다, 상기 품질 메트릭 값들의 비교에 기초하여, 적어도 하나의 이미지를 키퍼 이미지로서 선택하는 단계(635)
    를 포함하는, 이미지 처리 방법.
  18. 제17항에 있어서, 상기 시간적 시퀀스의 이미지들을 분할하는 단계는, 장면의 변화를 검출하는 것(510)에 기초하는, 이미지 처리 방법.
  19. 제17항 또는 제18항에 있어서,
    상기 방법은, 상기 시간적 시퀀스의 이미지들 중의 이미지들 간의 거리를 계산하는 단계(505)를 더 포함하고, 상기 시간적 시퀀스의 이미지들을 분할하는 단계(200)는 계산된 상기 이미지들 간의 거리에 기초하는, 이미지 처리 방법.
  20. 제18항에 있어서,
    상기 시간적 시퀀스의 이미지들을 분할하는 단계(200)는, 서로 다른 섹션들로부터의 이미지들 간의 평균 거리에 대한 하나의 섹션 내의 이미지들 간의 평균 거리의 비율에 기초하는, 이미지 처리 방법.
KR1020167006182A 2013-09-09 2014-08-27 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택 KR101731771B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/021,857 2013-09-09
US14/021,857 US20150071547A1 (en) 2013-09-09 2013-09-09 Automated Selection Of Keeper Images From A Burst Photo Captured Set
PCT/US2014/052965 WO2015034725A1 (en) 2013-09-09 2014-08-27 Automated selection of keeper images from a burst photo captured set

Publications (2)

Publication Number Publication Date
KR20160040711A KR20160040711A (ko) 2016-04-14
KR101731771B1 true KR101731771B1 (ko) 2017-04-28

Family

ID=51570846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167006182A KR101731771B1 (ko) 2013-09-09 2014-08-27 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택

Country Status (6)

Country Link
US (2) US20150071547A1 (ko)
EP (1) EP3044947B1 (ko)
KR (1) KR101731771B1 (ko)
CN (1) CN105531988A (ko)
AU (2) AU2014315547A1 (ko)
WO (1) WO2015034725A1 (ko)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP3185116B1 (en) 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN104903835B (zh) 2012-12-29 2018-05-04 苹果公司 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US9307112B2 (en) * 2013-05-31 2016-04-05 Apple Inc. Identifying dominant and non-dominant images in a burst mode capture
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10038836B2 (en) * 2015-03-17 2018-07-31 Mediatek Inc. Automatic image capture during preview and image recommendation
JP6501569B2 (ja) * 2015-03-18 2019-04-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10477095B2 (en) * 2015-05-14 2019-11-12 Sri International Selecting optimal image from mobile device captures
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
KR102336448B1 (ko) * 2015-06-10 2021-12-07 삼성전자주식회사 사진 추출 전자 장치 및 방법
CN105007412A (zh) * 2015-07-02 2015-10-28 成都亿邻通科技有限公司 移动终端的照片存储方法
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US20170086790A1 (en) * 2015-09-29 2017-03-30 General Electric Company Method and system for enhanced visualization and selection of a representative ultrasound image by automatically detecting b lines and scoring images of an ultrasound scan
US9639560B1 (en) 2015-10-22 2017-05-02 Gopro, Inc. Systems and methods that effectuate transmission of workflow between computing platforms
FR3043233B1 (fr) * 2015-10-30 2018-04-06 Merry Pixel Procede de selection automatique d'images depuis un dispositif mobile
CN105654463A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 应用于连拍过程中的图像处理方法和装置
CN105654470B (zh) * 2015-12-24 2018-12-11 小米科技有限责任公司 图像选取方法、装置及系统
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9871994B1 (en) 2016-01-19 2018-01-16 Gopro, Inc. Apparatus and methods for providing content context using session metadata
US10078644B1 (en) 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US9787862B1 (en) * 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
US10129464B1 (en) 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US10229719B1 (en) 2016-05-09 2019-03-12 Gopro, Inc. Systems and methods for generating highlights for a video
US9953679B1 (en) 2016-05-24 2018-04-24 Gopro, Inc. Systems and methods for generating a time lapse video
US10402677B2 (en) 2016-06-10 2019-09-03 Apple Inc. Hierarchical sharpness evaluation
US9967515B1 (en) 2016-06-15 2018-05-08 Gopro, Inc. Systems and methods for bidirectional speed ramping
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US9973647B2 (en) 2016-06-17 2018-05-15 Microsoft Technology Licensing, Llc. Suggesting image files for deletion based on image file parameters
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10671895B2 (en) 2016-06-30 2020-06-02 Microsoft Technology Licensing, Llc Automated selection of subjectively best image frames from burst captured image sequences
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
CN106303234A (zh) * 2016-08-11 2017-01-04 广东小天才科技有限公司 拍照处理方法及装置
US10127246B2 (en) 2016-08-16 2018-11-13 Microsoft Technology Licensing, Llc Automatic grouping based handling of similar photos
US9953224B1 (en) 2016-08-23 2018-04-24 Gopro, Inc. Systems and methods for generating a video summary
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10044972B1 (en) 2016-09-30 2018-08-07 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10397415B1 (en) 2016-09-30 2019-08-27 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US11106988B2 (en) 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
US9916863B1 (en) 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
CN108629791B (zh) * 2017-03-17 2020-08-18 北京旷视科技有限公司 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN110495181A (zh) * 2017-03-28 2019-11-22 三星电子株式会社 用于发送关于三维图像的数据的方法
US10360663B1 (en) 2017-04-07 2019-07-23 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
CN107509024B (zh) * 2017-07-25 2019-01-04 维沃移动通信有限公司 一种拍照处理方法及移动终端
JP7285826B2 (ja) 2017-08-21 2023-06-02 コーニンクレッカ フィリップス エヌ ヴェ 肺超音波検査におけるｂラインの検知、提示及び報告
CN107562860B (zh) * 2017-08-29 2019-06-07 维沃移动通信有限公司 一种照片选取方法及移动终端
US10521705B2 (en) * 2017-11-14 2019-12-31 Adobe Inc. Automatically selecting images using multicontext aware ratings
KR20190069231A (ko) * 2017-12-11 2019-06-19 삼성전자주식회사 웨어러블 디스플레이 장치 및 그 제어 방법
CN108198177A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 图像获取方法、装置、终端及存储介质
US10474903B2 (en) * 2018-01-25 2019-11-12 Adobe Inc. Video segmentation using predictive models trained to provide aesthetic scores
WO2020000382A1 (en) * 2018-06-29 2020-01-02 Hangzhou Eyecloud Technologies Co., Ltd. Motion-based object detection method, object detection apparatus and electronic device
CN108540726B (zh) * 2018-05-15 2020-05-05 Oppo广东移动通信有限公司 连拍图像的处理方法、装置、存储介质及终端
CN108629338B (zh) * 2018-06-14 2021-10-19 五邑大学 一种基于lbp和卷积神经网络的人脸美丽预测方法
US11836597B2 (en) * 2018-08-09 2023-12-05 Nvidia Corporation Detecting visual artifacts in image sequences using a neural network model
US11163981B2 (en) * 2018-09-11 2021-11-02 Apple Inc. Periocular facial recognition switching
US10713517B2 (en) * 2018-09-30 2020-07-14 Himax Technologies Limited Region of interest recognition
CN109902189B (zh) 2018-11-30 2021-02-12 华为技术有限公司 一种图片选择方法及相关设备
WO2020155052A1 (zh) * 2019-01-31 2020-08-06 华为技术有限公司 一种基于连拍选择图像的方法及电子设备
CN112449099B (zh) * 2019-08-30 2022-08-19 华为技术有限公司 一种图像处理方法、电子设备及云服务器
CN112714246A (zh) * 2019-10-25 2021-04-27 Tcl集团股份有限公司 连拍照片获取方法、智能终端及存储介质
EP4047923A4 (en) 2020-12-22 2022-11-23 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE COMPRISING A CAMERA AND THEIR METHOD

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037869A1 (en) 2006-07-13 2008-02-14 Hui Zhou Method and Apparatus for Determining Motion in Images
JP2011229127A (ja) 2010-03-30 2011-11-10 Nikon Corp 画像処理装置、および画像評価プログラム

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5646521A (en) 1995-08-01 1997-07-08 Schlumberger Technologies, Inc. Analog channel for mixed-signal-VLSI tester
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
JP2002524930A (ja) 1998-08-28 2002-08-06 サーノフ コーポレイション 画像を電子的に拡張する方法および装置
US6271847B1 (en) 1998-09-25 2001-08-07 Microsoft Corporation Inverse texture mapping using weighted pyramid blending and view-dependent weight maps
US6549643B1 (en) 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
US7130864B2 (en) 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
KR100556732B1 (ko) 2001-12-29 2006-03-10 엘지전자 주식회사 동영상 확대영역 추적방법
JP3889650B2 (ja) 2002-03-28 2007-03-07 三洋電機株式会社 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体
US7639741B1 (en) 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
CN1251145C (zh) 2003-11-27 2006-04-12 上海交通大学 综合边缘和纹理信息的金字塔图像融合方法
US7924323B2 (en) * 2003-12-24 2011-04-12 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
JP4504322B2 (ja) * 2005-03-03 2010-07-14 富士フイルム株式会社 画像抽出装置、画像抽出方法、及び画像抽出プログラム
KR20080021646A (ko) 2005-05-09 2008-03-07 록히드 마틴 코포레이션 연속 확장 범위의 이미지 프로세싱
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7839429B2 (en) 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7739599B2 (en) * 2005-09-23 2010-06-15 Microsoft Corporation Automatic capturing and editing of a video
US8018999B2 (en) 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
US7688379B2 (en) * 2005-12-09 2010-03-30 Hewlett-Packard Development Company, L.P. Selecting quality images from multiple captured images
WO2007085950A2 (en) 2006-01-27 2007-08-02 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US8031775B2 (en) * 2006-02-03 2011-10-04 Eastman Kodak Company Analyzing camera captured video for key frames
JP4620607B2 (ja) 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
JP5084167B2 (ja) 2006-03-31 2012-11-28 キヤノン株式会社 位置姿勢計測方法及び装置
US7742083B2 (en) 2006-04-13 2010-06-22 Eastman Kodak Company In-camera dud image management
US8379154B2 (en) * 2006-05-12 2013-02-19 Tong Zhang Key-frame extraction from video
US20080170126A1 (en) 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
US7602418B2 (en) 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
US7796872B2 (en) 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
EP1972893A1 (en) 2007-03-21 2008-09-24 Universiteit Gent System and method for position determination
US7856120B2 (en) 2007-03-30 2010-12-21 Mitsubishi Electric Research Laboratories, Inc. Jointly registering images while tracking moving objects with moving cameras
JP4678603B2 (ja) 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
TWI355615B (en) 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
KR101023946B1 (ko) 2007-11-02 2011-03-28 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US8411938B2 (en) 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
US20090161982A1 (en) 2007-12-19 2009-06-25 Nokia Corporation Restoring images
US8525888B2 (en) * 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
KR101060488B1 (ko) * 2008-04-21 2011-08-30 주식회사 코아로직 최적 영상 선택 방법 및 장치
JP5072757B2 (ja) * 2008-07-24 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
KR101438237B1 (ko) * 2008-09-04 2014-09-04 삼성전자주식회사 카메라 모듈을 구비한 이동통신 단말기에서의 촬영방법 및 촬영장치
US8570386B2 (en) 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
US8515171B2 (en) 2009-01-09 2013-08-20 Rochester Institute Of Technology Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof
US8515182B2 (en) 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using multi-level decomposition of images
EP2396768B1 (en) 2009-02-12 2013-04-17 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
WO2010123923A1 (en) 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
JP5397481B2 (ja) * 2009-12-18 2014-01-22 富士通株式会社 画像選別装置及び画像選別方法
CN102209196B (zh) * 2010-03-30 2016-08-03 株式会社尼康 图像处理装置及图像评价方法
US8488010B2 (en) 2010-09-21 2013-07-16 Hewlett-Packard Development Company, L.P. Generating a stabilized video sequence based on motion sensor data
US8774528B2 (en) * 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
JP5652649B2 (ja) 2010-10-07 2015-01-14 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
US8687941B2 (en) * 2010-10-29 2014-04-01 International Business Machines Corporation Automatic static video summarization
CN101984463A (zh) 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8532421B2 (en) 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US8861836B2 (en) 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
US8379934B2 (en) 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
US8384787B2 (en) 2011-02-24 2013-02-26 Eastman Kodak Company Method for providing a stabilized video sequence
JP2012191442A (ja) * 2011-03-10 2012-10-04 Sanyo Electric Co Ltd 画像再生制御装置
EP2521091B1 (en) 2011-05-03 2016-04-20 ST-Ericsson SA Estimation of motion blur in a picture
US10134440B2 (en) * 2011-05-03 2018-11-20 Kodak Alaris Inc. Video summarization using audio and visual cues
US8983206B2 (en) 2011-05-04 2015-03-17 Ecole de Techbologie Superieure Method and system for increasing robustness of visual quality metrics using spatial shifting
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
KR101784176B1 (ko) 2011-05-25 2017-10-12 삼성전자주식회사 영상 촬영 장치 및 그 제어방법
US9007428B2 (en) 2011-06-01 2015-04-14 Apple Inc. Motion-based image stitching
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
US8913140B2 (en) 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
US9305240B2 (en) 2011-12-07 2016-04-05 Google Technology Holdings LLC Motion aligned distance calculations for image comparisons
KR101906827B1 (ko) * 2012-04-10 2018-12-05 삼성전자주식회사 연속 사진 촬영 장치 및 방법
US8860825B2 (en) 2012-09-12 2014-10-14 Google Inc. Methods and systems for removal of rolling shutter effects
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US9373054B2 (en) 2014-09-02 2016-06-21 Kodak Alaris Inc. Method for selecting frames from video sequences based on incremental improvement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037869A1 (en) 2006-07-13 2008-02-14 Hui Zhou Method and Apparatus for Determining Motion in Images
JP2011229127A (ja) 2010-03-30 2011-11-10 Nikon Corp 画像処理装置、および画像評価プログラム

Also Published As

Publication number Publication date
EP3044947B1 (en) 2020-09-23
US20150071547A1 (en) 2015-03-12
WO2015034725A1 (en) 2015-03-12
KR20160040711A (ko) 2016-04-14
CN105531988A (zh) 2016-04-27
AU2014315547A1 (en) 2016-03-17
US10523894B2 (en) 2019-12-31
US20170006251A1 (en) 2017-01-05
EP3044947A1 (en) 2016-07-20
AU2017261537B2 (en) 2019-10-03
AU2017261537A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
US20230360396A1 (en) System and method for providing dominant scene classification by semantic segmentation
US11093754B2 (en) Method, system and apparatus for selecting frames of a video sequence
CN108229369B (zh) 图像拍摄方法、装置、存储介质及电子设备
US9251439B2 (en) Image sharpness classification system
US9619708B2 (en) Method of detecting a main subject in an image
US8797448B2 (en) Rapid auto-focus using classifier chains, MEMS and multiple object focusing
AU2012219026B2 (en) Image quality assessment
JP4772839B2 (ja) 画像識別方法および撮像装置
CN106375674B (zh) 寻找和使用与相邻静态图像相关的视频部分的方法和装置
JP3984175B2 (ja) 写真画像選別装置およびプログラム
Sun et al. Photo assessment based on computational visual attention model
US8805112B2 (en) Image sharpness classification system
CN110807759B (zh) 照片质量的评价方法及装置、电子设备、可读存储介质
KR20140016401A (ko) 이미지 촬상 방법 및 장치
US20200258236A1 (en) Person segmentations for background replacements
JP2012105205A (ja) キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
Souza et al. Generating an Album with the Best Media Using Computer Vision
Sawada et al. Auto-framing based on user camera movement
CN116366960A (zh) 拍摄方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant