KR20230108644A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20230108644A
KR20230108644A KR1020220004315A KR20220004315A KR20230108644A KR 20230108644 A KR20230108644 A KR 20230108644A KR 1020220004315 A KR1020220004315 A KR 1020220004315A KR 20220004315 A KR20220004315 A KR 20220004315A KR 20230108644 A KR20230108644 A KR 20230108644A
Authority
KR
South Korea
Prior art keywords
image frame
identified
bulb
pixel values
identifying
Prior art date
Application number
KR1020220004315A
Other languages
English (en)
Inventor
최지웅
이민영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220004315A priority Critical patent/KR20230108644A/ko
Publication of KR20230108644A publication Critical patent/KR20230108644A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 카메라, 디스플레이 및 카메라를 통해 획득된 복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득하고, 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별하고, 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하고, 벌브 영역의 픽셀 값들이 보정된 종료 이미지 프레임을 표시하도록 디스플레이를 제어하는 프로세서를 포함하고, 프로세서는, 복수의 이미지 프레임 중 시작 이미지 프레임 및 종료 이미지 프레임을 선택하기 위한 UI(user interface)를 표시하고, UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 시작 이미지 프레임 및 종료 이미지 프레임인 것으로 식별한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 벌브(Bulb) 모드 기능을 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 카메라 기법의 발달과 함께, 카메라의 셔터를 장노출(즉, 셔터를 순간적으로 열고 닫는 일반적인 촬영과 달리, 셔터를 계속해서 열린 상태로 유지하는 것)하여 피사체의 움직임을 촬영할 수 있는 벌브(Bulb) 모드 기법이 광범위하게 사용되고 있다. 이러한 벌브 모드를 통해, 별의 궤적이나, 불꽃놀이에서 불꽃이 길게 늘어지는 장면을 촬영할 수 있다.
또한, 벌브 모드 기법이 광범위하게 사용되면서, 이미지 전부에 벌브 효과를 적용하는 것이 아닌, 이미지 내의 특정 영역에만 벌브 효과를 적용하는 기술도 개발되었다.
그러나, 벌브 모드 촬영을 위해서는 피사체의 움직임에 따라 셔터가 노출되는 시간을 정확하게 판단하여 직접 조리개를 개폐하여야 하므로, 벌브 모드로 촬영한 결과물을 예측하기 어려운 초보자는 벌브 모드 촬영을 쉽게 다룰 수 없다는 문제가 있었다.
또한, 이미지 내의 특정 영역에만 벌브 효과를 적용하는 기술의 경우, 피사체의 운동이 특정 영역을 벗어날 때에는 제대로된 벌브 효과를 제공할 수 없다는 문제가 있었다.
이에 따라, 초보자도 손쉽게 벌브 모드를 이용할 수 있고, 피사체의 운동이 특정 영역 내에만 머무르지 않는 경우에도 벌브 효과를 제공할 수 있는 방안의 모색이 요청된다.
본 개시는 상술한 문제를 개선하기 위한 것으로, 본 개시의 목적은 벌브 모드를 손쉽게 이용할 수 있고, 특정 영역 내에만 머무르지 않는 오브젝트에 대해서도 벌브 효과를 제공할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 카메라, 디스플레이 및 상기 카메라를 통해 획득된 복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득하고, 상기 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 상기 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별하고, 상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하고, 상기 벌브 영역의 픽셀 값들이 보정된 상기 종료 이미지 프레임을 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하고, 상기 프로세서는, 복수의 이미지 프레임 중 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임을 선택하기 위한 UI(user interface)를 표시하고, 상기 UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임인 것으로 식별한다.
여기에서, 상기 프로세서는, 상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 최댓값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
그리고, 상기 프로세서는, 상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
또한, 상기 프로세서는, 상기 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택하기 위한 사용자 명령이 수신되면, 상기 각 이미지 프레임에서 상기 선택된 오브젝트에 대응되는 오브젝트 영역을 획득할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트의 움직임 방향에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 상기 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별할 수 있다.
그리고, 상기 프로세서는, 기준 이미지 프레임의 장노출 길이를 식별하고, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 상기 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별할 수 있다.
또한, 상기 프로세서는, 상기 검출된 오브젝트의 타입을 식별하고, 상기 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별하고, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 상기 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득하는 단계, 상기 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 상기 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별하는 단계, 상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계 및 상기 벌브 영역의 픽셀 값들이 보정된 상기 종료 이미지 프레임을 표시하는 단계를 포함하고, 상기 벌브 영역을 식별하는 단계는, 상기 복수의 이미지 프레임 중 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임을 선택하기 위한 UI(user interface)를 표시하고, 상기 UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임인 것으로 식별하고, 상기 시작 이미지 프레임부터 상기 종료 이미지 프레임까지의 각 이미지 프레임에서 상기 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별한다.
여기에서, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계는, 상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 최댓값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
또한, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계는, 상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
그리고, 각 이미지 프레임에서 오브젝트 영역을 획득하는 단계는, 상기 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택하기 위한 사용자 명령이 수신되면, 상기 각 이미지 프레임에서 상기 선택된 오브젝트에 대응되는 오브젝트 영역을 획득할 수 있다.
그리고, 상기 오브젝트의 움직임 방향에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계 및 상기 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계를 더 포함하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별할 수 있다.
또한, 기준 이미지 프레임의 장노출 길이를 식별하는 단계, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계 및 상기 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계를 더 포함하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별할 수 있다.
그리고, 상기 검출된 오브젝트의 타입을 식별하는 단계, 상기 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별하고, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계 및 상기 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계를 더 포함하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별할 수 있다.
본 개시의 다양한 실시 예에 따르면, 영상에 포함된 오브젝트 중 벌브 모드의 적용을 원하는 오브젝트를 선택할 수 있으며, 시작 이미지 프레임 및 종료 이미지 프레임을 임의로 지정할 수 있어, 초보자도 벌브 모드 기능을 손쉽게 이용할 수 있고, 피사체의 운동이 특정 영역 내에 머무르지 않는 경우에도 벌브 효과를 제공할 수 있다.
도 1a은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,
도 1b는 본 개시의 일 실시 예에 따른 벌브 모드가 적용된 이미지를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3a은 본 개시의 일 실시 예에 따른 오브젝트의 영역을 식별하는 방법을 설명하기 위한 도면,
도 3b는 본 개시의 일 실시 예에 따른 벌브 영역을 식별하는 방법을 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 벌브 효과가 적용된 이미지를 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 벌브 영역의 픽셀 값들을 보정하는 방법을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 복수 이미지 프레임 중 시작 이미지 프레임 및 종료 이미지 프레임을 선택하는 과정을 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 검출된 오브젝트 중 사용자에 의해 선택된 오브젝트에 대응되는 오브젝트 영역을 획득하는 내용을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 복수 이미지 프레임 중 사용자에게 종료 이미지 프레임을 추천하는 UI를 표시하는 과정을 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 세부적인 구성을 나타내는 블록도,
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 벌브 모드 적용 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1a은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
전자 장치(100)는 주변 환경을 촬영할 수 있다. 즉, 전자 장치(100)는 주변에 있는 오브젝트(10)의 사진을 찍거나, 오브젝트(10)가 담긴 영상을 녹화할 수 있다. 또한, 전자 장치(100)는 컨텐트를 표시할 수 있다. 가령, 전자 장치(100)는 촬영한 이미지를 표시하거나, 영상을 재생할 수 있다.
이 경우, 전자 장치(100)는 도 1에 도시된 바와 같이 스마트폰으로 구현될 수 있다. 다만, 이는 일 예이고, 전자 장치(100)는 태블릿 PC, 디지털 카메라 등과 같이, 카메라 기능ㅇ을 구비한 타입의 장치로 구현될 수 있다.
특히, 전자 장치(100)는 등 피사체가 움직인 경로를 하나의 사진에 나타내는 벌브(Bulb) 모드 기능을 제공할 수 있다. 여기서 벌브 모드란 카메라의 셔터를 장노출(즉, 셔터를 순간적으로 열고 닫는 일반적인 촬영과 달리, 셔터를 계속해서 열린 상태로 유지하는 것)하여 피사체의 움직임을 촬영함으로서, 불꽃놀이에서 불꽃이 길게 늘어지는 장면 등 피사체의 움직임을 하나의 사진에 나타낼 수 있는 기법을 의미할 수 있다.
즉, 본 개시의 일 실시 예에 따른 전자 장치는, 오브젝트(10)를 촬영한 영상을 구성하는 복수의 이미지 프레임에 기초하여 피사체의 움직임을 하나의 사진에 나타낼 수 있는 벌브 모드 기능을 제공할 수 있다.
따라서, 도 1b에 도시된 바와 같이, 전자 장치(100)는 카메라를 통해 촬영한 영상에 벌브 모드 기능을 적용하여 움직이는 오브젝트(10)의 경로를 하나의 이미지로 나타낼 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 카메라(110), 디스플레이(120) 및 프로세서(130)를 포함할 수 있다.
카메라(110)는 영상을 촬영할 수 있다. 여기에서, 영상은 정지 영상 및 동영상을 포함할 수 있다. 이를 위해, 일 실시 예에 따르면, 카메라(110)는 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서 및 플래시 등을 포함할 수 있다.
디스플레이(120)는 영상을 표시할 수 있다. 이를 위해, 디스플레이(120)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 및 OLED(Organic Light Emitting Diode) 등과 같은 다양한 유형의 디스플레이로 구현될 수 있다.
한편, 디스플레이(120)는 그 구현 방식에 따라 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이(120)가 액정 방식인 경우, 디스플레이(120)는 LCD 디스플레이 패널(미도시), 이에 광을 공급하는 백라이트 유닛(미도시), 패널(미도시)을 구동시키는 패널 구동 기판(미도시) 등을 포함할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(130)는 전자 장치(100)에 마련된 메모리에 저장된 O/S(Operating System)나 각종 애플리케이션을 실행시켜, 전자 장치(100)에 구비된 각 하드웨어들의 동작을 제어하고, 각종 기능을 지원할 수 있다.
특히, 프로세서(130)는 오브젝트(10)를 촬영한 영상을 구성하는 복수의 이미지 프레임에 기초하여, 오브젝트에 대한 벌브 효과가 적용된 이미지를 생성할 수 있다.
이를 위해, 프로세서(130)는 카메라(110)를 통해 획득된 복수의 이미지 프레임을 획득할 수 있다.
예를 들어, 프로세서(130)는 촬영을 수행하기 위한 사용자 명령이 수신되면, 카메라(110)를 통해 촬영을 수행하여 이미지 프레임을 순차적으로 획득할 수 있다. 이 경우, 카메라(110)를 통한 촬영은 촬영 중단을 위한 사용자 명령이 수신될 때까지 수행될 수 있다.
그리고, 프로세서(130)는 카메라(110)를 통해 획득된 복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득할 수 있다.
이를 위해, 프로세서(130)는 복수의 이미지 프레임 각각에서 오브젝트를 검출할 수 있다. 일 예로, 프로세서(130)는 Semantic Segmentation과 같은 객체 분류 기법을 이용하여 복수의 이미지 프레임에서 오브젝트를 검출할 수 있다. 다만, 이는 일 예에 불과하고, 이미지 프레임에서 오브젝트를 검출하는 방법은 전술한 기법에 한정되지 않는다.
그리고, 프로세서(130)는 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별할 수 있다.
여기에서, 시작 이미지 프레임 및 종료 이미지 프레임은 복수의 이미지 프레임 중에서 선택될 수 있는데, 이와 관련된 구체적인 설명은 후술하도록 한다.
그리고, 벌브 영역이란 이미지 프레임에서 벌브 효과가 적용될 영역을 의미할 수 있다. 이 경우, 벌브 영역은 시작 이미지 프레임, 종료 이미지 프레임 및 시작 이미지 프레임과 종료 이미지 프레임 사이의 이미지 프레임들 각각에서, 오브젝트 영역을 포함하는 영역을 의미할 수 있다.
예를 들어, 불이 붙은 물건을 원의 궤적으로 회전시키는 2명의 사람을 카메라(110)를 통해 촬영한 경우를 가정한다.
이 경우, 도 3a와 같이, 프로세서(130)는 시작 이미지 프레임(310), 종료 이미지 프레임(330) 및 시작 이미지 프레임(310)과 종료 이미지 프레임(330) 사이의 이미지 프레임들 각각에서 불이 붙은 물건이 포함된 영역을 검출할 수 있다.
이에 따라, 시작 이미지 프레임(310)에서는 불이 붙은 물건이 포함된 영역(311, 312)이 검출되고, 종료 이미지 프레임(330)에서는 불이 붙은 물건이 포함된 영역 (331, 332)이 검출될 수 있다. 그리고, 시작 이미지 프레임(310)과 종료 이미지 프레임(330) 사이의 이미지 프레임들 중 N 번째 이미지 프레임(320)에서는 불이 붙은 물건이 포함된 영역(321, 322)이 검출될 수 있다. 한편, 도 3a에서는 N 번째 이미지 프레임(320)만을 도시하였으나, 시작 이미지 프레임(310)과 종료 이미지 프레임(330) 사이의 이미지 프레임들 각각에서 불이 붙은 물건이 포함된 영역이 검출될 수 있다.
그리고, 프로세서(130)는 각 이미지 프레임에서 벌브 영역을 식별할 수 있다. 구체적으로, 프로세서(130)는 이미지 프레임 별로, 시작 이미지 프레임부터 해당 이미지 프레임까지 검출된 오브젝트 영역에 대응되는 영역을 식별하고, 해당 영역을 포함하는 벌브 영역을 식별할 수 있다.
여기에서, 오브젝트 영역에 대응되는 영역은 오브젝트 영역과 동일한 위치를 갖는 영역을 의미할 수 있다.
즉, 프로세서(130)는 하나의 이미지 프레임에서 벌브 영역을 식별하기 위해, 시작 이미지 프레임부터 해당 이미지 프레임까지 검출된 오브젝트 영역의 위치(가령, 이미지 프레임에서 영역의 좌표 값들)를 식별하고, 하나의 이미지 프레임에서 해당 위치와 동일한 위치를 갖는 영역(즉, 이미지 프레임을 기준으로 동일한 좌표 값들을 갖는 영역)을 식별할 수 있다. 그리고, 프로세서(130)는 하나의 이미지 프레임에서 검출된 오브젝트 영역 및 해당 이미지 프레임 이전의 각 이미지 프레임에서 검출된 오브젝트 영역과 동일한 위치를 갖는 영역들을 포함하는 영역을 하나의 이미지 프레임의 벌브 영역으로 식별할 수 있다.
이와 같은 방법을 통해, 프로세서(130)는 시작 이미지 프레임, 종료 이미지 프레임 및 시작 이미지 프레임과 종료 이미지 프레임 사이의 이미지 프레임들 각각에서 벌브 영역을 식별할 수 있다.
예를 들어, 도 3b를 참조하면, 시작 이미지 프레임(310)의 경우, 시작 이미지 프레임(310)의 이전 이미지 프레임은 존재하지 않으므로, 프로세서(130)는 시작 이미지 프레임(310)에 대해 시작 이미지 프레임(310)에서 검출된 오브젝트 영역(311, 312)만을 포함하는 영역을 시작 이미지 프레임(310)의 벌브 영역(301, 302)으로 식별할 수 있다.
다음으로, N 번째 이미지 프레임(320)의 경우, 시작 이미지 프레임(310)부터 N 번째 이미지 프레임(320)까지 검출된 오브젝트 영역(311, 312)과 동일한 위치를 갖는 영역(311’, 312’)을 포함하는 벌브 영역(301’, 302’)을 식별할 수 있다.
마찬가지로, 종료 이미지 프레임(330)의 경우, 시작 이미지 프레임(320)부터 종료 이미지 프레임(330)까지 검출된 오브젝트 영역(311, 312, 321, 322)과 동일한 위치를 갖는 영역(311’, 312’, 321’, 322’)을 포함하는 벌브 영역(301’’, 302’’)을 식별할 수 있다.
이와 같이, 프로세서(130)는 시작 이미지 프레임부터 종료 이미지 프레임까지 각 이미지 프레임에서 벌브 영역을 식별할 수 있다.
그리고, 프로세서(130)는 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하고, 벌브 영역의 픽셀 값들이 보정된 종료 이미지 프레임을 표시하도록 디스플레이(120)를 제어할 수 있다.
구체적으로, 프로세서(130)는 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 최댓값에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
구체적으로, 벌브 영역은 복수의 픽셀로 구성될 수 있다. 이 경우, 프로세서(130)는 이미지 프레임들(즉, 시작 이미지 프레임, 종료 이미지 프레임 및 시작 이미지 프레임과 종료 이미지 프레임 사이의 이미지 프레임)에서 서로 동일한 위치를 갖는 픽셀들 간에 픽셀 값들을 비교하고, 이들 픽셀 값들 중 가장 큰 픽셀 값(즉, R 픽셀 값들 중 최대 값, G 픽셀 값들 중 최대 값, B 픽셀 값들 중 최대 값)을 종료 이미지 프레임에서의 해당 픽셀의 픽셀 값으로 결정할 수 있다.
이와 같은 방식으로 프로세서(130)는 벌브 영역에 포함된 모든 픽셀 값들의 최댓값을 식별하고, 최대값에 기초하여 종료 이미지 프레임에서 벌브 영역에 포함된 모든 픽셀 값들을 보정할 수 있다.
또한, 프로세서(130)는 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균 값에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
구체적으로, 벌브 영역은 복수의 픽셀로 구성될 수 있다. 이 경우, 프로세서(130)는 이미지 프레임들(즉, 시작 이미지 프레임, 종료 이미지 프레임 및 시작 이미지 프레임과 종료 이미지 프레임 사이의 이미지 프레임)에서 서로 동일한 위치를 갖는 픽셀들의 픽셀 값들의 평균을 산출하고, 산출된 평균 값(즉, R 픽셀 값들의 평균, G 픽셀 값들의 평균, B 픽셀 값들의 평균)을 종료 이미지 프레임에서의 해당 픽셀의 픽셀 값으로 결정할 수 있다.
이와 같은 방식으로 프로세서(130)는 벌브 영역에 포함된 모든 픽셀 값들의 평균 값을 식별하고, 평균 값에 기초하여 종료 이미지 프레임에서 벌브 영역에 포함된 모든 픽셀 값들을 보정할 수 있다. 이를 통해, 오브젝트가 지나간 궤적에 오브젝트의 RGB 값을 반영하도록 보정함으로써 오브젝트의 움직임을 하나의 이미지로 나타낼 수 있다.
이와 같은 방식에 따라, 벌브 영역이 보정된 종료 이미지 프레임(410)은 일 예로, 도 4와 같이 나타낼 수 있다. 도 4를 참조하면, 종료 이미지 프레임(410)에서 불이 붙은 물건이 포함된 영역은 원을 그리며 회전하는 것과 같은 벌브 효과가 적용된 것과 같이 표현될 수 있다.
이와 같이, 본 개시의 일 실시 예에 따르면, 카메라(110)의 셔터의 노출 시간을 제어하는 것이 아니라, 복수의 이미지 프레임을 이용하여 오브젝트에 대한 벌브 효과가 적용된 이미지 프레임을 생성할 수 있다. 또한, 각 이미지 프레임에서 오브젝트를 검출하여, 벌브 효과가 적용되는 벌브 영역을 식별한다는 점에서, 움직이는 오브젝트에 대해서도 벌브 효과를 적용할 수 있게 된다.
한편, 전술한 예에서는 최대 픽셀 값 또는 평균 픽셀 값을 이용하는 것으로 설명하였으나, 이는 일 예에 불과하다. 즉, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 방법에는 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균값에 기설정된 비율을 곱한 값으로 보정하거나, 각 프레임에 기설정된 비율로 가중치를 적용한 값으로 보정하는 등과 같이 다양한 방식이 적용될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 방법을 선택하기 위한 UI를 제공하고, UI를 통해 선택된 방법에 기초하여 픽셀 값들을 보정할 수 있다.
예를 들어, 도 5a 및 도 5b를 참조하면, 프로세서(130)는 주간 모드(51) 또는 야간 모드(52) 중 하나를 선택하기 위한 UI를 디스플레이(120)에 표시할 수 있다.
이에 따라, 프로세서(130)는 주간 모드(51) 또는 야간 모드(52) 중 하나를 선택하기 위한 사용자 명령을 수행할 수 있다.
여기에서, 주간 모드(51)란, 도 5a에 도시된 바와 같이 불이 담긴 통이 움직인 궤적을 나타내기는 하나, 불이 담긴 통의 밝기를 그대로 궤적에 나타내지 않고, 배경의 RGB 값을 고려하여 벌브 영역을 실제 불이 담긴 통의 RGB 밝기보다 어둡게 보정하는 모드를 의미할 수 있다.
즉, 주간 모드(51)는 각 이미지 프레임의 RGB 픽셀 값의 평균값으로 벌브 영역을 보정하는 방법에 대응될 수 있다.
야간 모드(52)란, 도 5b에 도시된 바와 같이 불이 담긴 통이 움직인 궤적에 불이 담긴 통의 밝기를 그대로 나타내어 밤과 같이 배경이 어두울 때, 피사체의 움직임을 더욱 강조할 수 있도록 이미지를 보정하는 모드를 의미할 수 있다.
즉, 야간 모드(52)는 각 이미지 프레임의 RGB 픽셀 값의 최댓값으로 벌브 영역을 보정하는 방법에 대응될 수 있다.
이에 따라, 프로세서(130)는 주간 모드(51)를 선택하는 사용자 명령이 수신되면, RGB 픽셀 값의 평균값에 기초하여 종료 이미지 프레임의 벌브 영역의 픽셀 값을 보정하고, 보정된 종료 이미지 프레임을 디스플레이(120)에 표시할 수 있다. 또한, 프로세서(130)는 야간 모드(52)를 선택하는 사용자 명령이 수신되면, RGB 픽셀 값의 최댓값에 기초하여 종료 이미지 프레임의 벌브 영역의 픽셀 값을 보정하고, 보정된 종료 이미지 프레임을 디스플레이(120)에 표시할 수 있다.
한편, 전술한 예에서는 주간 모드(51) 및 야간 모드(52)인 것으로 설명하였지만, 이는 임의의 명칭에 불과하고, 이와 같은 명칭으로 한정되는 것은 아니다.
한편, 이하에서는 시작 이미지 프레임 및 종료 이미지 프레임을 결정하는 방법에 대해 설명하도록 한다.
구체적으로, 프로세서(130)는 복수의 이미지 프레임 중 시작 이미지 프레임 및 종료 이미지 프레임를 선택하기 위한 UI(user interface)를 표시하고, UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 시작 이미지 프레임 및 종료 이미지 프레임인 것으로 식별할 수 있다.
즉, 도 6a를 참조하면, 프로세서(130)는 복수의 이미지 프레임 중 시작 이미지 프레임 및 종료 이미지 프레임을 선택할 수 있는 Progress Bar 형태의 UI를 표시하도록 디스플레이(120)를 제어할 수 있다. 사용자는 Progress Bar를 이용하여 시작점(61) 및 종료점(62)을 선택할 수 있다.
이때, 프로세서(130)는 전체 Progress Bar의 길이 및 사용자가 선택한 시작점 및 종료점의 위치에 기초하여, 이들에 대응되는 제1 및 제2 프레임을 각각 시작 이미지 프레임 및 종료 이미지 프레임으로 식별할 수 있다.
즉, 시작점(61)은 Progress Bar의 좌측 지점에 위치하므로, 이에 대응되는 프레임은 영상의 초반 부분이고, 종료점(62)은 Progress Bar의 중간 지점에 위치하므로, 이에 대응되는 프레임은 영상의 중반 부분에 해당할 수 있다.
예를 들어, 카메라(110)에 의해 촬영된 영상의 전체 길이가 1분인 경우, Progress Bar의 길이는 1분일 수 있다. 이 경우, 사용자에 의해 선택된 시작점 및 종료점의 위치가 각각 10초, 50초인 경우, 프로세서(130)는 1분 동안 촬영된 복수의 이미지 프레임 중 10초에 촬영된 이미지 프레임을 시작 이미지 프레임인 것으로 식별하고, 1분 동안 촬영된 복수의 이미지 프레임 중 50초에 촬영된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
이때, 종료점(62)에 대응되는 프레임은 영상의 중반 부분이므로, 도 6a에 도시된 바와 같이 프로세서(130)는 영상의 중반 프레임까지 쥐불이 움직인 영역의 픽셀 값들을 보정한 이미지 프레임을 디스플레이(120)에 표시할 수 있다.
여기에서, 사용자는 종료점(62)을 조절하여 벌브 효과를 적용할 이미지 프레임의 구간을 조절할 수 있다.
즉, 도 6b에 도시된 바와 같이, 사용자가 종료점(62)을 드래그하여 이동시키면, 이동된 종료점(62’)에 대응되는 프레임까지 쥐불이 움직인 영역의 픽셀 값들을 보정한 이미지 프레임이 디스플레이(120)에 표시될 수 있다.
즉, 이동된 종료점(62’)은 Progress Bar의 우측 지점에 위치하므로, 이에 대응되는 프레임은 영상의 후반 부분에 해당하고, 이에 따라 프로세서(130)는 영상의 후반 프레임까지 쥐불이 움직인 영역의 픽셀 값들을 보정한 이미지 프레임을 디스플레이(120)에 표시할 수 있다.
따라서, 사용자는 Progress Bar의 시작점과 종료점을 조절하여, 시작점 및 종료점에 대응되는 이미지 프레임의 구간으로 벌브 효과를 적용한 결과물을 실시간으로 확인할 수 있으므로, 벌브 모드로 촬영한 결과물을 예측하여 손쉽게 벌브 모드 구간을 선택할 수 있다는 장점이 있다.
한편, 프로세서(130)는, 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택하기 위한 사용자 명령이 수신되면, 각 이미지 프레임에서 선택된 오브젝트에 대응되는 오브젝트 영역을 획득할 수 있다.
즉, 프로세서(130)는 선택된 오브젝트에 대응되는 오브젝트 영역을 식별하여, 선택된 오브젝트에 대해서만 벌브 효과가 적용된 이미지 프레임을 생성할 수 있다.
이를 위해, 프로세서(130)는 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택할 수 있는 UI를 표시하도록 디스플레이(120)를 제어할 수 있다.
구체적으로, 도 7a를 참조하면, 프로세서(130)는 종료 이미지 프레임에서 검출된 왼쪽 사람이 들고 있는 불이 붙은 물건(31) 및 오른쪽 사람이 들고 있는 불이 붙은 물건(32) 중 하나를 선택할 수 있는 UI(71)를 표시할 수 있다.
이 경우, 프로세서(130)는 왼쪽 사람이 들고 있는 불이 붙은 물건(31)을 선택하는 사용자 명령이 수신되면, 각 이미지 프레임에서 왼쪽 사람이 들고 있는 불이 붙은 물건(31)이 포함된 오브젝트 영역을 획득할 수 있다.
그리고, 프로세서(130)는 각 이미지 프레임에서 식별된 영역을 이용하여, 도 7b와 같이, 왼쪽 사람이 들고 있는 불이 붙은 물건(31)에 대해서만 벌브 효과가 적용된 이미지를 생성할 수 있다.
즉, 본 개시의 일 실시 예에 따르면, 객체 분류 기법을 통해 객체 단위 별로 벌브 모드를 적용함으로써 사용자는 손쉽게 벌브 모드를 적용할 객체를 선택할 수 있고, 특정 영역을 벗어나는 피사체의 움직임에 대해서도 벌브 모드를 적용할 수 있다는 장점이 있다.
또한, 본 개시의 일 실시 예에 따른 전자 장치(100)는, 오브젝트의 움직임 방향, 기준 이미지 프레임의 장노출 길이, 오브젝트의 타입에 대응되는 장노출 길이 등에 기초하여 사용자에게 종료 이미지 프레임을 추천하는 기능을 제공할 수도 있다.
즉, 도 8를 참조하면, 프로세서(130)는 오브젝트의 움직임 방향, 기준 이미지 프레임의 장노출 길이, 오브젝트의 타입에 대응되는 장노출 길이 등에 기초하여 사용자에게 종료 시점을 추천하는 UI(80)를 구성하는 적어도 하나의 이미지 프레임을 식별하고, 사용자에게 종료 시점을 추천하는 UI(80)을 표시하도록 디스플레이(120)를 제어할 수 있다.
이에 따라, 사용자는 도 8에 도시된 바와 같이 이미지 프레임(81) 및 이미지 프레임(82) 중 하나를 종료 이미지 프레임으로 선택할 수 있고, 각 이미지 프레임 종료 이미지 프레임으로 선택했을 때 벌브 효과가 적용된 이미지를 실시간으로 확인할 수 있다.
이를 통해, 본 개시의 일 실시 예에 따른 전자 장치(100)는 벌브 효과를 적용하기 위한 시간 구간을 설정하는 데 숙련되지 않은 초보자도 추천 종료 시점을 활용함으로써 손쉽게 벌브 모드를 적용한 이미지를 얻을 수 있다는 장점이 있다.
구체적으로, 프로세서(130)는, 오브젝트의 움직임 방향에 기초하여 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다. 이 경우, 시작 이미지 프레임은 사용자 명령에 기초하여 선택된 이미지 프레임이거나, 영상의 첫 번째 이미지 프레임일 수 있다.
즉, 프로세서(130)는, 복수의 이미지 프레임에서 오브젝트의 움직임 방향을 검출하고, 움직임 방향에 변화가 있는 경우(가령, 움직이던 오브젝트가 정지하거나, 직선 운동하던 오브젝트가 다른 방향으로 경로를 이동하는 등), 움직임 방향에 변화가 있는 적어도 하나의 이미지 프레임을 추천하는 UI를 표시하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
또한, 프로세서(130)는 기준 이미지 프레임의 장노출 길이를 식별하고, 식별된 장노출 길이에 기초하여 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다. 이 경우, 시작 이미지 프레임은 사용자 명령에 기초하여 선택된 이미지 프레임이거나, 영상의 첫 번째 이미지 프레임일 수 있다.
여기에서, 기준 이미지 프레임은 사용자가 원하는 느낌의 벌브 효과가 적용된 사진을 의미할 수 있다. 이러한 기준 이미지 프레임은 전자 장치(100)에 기저장되어 있을 수 있으며, 기준 이미지 프레임의 메타 데이터는 기준 이미지 프레임의 촬영 시, 카메라의 셔터가 열린 상태로 유지된 시간에 대한 데이터를 포함할 수 있다.
이에 따라, 프로세서(130)는 기준 이미지 프레임의 메타 데이터를 이용하여, 기준 이미지 프레임의 장노출 시간을 식별하고, 시작 이미지 프레임으로부터 기준 이미지 프레임의 장노출 길이만큼 경과한 시점의 이미지 프레임을 선택하기 위한 UI를 표시하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
또한, 프로세서(130)는 검출된 오브젝트의 타입을 식별하고, 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별하고, 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다. 이 경우, 시작 이미지 프레임은 사용자 명령에 기초하여 선택된 이미지 프레임이거나, 영상의 첫 번째 이미지 프레임일 수 있다.
이를 위해, 프로세서(130)는 카메라(110)를 통해 획득된 복수의 이미지 프레임 각각에서 검출된 오브젝트의 타입(가령, 불꽃놀이, 천체, 유수의 흐름 등)을 식별할 수 있다. 그리고, 프로세서(130)는 기저장된 데이터를 이용하여 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별할 수 있다.
여기서, 기저장된 데이터는 오브젝트의 타입 별로, 벌브 모드 촬영을 위해 카메라의 셔터가 열린 상태로 유지되는 시간 구간에 대한 데이터를 포함할 수 있다.
가령, 오브젝트의 타입이 불꽃놀이인 경우에는 벌브 모드 촬영을 위해 카메라의 셔터를 노출해야 하는 시간 구간은 1초이고, 오브젝트의 타입이 천체인 경우에는 벌브 모드 촬영을 위해 카메라의 셔터를 노출해야 하는 시간 구간이 1시간일 수 있다. 다만, 이는 일 예일 뿐, 오브젝트의 타입에 대응되는 시간 구간은 다양한 값을 가질 수 있다.
이후, 프로세서(130)는 복수의 이미지 프레임 중 시작 이미지 프레임으로부터 식별된 기준 프레임의 장노출 길이만큼 경과한 시점에 대응되는 이미지 프레임을 선택하기 위한 UI를 표시하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
즉, 본 개시의 일 실시 예에 따른 전자 장치는 사용자에게 벌브 모드 효과가 적용된 이미지를 얻을 수 있는 구간을 식별 및 추천할 수 있고, 사용자는 이를 통해 손쉽게 벌브 모드를 이용할 수 있게 된다.
도 9은 본 개시의 일 실시 예에 따른 전자 장치의 세부적인 구성을 나타내는 블록도이다.
도 9을 참조하면, 전자 장치(100)는 카메라(110), 디스플레이(120) 및 프로세서(130) 이외에도 입력 인터페이스(140), 통신 인터페이스(150) 및 메모리(160)를 더 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것으로서, 본 개시를 실시함에 있어 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.
한편, 도 9를 설명함에 있어, 도 1 내지 도 8과 중복되는 설명은 생략하도록 한다.
입력 인터페이스(140)는 사용자 입력을 수신하기 위한 구성이다. 이 경우, 입력 인터페이스(140)는 전자 장치(100)에 마련된 버튼 또는 디스플레이 장치(100)를 제어하기 위한 리모컨으로부터 사용자 입력에 따른 제어 명령을 수신하기 위한 리모컨 신호 수신부 등으로 구현될 수 있다.
이 경우, 프로세서(130)는 입력 인터페이스(140)를 통해 수신된 사용자 입력에 대응되는 동작을 수행할 수 있다. 예를 들어, 프로세서(130)는 입력 인터페이스(140)를 통해 벌브 모드를 적용할 시작점 및 종료점을 선택하는 사용자 명령이 수신되면, 시작점 및 종료점에 대응되는 프레임을 각각 시작 이미지 프레임 및 종료 이미지 프레임인 것으로 식별할 수 있다.
통신 인터페이스(150)는 외부 장치와 통신을 수행하기 위한 구성이다. 프로세서(130)는 통신 인터페이스(150)를 통해 데이터를 외부 장치로 전송하고, 외부 장치로부터 데이터를 수신할 수 있다.
이를 위해, 통신 인터페이스(150)는 다양한 통신 방식을 이용하여 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(150)는 블루투스, 와이파이, 이동통신 등과 같은 통신 방식을 이용하여 외부 장치와 통신을 수행할 수 있으며, 이러한 통신 방식에 따른 통신을 수행하기 위한 통신 모듈을 포함할 수 있다.
메모리(160)는 전자 장치(100)와 관련된 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(160)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(160)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 데이터가 저장될 수도 있다. 이 경우, 메모리(160)는 프레임 버퍼와 같은 휘발성 메모리, 플래시 메모리 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 벌브 모드 적용 방법을 설명하기 위한 흐름도이다.
먼저, 복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득한다(S1010)
이후, 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별한다(S1020)
그리고, 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정한다(S1030).
이후, 벌브 영역의 픽셀 값들이 보정된 종료 이미지 프레임을 표시한다(S1040).
그리고, 벌브 영역을 식별하는 단계는, 복수의 이미지 프레임 중 시작 이미지 프레임 및 종료 이미지 프레임을 선택하기 위한 UI(user interface)를 표시하고, UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 시작 이미지 프레임 및 종료 이미지 프레임인 것으로 식별하고, 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별한다.
여기에서, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계는, 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 최댓값에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
또한, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계는, 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균값에 기초하여, 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정할 수 있다.
그리고, 각 이미지 프레임에서 오브젝트 영역을 획득하는 단계는, 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택하기 위한 사용자 명령이 수신되면, 각 이미지 프레임에서 선택된 오브젝트에 대응되는 오브젝트 영역을 획득할 수 있다.
그리고, 오브젝트의 움직임 방향에 기초하여 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계 및 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계를 더 포함하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
또한, 기준 이미지 프레임의 장노출 길이를 식별하는 단계, 식별된 장노출 길이에 기초하여 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계 및 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계를 더 포함하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
그리고, 검출된 오브젝트의 타입을 식별하는 단계, 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별하고, 식별된 장노출 길이에 기초하여 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계 및 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계를 더 포함하고, UI를 통해 선택된 이미지 프레임을 종료 이미지 프레임인 것으로 식별할 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 전자 장치 110 : 카메라
120 : 디스플레이 130 : 프로세서

Claims (14)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이; 및
    상기 카메라를 통해 획득된 복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득하고,
    상기 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 상기 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별하고,
    상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하고,
    상기 벌브 영역의 픽셀 값들이 보정된 상기 종료 이미지 프레임을 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 복수의 이미지 프레임 중 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임을 선택하기 위한 UI(user interface)를 표시하고, 상기 UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임인 것으로 식별하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 최댓값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택하기 위한 사용자 명령이 수신되면, 상기 각 이미지 프레임에서 상기 선택된 오브젝트에 대응되는 오브젝트 영역을 획득하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 움직임 방향에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 상기 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    기준 이미지 프레임의 장노출 길이를 식별하고, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 상기 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 검출된 오브젝트의 타입을 식별하고, 상기 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별하고, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하고, 상기 식별된 이미지 프레임 중 하나를 선택하기 위한 UI를 표시하고, 상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별하는, 전자 장치.
  8. 전자 장치의 제어 방법에 있어서,
    복수의 이미지 프레임 각각에서 오브젝트를 검출하여, 각 이미지 프레임에서 오브젝트 영역을 획득하는 단계;
    상기 복수의 이미지 프레임 중 시작 이미지 프레임부터 종료 이미지 프레임까지의 각 이미지 프레임에서 상기 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별하는 단계;
    상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계; 및
    상기 벌브 영역의 픽셀 값들이 보정된 상기 종료 이미지 프레임을 표시하는 단계;를 포함하고,
    상기 벌브 영역을 식별하는 단계는,
    상기 복수의 이미지 프레임 중 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임을 선택하기 위한 UI(user interface)를 표시하고, 상기 UI를 통해 선택된 제1 및 제2 이미지 프레임을 각각 상기 시작 이미지 프레임 및 상기 종료 이미지 프레임인 것으로 식별하고, 상기 시작 이미지 프레임부터 상기 종료 이미지 프레임까지의 각 이미지 프레임에서 상기 획득된 오브젝트 영역을 포함하는 벌브 영역을 식별하는, 전자 장치의 제어 방법.
  9. 제8항에 있어서,
    상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계는,
    상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 최댓값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는, 전자 장치의 제어 방법.
  10. 제8항에 있어서,
    상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는 단계는,
    상기 각 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들의 평균값에 기초하여, 상기 종료 이미지 프레임에서 식별된 벌브 영역의 픽셀 값들을 보정하는, 전자 장치의 제어 방법.
  11. 제8항에 있어서,
    각 이미지 프레임에서 오브젝트 영역을 획득하는 단계는,
    상기 종료 이미지 프레임에서 검출된 오브젝트 중 적어도 하나를 선택하기 위한 사용자 명령이 수신되면, 상기 각 이미지 프레임에서 상기 선택된 오브젝트에 대응되는 오브젝트 영역을 획득하는, 전자 장치의 제어 방법.
  12. 제8항에 있어서,
    상기 오브젝트의 움직임 방향에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계; 및
    상기 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계;를 더 포함하고,
    상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별하는, 전자 장치의 제어 방법.
  13. 제8항에 있어서,
    기준 이미지 프레임의 장노출 길이를 식별하는 단계;
    상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계; 및
    상기 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계;를 더 포함하고,
    상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별하는, 전자 장치의 제어 방법.
  14. 제8항에 있어서,
    상기 검출된 오브젝트의 타입을 식별하는 단계;
    상기 식별된 오브젝트의 타입에 대응되는 장노출 길이를 식별하고, 상기 식별된 장노출 길이에 기초하여 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 식별하는 단계; 및
    상기 식별된 이미지 프레임을 선택하기 위한 UI를 표시하는 단계;를 더 포함하고,
    상기 UI를 통해 선택된 이미지 프레임을 상기 종료 이미지 프레임인 것으로 식별하는, 전자 장치의 제어 방법.
KR1020220004315A 2022-01-11 2022-01-11 전자 장치 및 그 제어 방법 KR20230108644A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220004315A KR20230108644A (ko) 2022-01-11 2022-01-11 전자 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220004315A KR20230108644A (ko) 2022-01-11 2022-01-11 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20230108644A true KR20230108644A (ko) 2023-07-18

Family

ID=87423466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220004315A KR20230108644A (ko) 2022-01-11 2022-01-11 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20230108644A (ko)

Similar Documents

Publication Publication Date Title
KR102598109B1 (ko) 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
US20220350405A1 (en) Image changes based on facial appearance
US9264630B2 (en) Method and apparatus for creating exposure effects using an optical image stabilizing device
WO2020076356A1 (en) Systems and methods for providing feedback for artificial intelligence-based image capture devices
CN108028888B (zh) 用于以隔行曝光捕捉图像帧的方法及装置
JP2009251658A (ja) 携帯型電子装置及びその制御方法
US9936142B2 (en) Exposure control apparatus and exposure control method
US11089259B2 (en) Video recording method and video recording terminal
KR20160056928A (ko) 화이트 밸런스 조절 방법 및 장치
CN105765965A (zh) 摄像装置和摄像装置的控制方法
US9215368B2 (en) Virtual decals for precision alignment and stabilization of motion graphics on mobile video
US10542204B2 (en) Methods and apparatuses for capturing multiple digital image frames
CN105516611A (zh) 摄像装置和摄影方法
CN104658462B (zh) 投影机以及投影机的控制方法
US10116856B2 (en) Imaging apparatus and imaging method for controlling a display while continuously adjusting focus of a focus lens
WO2015180684A1 (zh) 基于移动终端的摄影仿真教学方法及系统、存储介质
CN109472738B (zh) 图像光照校正方法及装置、电子设备和存储介质
CN112673311B (zh) 确定人造照明设置和摄像机设置的方法、软件产品、摄像机装置和系统
US20140184586A1 (en) Depth of field visualization
CN106165413A (zh) 自动色度键背景发生器
JP5725425B2 (ja) 撮像装置及び撮像方法並びにプログラム
KR102159803B1 (ko) 촬영 가이드 제공 장치 및 프로그램
US11233936B2 (en) Method and electronic device for recommending image capture mode
KR20230108644A (ko) 전자 장치 및 그 제어 방법
US20190052791A1 (en) Image processing apparatus and image processing method