KR20140060750A - 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치 - Google Patents

전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치 Download PDF

Info

Publication number
KR20140060750A
KR20140060750A KR1020120127444A KR20120127444A KR20140060750A KR 20140060750 A KR20140060750 A KR 20140060750A KR 1020120127444 A KR1020120127444 A KR 1020120127444A KR 20120127444 A KR20120127444 A KR 20120127444A KR 20140060750 A KR20140060750 A KR 20140060750A
Authority
KR
South Korea
Prior art keywords
focus
image
focused
camera lens
targets
Prior art date
Application number
KR1020120127444A
Other languages
English (en)
Other versions
KR101990073B1 (ko
Inventor
최영근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120127444A priority Critical patent/KR101990073B1/ko
Priority to EP13192019.1A priority patent/EP2731326B1/en
Priority to CN201310559957.5A priority patent/CN103813098B/zh
Priority to US14/078,250 priority patent/US9319580B2/en
Publication of KR20140060750A publication Critical patent/KR20140060750A/ko
Application granted granted Critical
Publication of KR101990073B1 publication Critical patent/KR101990073B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

전자장치에서 다초점 영상 촬영방법은, 프리뷰 상태에서 다수 초점 대상을 선택하는 과정과, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하는 과정과, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 과정을 포함하여, 앵글을 고정한 상태에서 사용자가 여러 번 초점을 이동하여 촬영을 해야하는 불편함을 줄일 수 있다.

Description

전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치{METHOD AND APPARATUS FOR SHOOTING AND STORING MULTI-FOCUSED IMAGE IN ELECTRONIC DEVICE}
본 발명은 일반적으로 전자장치에 관한 것으로, 특히 카메라 장치를 탑재한 휴대용 단말기에서 카메라를 사용함에 있어 다중 초점을 수동 또는 자동으로 선택한 후 하나의 앵글에서 다중 초점에 맞춰진 이미지들을 촬영하는 방법 및 장치에 관한 것이다.
최근 정보통신기술 및 멀티미디어 기술의 발달로 휴대용 단말기와 같은 전자장치 내에 대부분 디지털 카메라 기능을 지원하고 있다. 요즘에는 디지털 카메라와 거의 비슷한 정도의 해상도를 갖는 카메라를 내장한 휴대용 단말기가 등장하고 있다. 또한, 휴대용 단말기에 디지털 카메라의 고유 기능을 구현하면서 화질을 개선하는 방향으로 개발되고 있다. 화질개선을 위하여 기존 단초점 모듈에서 탈피하여 피사체와의 거리에 따라 자동으로 초점을 변화시키는 자동초점(Auto Focusing, AF) 기능 및 기계적 셔터의 탑재 등이 시도되고 있으며, 더 나아가서는 광학줌(Opticcal Zoom) 기능이 탑재가 시도되고 있다.
자동초점 조절 방식은 카메라와 피사체간의 거리 측정 방법에 따라 크게 능동형 방식과 수동형 방식으로 분류된다. 먼저 능동형 방식은 초음파나 적외선을 방출하여 피사체에 의해서 반사된 신호를 이용하여 카메라와 피사체 사이의 거리를 측정하는 방식이다. 수동형 방식은 영상센서로부터 획득한 영상의 고주파성분을 검출하여 초점조절에 유용한 초점 값(Focus Value, FV)을 획득하고, FV가 최대값이 되는 지점으로 렌즈를 이동시키는 방법이다.
하지만, 종래에는 사용자가 직접 하나의 촬영 시 하나의 초점을 선택하고 촬영하거나 카메라 센서 자체에서 다수의 초점을 임의로 선정하여 촬영하는 방법만 존재한다. 하나의 앵글에서 사용자가 원하는 다수의 초점을 촬영하기 위해서는 하나의 앵글을 유지하고 다수의 촬영을 반복해야 한다.
상술한 바와 같이, 하나의 앵글에서 다수의 초점 영상 혹은 이미지를 획득하기 위해서는 앵글을 고정한 상태에서 사용자가 여러 번 초점을 이동하고 촬영을 해야 하는 불편함이 있다.
본 발명의 목적은 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치를 제공함에 있다.
본 발명은 다른 목적은, 휴대용 단말기에서 수동 터치 또는 자동으로 멀티 초점을 설정하고 버스트 샷을 통하여 다수의 이미지를 획득하여 디스플레이하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 다수 초점 정보를 통하여 버스트 샷 간의 링크를 통하여 설정된 초점에 해당하는 이미지를 합성하는 방법 및 장치를 제공함에 있다.
상기한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 전자장치에서 다초점 영상 촬영방법은, 프리뷰 상태에서 다수 초점 대상을 선택하는 과정과, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하는 과정과, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 과정을 포함한다.
상기한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 카메라; 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 전자 장치로서, 상기 프로그램은, 프리뷰 상태에서 다수 초점 대상을 선택하고, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하고, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 명령어를 포함한다.
상기한 목적들을 달성하기 위한 본 발명의 제 3 견지에 따르면, 다초점 영상 촬영을 위한 카메라 장치에 있어서, 카메라 렌즈와, 프리뷰 상태에서 다수 초점 대상을 선택하고, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하고, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 프로세서를 포함한다.
상술한 바와 같이, 수동 터치 또는 자동으로 멀티 초점을 설정한 후 버스트 샷을 통하여 다수의 이미지를 획득함으로써, 앵글을 고정한 상태에서 사용자가 여러 번 초점을 이동하여 촬영을 해야하는 불편함을 줄일 수 있다.
또한, 한 번의 앵글 설정을 통해 다수의 초점 정보를 갖는 이미지를 저장할 수 있으며 사용자의 요구에 따라 각 샷의 초점 정보를 가지는 객체들의 합성을 통하여 최적의 이미지를 생성할 수 있다.
도 1은 본 발명의 실시 예에 따라 미리보기(preview) 상태에서 다중 초점을 설정하는 예를 도시하고 있다.
도 2는 본 발명의 실시 예에 따라 다중 초점 중 제1 초점에 따른 이미지를 도시하고 있다.
도 3은 본 발명의 실시 예에 따라 다중 초점 중 제2 초점에 따른 이미지를 도시하고 있다.
도 4는 본 발명의 제1 실시 예에 따라 다중 초점 위치의 변경을 위한 카메라 렌즈 이동 예를 도시하고 있다.
도 5는 본 발명의 제2 실시 예에 따라 다중 초점 위치의 변경을 위한 카메라 렌즈 이동 예를 도시하고 있다.
도 6은 본 발명의 실시 예에 따라 전자장치에서 다초점 이미지를 촬영하여 표시하는 흐름도를 도시하고 있다.
도 7은 본 발명의 실시 예에 따라 전자장치에서 다초점 이미지를 촬영하여 이미지를 병합하는 흐름도를 도시하고 있다.
도 8은 본 발명의 실시 예에 따른 전자장치의 구성도를 도시하고 있다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명은 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치에 관해 설명하기로 한다.
도 1은 본 발명의 실시 예에 따라 미리보기(preview) 상태에서 다중 초점을 설정하는 예를 도시하고 있다.
상기 도 1을 참조하면, 사용자는 카메라 프리뷰 기능 실행 후 초점대상(혹은 피사체)들을 터치하거거나 또는 버튼의 입력에 기반하여 초점대상들을 선택할 수 있다.
예를 들면, 사용자는 관심영역 A, B 두 개를 즉, 초점대상을 곰인형(110)과 배경(100)으로 할 경우, 곰인형과 배경 영역을 터치한다. 여기서, 초점대상을 두 개를 선택하였지만 사용자는 더 많은 초점대상을 선택하여 터치할 수 있다.
도 2는 본 발명의 실시 예에 따라 다중 초점 중 제1 초점에 따른 이미지를 도시하고 있다.
상기 도 2를 참조하면, 상기 도 1에서 초점대상을 곰인형에 맞추었을 때의 이미지를 나타내고 있다. 이때 초점대상인 곰인형은 선명하게 표시되면서 곰인형 뒤로 배경은 흐릿하게 표시된다.
도 3은 본 발명의 실시 예에 따라 다중 초점 중 제2 초점에 따른 이미지를 도시하고 있다.
상기 도 3을 참조하면, 상기 도 1에서 초점대상을 배경에 맞추었을 때의 이미지를 나타내고 있다. 이때 초점대상인 배경은 선명하게 표시되면서 곰인형은 흐릿하게 표시된다.
도 4는 본 발명의 제1 실시 예에 따라 다중 초점 위치의 변경을 위한 카메라 렌즈 이동 예를 도시하고 있다.
상기 도 4를 참조하면, 초점대상의 입력순서를 기준으로 초점대상에 따라 카메라 렌즈 위치가 이동을 해야 한다. 예를 들어, 하나의 앵글에서 3개 초점대상이 선택되면, 3개의 초점대상에 따라 카메라 렌즈의 위치가 변경되어야 한다. 제1 초점대상에 대해 카메라 렌즈를 이동하여 촬영하고(a), 제2 초점대상에 대해 카메라 렌즈를 이동하여 촬영하고(b), 제3 초점대상에 대해 카메라 렌즈를 이동하여 촬영한다(c). 여기서, 제1 초점대상에 대한 카메라 렌즈 이동거리가 가장 크고, 다음 제2 초점대상에 대한 카메라 렌즈 이동 거리가 크기, 제3 초점대상에 대한 카메라 렌즈 이동 거리가 가장 작다.
3개의 초점대상에 대해 사진촬영을 할 경우, 최적화된 카메라 이동 알고리즘이 없는 경우, 상기 초점대상의 입력순서로 촬영을 하면 카메라 렌즈의 이동 거리로 인해 시간차이가 존재할 수 있다. 이 시간차이는 버스트 샷 사이의 지연요소가 되어 사진품질을 떨어뜨릴 수 있다. 이를 방지 하고 빠른 촬영을 위하여 프리뷰를 통하여 입력된 영상신호를 기반으로 상기 입력된 관심 대상의 거리를 측정한다. 상기 입력된 초점대상의 거리를 측정하고 정렬한 후 원거리부터 근거리 또는 근거리부터 원거리 또는 현재 위치에서 카메라 이동 거리를 최소화할 수 있는 순서대로 촬영한다(하기 도 5참조).
도 5는 본 발명의 제2 실시 예에 따라 다중 초점 위치의 변경을 위한 카메라 렌즈 이동 예를 도시하고 있다.
상기 도 5를 참조하면, 다중 초점대상이 3개일 때, 3개의 초점대상에 따라 카메라 렌즈 이동 거리를 최소화하는 순서대로 촬영을 시작한다.
예를 들어, 근거리에 있는 초점대상부터 촬영을 시작하면, 가장 가까운 제1 초점대상에 대해 카메라 렌즈를 이동시켜 촬영하고(a), 다음 제1 초점대상에 대한 카메라 렌즈 위치로부터 카메라 렌즈를 이동시켜 제2 초점대상에 대해 촬영하고(b), 다음 제2 초점대상에 대한 카메라 렌즈 위치로부터 카메라 렌즈를 이동시켜 제3 초점대상에 대해 촬영한다(c).
여기서, 3개의 초점대상에 따라 카메라 렌즈 이동 거리를 최소화하는 순서대로 촬영을 수행함으로써, 버스트 샷 사이의 지연요소를 줄일 있다.
도 6은 본 발명의 실시 예에 따라 전자장치에서 다초점 이미지를 촬영하여 표시하는 흐름도를 도시하고 있다.
상기 도 6을 참조하면, 전자장치는 600단계에서 사진 프리뷰 기능을 수행하고, 602단계에서 다수 초점 위치를 설정한다. 예를 들어, 상기 도 1과 같이 사용자 터치 또는 버튼의 입력에 기반에서 특정 초점대상이 선택된다. 이때, 사용자가 사진 프리뷰 화면에서 관심의 대상이 되는 객체를 순서에 관계없이 터치 및 버튼 이동 동작을 통해 선택할 시, 전자장치 내부에 해당 입력 순서와 초점대상의 위치를 저장한다.
다른 구현에 있어서, 다수의 초점대상은 자동으로 수행 가능하다. 예를 들어, 전자장치는 프리뷰를 통해 획득된 이미지 내의 객체들을 검색하여, 해당 초점대상의 위치 정보를 저장할 수도 있다.
또 다른 구현에 있어서, 초점대상은 사용자 터치 및 버튼 조작뿐 아니라 음성명령으로도 입력이 가능하다. 예를 들어 "배경"과 "인물"을 입력하면 배경에 초점이 맞추어진 이미지와 인물에 초점이 맞추어진 이미지가 생성될 수 있다.
이후, 전자장치는 604단계에서 다수 초점 정보를 결정한다. 즉, 각 다수 초점대상에 대한 카메라 렌즈의 위치를 결정한다. 이때, 카메라 렌즈의 이동 순서는 초점대상의 입력 순서로 결정되거나 또는 초점대상의 입력 순서와 상관없이 카메라 렌즈의 이동 거리를 최소화할 수 있는 순서로 결정될 수 있다.
다시 말해, 상기 입력된 초점대상의 거리를 측정하고 정렬하여, 원거리부터 근거리 또는 근거리부터 원거리 또는 현재 위치에서 이동 거리가 최소화되는 카메라 렌즈의 이동 거리를 순서대로 결정하고, 초점대상에 대한 카메라 렌즈의 이동 정보를 저장하고 촬영 기능 수행시 상기 설정한 촬영 순서를 설정한다. 상기 도 5는 카메라 렌즈의 거리 이동 최적화 알고리즘 중 근거리에서 원거리로 이동하는 방법에 대한 렌즈 이동 실시 예이다. 실시 예에 따라 최적화의 방법은 다양하게 구현이 가능하다.
이후, 전자장치는 606단계에서 버스트 샷 이벤트가 발생할 시, 설정된 초점 정보 즉, 다수의 초점대상에 대한 카메라 렌즈의 위치 정보에 따라 순서대로 카메라 렌즈를 이동시켜 각 초점대상을 기준으로 촬영을 시작한다(상기 도 4 및 상기 도 5 참조).
더욱 상세하게는, 카메라 렌즈의 위치는 선택된 초점영역에서의 영상의 선명한 정도를 수치화하는 초점 값에 의해 결정된다. 초점 값 계산 방법에는 Sobel, SML(Sum-Modified Laplacian), FSWM(frequency selective weighted median filter), EOL(energy of image Laplacian), 이산 코사인 변환(discrete cosine transform; DCT)를 기반으로 하는 BE(Bayes-spectral-entropy), MF-DCT(mid frequency-DCT) 등이 이용될 수 있다. 초점 값을 계산하는 방법은 본 발명에서 국한되지 않으며 다양한 알고리즘이 적용가능하다.
이후, 전자장치는 608단계에서 촬영된 사진에 대해 exif(exchangeable image file format) 정보 및 하나의 앵글에 대한 다초점 사진임을 나타내는 메타 정보를 이미지 파일에 삽입한다. exif 정보는 디지털카메라의 이미지 파일 안에 저장되어 있는 화상 파일 형식으로써, 화상 데이터와 함께 카메라 제조사(Maker), 카메라 모델(Model), 이미지 에디터(Software), 사진을 보정한 날짜(Datetime), Exif 버전(Exif Version), 촬영한 날짜(Shoot Datetime), 웹에 올려진 사진의 실제 크기(Image Size), 노출 시간(Exposure Time:셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number), 플래시 사용 여부 등 세부적인 부가정보를 기록할 수 있다. 화상 데이터는 주로 TIFF(Tagged Image File Format)나 JPEG 압축 파일을 이용하기 때문에 TIFF나 JPEG 파일로 사진 수정, 소프트웨어 그대로 표시, 편집할 수 있다. 위성항법장치(GPS) 수신기에서 오는 위치 정보 등을 카메라에 연결하는 기능을 가진 것도 있다. Exif에 기록된 정보를 이용해서 효율적으로 화상 파일을 관리할 수 있고 이미지에 대한 정보를 얻을 수 있다.
이후, 전자장치는 610단계에서 다수 초점정보에 따라 촬영된 이미지들 중 특정 이미지를 디스플레이한다. 특정 이미지는 특정 객체에 초점이 맞춰져서 촬영된 이미지이다.
이후, 전자장치는 612단계에서 다초점 사진 정보임을 포함하는 특정 사진을 디스플레이할 경우, 해당 이미지의 객체에 대한 터치 또는 키조작에 의한 입력이 감지될 시, 614단계로 진행하여 터치된 해당 객체에 초점이 맞추어진 동일한 앵글로 촬영된 사진을 디스플레이한다.
반면, 해당 객체에 초점이 맞추어진 사진이 없는 경우 사용자의 설정에 따라 현재의 사진을 보여 주거나 관심 대상에서 가장 근접한 부분에 초점에 맞추어진 사진을 디스플레이한다.
이후, 본 발명의 절차를 종료한다.
도 7은 본 발명의 실시 예에 따라 전자장치에서 다초점 이미지를 촬영하여 이미지를 병합하는 흐름도를 도시하고 있다.
상기 도 7을 참조하면, 전자장치는 700단계에서 사진 프리뷰 기능을 수행하고, 702단계에서 다수 초점 위치를 설정한다. 예를 들어, 상기 도 1과 같이 사용자 터치 또는 버튼의 입력에 기반에서 특정 초점대상이 선택된다. 이때, 사용자가 사진 프리뷰 화면에서 관심의 대상이 되는 객체를 순서에 관계없이 터치 및 버튼 이동 동작을 통해 선택할 시, 전자장치 내부에 해당 입력 순서와 초점대상의 위치를 저장한다.
다른 구현에 있어서, 다수의 초점대상은 자동으로 수행 가능하다. 예를 들어, 전자장치는 프리뷰를 통해 획득된 이미지 내의 객체들을 검색하여, 해당 초점대상의 위치 정보를 저장할 수도 있다.
또 다른 구현에 있어서, 초점대상은 사용자 터치 및 버튼 조작뿐 아니라 음성명령으로도 입력이 가능하다. 예를 들어 "배경"과 "인물"을 입력하면 배경에 초점이 맞추어진 이미지와 인물에 초점이 맞추어진 이미지가 생성될 수 있다.
이후, 전자장치는 704단계에서 다수 초점 정보를 결정한다. 즉, 각 다수 초점대상에 대한 카메라 렌즈의 위치를 결정한다. 이때, 카메라 렌즈의 이동 순서는 초점대상의 입력 순서로 결정되거나 또는 초점대상의 입력 순서와 상관없이 카메라 렌즈의 이동 거리를 최소화할 수 있는 순서로 결정될 수 있다.
다시 말해, 상기 입력된 초점대상의 거리를 측정하고 정렬하여, 원거리부터 근거리 또는 근거리부터 원거리 또는 현재 위치에서 이동 거리가 최소화되는 카메라 렌즈의 이동 거리를 순서대로 결정하고, 초점대상에 대한 카메라 렌즈의 이동 정보를 저장하고 촬영 기능 수행시 상기 설정한 촬영 순서를 설정한다. 상기 도 5는 카메라 렌즈의 거리 이동 최적화 알고리즘 중 근거리에서 원거리로 이동하는 방법에 대한 렌즈 이동 실시 예이다. 실시 예에 따라 최적화의 방법은 다양하게 구현이 가능하다.
이후, 전자장치는 706단계에서 버스트 샷 이벤트가 발생할 시, 설정된 초점 정보 즉, 다수의 초점대상에 대한 카메라 렌즈의 위치 정보에 따라 순서대로 카메라 렌즈를 이동시켜 각 초점대상을 기준으로 촬영을 시작한다(상기 도 4 및 상기 도 5 참조).
더욱 상세하게는, 카메라 렌즈의 위치는 선택된 초점영역에서의 영상의 선명한 정도를 수치화하는 초점 값에 의해 결정된다. 초점 값 계산 방법에는 Sobel, SML(Sum-Modified Laplacian), FSWM(frequency selective weighted median filter), EOL(energy of image Laplacian), 이산 코사인 변환(discrete cosine transform; DCT)를 기반으로 하는 BE(Bayes-spectral-entropy), MF-DCT(mid frequency-DCT) 등이 이용될 수 있다. 초점 값을 계산하는 방법은 본 발명에서 국한되지 않으며 다양한 알고리즘이 적용가능하다.
이후, 전자장치는 708단계에서 최적화된 초점정보의 객체들을 합성한다. 예를 들어, 상기 도 2과 같이 곰인형에 초점이 맞춰진 이미지와 상기 도 3과 같이 배경에 초점이 맞춰진 이미지를 합성한다. 즉, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경을 합성하여 또 다른 이미지를 생성한다.
이후, 전자장치는 710단계에서 합성 전 원본 이미지에 대한 정보를 포함하는 메타정보를 합성된 이미지 파일에 삽입한다. 예를 들어, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경이 합성되어 생성된 이미지 파일에는 곰인형에 초점이 맞춰진 이미지와 배경에 초점이 맞춰진 이미지에 대한 메타정보가 삽입된다.
이후, 전자장치는 712단계에서 합성사진을 디스플레이한다.
이후, 전자장치는 714단계에서 합성사진으로부터 원본사진으로 표시하는 이벤트가 발생할 시, 예를 들어, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경이 합성되어 생성된 이미지에서 곰인형에 초점이 맞춰진 이미지 혹은 배경에 초점이 맞춰진 이미지의 원본 사진을 표시하는 이벤트가 발생할 시, 716단계로 진행하여, 원본사진에 대한 메타정보를 이용하여 해당 객체에 초점이 맞춰진 원본사진(예: 곰인형에 초점이 맞춰진 이미지 혹은 배경에 초점이 맞춰진 이미지)을 표시한다.
이후, 본 발명의 절차를 종료한다.
도 8은 본 발명의 실시 예에 따른 전자장치의 구성도를 도시하고 있다.
전자장치는, 휴대용 전자 장치(portable electronic device)일 수 있으며, 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 휴대용 전자 장치일 수도 있다.
상기 도 8을 참조하면, 전자장치는 제어기(800), 스피커/마이크로폰(810), 카메라(820), GPS 수신기(830), RF 처리기(840), 센서모듈(850), 터치스크린(860), 터치스크린 제어기(865), 확장 메모리(870)를 포함하여 구성된다.
제어기(800)는, 인터페이스(801), 하나 이상의 프로세서(802, 803) 그리고 내부 메모리(804)를 포함할 수 있다. 경우에 따라서는, 제어기(800) 전체를 프로세서로 칭하기도 한다. 인터페이스(801), 애플리케이션 프로세서(802), 통신 프로세서(803), 내부 메모리(804)는 별개의 구성요소일 수 있거나 하나 이상의 집적화된 회로에 집적화될 수 있다.
애플리케이션 프로세서(802)는 여러 가지의 소프트웨어 프로그램을 실행하여 전자장치를 위한 여러 기능을 수행하고 통신 프로세서(803)는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행한다. 또한, 이러한 통상적인 기능에 더하여, 프로세서(802, 803)는 확장 메모리(870) 혹은 내부 메모리(804)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할도 한다. 즉, 프로세서(802, 803)는 확장 메모리(870) 혹은 내부 메모리(804)에 저장된 소프트웨어 모듈들과 연동하여 본 발명에서 다초점 이미지를 촬영하여 표시하는(도 6 및 도 7 참조) 실시 예의 방법을 수행한다.
예를 들어, 애플리케이션 프로세서(802)는 사진 프리뷰 기능을 수행하고, 다수 초점 위치를 설정한다. 예를 들어, 상기 도 1과 같이 사용자 터치 또는 버튼의 입력에 기반에서 특정 초점대상이 선택된다. 이때, 사용자가 사진 프리뷰 화면에서 관심의 대상이 되는 객체를 순서에 관계없이 터치 및 버튼 이동 동작을 통해 선택할 시, 전자장치 내부에 해당 입력 순서와 초점대상의 위치를 저장한다. 다른 구현에 있어서, 다수의 초점대상은 자동으로 수행 가능하다. 예를 들어, 전자장치는 프리뷰를 통해 획득된 이미지 내의 객체들을 검색하여, 해당 초점대상의 위치 정보를 저장할 수도 있다. 또 다른 구현에 있어서, 초점대상은 사용자 터치 및 버튼 조작뿐 아니라 음성명령으로도 입력이 가능하다. 예를 들어 "배경"과 "인물"을 입력하면 배경에 초점이 맞추어진 이미지와 인물에 초점이 맞추어진 이미지가 생성될 수 있다.
더하여, 애플리케이션 프로세서(802)는 다수 초점 정보를 결정한다. 즉, 각 다수 초점대상에 대한 카메라 렌즈의 위치를 결정한다. 이때, 카메라 렌즈의 이동 순서는 초점대상의 입력 순서로 결정되거나 또는 초점대상의 입력 순서와 상관없이 카메라 렌즈의 이동 거리를 최소화할 수 있는 순서로 결정될 수 있다.
다시 말해, 상기 입력된 초점대상의 거리를 측정하고 정렬하여, 원거리부터 근거리 또는 근거리부터 원거리 또는 현재 위치에서 이동 거리가 최소화되는 카메라 렌즈의 이동 거리를 순서대로 결정하고, 초점대상에 대한 카메라 렌즈의 이동 정보를 저장하고 촬영 기능 수행시 상기 설정한 촬영 순서를 설정한다. 상기 도 5는 카메라 렌즈의 거리 이동 최적화 알고리즘 중 근거리에서 원거리로 이동하는 방법에 대한 렌즈 이동 실시 예이다. 실시 예에 따라 최적화의 방법은 다양하게 구현이 가능하다.
또한, 애플리케이션 프로세서(802)는 버스트 샷 이벤트가 발생할 시, 설정된 초점 정보 즉, 다수의 초점대상에 대한 카메라 렌즈의 위치 정보에 따라 순서대로 카메라 렌즈를 이동시켜 각 초점대상을 기준으로 촬영을 시작한다(상기 도 4 및 상기 도 5 참조). 더욱 상세하게는, 카메라 렌즈의 위치는 선택된 초점영역에서의 영상의 선명한 정도를 수치화하는 초점 값에 의해 결정된다. 초점 값 계산 방법에는 Sobel, SML(Sum-Modified Laplacian), FSWM(frequency selective weighted median filter), EOL(energy of image Laplacian), 이산 코사인 변환(discrete cosine transform; DCT)를 기반으로 하는 BE(Bayes-spectral-entropy), MF-DCT(mid frequency-DCT) 등이 이용될 수 있다. 초점 값을 계산하는 방법은 본 발명에서 국한되지 않으며 다양한 알고리즘이 적용가능하다.
또한, 애플리케이션 프로세서(802)는 촬영된 사진에 대해 exif(exchangeable image file format) 정보 및 하나의 앵글에 대한 다초점 사진임을 나타내는 메타 정보를 이미지 파일에 삽입하고, 다수 초점정보에 따라 촬영된 이미지들 중 특정 이미지를 디스플레이한다. 특정 이미지는 특정 객체에 초점이 맞춰져서 촬영된 이미지이다.
또한, 애플리케이션 프로세서(802)는 다초점 사진 정보임을 포함하는 특정 사진을 디스플레이할 경우, 해당 이미지의 객체에 대한 터치 또는 키조작에 의한 입력이 감지될 시, 터치된 해당 객체에 초점이 맞추어진 동일한 앵글로 촬영된 사진을 디스플레이한다. 반면, 해당 객체에 초점이 맞추어진 사진이 없는 경우 사용자의 설정에 따라 현재의 사진을 보여 주거나 관심 대상에서 가장 근접한 부분에 초점에 맞추어진 사진을 디스플레이한다.
더하여, 애플리케이션 프로세서(802)는 최적화된 초점정보의 객체들을 합성한다. 예를 들어, 상기 도 2과 같이 곰인형에 초점이 맞춰진 이미지와 상기 도 3과 같이 배경에 초점이 맞춰진 이미지를 합성한다. 즉, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경을 합성하여 또 다른 이미지를 생성한다.
그리고, 애플리케이션 프로세서(802)는 합성 전 원본 이미지에 대한 정보를 포함하는 메타정보를 합성된 이미지 파일에 삽입하고 합성사진을 디스플레이한다. 예를 들어, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경이 합성되어 생성된 이미지 파일에는 곰인형에 초점이 맞춰진 이미지와 배경에 초점이 맞춰진 이미지에 대한 메타정보가 삽입된다.
또한, 애플리케이션 프로세서(802)는 합성사진으로부터 원본사진으로 표시하는 이벤트가 발생할 시, 예를 들어, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경이 합성되어 생성된 이미지에서 곰인형에 초점이 맞춰진 이미지 혹은 배경에 초점이 맞춰진 이미지의 원본 사진을 표시하는 이벤트가 발생할 시, 원본사진에 대한 메타정보를 이용하여 해당 객체에 초점이 맞춰진 원본사진(예: 곰인형에 초점이 맞춰진 이미지 혹은 배경에 초점이 맞춰진 이미지)을 표시한다.
한편, 다른 프로세서(도시하지 않음)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱을 포함할 수 있다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성할 수도 있다. 또한, 서로 다른 기능을 수행하는 여러 개의 프로세서로 구성될 수도 있다. 인터페이스(801)는 전자장치의 터치 스크린 제어기(865) 및 확장 메모리(870)에 연결시킨다.
센서모듈(850)은 인터페이스(801)에 결합되어 여러 가지 기능을 가능하게 할 수 있다. 예를 들어, 움직임 센서 및 광센서가 인터페이스(801)에 결합되어 각각 전자 장치의 움직임 감지 및 외부로부터의 빛 감지를 가능하게 할 수 있다. 이외에도, 위치측정 시스템, 온도센서 또는 생체 센서 등과 같은 기타 센서들이 인터페이스(850)에 연결되어 관련 기능들을 수행할 수 있다.
카메라(820)는 인터페이스(801)를 통해 센서모듈(850)과 결합하여, 사진 및 비디오 클립 레코딩과 같은 카메라 기능을 수행할 수 있다.
RF 처리기(840)는 통신 기능이 수행된다. 예를 들어, 통신 프로세서(803)의 제어하에 RF 신호를 기저대역 신호로 변환하여 통신 프로세서(803)로 제공하거나 통신 프로세서(803)로부터의 기저대역 신호를 RF 신호로 변환하여 송신한다. 여기서, 통신 프로세서(803)는 다양한 통신방식에 기저대역신호를 처리한다. 예를 들어, 통신방식은, 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 통신방식, EDGE(Enhanced Data GSM Environment) 통신방식, CDMA(Code Division Multiple Access) 통신방식, W-CDMA(W-Code Division Multiple Access) 통신방식, LTE(Long Term Evolution) 통신방식, OFDMA(Orthogonal Frequency Division Multiple Access) 통신방식, Wi-Fi(Wireless Fidelity) 통신방식, WiMax 통신방식 또는/및 Bluetooth 통신방식을 포함할 수 있다.
스피커/마이크로폰(810)은 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력과 출력을 담당할 수 있다. 즉, 스피커/마이크로폰(810)은 음성신호를 전기신호로 변환하거나 전기신호를 음성신호로 변환한다. 도시하지 않았지만, 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)이 외부포트를 통해 전자장치에 연결될 수 있다.
터치스크린 제어기(865)는 터치스크린(860)에 결합될 수 있다. 제스처 스크린(860) 및 터치 스크린 제어기(865)는, 이하에 한정되지는 않지만, 제스처 스크린(860)과의 하나 이상의 접촉점을 결정하기 위한 용량성, 저항성, 적외선 및 표면 음향파 기술들뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 임의의 멀티 터치 감지 기술을 이용하여 접촉 및 움직임 또는 이들의 중단을 검출할 수 있다.
터치스크린(860)은 전자장치와 사용자 사이에 입력/출력 인터페이스를 제공한다. 즉, 터치스크린(860)은 사용자의 터치입력을 전자 장치에 전달한다. 또한 전자 장치로부터의 출력을 사용자에게 보여주는 매개체이다. 즉, 터치스크린은 사용자에게 시각적인 출력을 보여준다. 이러한 시각적 출력(visual output)은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타난다.
터치스크린(860)은 여러 가지 디스플레이가 사용될 수 있다. 예를 들면, 이에 한정하지는 않지만, LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode) 또는 FLED(Flexible LED)를 사용할 수 있다.
GPS 수신기(830)는 인공위성으로부터 받은 신호를 위치, 속도, 시간 등의 정보로 변환한다. 예를 들어, 위성과 GPS 수신기간 거리는 빛의 속도와 신호도달 시간을 곱하면 계산되며, 3개 위성의 정확한 위치와 거리를 구하여 공지된 삼각측량의 원리로 전자장치의 위치가 측정된다.
확장 메모리(870) 혹은 내부 메모리(804)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예컨대, NAND, NOR)를 포함할 수 있다.
확장 메모리(870) 혹은 내부 메모리(804)는 소프트웨어를 저장한다. 소프트웨어 구성요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 사용자 인터페이스 소프트웨어 모듈 및 MPEG 모듈, 카메라 소프트웨어 모듈, 하나 이상의 애플리케이션 소프트웨어 모듈 등을 포함한다. 또한, 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다.
운영 체제 소프트웨어는 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미한다. 이러한 운영 체제 소프트웨어는 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행한다.
통신 소프트웨어 모듈은, RF 처리기(840)를 통해 컴퓨터, 서버 및/또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은, 해당 통신방식에 해당하는 프로토콜 구조로 구성된다.
그래픽 소프트웨어 모듈은 터치스크린(860) 상에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함한다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용된다.
사용자 인터페이스 소프트웨어 모듈은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함한다.
카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함한다. 애플리케이션 모듈은 브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함한다. 메모리(870, 804)는 위에서 기술한 모듈 이외에 추가적인 모듈(명령어들)을 포함할 수 있다. 또는, 필요에 따라, 일부의 모듈(명령어들)을 사용하지 않을 수 있다.
본 발명에 관련하여, 애플리케이션 모듈은 본 발명의 다초점 영상 촬영 및 저장을 위한 명령어들(하기 도 6 내지 도 7 참조)을 포함한다.
명령어는, 사진 프리뷰 기능을 수행하고, 다수 초점 위치를 설정한다. 예를 들어, 상기 도 1과 같이 사용자 터치 또는 버튼의 입력에 기반에서 특정 초점대상이 선택된다. 이때, 사용자가 사진 프리뷰 화면에서 관심의 대상이 되는 객체를 순서에 관계없이 터치 및 버튼 이동 동작을 통해 선택할 시, 전자장치 내부에 해당 입력 순서와 초점대상의 위치를 저장한다. 다른 구현에 있어서, 다수의 초점대상은 자동으로 수행 가능하다. 예를 들어, 전자장치는 프리뷰를 통해 획득된 이미지 내의 객체들을 검색하여, 해당 초점대상의 위치 정보를 저장할 수도 있다. 또 다른 구현에 있어서, 초점대상은 사용자 터치 및 버튼 조작뿐 아니라 음성명령으로도 입력이 가능하다. 예를 들어 "배경"과 "인물"을 입력하면 배경에 초점이 맞추어진 이미지와 인물에 초점이 맞추어진 이미지가 생성될 수 있다.
더하여, 명령어는, 다수 초점 정보를 결정한다. 즉, 각 다수 초점대상에 대한 카메라 렌즈의 위치를 결정한다. 이때, 카메라 렌즈의 이동 순서는 초점대상의 입력 순서로 결정되거나 또는 초점대상의 입력 순서와 상관없이 카메라 렌즈의 이동 거리를 최소화할 수 있는 순서로 결정될 수 있다.
다시 말해, 상기 입력된 초점대상의 거리를 측정하고 정렬하여, 원거리부터 근거리 또는 근거리부터 원거리 또는 현재 위치에서 이동 거리가 최소화되는 카메라 렌즈의 이동 거리를 순서대로 결정하고, 초점대상에 대한 카메라 렌즈의 이동 정보를 저장하고 촬영 기능 수행시 상기 설정한 촬영 순서를 설정한다. 상기 도 5는 카메라 렌즈의 거리 이동 최적화 알고리즘 중 근거리에서 원거리로 이동하는 방법에 대한 렌즈 이동 실시 예이다. 실시 예에 따라 최적화의 방법은 다양하게 구현이 가능하다.
또한, 명령어는, 버스트 샷 이벤트가 발생할 시, 설정된 초점 정보 즉, 다수의 초점대상에 대한 카메라 렌즈의 위치 정보에 따라 순서대로 카메라 렌즈를 이동시켜 각 초점대상을 기준으로 촬영을 시작한다(상기 도 4 및 상기 도 5 참조). 더욱 상세하게는, 카메라 렌즈의 위치는 선택된 초점영역에서의 영상의 선명한 정도를 수치화하는 초점 값에 의해 결정된다. 초점 값 계산 방법에는 Sobel, SML(Sum-Modified Laplacian), FSWM(frequency selective weighted median filter), EOL(energy of image Laplacian), 이산 코사인 변환(discrete cosine transform; DCT)를 기반으로 하는 BE(Bayes-spectral-entropy), MF-DCT(mid frequency-DCT) 등이 이용될 수 있다. 초점 값을 계산하는 방법은 본 발명에서 국한되지 않으며 다양한 알고리즘이 적용가능하다.
또한, 명령어는, 촬영된 사진에 대해 exif(exchangeable image file format) 정보 및 하나의 앵글에 대한 다초점 사진임을 나타내는 메타 정보를 이미지 파일에 삽입하고, 다수 초점정보에 따라 촬영된 이미지들 중 특정 이미지를 디스플레이한다. 특정 이미지는 특정 객체에 초점이 맞춰져서 촬영된 이미지이다.
또한, 명령어는, 다초점 사진 정보임을 포함하는 특정 사진을 디스플레이할 경우, 해당 이미지의 객체에 대한 터치 또는 키조작에 의한 입력이 감지될 시, 터치된 해당 객체에 초점이 맞추어진 동일한 앵글로 촬영된 사진을 디스플레이한다. 반면, 해당 객체에 초점이 맞추어진 사진이 없는 경우 사용자의 설정에 따라 현재의 사진을 보여 주거나 관심 대상에서 가장 근접한 부분에 초점에 맞추어진 사진을 디스플레이한다.
더하여, 명령어는, 최적화된 초점정보의 객체들을 합성한다. 예를 들어, 상기 도 2과 같이 곰인형에 초점이 맞춰진 이미지와 상기 도 3과 같이 배경에 초점이 맞춰진 이미지를 합성한다. 즉, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경을 합성하여 또 다른 이미지를 생성한다.
그리고, 명령어는, 합성 전 원본 이미지에 대한 정보를 포함하는 메타정보를 합성된 이미지 파일에 삽입하고 합성사진을 디스플레이한다. 예를 들어, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경이 합성되어 생성된 이미지 파일에는 곰인형에 초점이 맞춰진 이미지와 배경에 초점이 맞춰진 이미지에 대한 메타정보가 삽입된다.
또한, 명령어는, 합성사진으로부터 원본사진으로 표시하는 이벤트가 발생할 시, 예를 들어, 초점이 맞춰진 곰인형과 초점이 맞춰진 배경이 합성되어 생성된 이미지에서 곰인형에 초점이 맞춰진 이미지 혹은 배경에 초점이 맞춰진 이미지의 원본 사진을 표시하는 이벤트가 발생할 시, 원본사진에 대한 메타정보를 이용하여 해당 객체에 초점이 맞춰진 원본사진(예: 곰인형에 초점이 맞춰진 이미지 혹은 배경에 초점이 맞춰진 이미지)을 표시한다.
또한, 위에서 언급한, 그리고 이하에서 언급할, 본 발명에 따른 전자장치의 다양한 기능들은 하나 이상의 프로세싱(processing) 및/또는 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated circuit)를 포함하는 하드웨어 및/또는 소프트웨어 및/또는 이들의 결합으로 실행될 수 있다.
본 발명에서, 디지털 카메라를 내장하고 있는 휴대용 단말기를 예를 들어 설명하였지만, 자동초점 기능을 지원하는 디지털 카메라에도 적용할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
제어기: 800
인터페이스: 801
애플리케이션 프로세서: 802
통신 프로세서: 803
RF 처리기: 840
확장 메모리: 870

Claims (27)

  1. 프리뷰 상태에서 다수 초점 대상을 선택하는 과정과,
    상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하는 과정과,
    상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 과정을 포함하는,
    전자장치에서 다초점 영상 촬영방법.
  2. 제1항에 있어서,
    상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리가 최소가 되도록 다수의 초점 대상의 촬영순서를 결정하는 과정을 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 프리뷰 상태에서 다수 초점 대상을 선택하는 과정은,
    사용자의 멀티 터치 입력을 감지하거나,
    초점대상을 자동검색하는 과정을 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 이미지의 메타정보에 다초점 이미지임을 지시하는 정보를 추가하는 과정을 더 포함하는 방법.
  5. 제1항에 있어서,
    특정 초점대상에 맞춰진 이미지를 표시하는 과정을 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 특정 초점대상에 맞춰진 이미지에서 특정 대상에 대한 터치를 감지하는 과정과,
    상기 터치된 대상에 초점이 맞춰진 이미지를 검색하는 과정과,
    상기 터치된 대상에 초점이 맞춰진 이미지를 표시하는 과정을 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 터치된 대상에 초점이 맞춰진 이미지가 없을 시, 현재의 이미지를 유지하거나 상기 터치된 대상에서 가장 근접한 부분에 초점이 맞춰진 이미지를 표시하는 과정을 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 하나의 앵글을 유지한 채 촬영된 초점대상들에 이미지들 중 적어도 둘 이상의 이미지를 선택하는 과정과,
    상기 선택된 둘 이상의 이미지 각각의 초점대상들을 합성하는 과정과,
    상기 초점대상들이 합성된 이미지를 표시하는 과정을 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 합성된 이미지의 메타정보에 합성되기 전의 상기 선택된 둘 이상의 이미지에 대한 정보를 포함하는 과정을 더 포함하는 방법.
  10. 카메라;
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 전자 장치로서,
    상기 프로그램은,
    프리뷰 상태에서 다수 초점 대상을 선택하고,
    상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하고,
    상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 명령어를 포함하는 전자장치.
  11. 제10항에 있어서,
    상기 프로그램은, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리가 최소가 되도록 다수의 초점 대상의 촬영순서를 결정하는 명령어를 더 포함하는 전자장치.
  12. 제10항에 있어서,
    상기 프리뷰 상태에서 다수 초점 대상을 선택하는 명령어는,
    사용자의 멀티 터치 입력을 감지하거나,
    초점대상을 자동검색하는 명령어를 포함하는 것을 특징으로 하는 전자장치.
  13. 제10항에 있어서,
    상기 프로그램은, 상기 이미지의 메타정보에 다초점 이미지임을 지시하는 정보를 추가하는 명령어를 더 포함하는 전자장치.
  14. 제10항에 있어서,
    상기 프로그램은, 특정 초점대상에 맞춰진 이미지를 표시하는 명령어를 더 포함하는 전자장치.
  15. 제14항에 있어서,
    상기 프로그램은,
    상기 특정 초점대상에 맞춰진 이미지에서 특정 대상에 대한 터치를 감지하고,
    상기 터치된 대상에 초점이 맞춰진 이미지를 검색하고,
    상기 터치된 대상에 초점이 맞춰진 이미지를 표시하는 명령어를 더 포함하는 전자장치.
  16. 제15항에 있어서,
    상기 프로그램은,
    상기 터치된 대상에 초점이 맞춰진 이미지가 없을 시, 현재의 이미지를 유지하거나 상기 터치된 대상에서 가장 근접한 부분에 초점이 맞춰진 이미지를 표시하는 명령어를 더 포함하는 전자장치.
  17. 제10항에 있어서,
    상기 프로그램은,
    상기 하나의 앵글을 유지한 채 촬영된 초점대상들에 이미지들 중 적어도 둘 이상의 이미지를 선택하고,
    상기 선택된 둘 이상의 이미지 각각의 초점대상들을 합성하고,
    상기 초점대상들이 합성된 이미지를 표시하는 명령어를 더 포함하는 전자장치.
  18. 제17항에 있어서,
    상기 프로그램은,
    상기 합성된 이미지의 메타정보에 합성되기 전의 상기 선택된 둘 이상의 이미지에 대한 정보를 포함하는 명령어를 더 포함하는 전자장치.
  19. 다초점 영상 촬영을 위한 카메라 장치에 있어서,
    카메라 렌즈와,
    프리뷰 상태에서 다수 초점 대상을 선택하고, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 계산하고, 상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리를 고려하여,하나의 앵글을 유지한 채 각 초점 대상에 대한 이미지를 촬영하는 프로세서를 포함하는 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 다수 초점 대상에 대한 각각의 카메라 렌즈 이동 거리가 최소가 되도록 다수의 초점 대상의 촬영순서를 결정하는 장치.
  21. 제19항에 있어서,
    상기 프로세서는,
    상기 프리뷰 상태에서 다수 초점 대상을 선택하기 위해,
    사용자의 멀티 터치 입력을 감지하거나,
    초점대상을 자동검색하는 것을 특징으로 하는 장치.
  22. 제19항에 있어서,
    상기 프로세서는,
    상기 이미지의 메타정보에 다초점 이미지임을 지시하는 정보를 추가하는 하는 장치.
  23. 제19항에 있어서,
    상기 프로세서는,
    특정 초점대상에 맞춰진 이미지를 표시하는 장치.
  24. 제23항에 있어서,
    상기 프로세서는,
    상기 특정 초점대상에 맞춰진 이미지에서 특정 대상에 대한 터치를 감지하고,
    상기 터치된 대상에 초점이 맞춰진 이미지를 검색하고,
    상기 터치된 대상에 초점이 맞춰진 이미지를 표시하는 장치.
  25. 제24항에 있어서,
    상기 프로세서는,
    상기 터치된 대상에 초점이 맞춰진 이미지가 없을 시, 현재의 이미지를 유지하거나 상기 터치된 대상에서 가장 근접한 부분에 초점이 맞춰진 이미지를 표시하는 장치.
  26. 제19항에 있어서,
    상기 프로세서는,
    상기 하나의 앵글을 유지한 채 촬영된 초점대상들에 이미지들 중 적어도 둘 이상의 이미지를 선택하고,
    상기 선택된 둘 이상의 이미지 각각의 초점대상들을 합성하고,
    상기 초점대상들이 합성된 이미지를 표시하는 장치.
  27. 제26항에 있어서,
    상기 프로세서는,
    상기 합성된 이미지의 메타정보에 합성되기 전의 상기 선택된 둘 이상의 이미지에 대한 정보를 포함하는 장치.
KR1020120127444A 2012-11-12 2012-11-12 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치 KR101990073B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120127444A KR101990073B1 (ko) 2012-11-12 2012-11-12 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치
EP13192019.1A EP2731326B1 (en) 2012-11-12 2013-11-07 Method and apparatus for shooting and storing multi-focused image in electronic device
CN201310559957.5A CN103813098B (zh) 2012-11-12 2013-11-12 在电子装置中拍摄并存储多点对焦的图像的方法和设备
US14/078,250 US9319580B2 (en) 2012-11-12 2013-11-12 Method and apparatus for shooting and storing multi-focused image in electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120127444A KR101990073B1 (ko) 2012-11-12 2012-11-12 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140060750A true KR20140060750A (ko) 2014-05-21
KR101990073B1 KR101990073B1 (ko) 2019-06-17

Family

ID=49585276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127444A KR101990073B1 (ko) 2012-11-12 2012-11-12 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치

Country Status (4)

Country Link
US (1) US9319580B2 (ko)
EP (1) EP2731326B1 (ko)
KR (1) KR101990073B1 (ko)
CN (1) CN103813098B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137724A (ko) * 2014-05-30 2015-12-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105959534A (zh) * 2016-04-28 2016-09-21 青岛海信移动通信技术股份有限公司 图像处理方法、装置及电子设备
CN116709014A (zh) * 2022-12-30 2023-09-05 荣耀终端有限公司 一种微距模式识别方法及电子设备

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
JP6178987B2 (ja) * 2014-02-05 2017-08-16 パナソニックIpマネジメント株式会社 撮像装置
US9769378B2 (en) * 2014-09-08 2017-09-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that changes from highlighting a first focus frame to highlighting a second focus frame when a focus lens moves from a first focus position to a second focus position
CN104270573A (zh) * 2014-10-27 2015-01-07 上海斐讯数据通信技术有限公司 多点触控对焦成像系统和方法及适用的移动终端
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN105744138B (zh) * 2014-12-09 2020-02-21 联想(北京)有限公司 快速对焦方法和电子设备
CN104954672B (zh) * 2015-06-10 2020-06-02 惠州Tcl移动通信有限公司 一种移动终端的手动调焦方法及移动终端
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
CN105306829A (zh) * 2015-12-07 2016-02-03 广东欧珀移动通信有限公司 拍照方法及装置
CN105516594A (zh) * 2015-12-21 2016-04-20 广东欧珀移动通信有限公司 图像拍摄方法及装置
EP3507765A4 (en) * 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
CN106484255A (zh) * 2016-09-14 2017-03-08 珠海格力电器股份有限公司 一种对焦区域设置方法、装置及智能终端
US10212338B2 (en) 2016-11-22 2019-02-19 Google Llc Camera operable using natural language commands
CN106851104B (zh) * 2017-02-28 2019-11-22 努比亚技术有限公司 一种根据用户视角进行拍摄的方法及装置
CN107277378A (zh) * 2017-08-04 2017-10-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN107613208B (zh) * 2017-09-29 2020-11-06 努比亚技术有限公司 一种对焦区域的调节方法及终端、计算机存储介质
CN107864340B (zh) * 2017-12-13 2019-07-16 浙江大华技术股份有限公司 一种摄影参数的调整方法及摄影设备
CN108040206A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种利用深度摄像设备进行重对焦的方法、装置及设备
CN108184070B (zh) * 2018-03-23 2020-09-08 维沃移动通信有限公司 一种拍摄方法及终端
CN109842760A (zh) * 2019-01-23 2019-06-04 罗超 一种模拟人眼视物的影像拍摄与回放方法
KR102198979B1 (ko) * 2019-09-19 2021-01-06 아엠아이테크 주식회사 단안 카메라 장치
CN111277758B (zh) * 2020-02-25 2022-04-15 深圳传音控股股份有限公司 拍摄方法、终端及计算机可读存储介质
CN114244999B (zh) * 2020-09-09 2023-11-24 北京小米移动软件有限公司 自动对焦的方法、装置、摄像设备及存储介质
CN112312016B (zh) * 2020-10-28 2022-06-10 维沃移动通信有限公司 拍摄处理方法、装置、电子设备和可读存储介质
CN112839166B (zh) * 2020-12-02 2023-08-22 维沃移动通信(杭州)有限公司 拍摄方法、装置及电子设备
CN112511751B (zh) * 2020-12-04 2021-10-29 维沃移动通信(杭州)有限公司 拍摄方法及装置、电子设备和可读存储介质
CN112616022A (zh) * 2020-12-21 2021-04-06 努比亚技术有限公司 一种多点对焦方法、装置、终端及可读存储介质
CN112714253B (zh) * 2020-12-28 2022-08-26 维沃移动通信有限公司 视频录制方法、装置、电子设备和可读存储介质
CN114697524B (zh) * 2020-12-30 2023-05-02 浙江宇视科技有限公司 自动聚焦方法、装置、电子设备及介质
CN112804462B (zh) * 2021-02-20 2024-04-26 北京小米移动软件有限公司 多点对焦成像方法及装置、移动终端、存储介质
CN114339064B (zh) * 2021-12-03 2023-06-23 南京仙电同圆信息科技有限公司 一种基于熵权图像梯度的贝叶斯优化曝光控制方法
CN117097985B (zh) * 2023-10-11 2024-04-02 荣耀终端有限公司 对焦方法、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277813A (ja) * 2004-03-25 2005-10-06 Canon Inc 電子撮像装置
KR20090113076A (ko) * 2008-04-25 2009-10-29 삼성디지털이미징 주식회사 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법
JP2010128018A (ja) * 2008-11-25 2010-06-10 Sony Corp 撮像装置、撮像方法及びプログラム
US20110267530A1 (en) * 2008-09-05 2011-11-03 Chun Woo Chang Mobile terminal and method of photographing image using the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
KR100801088B1 (ko) 2006-10-02 2008-02-05 삼성전자주식회사 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법
CA2675040C (en) 2007-01-11 2014-03-11 Alcon Research, Ltd. Alternating optical system: mixing and matching optics to maximize binocular visual benefits
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
JP5381060B2 (ja) * 2008-02-05 2014-01-08 株式会社リコー 撮像装置およびその画像処理方法
KR101050711B1 (ko) 2009-07-31 2011-07-20 한국생산기술연구원 다초점 이미지의 광학식 자동 초점 조절 방법
US8659697B2 (en) * 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) * 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
KR101838033B1 (ko) * 2011-11-25 2018-03-15 삼성전자 주식회사 사용자 디바이스의 영상 촬영 방법 및 장치
KR101952684B1 (ko) * 2012-08-16 2019-02-27 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277813A (ja) * 2004-03-25 2005-10-06 Canon Inc 電子撮像装置
KR20090113076A (ko) * 2008-04-25 2009-10-29 삼성디지털이미징 주식회사 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법
US20110267530A1 (en) * 2008-09-05 2011-11-03 Chun Woo Chang Mobile terminal and method of photographing image using the same
JP2010128018A (ja) * 2008-11-25 2010-06-10 Sony Corp 撮像装置、撮像方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137724A (ko) * 2014-05-30 2015-12-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105959534A (zh) * 2016-04-28 2016-09-21 青岛海信移动通信技术股份有限公司 图像处理方法、装置及电子设备
CN105959534B (zh) * 2016-04-28 2019-09-17 青岛海信移动通信技术股份有限公司 图像处理方法、装置及电子设备
CN116709014A (zh) * 2022-12-30 2023-09-05 荣耀终端有限公司 一种微距模式识别方法及电子设备
CN116709014B (zh) * 2022-12-30 2024-04-12 荣耀终端有限公司 一种微距模式识别方法及电子设备

Also Published As

Publication number Publication date
KR101990073B1 (ko) 2019-06-17
CN103813098B (zh) 2018-06-01
US9319580B2 (en) 2016-04-19
CN103813098A (zh) 2014-05-21
US20140139721A1 (en) 2014-05-22
EP2731326A2 (en) 2014-05-14
EP2731326A3 (en) 2017-08-02
EP2731326B1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
KR101990073B1 (ko) 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치
US9998651B2 (en) Image processing apparatus and image processing method
US9344644B2 (en) Method and apparatus for image processing
KR102314594B1 (ko) 이미지 디스플레이 방법 및 전자 장치
KR101712301B1 (ko) 화면을 촬영하기 위한 방법 및 디바이스
JP6392991B2 (ja) 画像による空間パラメータ特定方法、装置、プログラム、記録媒体および端末機器
US11582377B2 (en) Apparatus and method for controlling auto focus function in electronic device
JP2013207357A (ja) サーバ、クライアント端末、システムおよびプログラム
JPWO2014141522A1 (ja) 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム
US20120002094A1 (en) Image pickup apparatus for providing reference image and method for providing reference image thereof
JP2016506700A (ja) 混合媒体通信
US9870619B2 (en) Electronic device and method for synthesizing continuously taken images
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
CN114666490A (zh) 对焦方法、装置、电子设备和存储介质
CN110012208B (zh) 拍照对焦方法、装置、存储介质及电子设备
CN109952758A (zh) 一种图像处理的方法及终端
JP2010062778A (ja) 画像撮影装置及び画像撮影制御方法
US11863868B1 (en) Physical characterization of camera system for super-resolution imaging
KR102081659B1 (ko) 시각 효과 적용을 위한 촬영 방법 및 장치
CN112804462B (zh) 多点对焦成像方法及装置、移动终端、存储介质
CN112184610A (zh) 图像处理方法及装置、存储介质和电子设备
JP2015192362A (ja) 画像再生装置,画像再生方法およびその制御プログラム
CN112232385A (zh) 一种图像处理方法及装置
JP2020057297A (ja) 画像表示装置、画像表示方法、及び、プログラム
JP2016134643A (ja) 携帯機器、表示方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant