KR20190001695A - 카메라 모듈, 카메라 모듈을 포함하는 전자 장치 - Google Patents

카메라 모듈, 카메라 모듈을 포함하는 전자 장치 Download PDF

Info

Publication number
KR20190001695A
KR20190001695A KR1020170081628A KR20170081628A KR20190001695A KR 20190001695 A KR20190001695 A KR 20190001695A KR 1020170081628 A KR1020170081628 A KR 1020170081628A KR 20170081628 A KR20170081628 A KR 20170081628A KR 20190001695 A KR20190001695 A KR 20190001695A
Authority
KR
South Korea
Prior art keywords
lens unit
distance
image
lens
defocus
Prior art date
Application number
KR1020170081628A
Other languages
English (en)
Other versions
KR102382865B1 (ko
Inventor
박재형
이정원
윤경훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170081628A priority Critical patent/KR102382865B1/ko
Priority to US16/017,476 priority patent/US11048061B2/en
Priority to CN201810678245.8A priority patent/CN109151301B/zh
Priority to EP18180360.2A priority patent/EP3422699B1/en
Publication of KR20190001695A publication Critical patent/KR20190001695A/ko
Application granted granted Critical
Publication of KR102382865B1 publication Critical patent/KR102382865B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 발명의 실시 예에 따른 전자 장치는, 카메라, 상기 카메라는, 렌즈부 및 상기 렌즈부를 움직이기 위한 렌즈 구동부를 포함하고; 프로세서를 포함하고, 상기 프로세서는, 상기 카메라로부터, 외부 객체에 대한 제 1 이미지를 획득하고, 상기 렌즈 구동부를 이용하여, 상기 렌즈부를 지정된 이동량에 따라 이동하고, 상기 렌즈부의 상기 이동된 위치에 대응하는, 상기 외부 객체에 대한 제 2 영상을 획득하고, 상기 제 1 영상과 상기 제 2 영상의 차이 및 상기 지정된 이동량에 기반하여, 상기 외부 객체의 영상에 대한 포커스 위치를 결정하고, 상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 이동량을 결정하고, 상기 이동량을 결정하는 동작의 일부로서, 상기 외부 객체와 상기 렌즈부와의 거리를 판단하고, 및 상기 판단된 거리에 기반하여 상기 결정된 이동량을 보정하고, 상기 렌즈 구동부를 이용하여, 상기 결정된 이동량에 따라 상기 렌즈부를 이동하도록 설정될 수 있다.

Description

카메라 모듈, 카메라 모듈을 포함하는 전자 장치{Camera Module, Electronic Device including Camera Module}
본 문서에서 개시되는 실시 예들은, 카메라 모듈과 카메라 모듈을 포함하는 전자 장치 중 적어도 하나의 초점 조절 또는 거리 정보 획득 기술과 관련된다.
카메라 모듈은 복수의 렌즈(렌즈부)를 이동시키는 구동부를 구비하고 구동부를 통해 렌즈를 이동시키면서 자동 초점 조절(AF: auto focus) 기능을 수행할 수 있다.
카메라 모듈은 콘트라스트(contrast) AF 방식, 위상차(phase difference) AF 방식 또는 DFD(depth from defocus) 방식(depth from defocus) 등을 이용하여 자동 초점 조절을 수행할 수 있다.
콘트라스트 AF 방식에 따르면, 카메라 모듈은 렌즈(예: 렌즈부)의 위치를 변화시키면서 촬영을 수행하면서 이미지 센서에 의해 생성된 영상신호에 대한 콘트라스트를 획득하고, 렌즈를 콘트라스트값이 피크가 되는 위치로 조절함에 따라 초점을 맞출 수 있다. 콘트라스트 AF 방식의 카메라 모듈은 콘트라스트에 기초하여 렌즈의 이동 방향을 판단할 수 없어, 초점 조절 속도가 늦을 수 있다.
위상 AF 방식에 따르면, 카메라 모듈은 이미지 센서와 별개로 센싱 소자를 구비하고, 센싱 소자에 인가된 광의 위상차를 이용하여 포커스 위치를 검출할 수 있다. 위상차 AF 방식의 카메라 모듈은 위상차에 기초하여 렌즈의 이동 방향을 판단할 수 있어, 초점 조절 속도는 상대적으로 빠르지만, 미러(mirror)가 필요하여 부피가 크고 연속 촬영중에는 초점 검출이 어려울 수 있다.
DFD 방식에 따르면, 카메라 모듈은 서로 다른 렌즈 위치에서 두 영상을 획득하고, 두 영상의 디포커스 크기 변화에 대응하는 PSF(point spread fuction)를 확인함(DFD 연산)에 따라 포커스 위치를 확인할 수 있다. 그런데, DFD 연산으로 결정된 포커스 위치는 렌즈 이동과 디포커스 크기가 선형적으로 비례하지 않음으로 인하여(비선형성)에 의하여 정확도가 낮을 수 있다.
이에, DFD 방식의 카메라 모듈은 콘트라스트 AF 방식을 함께 이용하여 초점 조절을 수행함에 따라 DFD 연산의 정확도를 높일 수 있다. 예를 들어, 카메라 모듈은 DFD 연산을 이용하여 결정된 포커스 위치에 근접한 렌즈의 이동 방향으로 렌즈를 이동시킨 후 콘트라스트를 이용하여 포커스 위치를 조절할 수 있다. 이 경우, 카메라 모듈은 초점 조절의 정확도를 높일 수 있지만, 초점 조절 속도가 늦을 수 있다. DFD AF수행에 있어서 속도를 높이기 위해서는 DFD 연산으로 결정된 초점 위치의 정확성을 확보해야 한다.
본 문서에 개시되는 다양한 실시 예들은 DFD 연산을 이용하여 초점을 조절할 때 초점 조절 오차를 줄일 수 있는 카메라 모듈, 전자 장치 및 초점 조절 방법을 제공한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 상기 카메라는, 렌즈부 및 상기 렌즈부를 움직이기 위한 렌즈 구동부를 포함하고; 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라로부터, 외부 객체에 대한 제 1 이미지를 획득하고, 상기 렌즈 구동부를 이용하여, 상기 렌즈부를 지정된 이동량에 따라 이동하고, 상기 렌즈부의 상기 이동된 위치에 대응하는, 상기 외부 객체에 대한 제 2 영상을 획득하고, 상기 제 1 영상과 상기 제 2 영상의 차이 및 상기 지정된 이동량에 기반하여, 상기 외부 객체의 영상에 대한 포커스 위치를 결정하고, 상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 이동량을 결정하고, 상기 이동량을 결정하는 동작의 일부로서, 상기 외부 객체와 상기 렌즈부와의 거리를 판단하고, 및 상기 판단된 거리에 기반하여 상기 결정된 이동량을 보정하고, 상기 렌즈 구동부를 이용하여, 상기 결정된 이동량에 따라 상기 렌즈부를 이동하도록 설정될 수 있다. 본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 상기 카메라는 렌즈부 및 상기 렌즈부를 움직이기 위한 렌즈 구동부를 포함하고, 상기 렌즈 구동부는, 상기 렌즈부를 이동하는 전 구간 중 적어도 일부 구간에서, 상기 렌즈부가 제 1 위치에 있을 때, 지정된 디포커스를 유발시키기 위해 상기 렌즈부를 이동시키는 제 1 거리와, 상기 렌즈부가 제 2 위치에 있을 때, 상기 지정된 디포커스를 유발시키기 위해 상기 렌즈부를 이동시키는 제 2 거리 사이에 차이가 발생하고; 프로세서를 포함하고, 상기 프로세서는, 상기 카메라로부터, 외부 객체에 대한 제 1 영상을 획득하고, 상기 렌즈 구동부를 이용하여, 상기 렌즈부를 지정된 이동량에 따라 이동하고, 상기 렌즈부의 상기 이동된 위치에 대응하는, 상기 외부 객체에 대한 제 2 영상을 획득하고, 상기 제 1 영상과 상기 제 2 영상의 차이 및 상기 지정된 이동량에 기반하여, 상기 외부 객체의 영상에 대한 포커스 위치를 결정하고, 상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 이동량을 결정하고, 상기 이동량을 결정하는 동작의 일부로, 상기 포커스 위치가 상기 적어도 일부 구간에 포함될 경우, 상기 제1 거리와 상기 제2 거리 사이의 차이에 기반하여, 상기 이동량을 보정하고, 상기 렌즈 구동부를 이용하여, 상기 보정된 이동량에 따라 상기 렌즈부를 이동하도록 설정될 수 있다.
본 문서에 개시되는 일 실시 예에 따른 카메라 모듈은, 복수의 렌즈들을 포함하는 렌즈부; 상기 복수의 렌즈들을 통과한 빛에 대응하는 영상이 결상되는 이미지 센서; 상기 렌즈부의 위치를 조절하는 구동부; 상기 구동부는, 상기 렌즈부가 이동할 수 있는 전 구간 중에서 적어도 일부 구간에서는 상기 렌즈부의 위치를 제1 거리 단위로 이동하고, 상기 전 구간 중에서 다른 적어도 일부 구간에서 상기 렌즈부의 위치를 적어도 하나의 제2 거리 단위로 이동하며, 상기 제1 거리 단위 및 상기 제2 거리 단위는, 상기 렌즈부가 단위 이동함에 따라 상기 이미지 센서에 결상된 영상의 디포커스 크기 변화가 지정된 크기만큼 변화하거나 상기 지정된 크기로부터 지정된 오차범위 이내로 변화되도록 결정되며, 이미지 신호 처리기; 및 상기 렌즈부의 특성에 따른 상기 렌즈부로부터 지정된 거리 이격되는 점 광원을 획득한 영상의 디포커스 크기에 기초하여 생성된 지정된 점 확산 함수들을 저장하는 메모리를 포함하고, 상기 이미지 신호 처리기는, 상기 구동부를 이용하여 상기 렌즈부의 제1 위치에서 외부 객체에 대한 제1 영상을 획득하고, 상기 렌즈부를 지정된 이동량만큼 이동하여, 상기 렌즈부의 제2 위치에서 상기 외부 객체에 대한 제2 영상을 획득하고, 상기 지정된 점 확산 함수들의 디포커스 크기 변화와 상기 지정된 이동량 및 상기 제1 영상과 제2 영상의 디포커스 크기 변화를 비교함에 따라 상기 외부 객체에 대한 디포커스 위치를 산출하고, 상기 구동부를 이용하여 상기 렌즈부를 상기 산출된 디포커스 위치에서 포커스 위치까지 이동하기 위한 이동량을 결정하고, 상기 렌즈부를 상기 결정된 이동량에 따라 상기 렌즈부를 이동하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, DFD 연산으로 결정된 포커스 위치의 오차를 줄일 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치의 블록도를 나타낸다.
도 2는 일 실시 예에 따른 카메라 모듈을 도시한 구성도이다.
도 3은 일 실시 예에 따른 전자 장치를 도시한 구성도이다.
도 4a 내지 4c는 일 실시 예에 따른 초점 조절 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따른 카메라 모듈의 디포커스 위치의 오차를 설명하기 위한 그래프이다.
도 6은 일 실시 예에 따른 지정된 거리의 점 확산 함수를 이용한 DFD 연산으로 카메라 모듈의 각 렌즈 위치에서 산출된 포커스(또는, 온포커스) 위치까지의 거리를 도시한 그래프이다.
도 7은 일 실시 예에 따른 실제 디포커스 위치와 산출된 디포커스 위치 간의 오차를 도시한 그래프이다.
도 8은 일 실시 예에 따른 렌즈 위치에 따른 디포커스 크기 변화를 개념적으로 도시한 도면이다.
도 9는 일 실시 예에 따른 일군의 렌즈를 포함하는 카메라 모듈의 피사체의 거리에 따른 포커스 위치를 도시한 도면이다.
도 10은 일 실시 예에 따른 피사체의 거리에 따른 디포커스 크기 변화를 도시한 도면이다. 도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도 이다. 본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치(예: PDA(personal digital assistant), 태블릿 PC(tablet PC), 랩탑 PC(, 데스크톱 PC, 워크스테이션, 또는 서버), 휴대용 멀티미디어 장치(예: 전자 책 리더기 또는 MP3 플레이어), 휴대용 의료 기기(예: 심박, 혈당, 혈압, 또는 체온 측정기), 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용 형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착 형(예: 스킨 패드 또는 문신), 또는 생체 이식 형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오 장치, 오디오 액세서리 장치(예: 스피커, 헤드폰, 또는 헤드 셋), 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토메이션 컨트롤 패널, 보안 컨트롤 패널, 게임 콘솔, 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder)(예: 차량/선박/비행기 용 블랙박스(black box)), 자동차 인포테인먼트 장치(예: 차량용 헤드-업 디스플레이), 산업용 또는 가정용 로봇, 드론(drone), ATM(automated teller machine), POS(point of sales) 기기, 계측 기기(예: 수도, 전기, 또는 가스 계측 기기), 또는 사물 인터넷 장치(예: 전구, 스프링클러 장치, 화재 경보기, 온도 조절기, 또는 가로등) 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 또한, 예를 들면, 개인의 생체 정보(예: 심박 또는 혈당)의 측정 기능이 구비된 스마트폰의 경우처럼, 복수의 장치들의 기능들을 복합적으로 제공할 수 있다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 네트워크 환경(100)에서 전자 장치(101)는 근거리 무선 통신(198)을 통하여 전자 장치(102)와 통신하거나, 또는 네트워크(199)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)을 통하여 전자 장치(104)와 통신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입력 장치(150)(예: 마이크 또는 마우스), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 및 배터리(189), 통신 모듈(190), 및 가입자 식별 모듈(196)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는, 구성요소들(120-190)을 서로 연결하고, 구성요소들 간의 신호(예: 제어 메시지 또는 데이터)를 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치(central processing unit, CPU), 어플리케이션 프로세서(application processor, AP), GPU(graphics processing unit), 카메라의 ISP(image signal processor), 또는 CP(communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 SoC(system on chip) 또는 SiP(system in package)로 구현될 수 있다. 프로세서(120)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소들(예: 통신 모듈(190)) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드 하여 처리하고, 결과 데이터를 비 휘발성 메모리(134)에 저장할 수 있다.
메모리(130)는, 휘발성 메모리(132) 또는 비 휘발성 메모리(134)를 포함할 수 있다. 휘발성 메모리(132)는, 예를 들면, RAM(random access memory)(예: DRAM, SRAM, 또는 SDRAM)로 구성될 수 있다. 비 휘발성 메모리(134)는, 예를 들면, PROM(programmable read-only memory), OTPROM(one time PROM), EPROM(erasable PROM), EEPROM(electrically EPROM), mask ROM, flash ROM, 플래시 메모리, HDD(hard disk drive), 또는 SSD(solid state drive)로 구성될 수 있다. 또한, 비 휘발성 메모리(134)는, 전자 장치(101)와의 연결 형태에 따라, 그 안에 배치된 내장 메모리(136), 또는 필요 시에만 연결하여 사용 가능한 스탠드-얼론(stand-alone) 형태의 외장 메모리(138)로 구성될 수 있다. 외장 메모리(138)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card), 또는 메모리 스틱을 포함할 수 있다. 외장 메모리(138)는 유선(예: 케이블 또는 USB(universal serial bus)) 또는 무선(예: Bluetooth)을 통하여 전자 장치(101)와 기능적으로 또는 물리적으로 연결될 수 있다.
메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 소프트웨어 구성요소, 예를 들어, 프로그램(140)에 관계된 명령 또는 데이터를 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 라이브러리(143), 어플리케이션 프레임워크(145), 또는 어플리케이션 프로그램(interchangeably "어플리케이션")(147)을 포함할 수 있다.
입력 장치(150)는, 마이크, 마우스, 또는 키보드를 포함할 수 있다. 일 실시 예에 따르면, 키보드는 물리적인 키보드로 연결되거나, 표시 장치(160)를 통해 가상 키보드로 표시될 수 있다.
표시 장치(160)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 디스플레이는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이는, 일 실시 예에 따르면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 디스플레이는 사용자의 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 감지할 수 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(interchangeably "force sensor")를 포함할 수 있다. 상기 터치 회로 또는 압력 센서는 디스플레이와 일체형으로 구현되거나, 또는 디스플레이와는 별도의 하나 이상의 센서들로 구현될 수 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(101)의 내부 또는 외부에 위치할 수 있다.
오디오 모듈(170)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)(예: 마이크)를 통해 소리를 획득하거나, 또는 전자 장치(101)에 포함된 출력 장치(미 도시)(예: 스피커 또는 리시버), 또는 전자 장치(101)와 연결된 외부 전자 장치(예: 전자 장치(102)(예: 무선 스피커 또는 무선 헤드폰) 또는 전자 장치(106)(예: 유선 스피커 또는 유선 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은, 예를 들면, 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 고도, 습도, 또는 밝기)를 계측 또는 감지하여, 그 계측 또는 감지된 상태 정보에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(예: 홍채 센서, 지문 센서, 또는 HRM(heartbeat rate monitoring) 센서, 후각(electronic nose) 센서, EMG(electromyography) 센서, EEG(Electroencephalogram) 센서, ECG(Electrocardiogram) 센서), 온도 센서, 습도 센서, 조도 센서, 또는 UV(ultra violet) 센서를 포함할 수 있다. 센서 모듈(176)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는 프로세서(120) 또는 프로세서(120)와는 별도의 프로세서(예: 센서 허브)를 이용하여, 센서 모듈(176)을 제어할 수 있다. 별도의 프로세서(예: 센서 허브)를 이용하는 경우에, 전자 장치(101)는 프로세서(120)가 슬립(sleep) 상태에 있는 동안, 프로세서(120)를 깨우지 않고 별도의 프로세서의 작동에 의하여 센서 모듈(176)의 동작 또는 상태의 적어도 일부를 제어할 수 있다.
인터페이스(177)는, 일 실시 예에 따르면, HDMI(high definition multimedia interface), USB, 광 인터페이스(optical interface), RS-232(recommended standard 232), D-sub(D-subminiature), MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다. 연결 단자(178)는 전자 장치(101)와 전자 장치(106)를 물리적으로 연결시킬 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 예를 들면, 햅틱 모듈(179)은 사용자에게 촉각 또는 운동 감각과 관련된 자극을 제공할 수 있다. 햅틱 모듈(179)은 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(180)는, 일 실시 예에 따르면, 하나 이상의 렌즈(예: 광각 렌즈 및 망원 렌즈, 또는 전면 렌즈 및 후면 렌즈), 이미지 센서, 이미지 시그널 프로세서, 또는 플래시(예: 발광 다이오드 또는 제논 램프(xenon lamp) 등)를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)의 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는, 예를 들면, 1차 전지, 2차 전지, 또는 연료 전지를 포함하여 외부 전원에 의해 재충전되어, 상기 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다.
통신 모듈(190)은, 예를 들면, 전자 장치(101)와 외부 장치(예: 제1 외부 전자 장치(102), 제2 외부 전자 장치(104), 또는 서버(108)) 간의 통신 채널 수립 및 수립된 통신 채널을 통한 유선 또는 무선 통신의 수행을 지원할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192) 또는 유선 통신 모듈(194)을포함하고, 그 중 해당하는 통신 모듈을 이용하여 제1 네트워크(198)(예: Bluetooth 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크와 같은 원거리 통신 네트워크)를 통하여 외부 장치와 통신할 수 있다.
무선 통신 모듈(192)은, 예를 들면, 셀룰러 통신, 근거리 무선 통신, 또는 GNSS 통신을 지원할 수 있다. 셀룰러 통신은, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications)을 포함할 수 있다. 근거리 무선 통신은, 예를 들면, Wi-Fi(wireless fidelity), Wi-Fi Direct, Li-Fi(light fidelity), Bluetooth, BLE(Bluetooth low energy), Zigbee, NFC(near field communication), MST(magnetic secure transmission), RF(radio frequency), 또는 BAN(body area network)을 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo(the European global satellite-based navigation system)을 포함할 수 있다. 본 문서에서 "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다.
일 실시 예에 따르면, 상기 무선 통신 모듈(192)은, 셀룰러 통신을 지원하는 경우, 예를 들면, 가입자 식별 모듈(196)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)(예: AP)와 별개인 CP를 포함할 수 있다. 이런 경우, CP는, 예를 들면, 프로세서(120)가 인액티브(예: 슬립) 상태에 있는 동안 프로세서(120)를 대신하여, 또는 프로세서(120)가 액티브 상태에 있는 동안 프로세서(120)과 함께, 전자 장치(101)의 구성요소들(110-196) 중 적어도 하나의 구성 요소와 관련된 기능들의 적어도 일부 기능을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS 통신 모듈 중 해당하는 통신 방식만을 지원하는 복수의 통신 모듈들로 구성될 수 있다.
유선 통신 모듈(194)은, 예를 들면, LAN(local area network), 전력선 통신 또는 POTS(plain old telephone service)를 포함할 수 있다.
제1 네트워크(198)는, 예를 들어, 전자 장치(101)와 제1 외부 전자 장치(102)간의 무선으로 직접 연결을 통해 명령 또는 데이터를 송신 또는 수신 할 수 있는 Wi-Fi 다이렉트 또는 Bluetooth를 포함할 수 있다. 제2 네트워크(199)는, 예를 들어, 전자 장치(101)와 제2 외부 전자 장치(104)간의 명령 또는 데이터를 송신 또는 수신할 수 있는 텔레커뮤니케이션 네트워크(예: LAN(local area network)나 WAN(wide area network)와 같은 컴퓨터 네트워크, 인터넷(internet), 또는 텔레폰(telephone) 네트워크)를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 명령 또는 상기 데이터는 제2 네트워크에 연결된 서버(108)를 통해서 전자 장치(101)와 제2 외부 전자 장치(104)간에 송신 또는 수신될 수 있다. 제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102, 104), 또는 서버(108)에서 실행될 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(108))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(108))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 일 실시 예에 따른 카메라 모듈을 도시한 구성도이다.
도 2를 참조하면, 일 실시 예에 따른 카메라 모듈(210)(예: 카메라 모듈(180))은 렌즈부(211), 이미지 센서(215), 구동부(213), 메모리(219) 및 이미지 신호 처리기(217)(예: 프로세서(120)(250), 이미지 시그널 프로세서)를 포함할 수 있다.
일 실시 예에 따르면, 렌즈부(211)는 복수의 렌즈들을 포함할 수 있다. 복수의 렌즈들은 1군의 렌즈로서 구성될 수 있다. 렌즈부(211)는 렌즈 간의 거리가 고정되어, 경통에 고정될 수 있다. 상기 렌즈부(211)는 구동부(213)로부터 힘을 전달받으면, 경통과 함께 광축을 따라 이동할 수 있다. 예를 들어, 렌즈부(211)는 구동부(213)의 힘의 방향에 따라서 피사체에 근접하는 제1 방향 또는 피사체로부터 이격되는 제2 방향으로 이동할 수 있다.
일 실시 예에 따르면, 이미지 센서(215)는 렌즈부(211)를 통과한 빛을 전기 신호의 강약으로 변환한 영상 신호를 출력할 수 있다. 이미지 센서(215)는 예컨대, CCD 또는 CMOS 등의 센서일 수 있다. 상기 영상 신호는 이미지 센서(215)에 결상된 영상일 수 있다.
일 실시 예에 따르면, 구동부(213)는 이미지 신호 처리기(217)의 지시에 따라 렌즈부(211)를 광축을 따라 이동시킬 수 있다. 예를 들어, 구동부(213)는 이미지 신호 처리기(217)로부터 제어 신호를 수신하고, 제어 신호에 대응하는 방향 - 피사체에 근접하는 제1 방향 또는 피사체로부터 이격되는 제2 방향 - 으로 렌즈부(211)를 광축을 따라 이동시킬 수 있다.
일 실시 예에서, 구동부(213)는 제어 신호에 대응하는 이동량만큼 렌즈부(211)의 위치를 이동시킬 수 있다. 구동부(213)는 렌즈가 초점 조절을 위하여 광축을 따라 움직일 수 있는 총 간격을 단위 간격만큼씩 이동시킬 수 있다. 상기 단위 간격은 총 간격을 예컨대, 1024(=210) 구간 또는 또는 512(=29)로 구분한 것일 수 있다. 상기 단위 간격 중 적어도 일부는 동일할 수 있고, 단위 간격 중 다른 일부는 서로 상이할 수 있다. 예를 들어, 상기 렌즈부(211)가 이동 가능한 전 구간에서 적어도 일부 구간에서는 렌즈부(211)의 위치를 제1 간격으로 이동시키고, 전 구간 중에서 다른 적어도 일부 구간에서 렌즈부(211)의 위치를 적어도 하나의 제2 간격으로 이동시킬 수 있다. 제1 간격 및 상기 제2 간격은 렌즈부(211)의 이동으로 인한 이미지 센서(215)에 결상된 영상의 디포커스 크기 변화가 일정하거나 지정된 오차 이내로 변화되도록 결정된 것일 수 있다.
일 실시 예에서, 상기 제어 신호는 펄스 신호일 수 있다. 제어 신호로 펄스 신호가 인가되는 경우, 구동부(213)는 펄스 개수에 대응하는 이동량만큼 렌즈부(211)를 이동시킬 수 있다. 이하의 문서에서는 설명의 편의를 위하여 제어 신호가 펄스 신호이고 구동부(213)가 펄스 개수만큼 렌즈부(211)를 이동시키는 경우를 예로 들어 설명한다.
일 실시 예에 따르면, 메모리(219)는 지정된 거리에 대응하는 지정된 점 확산 함수(point spread function)들을 저장할 수 있다. 상기 렌즈부(211)의 각 위치는 구동부(213)의 힘에 의해 이동 가능한 모든 위치및 이동 마진 구간을 포함할 수 있다. 상기 지정된 점 확산 함수는 예를 들어, 렌즈부(211)가 이동할 수 있는 전 구간의 각 위치에 대해 이미지 센서(215)로부터 렌즈부(211)와 지정된 거리만큼 이격된 (포화되지 않은) 점 광원을 획득한 영상의 디포커스 크기에 대응되도록 모델링될 수 있다. 또는, 상기 지정된 점 확산 함수는 렌즈부(211)의 설계 데이터에 기반한 수식을 이용하여 렌즈부(211)를 이동할 수 있는 각 위치에 대해 지정된 거리만큼 이격된 점 광원의 디포커스 크기에 대응되도록 모델링된 것일 수 있다. 상기 지정된 거리는 카메라 모듈(210)에 의해 촬영 가능한 피사체 거리들 중에서 하나의 지정된 거리로서, 예컨대, 2m일 수 있다. 상기 점 확산 함수들 간의 간격(또는, 디포커스 크기 변화)은 일정하거나, 거의 유사할 수 있다.
일 실시 예에서, 점 확산 함수들의 크기(또는, 간격)는 렌즈의 각 위치 또는 피사체의 거리 중 적어도 하나에 따라 달리 산출 수 있다. 예를 들어, 점 확산 함수의 크기는 렌즈가 포커스 위치에 있을 때 가장 작고, 포커스 위치로부터 이격될수록 상대적으로 커질 수 있다. 다른 예를 들어, 렌즈부(211)의 위치가 동일할 때에 촬영된 두 영상으로부터 확인된 점 확산 함수의 크기는 피사체의 거리가 렌즈부(211)와 상대적으로 가까우면 상대적으로 작고, 피사체의 거리가 렌즈부(211)와 상대적으로 멀면 상대적으로 클 수 있다. 이러한, 렌즈부(211)와 피사체와의 거리와 렌즈부(211)의 현 위치에 따른 점 확산 함수들의 크기 변화가 일정하지 않은 경우는 DFD 연산에 따른 포커스 위치의 오차로 이어질 수 있다.
이를 방지하고자, 일 실시 예에서는 DFD 연산에 따른 포커스 위치를 보정 가능한 데이터를 메모리(219)에 더 저장할 수 있다.
예를 들어, 메모리(219)는 렌즈부(211)와 다른 지정된 거리에 대응하는 다른 점 확산 함수들을 더 저장할 수 있다. 상기 다른 지정된 점 확산 함수는 예를 들어, 렌즈부(211)가 이동할 수 있는 전 구간의 각 위치에 대해 이미지 센서(215)로부터 렌즈부(211)와 다른 지정된 거리만큼 이격된 점 광원을 획득한 영상의 디포커스 크기에 대응되도록 모델링될 수 있다. 또는, 상기 다른 지정된 점 확산 함수는 렌즈부(211)의 설계 데이터에 기반한 수식을 이용하여 렌즈부(211)를 이동할 수 있는 각 위치에 대해 다른 지정된 거리만큼 이격된 점 광원의 디포커스 크기에 대응되도록 모델링된 것일 수 있다. 상기 다른 지정된 점 확산 함수는 피사체의 거리별로 복수의 셋으로 구성될 수 있다.
다른 예를 들어, 메모리(219)는 지정된 점 확산 함수들과 다른 지정된 점 확산 함수들 간의 크기 비율을 더 저장할 수 있다. 예를 들어, 상기 크기 비율은 예를 들어, 렌즈부(211)의 위치를 고정한 상태에서 피사체의 거리를 변화시키면서 피사체의 거리에 따른 디포커스 크기 변화를 확인하는 실험을 통해서 결정될 수 있다. 상기 크기 비율은 메모리(219) 상에 룩업 테이블(lookup table) 형태로 저장될 수 있다.
일 실시 예에 따르면, 메모리(219)는 지정된 피사체의 거리와 렌즈부(211)의 각 위치에 대응하는 이동량을 저장할 수 있다. 상기 이동량은 적어도 지정된 피사체의 거리에 대해서는 렌즈부(211)의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 결정될 수 있다. 이 경우, 이동량은 룩업 테이블 형태로 저장될 수 있다.
이미지 신호 처리기(217)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 및 ISP(image signal processor) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다.
일 실시 예에 따르면, 이미지 신호 처리기(217)는 이미지 센서(215)에 결상된 영상으로부터 관심 영역(또는, 피사체)을 추출하고, 추출된 관심 영역의 디포커스 크기를 확인할 수 있다. 이미지 신호 처리기(217)는 관심 영역을 추적하면서 관심 영역의 디포커스 크기를 확인할 수 있다. 이 과정에서, 이미지 신호 처리기(217)는 구동부(213)에 제어 신호를 인가함에 따라 렌즈부(211)의 위치를 조절할 수 있다.
일 실시 예에 따르면, 이미지 신호 처리기(217)는 서로 다른 렌즈 위치에서 이미지 센서(215)에 결상된 피사체에 대한 두 영상을 획득할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 렌즈부(211)를 제1 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제1 영상을 획득하고, 렌즈부(211)를 지정된 이동량만큼 이동하여 제2 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제2 영상을 획득할 수 있다.
일 실시 예에 따르면, 이미지 신호 처리기(217)는 지정된 점 확산 함수들을 이용하여 지정된 이동량과 획득된 제1 및 제2 영상의 차이에 기반한 DFD(depth from defocus) 연산을 수행함에 따라 관심 영역의 디포커스 위치를 산출할 수 있다. 상기 디포커스 위치는 렌즈부(211)의 현 위치에서 포커스 위치까지의 거리에 대응되므로, 이미지 신호 처리기(217)는 산출된 디포커스 위치로부터 포커스 위치까지의 이동량을 결정할 수 있다.
일 실시 예에 따르면, 이미지 신호 처리기(217)는 디포커스 위치를 이용하여 렌즈부(211)와 피사체와의 거리를 판단하고, 판단된 거리에 기반하여 결정된 이동량을 보정할 수 있다.
일 실시 예에 따르면, 이미지 신호 처리기(217)는 DFD 연산에 사용된 지정된 점 확산 함수들과 판단된 거리에 대응하는 점 확산 함수들 간의 크기 차이로 인한 이동량의 오차를 보정할 수 있다.
한 실시 예에 따르면, 이미지 신호 처리기(217)는 메모리(219)로부터 판단된 거리에 대응하는 다른 점 확산 함수들을 검색하고, 검색된 점 확산 함수들을 이용하여 이동량을 재결정할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 결정된 이동량에 대응하는 제어 신호를 공급하여 렌즈부(211)를 제3 위치에 위치시키고, 제3 위치에서 이미지 센서(215)에 결상된 피사체에 대한 제3 영상을 획득하고, 제3 영상의 관심 영역의 디포커스 크기를 확인할 수 있다. 이미지 신호 처리기(217)는 메모리(219)로부터 판단된 거리에 대응하는 점 확산 함수들을 재검색하고, 검색된 점 확산 함수들을 이용하여 제2 영상의 관심 영역과 제3 영상의 관심 영역의 디포커스 크기 변화와 결정된 이동량에 대응하는 디포커스 위치를 재결정할 수 있다. 이미지 신호 처리기(217)는 재결정된 디포커스 위치로부터 포커스 위치까지의 이동량을 재결정할 수 있다. 한 실시 예에서, 메모리(219)는 다른 지정된 점 확산 함수들 대신에 지정된 점 확산 함수들과 다른 지정된 점 확산 함수들 간의 크기 비율을 저장할 수 있다. 이 경우에, 이미지 신호 처리기(217)는 제2 및 제3 영상을 이용한 DFD 연산을 수행하는 시점에, 상기 크기 비율을 이용하여 판단된 거리에 대응하는 점 확산 함수들을 생성할 수 있다. 이 같이, 일 실시 예에서는 지정된 점 확산 함수들을 이용하여 피사체의 거리를 판단한 후 판단된 거리에 대응하는 다른 점 확산 함수들을 이용하여 포커스 위치를 재결정함에 따라 DFD 연산으로 인한 초점 오차를 보정할 수 있다.
한 실시 예에 따르면, 이미지 신호 처리기(217)는 지정된 점 확산 함수들과 다른 점 광원 함수 간의 크기 비율을 확인하고, 확인된 크기 비율을 결정된 이동량에 곱함에 따라 이동량을 보정할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 지정된 점 확산 함수에 대응하는 지정된 거리보다 판단된 피사체의 거리가 멀다면, 지정된 점 광원 함수가 판단된 거리의 점 확산 함수보다 작을 수 있다. 이 경우, 결정된 이동량에 따른 디포커스 크기는 실제 포커스 위치에 대응하는 디포커스 크기 변화보다 작을 수 있다. 이 경우, 이미지 신호 처리기(217)는 지정된 점 확산 함수에 대비한 산출된 점 확산 함수의 디포커스 크기 비율(예: 제1 보정치)만큼 결정된 이동량을 증가시킬 수 있다. 상기 제1 보정치는 예컨대, 판단된 거리에 대응하는 점 확산 함수의 디포커스 크기를 지정된 점 확산 함수의 디포커스 크기로 나눈 결과일 수 있다. 다른 예를 들어, 이미지 신호 처리기(217)는 지정된 점 확산 함수에 대응하는 지정된 거리보다 판단된 피사체의 거리가 가깝다면, 지정된 점 확산 함수들보다 판단된 거리에 대응하는 점 확산 함수들의 크기가 상대적으로 클 수 있다. 이 경우, 이미지 신호 처리기(217)는 지정된 점 확산 함수에 대비한 판단된 거리에 대응하는 점 확산 함수의 크기 비율(예: 제2 보정치)만큼 이동량을 감소시킬 수 있다. 상기 제2 보정치는 예컨대, 판단된 거리에 대응하는 점 확산 함수의 디포커스 크기를 지정된 점 확산 함수의 디포커스 크기로 나눈 결과일 수 있다. 상기 제1 및 제2 보정치는 피사체가 근거리일 때와 원거리일 때에 동일한 렌즈 위치의 점 확산 함수의 디포커스 크기의 비율에 기초하여 실험적으로 결정될 수 있다. 이에, 일 실시 예에서는 이동량과 디포커스 크기 변화가 비례하도록 이동량을 보정함에 따라 DFD 연산에 따른 포커스 위치의 오차를 줄일 수 있다.
일 실시 예에 따르면, 이미지 신호 처리기(217)는 결정된 이동량을 구동부(213)로 제공함에 따라 구동부(213)에 의해 렌즈를 포커스 위치로 이동시킬 수 있다. 그러면, 이미지 신호 처리기(217)는 이미지 센서(215)에 결상된 피사체에 대해 초점을 맞춰진 화상을 획득할 수 있다.
전술한 실시 예들과 달리, 메모리(219)에는 산출된 디포커스 위치에서 포커스 위치로 이동하기 위한 이동량이 저장되되, 상기 이동량은 피사체의 거리로 인한 이동량의 오차가 보정된 것일 수 있다. 예를 들어, 메모리(219)는 렌즈부(211)의 제1 위치에서 제2 위치로 이동하기 위한 이동량을 저장하되, 상기 이동량은 적어도 지정된 피사체의 거리에 대해서는 렌즈의 단위 이동(또는, 단위 위치 변화)에 따른 이미지 센서(215)에 결상된 영상의 디포커스 크기 변화가 지정된 크기 변화가 되도록 결정된 수 있다. 이 경우, 단위 이동량은 룩업 테이블 형태로 저장될 수 있다.
상기 이동량은 각 피사체의 거리 변화에 따른 디포커스 크기 변화의 비선형성을 보정할 수 있도록 결정된 것일 수 있다. 이 경우, 이미지 신호 처리기(217)는 DFD 연산을 통하여 결정된 디포커스 위치에 대응하는 이동량을 메모리(219)로부터 검색하고, 검색된 이동량만큼 렌즈를 이동시킬 수 있다. 이 같이, 일 실시 예에서는 피사체의 거리와 렌즈 위치에 따른 포커스 위치의 비선형성을 보상할 수 있는 이동량을 메모리(219)에 저장하고, DFD 연산을 통하여 디포커스 위치가 결정되면, 상기 결정된 디포커스 위치에 대응하는 이동량을 메모리(219)로부터 검색하는 단순한 처리를 통하여 DFD 연산으로 인한 초점 조절 오차를 보정할 수 있다.
전술한 실시 예들과 달리, 구동부(213)는 렌즈부(211)의 각 위치에 대하여 각기 지정된 간격만큼 렌즈부(211)를 이동할 수 있다. 상기 지정된 간격은 렌즈부(211)의 각 위치에서 렌즈부(211)의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 설정될 수 있다. 이 경우, 이미지 신호 처리기(217)는 결정된 이동량을 별도로 보정하지 않을 수 있다. 다만, 구동부(213)가 렌즈부(211)의 위치에 대응하여 서로 다른 간격만큼 이동할 수 있다. 이에, 다양한 실시예에 따른 카메라 모듈(210)은 렌즈부(211)의 단위 이동으로 인한 디포커스 크기 변화가 지정된 크기 변화가 되거나, 상기 디포커스 크기 변화로부터 지정된 오차 범위 내에 있을 수 있다.
전술한 실시 예들과 달리, 렌즈부(211)는 복수의 렌즈군을 포함할 수 있다. 상기 복수의 렌즈군은 구동부(213)의 힘에 의하여 광축을 따라 움직이는 적어도 하나의 포커스 렌즈를 포함할 수 있다. 상기 렌즈부를 제외한 렌즈부(211)의 다른 렌즈는 고정된 형태일 수 있다. 이 경우, 메모리(219)에는 포커스 렌즈의 위치와 피사체의 거리에 따른 디포커스 크기 변화를 보정할 수 있는 점 확산 함수들 또는 점 확산 함수들의 크기 비율을 저장할 수 있다.
전술한 실시 예들과 달리, 이미지 신호 처리기(217)가 수행하는 기능 중 적어도 일부는 다른 프로세서(예: AP)에 의하여 수행될 수 있다. 예를 들어, 복수의 영상을 이용하여 이동량을 산출하거나, 산출된 이동량을 보정하는 동작 중 적어도 일부는 다른 프로세서에 의하여 수행될 수 있다.
일 실시 예에서는 판단된 피사체의 거리에 대응하는 점 확산 함수를 이용하여 포커스 위치까지의 이동량을 결정함에 따라 카메라 모듈의 초점을 보다 정확히 맞출 수 있다.
도 3은 일 실시 예에 따른 전자 장치를 도시한 구성도이다.
도 3을 참조하면, 일 실시예에 따르면, 전자 장치(20)(예: 프로세서(120))는 카메라 모듈(210), 디스플레이(230)(예: 표시 장치(160)), 입력 모듈(220)(예: 입력장치(150)), 메모리(240)(예: 메모리(130)) 및 프로세서(250)(예: 프로세서(120), 이미지 신호 처리기(217))를 포함할 수 있다. 다양한 실시예에서, 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 다양한 실시예에서, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 도 3에 도시된 입출력 관계는 설명의 편의성을 위한 예시에 불과하며, 이에 한정되지 않을 수 있다.
일 실시 예에 따르면, 카메라 모듈(210)은 하나의 렌즈군을 포함하고, 하나의 렌즈군을 광축을 따라 이동시켜 초점을 맞출 수 있다. 예를 들어, 카메라 모듈(210)에 포함된 구동부(213)는 프로세서(250)로부터 제어 신호를 수신하고, 제어 신호에 따른 이동량만큼 피사체에 근접하는 제1 방향 또는 피사체로부터 멀어지는 제2 방향으로 렌즈 위치를 이동시킬 수 있다.
일 실시 예에서, 카메라 모듈(210)은 제어 신호에 대응하는 이동량만큼 렌즈의 위치를 이동시킬 수 있다. 카메라 모듈(210)은 렌즈가 초점 조절을 위하여 광축을 따라 움직일 수 있는 총 간격을 단위 간격만큼씩 이동시킬 수 있다. 상기 단위 간격은 총 간격을 예컨대, 1024(=210) 구간 또는 512(=29) 으로 구분한 것일 수 있다. 상기 단위 간격 중 적어도 일부는 동일할 수 있고, 단위 간격 중 다른 일부는 서로 상이할 수 있다. 예를 들어, 상기 렌즈가 이동 가능한 전 구간에서 적어도 일부 구간에서는 렌즈의 위치를 제1 간격으로 이동시키고, 전 구간 중에서 다른 적어도 일부 구간에서 렌즈의 위치를 적어도 하나의 제2 간격으로 이동시킬 수 있다. 제1 간격 및 상기 제2 간격은 렌즈의 이동으로 인한 이미지 센서(215)에 결상된 영상의 디포커스 크기 변화가 일정하거나 지정된 오차 이내로 변화되도록 결정된 것일 수 있다.
일 실시 예에 따르면, 카메라 모듈(210)은 이미지 센서(215)에 결상된 영상 중에서 프리뷰 영상을 디스플레이(230)에 전달하고, 촬영된 영상을 프로세서(250)로 전달할 수 있다.
일 실시 예에서, 카메라 모듈(210)은 지정된 시점에 복수의 렌즈 위치에서 획득된 복수의 프리뷰 영상을 프로세서(250)로 전달할 수 있다. 상기 지정된 시점은 예컨대, 카메라 모듈(210)은 초점 조절 기능을 수행하는 시점일 수 있다. 예를 들어, 카메라 모듈(210)은 지정된 시점에 복수의 렌즈 위치에서 획득된 복수의 영상을 프로세서(250)로 전달하면서, 이동량에 대한 보정을 요청할 수 있다. 다른 예를 들어, 카메라 모듈(210)은 프로세서(250)로부터 산출된 이동량을 수신하면, 수신된 이동량에 대응하여 렌즈 위치를 조정할 수 있다.
디스플레이(230)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(230)는, 예를 들면, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)를 표시할 수 있다. 일 실시 예에 따르면, 디스플레이(230)는 카메라 모듈(210)로부터 수신된 프리뷰 영상 또는 카메라 모듈(210)에 의해 촬영된 영상 중 적어도 하나를 표시할 수 있다.
일 실시 예에 따르면, 입력 모듈(220)은 사용자의 입력을 수신할 수 있다. 예컨대, 터치 스크린 센서일 수 있다. 입력 모듈(220)은 카메라 구동, 영상 촬영 등을 요청하는 제1 사용자 입력을 감지 또는 수신할 수 있다.
메모리(240)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 메모리(240)는, 예를 들면, 전자 장치(20)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다.
일 실시 예에 따르면, 메모리(240)는 지정된 거리에 대응하는 지정된 점 확산 함수(point spread function)들을 저장할 수 있다. 상기 렌즈부의 각 위치는 구동부(213)의 힘에 의해 이동 가능한 모든 위치 및 렌즈부의 이동 마진 구간을 포함할 수 있다. 상기 지정된 점 확산 함수는 예를 들어, 렌즈부(211)가 이동할 수 있는 전 구간의 각 위치에 대해 이미지 센서(215)로부터 렌즈부(211)와 지정된 거리만큼 이격된 (포화되지 않은) 점 광원을 획득한 영상의 디포커스 크기에 대응되도록 모델링될 수 있다. 또는, 상기 지정된 점 확산 함수는 렌즈부(211)의 설계 데이터에 기반한 수식을 이용하여 렌즈부(211)를 이동할 수 있는 각 위치에 대해 지정된 거리만큼 이격된 점 광원의 디포커스 크기에 대응되도록 모델링된 것일 수 있다. 상기 지정된 거리는 카메라 모듈(210)에 의해 촬영 가능한 피사체의 거리들 중에서 하나의 지정된 거리로서, 예컨대, 2m일 수 있다. 상기 지정된 점 확산 함수들 간의 간격(또는, 디포커스 크기 변화)은 일정하거나, 거의 유사할 수 있다.
일 실시 예에서, 점 확산 함수들의 크기(또는, 간격)는 렌즈의 각 위치와 피사체의 거리에 따라 달리 산출 수 있다. 예를 들어, 점 확산 함수의 크기는 렌즈가 포커스 위치에 있을 때 가장 작고, 포커스 위치로부터 이격될수록 상대적으로 커질 수 있다. 다른 예를 들어, 렌즈부(211)의 위치가 고정되어 있을 때에 피사체가 먼 경우에 획득된 제1 영상과 피사체가 가까운 경우에 획득된 제2 영상에서, 확인된 점 확산 함수의 크기는 피사체의 거리가 렌즈부(211)와 상대적으로 가까우면 상대적으로 작고, 피사체의 거리가 렌즈부(211)와 상대적으로 멀면 상대적으로 클 수 있다. 이러한, 렌즈부(211)와 피사체와의 거리에 따른 점 확산 함수들의 크기 변화는 DFD 연산에 따른 포커스 위치의 오차로 이어질 수 있다. 이를 방지하고자, 일 실시 예에서는 DFD 연산에 다른 포커스 위치를 보정 가능한 데이터를 메모리(240)에 더 저장할 수 있다.
예를 들어, 메모리(240)는 렌즈부(211)와 다른 지정된 거리에 대응하는 다른 점 확산 함수들을 더 저장할 수 있다. 상기 다른 지정된 점 확산 함수는 예를 들어, 렌즈부(211)가 이동할 수 있는 전 구간의 각 위치에 대해 이미지 센서(215)로부터 렌즈부(211)와 다른 지정된 거리만큼 이격된 점 광원을 획득한 영상의 디포커스 크기에 대응되도록 모델링될 수 있다. 또는, 상기 다른 지정된 점 확산 함수는 렌즈부(211)의 설계 데이터에 기반한 수식을 이용하여 렌즈부(211)를 이동할 수 있는 각 위치에 대해 다른 지정된 거리만큼 이격된 점 광원에 대응하는 디포커스 크기에 대응되도록 모델링된 것일 수 있다. 상기 다른 지정된 점 확산 함수는 피사체의 거리별로 복수의 셋으로 구성될 수 있다.
다른 예를 들어, 메모리(240)는 지정된 점 확산 함수들과 다른 지정된 점 확산 함수들 간의 크기 비율을 더 저장할 수 있다. 예를 들어, 상기 크기 비율은 예를 들어, 렌즈부(211)의 위치를 고정한 상태에서 피사체의 거리를 변화시키면서 피사체의 거리에 따른 디포커스 크기 변화를 확인하는 실험을 통해서 결정될 수 있다. 상기 크기 비율은 메모리(240) 상에 룩업 테이블(lookup table) 형태로 저장될 수 있다.
일 실시 예에 따르면, 메모리(240)는 지정된 피사체의 거리와 렌즈부(211)의 각 위치에 대응하는 이동량을 저장할 수 있다. 상기 이동량은 적어도 지정된 피사체의 거리에 대해서는 렌즈부(211)의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 결정될 수 있다. 이 경우, 이동량은 룩업 테이블 형태로 저장될 수 있다. 상기 이동량은 예를 들어, 구동부(213)에 공급되는 펄스 개수를 나타낼 수 있다.
프로세서(250)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다. 프로세서(250)는 전자 장치(20)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 카메라 모듈(210)로부터 영상으로부터 관심 영역(또는, 피사체)을 추출하고, 추출된 관심 영역의 디포커스 크기를 확인할 수 있다. 프로세서(250)는 관심 영역을 추적하면서 관심 영역의 디포커스 크기를 확인할 수 있다. 이 과정에서, 프로세서(250)는 카메라 모듈(210)에 이동량을 전달함에 따라 렌즈부(211)의 위치를 조절할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 서로 다른 렌즈 위치에서 카메라 모듈(210)로부터 피사체에 대한 두 영상을 획득할 수 있다. 예를 들어, 프로세서(250)는 렌즈부(211)를 제1 위치에 위치시키고 카메라 모듈(210)로부터 피사체에 대한 제1 영상을 획득하고, 렌즈부(211)를 지정된 이동량만큼 이동하여 제2 위치에 위치시키고 카메라 모듈(210)로부터 피사체에 대한 제2 영상을 획득할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 지정된 거리의 점 확산 함수들을 이용하여 지정된 이동량과 획득된 제1 및 제2 영상의 차이에 기반한 DFD 연산을 수행함에 따라 관심 영역의 디포커스 위치를 산출할 수 있다. 상기 디포커스 위치는 렌즈부(211)의 현 위치로부터 포커스 위치까지의 거리에 대응하므로, 프로세서(250)는 산출된 디포커스 위치로부터 포커스 위치까지의 이동량을 결정할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 디포커스 위치를 이용하여 렌즈부(211)와 피사체와의 거리를 판단하고, 판단된 거리에 기반하여 결정된 이동량을 보정할 수 있다. 또는, 프로세서(250)는 DFD 연산에 사용된 지정된 점 확산 함수들과 판단된 거리에 대응하는 점 확산 함수들 간의 크기 차이로 인한 이동량의 오차를 보정할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 메모리(240)로부터 판단된 거리에 대응하는 점 확산 함수들을 재검색하고, 재검색된 점 확산 함수들을 이용하여 이동량을 재결정할 수 있다. 예를 들어, 프로세서(250)는 카메라 모듈(210)을 이용하여 결정된 이동량만큼 렌즈부(211)를 이동하여 렌즈부(211)를 제3 위치에 위치시키고, 제3 위치에서 카메라 모듈(210)로부터 제3 영상을 획득할 수 있다. 프로세서(250)는 제3 영상의 관심 영역의 디포커스 크기를 확인할 수 있다. 프로세서(250)는 메모리(240)로부터 산출된 거리에 대응하는 점 확산 함수들을 검색하고, 검색된 점 확산 함수들을 이용하여 결정된 이동량과 제2 영상의 관심 영역과 제3 영상의 관심 영역의 디포커스 크기 차이에 기반한 DFD 연산을 수행하여, 디포커스 위치를 재결정할 수 있다. 프로세서(250)는 재결정된 디포커스 위치로부터 포커스 위치까지의 이동량을 재결정할 수 있다. 한 실시 예에서, 메모리(240)는 다른 지정된 점 확산 함수들 대신에 지정된 점 확산 함수들과 지정된 점 확산 함수들 간의 크기 비율을 저장할 수 있다. 이 경우에, 프로세서(250)는 제2 및 제3 영상을 이용한 DFD 연산을 수행하는 시점에, 상기 크기 비율을 이용하여 판단된 거리에 대응하는 점 확산 함수들을 생성할 수 있다. 이 같이, 일 실시 예에서는 지정된 거리의 점 확산 함수들을 이용하여 피사체의 거리를 산출한 후 산출된 거리에 대응하는 점 확산 함수들을 이용하여 포커스 위치를 재결정함에 따라 DFD 연산으로 인한 초점 오차를 보정할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 지정된 점 확산 함수들과 산출된 거리에 대응하는 점 확산 함수들의 크기 비율을 메모리(240)로부터 확인하고, 확인된 크기 비율을 결정된 이동량에 곱함에 따라 이동량을 보정할 수 있다. 예를 들어, 프로세서(250)는 지정된 점 확산 함수에 대응하는 지정된 거리보다 판단된 거리가 멀다면,, 지정된 점 광원 함수가 판단된 거리의 점 확산 함수보다 작을 수 있다. 이 경우, 결정된 이동량에 따른 디포커스 크기 변화는 실제 필요한 디포커스 크기 변화보다 작을 수 있다. 이에, 프로세서(250)는 지정된 점 확산 함수에 대비한 판단된 점 확산 함수의 디포커스 크기 비율(예: 제1 보정치)만큼 결정된 이동량을 증가시킬 수 있다. 상기 제1 보정치는 예컨대, 판단된 거리에 대응하는 점 확산 함수의 디포커스 크기를 지정된 점 확산 함수의 디포커스 크기로 나눈 결과일 수 있다. 다른 예를 들어, 프로세서(250)는 지정된 점 확산 함수에 대응하는 지정된 거리보다 판단된 거리가 가깝다면, 지정된 점 확산 함수들보다 판단된 거리에 대응하는 점 확산 함수들(또는 산출된 점 확산 함수들)의 크기가 상대적으로 클 수 있다. 프로세서(250)는 지정된 점 확산 함수에 대비한 판단된 거리에 대응하는 점 확산 함수의 크기 비율(예: 제2 보정치)만큼 이동량을 감소시킬 수 있다. 상기 제2 보정치는 예컨대, 판단된 거리에 대응하는 점 확산 함수의 디포커스 크기를 지정된 점 확산 함수의 디포커스 크기로 나눈 결과일 수 있다. 상기 제1 및 제2 보정치는 피사체가 근거리일 때와 원거리일 때에 동일한 렌즈 위치의 점 확산 함수의 크기의 비율에 기초하여 실험적으로 결정될 수 있다. 이에, 일 실시 예에서는 이동량과 디포커스 크기 변화가 서로 비례하도록 이동량을 보정함에 따라 DFD 연산에 따른 포커스 위치의 오차를 줄일 수 있다.
일 실시 예에 따르면, 프로세서(250)는 결정된 이동량을 카메라 모듈(210)로 제공할 수 있다. 카메라 모듈(210)은 이동량을 수신하면, 이동량에 따라 렌즈를 이동시킴에 따라 피사체에 대해 초점을 맞출 수 있다.
전술한 실시 예들과 달리, 프로세서(250)는 카메라 모듈의 구동부(213)를 직접 제어하면서, 카메라 모듈(210)로부터 렌즈 위치가 다른 영상을 수신하고, 수신된 영상의 디포커스 크기에 기초하여 이동량을 결정 및 보정할 수 있다.
전술한 실시 예들과 달리, 메모리(240)에는 산출된 디포커스 위치에 대응하는 피사체의 거리로 인한 이동량의 오차를 보정할 수 있는 이동량이 저장될 수 있다. 상기 이동량은 각 피사체의 거리 변화에 따른 디포커스 크기 변화의 비선형성을 보정할 수 있도록 결정된 것일 수 있다. 이 경우, 프로세서(250)는 DFD 연산을 통하여 결정된 디포커스 위치에 대응하는 이동량을 메모리(240)로부터 검색하고, 검색된 이동량만큼 렌즈를 이동시킬 수 있다. 이 같이, 일 실시 예에서는 피사체의 거리와 렌즈 위치에 따른 포커스 위치의 비선형성을 보상할 수 있는 이동량을 메모리(240)에 저장하고, DFD 연산을 통하여 디포커스 위치가 결정되면, 상기 결정된 디포커스 위치에 대응하는 이동량을 메모리(240)로부터 검색하는 단순한 처리를 통하여 DFD 연산으로 인한 초점 조절 오차를 보정할 수 있다.
전술한 실시 예들과 달리, 카메라 모듈(210)의 구동부(213)는 렌즈부(211)의 각 위치에 대하여 각기 지정된 간격만큼 렌즈부(211)를 이동할 수 있다. 상기 지정된 간격은 렌즈부(211)의 각 위치에서 렌즈부(211)의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 설정될 수 있다. 이 경우, 프로세서(250)는 결정된 이동량을 별도로 보정하지 않을 수 있다. 다만, 구동부(213)가 렌즈부(211)의 위치에 대응하여 서로 다른 간격만큼 이동할 수 있다. 이에, 다양한 실시예에 따른 카메라 모듈(210)은 렌즈부(211)의 단위 이동으로 인한 디포커스 크기 변화가 지정된 크기 변화가 되거나, 상기 디포커스 크기 변화로부터 지정된 오차 범위 내에 있을 수 있다.
도 4a는 일 실시 예에 따른 초점 조절 방법을 도시한 흐름도이다. 도 4a는 DFD 연산으로 피사체의 거리를 판단하고, 판단된 거리에 대응하는 점 확산 함수들을 이용하여 포커스 위치를 재산출하는 경우의 예이다.
동작 411에서, 이미지 신호 처리기(217)(예: 프로세서(120, 250))는 렌즈부(211)의 서로 다른 위치에서 이미지 센서(215)로부터 피사체에 대한 제1 및 제2 영상을 획득할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 렌즈부(211)를 제1 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제1 영상을 획득하고, 렌즈부(211)를 지정된 이동량만큼 이동하여 제2 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제2 영상을 획득할 수 있다.
동작 412에서, 이미지 신호 처리기(217)는 지정된 점 확산 함수들을 이용하여 획득된 두 영상의 차이와 지정된 이동량에 기반한 DFD 연산을 수행하여 카메라 모듈(210)의 디포커스 위치를 산출할 수 있다. 이미지 신호 처리기(217)는 디포커스 위치로부터 포커스 위치로 이동하기 위한 이동량을 결정할 수 있다. 이미지 신호 처리기(217)는 포커스 위치에 기초하여 피사체와의 거리를 판단할 수 있다.
동작 413에서, 이미지 신호 처리기(217)는 구동부(213)를 이용하여 결정된 이동량만큼 렌즈부(211)를 이동하여 렌즈부(211)를 제3 위치에 위치시키고, 제3 위치에서 이미지 센서(215)에 결상된 피사체에 대한 제3 영상을 획득할 수 있다.
동작 414에서, 이미지 신호 처리기(217)는 판단된 거리에 대응하는 점 확산 함수들을 메모리(219)로부터 검색할 수 있다.
동작 415에서, 이미지 신호 처리기(217)는 판단된 거리에 대응하는 점 확산 함수들을 이용하여 제2 영상과 제3 영상의 디포커스 크기 차이 및 결정된 이동량에 기반한 DFD 연산을 수행하여 피사체에 대한 포커스 위치를 재산출할 수 있다.
동작 416에서, 이미지 신호 처리기(217)는 렌즈부(211)의 현 위치로부터 재산출된 포커스 위치까지의 이동량을 결정할 수 있다.
동작 417에서, 이미지 신호 처리기(217)는 구동부(213)를 이용하여 재결정된 이동량만큼 렌즈부(211)를 이동할 수 있다.
도 4b는 일 실시 예에 따른 초점 조절 방법을 도시한 흐름도이다. 도 4b는 DFD 연산에 사용된 점 확산 함수들과 판단된 거리의 점 확산 함수 간의 크기 비율을 이용하여 DFD 연산으로 결정된 포커스 위치를 보정하는 경우의 예이다.
도 4b를 참조하면, 동작 421에서, 이미지 신호 처리기(217)(예: 프로세서(120, 250))는 렌즈부(211)의 서로 다른 위치에서 이미지 센서(215)로부터 피사체에 대한 두 영상을 획득할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 렌즈부(211)를 제1 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제1 영상을 획득하고, 렌즈부(211)를 지정된 이동량만큼 이동하여 제2 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제2 영상을 획득할 수 있다.
동작 423에서, 이미지 신호 처리기(217)는 지정된 점 확산 함수들을 이용하여 획득된 두 영상의 차이와 지정된 이동량에 기반한 DFD 연산을 수행하여 카메라 모듈(210)의 포커스 위치를 산출할 수 있다. 이미지 신호 처리기(217)는 산출된 포커스 위치를 이용하여 피사체의 거리를 판단할 수 있다.
동작 425에서, 이미지 신호 처리기(217)는 판단된 거리에 대응하는 점 확산 함수들과 지정된 점 확산 함수의 크기 비율을 반영하여, 디포커스 위치에 대응하는 이동량을 보정할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 판단된 거리에 대응하는 점 확산 함수의 디포커스 크기를 지정된 점 확산 함수의 디포커스 크기로 나누는 연산을 수행하고, 상기 연산의 결과치를 결정된 이동량에 곱함에 따라 결정된 이동량을 보정할 수 있다.
동작 427에서, 이미지 신호 처리기(217)는 구동부(213)를 이용하여 결정된 이동량만큼 렌즈부(211)를 이동시킬 수 있다.
도 4c는 일 실시예에 따른 초점 조절 방법을 도시한 흐름도이다.
도 4c를 참조하면, 동작 431에서, 이미지 신호 처리기(217)(예: 프로세서(120, 250))는 렌즈부(211)의 서로 다른 위치에서 이미지 센서(215)로부터 피사체에 대한 두 영상을 획득할 수 있다. 예를 들어, 이미지 신호 처리기(217)는 렌즈부(211)를 제1 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제1 영상을 획득하고, 렌즈부(211)를 지정된 이동량만큼 이동하여 제2 위치에 위치시키고 이미지 센서(215)에 결상된 피사체에 대한 제2 영상을 획득할 수 있다.
동작 433에서, 이미지 신호 처리기(217)는 지정된 점 확산 함수들을 이용하여 획득된 두 영상의 차이와 지정된 이동량에 기반한 DFD 연산을 수행하여 디포커스 위치를 산출할 수 있다. 이미지 신호 처리기(217)는 디포커스 위치로부터 포커스 위치로 이동하기 위한 이동량을 결정할 수 있다.
동작 433에서, 이미지 신호 처리기(217)는 구동부(213)를 이용하여 결정된 이동량만큼 렌즈부(211)를 이동할 수 있다. 구동부(213)는 렌즈부(211)의 각 위치에 대하여 각기 지정된 이동 거리만큼 렌즈부(211)를 이동하고, 이동량은 구동부(213)의 구동 특성으로 인해 보정할 수 있다. 상기 지정된 이동 거리는 렌즈부(211)의 각 위치에서 렌즈부(211)의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 설정된 것일 수 있다. 이에, 본 발명의 일 실시 예에 따른 구동부(213)는 이미지 신호 처리기(217)로부터 보정된 이동량을 수신하지 않아도, 렌즈부(211)의 각 위치에 따라 달리 구동하는 구동부(213)의 특성으로 DFD 연산으로 인한 포커스 위치의 오차를 보정할 수 있다.
도 5는 일 실시 예에 따른 카메라 모듈의 디포커스 위치의 오차를 설명하기 위한 그래프이다. 도 5에서, x축은 각 렌즈부의 이동 단위이고 y축은 산출된 측정된 렌즈부의 위치일 수 있다. 도 5의 점선은 각각의 렌즈부의 위치에서 측정되어야 하는 이상적인 렌즈의 위치로서 렌즈의 이동에 따라 선형적으로 변화하는 위치일 수 있다. 도 5의 실선은 측정된 렌즈의 위치일 수 있다. 상기 측정된 렌즈의 위치는 여러 가지 원인으로 인하여 이상적인 렌즈의 위치와 상이할 수 있다. 측정된 렌즈 위치와 이상적인 렌즈 간의 위치 차이는 초점 조절의 오차로 이어질 수 있다.
도 6은 일 실시 예에 따른 지정된 거리의 점 확산 함수를 이용한 DFD 연산으로 카메라 모듈의 각 렌즈 위치에서 산출된 온포커스까지의 거리를 도시한 그래프이다. 도 6에서는 렌즈 위치와 판단된 거리(g2)의 관계에 대하여 설명한다. x축은 각 렌즈 이동 단위이고 y축은 산출된 디포커스 위치일 수 있다. 원점은 렌즈의 초기 위치(렌즈부가 피사체와 가장 먼 상태)일 수 있다. x값과 y값이 커질수록 렌즈부의 위치는 피사체와 근접할 수 있다.
도 6에서, 실선(g1)은 영상의 상대적인 콘트라스트(relative contrast)를 나타낸 것으로서, 실선의 피크는 포커스 위치일 수 있다. 점선(g3)은 렌즈부의 각 위치의 이상적인 렌즈의 디포커스 위치로서, 렌즈부의 이동과 디포커스 크기 변화가 비례하는 그래프일 수 있다. 동그라미가 표시된 실선(g2)은 DFD 연산으로 산출된 디포커스 위치일 수 있다.
도 6을 참조하면, 포커스 위치 또는 포커스 위치에 근접한 렌즈 위치에서 산출된 디포커스 위치는 실제 포커스 위치와 거의 일치함을 알 수 있다. 반면, 렌즈부가 피사체와 근접할수록 또는, 렌즈부가 초기 위치로부터 이동할수록, 이상적인 디포커스 위치(g3)와 산출된 디포커스 위치 간(g2)의 오차는 상대적으로 커짐을 확인할 수 있다. 렌즈부의 이동 방향의 변화 또는 렌즈부 이동이 반복될수록 이상적인 디포커스 위치와 산출된 디포커스 위치 간의 오차는 커질 수 있다. 상기 산출된 오차는 구동부(213)의 비선형성 및 피사체의 거리 등으로 여러 가지 원인으로 인하여 이상적인 디포커스 위치와 상이할 수 있다. 예를 들어, 상기 오차는 구동부(213)의 비선형성으로 인하여 발생할 수 있다. 상기 구동부(213)의 비선형성은 예컨대, 구동부(213)가 동일한 개수의 펄스에 의하여 이동하는 단위 간격이 동일한 디포커스 크기 변화로 이어지지 않음에 따라 발생된 것일 수 있다. 상기 오차는 포커스 위치의 오차로 이어질 수 있다.
그러나, 일 실시 예에 따른 카메라 모듈(210)은 DFD 연산으로 산출된 디포커스 위치를 보정할 수 있어, 도 6에 따른 산출된 디포커스 위치와 실제 디포커스 위치 간의 오차를 보정할 수 있다.
도 7은 일 실시 예에 따른 실제 디포커스 위치와 산출된 디포커스 위치 간의 오차를 도시한 그래프이다. x축은 렌즈의 위치이고, y축은 오차 값이고 Fd는 오차의 단위일 수 있다
도 7를 참조하면, 포커스 위치(f1)에서 획득된 영상으로부터 산출된 디포커스 위치는 실제 디포커스 위치와 거의 일치하나, 렌즈 위치가 포커스 위치로부터 멀어질수록 DFD 연산을 통해 산출된 디포커스 위치와 실제 디포커스 위치 간의 오차는 커짐을 알 수 있다. 하지만, 일 실시 예에 따르면, 렌즈 위치와 피사체 거리에 따른 포커스 위치의 오차를 보정할 수 있어, DFD 연산으로 인한 오차를 보정할 수 있다.
도 8은 일 실시 예에 따른 렌즈 위치에 따른 디포커스 크기 변화를 개념적으로 도시한 도면이다. 도 8에서, 제1 방향(near direction)은 피사체에 근접하는 이동 방향을 표현한 것이고, 제2 방향(far direction)은 피사체와 멀어지는 이동 방향을 표현한 것이다.
도 8을 참조하면, 제1 방향(near direction)에서 발생된 제1 이동량은 제2 방향(far direction)에서 발생된 제2 이동량은 서로 다른 디포커스 변화로 이어질 수 있다. 예를 들어, 제1 이동량과 제2 이동량은 예컨대, 카메라 모듈(210)의 렌즈를 서로 다른 간격만큼 이동시키는 값일 수 있다. 제1 방향(near direction)으로의 제1 이동량(Df code)으로 인한 디포커스 변화(점선 타원)는 제2 방향(far direction)으로의 제2 이동량으로 인한 디포커스 변화보다 클 수 있다. 하지만, 일 실시 예에 따른 카메라 모듈(210)은 렌즈를 제1 방향으로 이동시킬 때에는 제3 이동량을 적용하고, 렌즈를 제2 방향으로 이동시킬 때에는 제1 이동량을 적용함에 따라 피사체의 거리와 렌즈 이동의 비선형성으로 인한 DFD 연산의 오차를 개선할 수 있다. 상기 제3 이동량은 제1 이동량과 동일한 디포커스 크기 변화를 일으키는 이동량일 수 있다.
도 9는 일 실시 예에 따른 일군의 렌즈를 포함하는 카메라 모듈의 피사체의 거리에 따른 포커스 위치를 도시한 도면이다. 도 9에서, 직사각형은 피사체의 위치이고, a는 렌즈와 피사체 간의 거리이고, b는 렌즈와 영상평면 간의 거리이고, f는 초점 거리이다.
렌즈 공식에 따르면, 렌즈와 영상평면 간의 거리(b)는 초점 거리 및 피사체와의 거리와 하기의 수학식 1과 같은 관계를 가질 수 있다.
[수학식 1]
Figure pat00001
상기 수학식 1에서, 피사체(object)의 거리에 따라서, 렌즈와 영상평면 간의 거리(b)가 변화하는 특성을 확인할 수 있다.
도 10은 일 실시 예에 따른 피사체의 거리에 따른 디포커스 크기 변화를 도시한 도면이다. 도 10은 피사체(object)가 가장 가까운 거리로 위치한 경우(nearest object)의 디포커스 크기 변화(Pn)와 가장 먼 거리로 위치한 경우(farthest object)의 디포커스 크기 변화(Pf)를 비교하여 도시하였다. 도 10에서는 초점 거리는 5mm이고 가장 먼 거리는 ∞무한대인 경우를 예로 들어 설명한다. 도 10에서,
Figure pat00002
code는 카메라 모듈(210)의 이동량일 수 있다. θn은 피사체가 가까울 때 이미지 센서에 입사하는 빛의 최대 입사각일 수 있고 θf 는 피사체가 멀리 있을 때 이미지 센서에 입사하는 빛의 최대 입사각일 수 있다.
도 10을 참조하면, 상기 수학식 1에 피사체의 가장 작은 거리 값(an)을 대입하면, 가장 가까운 거리 값(an)에서 디포커스 크기 변화(Pn)는 하기 수학식 2 중에서 왼쪽 수학식과 같이 산출될 수 있다. 상기 수학식 1에 피사체의 가장 먼 거리 값(af)을 대입하면, 가장 먼 거리 값(af)에서 디포커스 크기 변화(Pf)는 초점 거리와 동일할 수 있다.
[수학식 2]
Figure pat00003
Figure pat00004
가장 작은 거리 값(an)가 0.1cm라면, 가장 가까운 거리에서 디포커스 크기 변화는 하기의 수학식 3과 같이 산출될 수 있다.
[수학식 3]
Figure pat00005
Figure pat00006
피사체의 거리에 따른 디포커스 크기 변화는 하기 수학식 4와 같이 대략 5%정도 차이가 있을 수 있다. 이러한 차이는 포커스 위치 오차로 이어질 수 있다.
[수학식 4]
Figure pat00007
일 실시 예에 따른 카메라 모듈(210)은 판단된 거리에 따라 점 확산 함수의 선택을 달리하여 디포커스 위치를 재산출하거나, 판단된 거리에서 발생하는 오차만큼 산출된 디포커스 위치를 보정하거나, 각 렌즈 위치에서 판단된 거리에 대응하는 보정치를 이용하여 디포커스 위치를 보정하는 방식 중 적어도 한 방식을 이용하여 산출된 포커스 위치의 오차를 줄일 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 설정된(adapted to or configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 설정된 (또는 구성된) 프로세서"는 해당 동작들을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치(예: 메모리 130)에 저장된 하나 이상의 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 AP)를 의미할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체(예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램 모듈) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소를 더 포함할 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램 모듈)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (18)

  1. 전자 장치에 있어서,
    카메라, 상기 카메라는, 렌즈부 및 상기 렌즈부를 움직이기 위한 렌즈 구동부를 포함하고; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 카메라로부터, 외부 객체에 대한 제 1 이미지를 획득하고,
    상기 렌즈 구동부를 이용하여, 상기 렌즈부를 지정된 이동량에 따라 이동하고,
    상기 렌즈부의 상기 이동된 위치에 대응하는, 상기 외부 객체에 대한 제 2 영상을 획득하고,
    상기 제 1 영상과 상기 제 2 영상의 차이 및 상기 지정된 이동량에 기반하여, 상기 외부 객체의 영상에 대한 포커스 위치를 결정하고,
    상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 이동량을 결정하고, 상기 이동량을 결정하는 동작의 일부로서, 상기 외부 객체와 상기 렌즈부와의 거리를 판단하고, 및 상기 판단된 거리에 기반하여 상기 결정된 이동량을 보정하고,
    상기 렌즈 구동부를 이용하여, 상기 결정된 이동량에 따라 상기 렌즈부를 이동하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 판단된 거리에 기반하여 상기 이동량을 보정하는 과정에서, 상기 결정된 이동량에 대응하는, 상기 외부 객체에 대한 제3 영상을 획득하고, 상기 제2 영상과 상기 제 3 영상의 차이 및 상기 결정된 이동량에 기반하여, 상기 외부 객체에 대한 상기 렌즈부의 포커스 위치를 재결정하도록 설정된 전자 장치.
  3. 제1항에 있어서,
    지정된 점 확산 함수들을 저장하는 메모리를 더 포함하고, 상기 점 확산 함수들은, 상기 렌즈부가 이동할 수 있는 각 위치에 대해 상기 렌즈부와 지정된 거리만큼 이격된 점 광원에 대응하도록 모델링된 것이고, 상기 프로세서는,
    상기 지정된 점 확산 함수들을 이용하여 상기 제1 영상과 상기 제2 영상의 차이 및 상기 지정된 이동량에 기반하여 DFD(depth from defocus) 연산을 수행하고, 상기 DFD 연산을 통하여 상기 외부 객체에 대한 상기 포커스 위치를 결정하고, 상기 외부 객체와 상기 렌즈부와의 거리를 판단하고,
    상기 판단된 거리에 기반하여 상기 이동량을 보정하는 과정에서, 상기 지정된 점 확산 함수와 상기 판단된 거리에 대응하는 점 확산 함수의 크기 차이로 인한 상기 DFD 연산의 오차를 보정하도록 설정된 전자 장치.
  4. 제3항에 있어서, 상기 메모리는, 상기 판단된 거리에 대응하는 다른 점 확산 함수들을 더 저장하고, 상기 프로세서는,
    상기 판단된 거리에 기반하여 상기 이동량을 보정하는 과정에서, 상기 렌즈 구동부를 이용하여 상기 결정된 이동량에 따라 상기 렌즈부를 이동하고, 상기 카메라로부터 상기 외부 객체에 대한 제 3 영상을 획득하고,
    상기 다른 점 광원 함수들을 이용하여 상기 제 2 영상과 상기 제 3 영상의 차이 및 상기 결정된 이동량에 기반한 DFD 연산을 수행하여, 상기 외부 객체에 대한 상기 렌즈부의 포커스 위치를 재결정하고,
    재결정된 상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 상기 보정된 이동량을 결정하도록 설정된 전자 장치.
  5. 제3항에 있어서, 상기 메모리는,
    상기 지정된 점 확산 함수들 중에서 상기 포커스 위치에 대응하는 제1 점 확산 함수와 상기 판단된 거리에 대응하는 제2 점 확산 함수 간의 크기 차이를 보정하기 위한 보정치를 더 저장하고, 상기 프로세서는,
    상기 판단된 거리에 기반하여 상기 이동량을 보정하는 과정에서, 상기 보정치를 이용하여 상기 결정된 이동량을 보정하도록 설정된 전자 장치.
  6. 제1항에 있어서, 상기 렌즈 구동부는,
    상기 렌즈부의 각 위치에 대하여 각기 지정된 이동 거리만큼 상기 렌즈부를 이동하고, 상기 지정된 이동 거리는, 상기 렌즈부의 각 위치에서 상기 렌즈부의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 설정된 전자 장치.
  7. 전자 장치에 있어서,
    카메라, 상기 카메라는 렌즈부 및 상기 렌즈부를 움직이기 위한 렌즈 구동부를 포함하고,
    상기 렌즈 구동부는, 상기 렌즈부를 이동하는 전 구간 중 적어도 일부 구간에서, 상기 렌즈부가 제 1 위치에 있을 때, 지정된 디포커스를 유발시키기 위해 상기 렌즈부를 이동시키는 제 1 거리와, 상기 렌즈부가 제 2 위치에 있을 때, 상기 지정된 디포커스를 유발시키기 위해 상기 렌즈부를 이동시키는 제 2 거리 사이에 차이가 발생하고; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 카메라로부터, 외부 객체에 대한 제 1 영상을 획득하고,
    상기 렌즈 구동부를 이용하여, 상기 렌즈부를 지정된 이동량에 따라 이동하고,
    상기 렌즈부의 상기 이동된 위치에 대응하는, 상기 외부 객체에 대한 제 2 영상을 획득하고,
    상기 제 1 영상과 상기 제 2 영상의 차이 및 상기 지정된 이동량에 기반하여, 상기 외부 객체의 영상에 대한 포커스 위치를 결정하고,
    상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 이동량을 결정하고, 상기 이동량을 결정하는 동작의 일부로, 상기 포커스 위치가 상기 적어도 일부 구간에 포함될 경우, 상기 제1 거리와 상기 제2 거리 사이의 차이에 기반하여, 상기 이동량을 보정하고, 및
    상기 렌즈 구동부를 이용하여, 상기 보정된 이동량에 따라 상기 렌즈부를 이동하도록 설정된 전자 장치.
  8. 제7항에 있어서,
    지정된 점 확산 함수들을 저장하는 메모리를 더 포함하고, 상기 지정된 점 확산 함수들은, 상기 렌즈부가 이동할 수 있는 각 위치에 대해 상기 렌즈부와 지정된 거리만큼 이격된 점 광원에 대응하도록 모델링된 것이고, 상기 프로세서는,
    상기 지정된 점 확산 함수들을 이용하여 상기 제1 영상과 상기 제2 영상의 차이 및 상기 지정된 이동량에 기반하여 DFD(depth from defocus) 연산을 수행하고, 상기 DFD 연산을 통하여 상기 외부 객체에 대한 상기 포커스 위치를 결정하고, 상기 포커스 위치로 상기 렌즈부를 이동하기 위한 이동량을 결정하며,
    상기 이동량을 결정하는 동작의 일부로서, 상기 외부 객체와 상기 렌즈부와의 거리를 판단하고, 및 상기 판단된 거리에 기반하여 상기 결정된 이동량을 보정하도록 설정된 전자 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 판단된 거리에 기반하여 상기 이동량을 보정하는 과정에서, 상기 지정된 점 확산 함수와 상기 판단된 거리에 대응하는 점 확산 함수의 크기 차이로 인한 상기 DFD 연산의 오차를 보정하도록 설정된 전자 장치.
  10. 제9항에 있어서, 상기 메모리는, 상기 판단된 거리에 대응하는 다른 점 확산 함수들을 더 저장하고, 상기 프로세서는,
    상기 이동량을 보정하는 과정에서, 상기 렌즈 구동부를 이용하여 상기 결정된 이동량에 따라 상기 렌즈부를 이동하고, 상기 카메라로부터 상기 외부 객체에 대한 제 3 영상을 획득하고,
    상기 다른 점 광원 함수들을 이용하여 상기 제 2 영상과 상기 제 3 영상의 차이 및 상기 결정된 이동량에 기반한 DFD 연산을 수행하여, 상기 외부 객체에 대한 상기 렌즈부의 포커스 위치를 재결정하고,
    재결정된 상기 포커스 위치로 상기 렌즈부를 이동시키기 위한 상기 보정된 이동량을 결정하도록 설정된 전자 장치.
  11. 제9항에 있어서, 상기 메모리는,
    상기 지정된 점 확산 함수들 중에서 상기 포커스 위치에 대응하는 제1 점 확산 함수와 상기 판단된 거리에 대응하는 제2 점 확산 함수 간의 크기 차이를 보정하기 위한 보정치를 더 저장하고, 상기 프로세서는,
    상기 이동량을 보정하는 과정에서, 상기 보정치를 이용하여 상기 결정된 이동량을 보정하도록 설정된 전자 장치.
  12. 제8항에 있어서, 상기 렌즈 구동부는,
    상기 렌즈부의 각 위치에 대하여 각기 지정된 이동 거리만큼 상기 렌즈부를 이동하고, 상기 지정된 이동 거리는, 상기 렌즈부의 각 위치에서 상기 렌즈부의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 설정된 전자 장치.
  13. 복수의 렌즈들을 포함하는 렌즈부;
    상기 복수의 렌즈들을 통과한 빛에 대응하는 영상이 결상되는 이미지 센서;
    상기 렌즈부의 위치를 조절하는 구동부; 상기 구동부는, 상기 렌즈부가 이동할 수 있는 전 구간 중에서 적어도 일부 구간에서는 상기 렌즈부의 위치를 제1 거리 단위로 이동하고, 상기 전 구간 중에서 다른 적어도 일부 구간에서 상기 렌즈부의 위치를 적어도 하나의 제2 거리 단위로 이동하며, 상기 제1 거리 단위 및 상기 제2 거리 단위는, 상기 렌즈부가 단위 이동함에 따라 상기 이미지 센서에 결상된 영상의 디포커스 크기 변화가 지정된 크기만큼 변화하거나 상기 지정된 크기로부터 지정된 오차범위 이내로 변화되도록 결정되며,
    프로세서; 및
    상기 렌즈부의 특성에 따른 상기 렌즈부로부터 지정된 거리 이격되는 점 광원을 획득한 영상의 디포커스 크기에 기초하여 생성된 지정된 점 확산 함수들을 저장하는 메모리를 포함하고,
    상기 프로세서는,
    상기 구동부를 이용하여 상기 렌즈부의 제1 위치에서 외부 객체에 대한 제1 영상을 획득하고, 상기 렌즈부를 지정된 이동량만큼 이동하여, 상기 렌즈부의 제2 위치에서 상기 외부 객체에 대한 제2 영상을 획득하고,
    상기 지정된 점 확산 함수들의 디포커스 크기 변화와 상기 지정된 이동량 및 상기 제1 영상과 제2 영상의 디포커스 크기 변화를 비교함에 따라 상기 외부 객체에 대한 디포커스 위치를 산출하고,
    상기 구동부를 이용하여 상기 렌즈부를 상기 산출된 디포커스 위치에서 포커스 위치까지 이동하기 위한 이동량을 결정하고,
    상기 렌즈부를 상기 결정된 이동량에 따라 상기 렌즈부를 이동하도록 설정된 카메라 모듈.
  14. 제13항에 있어서, 상기 프로세서는,
    상기 디포커스 위치에 대응하는 상기 렌즈부와 상기 외부 객체와의 거리를 산출하고, 상기 산출된 거리에 따른 점 확산 함수의 특성 차이에 기초하여 상기 이동량을 보정하도록 설정된 카메라 모듈.
  15. 제14항에 있어서,
    상기 메모리는, 상기 렌즈부의 각 위치에서 상기 지정된 거리와 상기 산출된 거리의 차이로 인한 점 확산 함수의 크기 비율을 저장하고,
    상기 프로세서는, 상기 결정된 이동량과 상기 크기 비율을 이용한 지정된 연산을 수행함에 따라 상기 결정된 이동량을 보정하도록 설정된 카메라 모듈.
  16. 제13항에 있어서, 상기 프로세서는,
    상기 디포커스 위치에 대응하는 상기 렌즈부와 상기 외부 객체와의 거리를 산출하고,
    상기 결정된 이동량만큼 상기 렌즈부를 이동시킨 후 상기 외부 객체에 대한 제3 영상을 획득하여 상기 제3 영상의 디포커스 크기 크기를 확인하며,
    상기 제2 영상과 상기 제3 영상 간의 디포커스 크기 변화를 상기 산출된 거리에 대응하는 점 확산 함수들의 디포커스 크기 변화와 비교함에 따라 이동량을 재결정하도록 설정된 카메라 모듈.
  17. 제16항에 있어서,
    상기 메모리는, 상기 산출된 거리만큼 이격된 점 광원을 획득한 영상의 디포커스 크기에 기초하여 생성된 다른 점 확산 함수들을 더 저장하고,
    상기 프로세서는, 상기 다른 점 확산 함수들을 이용하여 상기 디포커스 위치를 재산출하고, 상기 재산출된 디포커스 위치에 대응하는 이동량을 결정하도록 설정된 카메라 모듈.
  18. 제13항에 있어서, 상기 구동부는,
    상기 렌즈부의 각 위치에 대하여 각기 지정된 거리만큼 상기 렌즈부를 이동하고, 상기 지정된 거리는, 상기 렌즈부의 각 위치에서 상기 렌즈부의 단위 이동으로 지정된 크기의 디포커스 변화가 발생하도록 설정된 카메라 모듈.
KR1020170081628A 2017-06-28 2017-06-28 카메라 모듈, 카메라 모듈을 포함하는 전자 장치 KR102382865B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170081628A KR102382865B1 (ko) 2017-06-28 2017-06-28 카메라 모듈, 카메라 모듈을 포함하는 전자 장치
US16/017,476 US11048061B2 (en) 2017-06-28 2018-06-25 Electronic device including camera module
CN201810678245.8A CN109151301B (zh) 2017-06-28 2018-06-27 包括相机模块的电子装置
EP18180360.2A EP3422699B1 (en) 2017-06-28 2018-06-28 Camera module and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170081628A KR102382865B1 (ko) 2017-06-28 2017-06-28 카메라 모듈, 카메라 모듈을 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20190001695A true KR20190001695A (ko) 2019-01-07
KR102382865B1 KR102382865B1 (ko) 2022-04-05

Family

ID=62947916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170081628A KR102382865B1 (ko) 2017-06-28 2017-06-28 카메라 모듈, 카메라 모듈을 포함하는 전자 장치

Country Status (4)

Country Link
US (1) US11048061B2 (ko)
EP (1) EP3422699B1 (ko)
KR (1) KR102382865B1 (ko)
CN (1) CN109151301B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080155A (ko) * 2019-12-20 2021-06-30 국민대학교산학협력단 실내 조명 제어 장치 및 방법
WO2022245129A1 (ko) * 2021-05-18 2022-11-24 삼성전자 주식회사 오브젝트 추적 방법 및 이를 위한 전자 장치
WO2024025182A1 (ko) * 2022-07-26 2024-02-01 삼성전자 주식회사 복수 개의 카메라를 이용하여 영상을 획득하는 전자 장치 및 그 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9943247B2 (en) * 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
KR102593303B1 (ko) * 2018-01-16 2023-10-25 삼성전자 주식회사 전자 장치 및 전자 장치의 카메라 자동 초점 제어 방법
US20190253607A1 (en) * 2018-02-15 2019-08-15 Qualcomm Incorporated Object tracking autofocus
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
JP7002050B2 (ja) * 2018-07-11 2022-02-10 パナソニックＩｐマネジメント株式会社 撮像装置
CN109819169A (zh) * 2019-02-13 2019-05-28 上海闻泰信息技术有限公司 全景拍摄方法、装置、设备和介质
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN110475068B (zh) * 2019-08-30 2021-10-29 北京迈格威科技有限公司 图像处理方法及装置
US11800231B2 (en) 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
CN111405117B (zh) * 2020-03-24 2021-01-15 维沃移动通信有限公司 一种控制方法及电子设备
CN111787297B (zh) * 2020-08-03 2022-04-29 成都极米科技股份有限公司 空行程校准方法、自动对焦方法、装置及存储介质
KR102285530B1 (ko) * 2021-03-09 2021-08-04 주식회사 에스아이에이 영상 정합을 위한 이미지 처리 방법
CN113194232B (zh) * 2021-04-22 2022-05-20 维沃移动通信有限公司 摄像头、电子设备及其控制方法和控制装置
CN116866715B (zh) * 2023-07-24 2024-04-26 微创优通医疗科技（上海）有限公司 内窥镜的自动对焦方法、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070001817A (ko) * 2005-06-29 2007-01-04 가시오게산키 가부시키가이샤 촬상장치 및 오토포커스 제어방법
JP2014044408A (ja) * 2012-07-31 2014-03-13 Canon Inc 撮像装置、距離情報取得方法およびプログラム
JP2015121774A (ja) * 2013-11-19 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置
KR20150141061A (ko) * 2014-06-09 2015-12-17 한화테크윈 주식회사 촬영 장치의 자동 포커싱 방법
JP2016218206A (ja) * 2015-05-19 2016-12-22 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002072062A (ja) 2000-08-23 2002-03-12 Asahi Optical Co Ltd 自動焦点調節装置
JP2007139893A (ja) 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
US8289438B2 (en) 2008-09-24 2012-10-16 Apple Inc. Using distance/proximity information when applying a point spread function in a portable media device
JP2011070134A (ja) 2009-09-28 2011-04-07 Kyocera Corp 撮像装置および画像処理方法
US8340456B1 (en) 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
JP6429444B2 (ja) 2013-10-02 2018-11-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
CN106231177A (zh) 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 场景深度测量方法、设备及成像装置
KR102382871B1 (ko) * 2017-07-18 2022-04-05 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070001817A (ko) * 2005-06-29 2007-01-04 가시오게산키 가부시키가이샤 촬상장치 및 오토포커스 제어방법
JP2014044408A (ja) * 2012-07-31 2014-03-13 Canon Inc 撮像装置、距離情報取得方法およびプログラム
JP2015121774A (ja) * 2013-11-19 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置
KR20150141061A (ko) * 2014-06-09 2015-12-17 한화테크윈 주식회사 촬영 장치의 자동 포커싱 방법
JP2016218206A (ja) * 2015-05-19 2016-12-22 キヤノン株式会社 撮像装置およびその制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080155A (ko) * 2019-12-20 2021-06-30 국민대학교산학협력단 실내 조명 제어 장치 및 방법
WO2022245129A1 (ko) * 2021-05-18 2022-11-24 삼성전자 주식회사 오브젝트 추적 방법 및 이를 위한 전자 장치
WO2024025182A1 (ko) * 2022-07-26 2024-02-01 삼성전자 주식회사 복수 개의 카메라를 이용하여 영상을 획득하는 전자 장치 및 그 방법

Also Published As

Publication number Publication date
EP3422699B1 (en) 2020-08-05
US20190004282A1 (en) 2019-01-03
KR102382865B1 (ko) 2022-04-05
US11048061B2 (en) 2021-06-29
EP3422699A1 (en) 2019-01-02
CN109151301A (zh) 2019-01-04
CN109151301B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
KR102382865B1 (ko) 카메라 모듈, 카메라 모듈을 포함하는 전자 장치
US20180295292A1 (en) Method and electronic device for focus control
KR102449876B1 (ko) 옵티칼 렌즈 어셈블리 및 이를 포함한 전자 장치
US10484600B2 (en) Electronic apparatus and controlling method thereof
EP3293572B1 (en) Camera lens assembly of dual camera
KR20180113421A (ko) 적어도 하나의 관통 홀이 형성된 하우징을 포함하는 전자 장치
KR20180068585A (ko) 옵티칼 렌즈 어셈블리 및 이를 이용한 이미지 형성 방법
US10506175B2 (en) Method for processing image and electronic device supporting the same
KR20180032291A (ko) 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
KR20190020578A (ko) 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
KR20190050655A (ko) 도어의 개폐 상태를 감지하기 위한 센싱 장치 및 그 센싱 장치를 제어하는 방법
KR102379898B1 (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
CN107870038B (zh) 用于检测入射光的波长光谱的方法和电子装置
EP3255878B1 (en) Electronic device and control method therefor
US10334174B2 (en) Electronic device for controlling a viewing angle of at least one lens and control method thereof
KR102649220B1 (ko) 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법
KR20190076172A (ko) 무선 신호를 송수신하기 위한 전자 장치 및 그 전자 장치를 제어하는 방법
CN113311937A (zh) 眼球追踪的校准方法及相关装置
KR20190143287A (ko) 홍채와 촬영 장치간 거리 예측 방법 및 이를 수행하기 위한 단말
KR20200117379A (ko) 변조 주파수에 따른 깊이 오차를 보상하는 전자 장치 및 방법
KR20170055250A (ko) 전자 장치 및 전자 장치에서의 자동 초점 처리 방법
KR20200036264A (ko) 자동 초점 방법 및 이를 수행하는 전자 장치
KR20200003992A (ko) 사용자를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant