KR20170059704A - 촬영 장치 및 그 동작 방법 - Google Patents

촬영 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20170059704A
KR20170059704A KR1020150163985A KR20150163985A KR20170059704A KR 20170059704 A KR20170059704 A KR 20170059704A KR 1020150163985 A KR1020150163985 A KR 1020150163985A KR 20150163985 A KR20150163985 A KR 20150163985A KR 20170059704 A KR20170059704 A KR 20170059704A
Authority
KR
South Korea
Prior art keywords
camera module
temperature
focus lens
disparity
image
Prior art date
Application number
KR1020150163985A
Other languages
English (en)
Inventor
김일도
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150163985A priority Critical patent/KR20170059704A/ko
Priority to PCT/KR2016/005269 priority patent/WO2017090848A1/en
Priority to CN201680068204.6A priority patent/CN108292075A/zh
Priority to EP16868750.7A priority patent/EP3335076A4/en
Priority to US15/158,635 priority patent/US20170150126A1/en
Publication of KR20170059704A publication Critical patent/KR20170059704A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Optics & Photonics (AREA)

Abstract

동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈, 상기 제1 카메라 모듈의 온도를 측정하는 온도 센서, 및 상기 제1 카메라 모듈에서 획득한 제1 영상과 상기 제2 카메라 모듈에서 획득한 제2 영상을 이용하여 디스패리티(disparity)를 계산하고, 상기 디스패리티 및 상기 제1 카메라 모듈의 온도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 제어부를 포함하는 촬영 장치가 개시된다.

Description

촬영 장치 및 그 동작 방법{Image capturing apparatus and method for the same}
다양한 실시예들은 촬영 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 오토 포커싱을 수행하는 촬영 장치 및 그 동작 방법에 관한 것이다.
다중 카메라 시스템은 두 개 이상의 카메라 모듈들을 포함하고, 카메라 모듈들 각각으로부터 입력되는 영상들을 이용하여, 특정 객체에 대한 초점을 검출하거나 입체 영상을 생성할 수 있다.
특히, 다중 카메라 시스템에서, 자동으로 초점을 검출하는 방법은 크게 3가지로 분류될 수 있다. 첫 번째는, 카메라 모듈들 각각에서 독립적으로 오토 포커싱을 수행하는 방법이며, 두 번째는, 메인 카메라 모듈에서만 오토 포커싱을 수행하고, 나머지 서브 카메라 모듈은 메인 카메라 모듈의 오토 포커싱 결과를 이용하는 방법이다. 세 번째는, 두 개의 카메라 모듈들 각각에서 입력되는 두 개의 영상으로부터 계산되는 디스패리티를 분석하여, 두 개의 카메라 모듈들 각각에 대한 오토 포커싱을 수행하는 방법이다. 예를 들어, 다중 카메라 시스템은, 한쪽 영상 내의 특정 위치에 표시되는 객체가 다른 쪽 영상에서는 어느 위치에 표시되는지를 검출하고, 두 위치의 차이(디스패리티(disparity))를 추출할 수 있다. 다중 카메라 시스템은 디스패리티를 이용하여, 특정 객체까지의 거리 값을 계산하고, 특정 객체에 초점을 맞출 수 있다.
다양한 실시예들은, 두 개의 카메라 모듈에서 촬영된 영상의 디스패리티(disparity)와 카메라 모듈의 온도 또는 습도를 고려하여, 오토 포커싱을 수행할 수 있는 촬영 장치 및 그 동작 방법을 제공할 수 있다.
일 실시예에 따른 촬영 장치는, 동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈, 상기 제1 카메라 모듈의 온도를 측정하는 온도 센서, 및 상기 제1 카메라 모듈에서 획득한 제1 영상과 상기 제2 카메라 모듈에서 획득한 제2 영상을 이용하여 디스패리티(disparity)를 계산하고, 상기 디스패리티 및 상기 제1 카메라 모듈의 온도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 제어부를 포함할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 카메라 모듈의 포커스를 상기 피사체에 맞추도록 상기 오토 포커싱을 수행할 수 있다.
일 실시예에 따른 제1 카메라 모듈은 포커스 렌즈를 포함하고, 상기 제1 카메라 모듈의 온도는 상기 포커스 렌즈의 온도일 수 있다.
일 실시예에 따른 제어부는, 상기 디스패리티에 대응하는 상기 포커스 렌즈의 제1 위치를 계산하고, 상기 제1 카메라 모듈의 온도에 따라, 상기 제1 위치에 온도 보상을 수행한 제2 위치를 계산하며, 상기 제2 위치로 상기 포커스 렌즈가 이동되도록 제어할 수 있다.
일 실시예에 따른 촬영 장치는, 상기 디스패리티와 상기 포커스 렌즈의 위치의 관계를 나타내는 디스패리티 맵과 상기 포커스 렌즈의 위치와 제1 카메라 모듈의 온도의 관계를 나타내는 온도 맵을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 디스패리티 맵을 이용하여, 상기 디스패리티에 대응하는 상기 제1 위치를 결정하고, 상기 온도 맵을 이용하여, 상기 제1 위치를 상기 제2 위치로 변환할 수 있다.
일 실시예에 따른 포커스 렌즈는 플라스틱 렌즈를 포함할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 카메라 모듈의 온도를 임계 범위와 비교하여, 상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되는 경우, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 위치를 계산하고, 상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 포커스 렌즈의 위치를 변경하면서, 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 위치를 계산할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 제1 위치를 계산하고, 상기 제1 위치에 기초하여 결정된 일정 범위에서 상기 포커스 렌즈의 위치를 변경하면서, 상기 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 제2 위치를 계산할 수 있다.
일 실시예에 따른 촬영 장치는, 상기 제1 카메라 모듈의 습도를 측정하는 습도 센서를 더 포함하고, 상기 제어부는, 상기 디스패리티 및 상기 제1 카메라 모듈의 습도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행할 수 있다.
일 실시예에 따른 촬영 장치의 동작방법은, 제1 카메라 모듈로부터 피사체를 촬영한 제1 영상을 획득하고, 제2 카메라 모듈로부터 상기 피사체를 촬영한 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상을 이용하여, 디스패리티(disparity)를 계산하는 단계, 상기 제1 카메라 모듈의 온도를 측정하는 단계, 및 상기 디스패리티 및 상기 제1 카메라 모듈의 온도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계를 포함할 수 있다.
일 실시예에 따른 제1 카메라 모듈의 오토 포커싱을 수행하는 단계는, 상기 제1 카메라 모듈의 포커스를 상기 피사체에 맞추는 단계를 포함할 수 있다..
일 실시예에 따른 제1 카메라 모듈은 포커스 렌즈를 포함하고, 상기 제1 카메라 모듈의 온도를 측정하는 단계는, 상기 포커스 렌즈의 온도를 측정하는 단계를 포함할 수 있다.
일 실시예에 따른 제1 카메라 모듈의 오토 포커싱을 수행하는 단계는, 상기 디스패리티에 대응하는 상기 포커스 렌즈의 제1 위치를 계산하는 단계, 상기 제1 카메라 모듈의 온도에 따라, 상기 제1 위치에 온도 보상을 수행한 제2 위치를 계산하는 단계, 및 상기 제2 위치로 상기 포커스 렌즈가 이동되도록 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 촬영장치의 동작방법은, 상기 디스패리티와 상기 포커스 렌즈의 위치의 관계를 나타내는 디스패리티 맵과 상기 포커스 렌즈의 위치와 제1 카메라 모듈의 온도의 관계를 나타내는 온도 맵을 저장하는 단계를 더 포함하고, 상기 제1 위치를 계산하는 단계는, 상기 디스패리티 맵을 이용하여, 상기 디스패리티에 대응하는 상기 제1 위치를 결정하는 단계를 포함하고, 상기 제2 위치를 계산하는 단계는, 상기 온도 맵을 이용하여, 상기 제1 위치를 상기 제2 위치로 변환하는 단계를 포함할 수 있다.
일 실시예에 따른 제1 카메라 모듈의 오토 포커싱을 수행하는 단계는, 상기 제1 카메라 모듈의 온도를 임계 범위와 비교하는 단계, 상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되는 경우, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 위치를 계산하는 단계, 및 상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 포커스 렌즈의 위치를 변경하면서, 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 위치를 계산하는 단계를 포함할 수 있다.
일 실시예에 따른 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 포커스 렌즈의 위치를 계산하는 단계는, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 제1 위치를 계산하는 단계, 및 상기 제1 위치에 기초하여 결정된 일정 범위에서 상기 포커스 렌즈의 위치를 변경하면서, 상기 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 제2 위치를 계산하는 단계를 포함할 수 있다.
일 실시예에 따른 촬영 장치의 동작방법은, 상기 제1 카메라 모듈의 습도를 측정하는 단계, 및 상기 디스패리티 및 상기 제1 카메라 모듈의 습도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 카메라 모듈들 각각에서 측정된 온도를 이용하여, 뎁스 오토 포커스 방식으로 계산된 포커스 렌즈의 위치를 보상함으로써, 오토 포커싱의 정확도를 향상시킬 수 있다.
또한, 카메라 모듈들 각각의 온도에 따라, 뎁스 오토 포커스 방식과 콘트라스트 오토 포커스 방식을 혼용하여, 오토 포커싱을 수행함으로써, 오토 포커싱의 속도를 빠르게 하고, 정확도를 향상시킬 수 있다.
도 1a는 복수 개의 카메라 모듈을 포함하는 다중 카메라 시스템을 나타내는 도면이고, 도 1b는 다중 카메라 시스템에서 디스패리티(disparity)를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 2a는 온도에 따른 포커스 렌즈의 위치를 나타내는 그래프이고, 도 2b는 습도에 따른 포커스 렌즈의 위치를 나타내는 그래프이다.
도 3a는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이고, 도 3b는 도 3a의 제1 카메라 모듈의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.
도 5는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.
도 6은 일 실시예에 따른 촬영 장치가 오토 포커싱을 수행하는 방법을 나타내는 흐름도이다.
도 7은 도 6의 640 단계(S640)를 구체적으로 나타내는 흐름도이다.
도 8은 카메라 모듈로부터 동일한 거리에 떨어져 있는 피사체에 대하여, 카메라 모듈의 온도에 따라, 뎁스 오토 포커스 방식을 이용하여 계산한 포커스 렌즈의 위치와 콘트라스트 오토 포커스 방식을 이용하여 계산한 포커스 렌즈의 위치를 나타내는 그래프이다.
도 9는 일 실시예에 따른 촬영 장치가 오토 포커싱을 수행하는 방법을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 촬영 장치가 오토 포커싱을 수행하는 방법을 나타내는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a는 복수 개의 카메라 모듈을 포함하는 다중 카메라 시스템을 나타내는 도면이고, 도 1b는 다중 카메라 시스템에서 디스패리티(disparity)를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
다중 카메라 시스템은 입체 영상을 생성하는 스테레오 카메라(stereoscopic camera)일 수 있다. 다중 카메라 시스템은 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)을 포함할 수 있다. 이때, 제1 카메라 모듈(21)과 제2 카메라 모듈(22)은 소정 거리만큼 이격되어 배치될 수 있다. 다중 카메라 시스템은 제1 카메라 모듈(21)로부터 획득한 제1 영상과 제2 카메라 모듈(22)로부터 획득한 제2 영상을 이용하여 디스패리티(disparity)를 검출할 수 있다.
이에 대해서는 도 1b를 참조하여, 자세히 설명하기로 한다.
도 1b를 참조하면, 제1 영상(31)은 도 1a의 제1 카메라 모듈(21)로부터 획득한 영상이고, 제2 영상(32)은 도 1a의 제2 카메라 모듈(22)로부터 획득한 영상이다. 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)이 동일한 광학적 특성을 가지더라도, 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)의 위치 차이로 인해 제1 영상(31) 및 제2 영상(32) 내에서의 피사체의 위치는 달라지게 된다. 예를 들어, 도 1a의 제1 카메라 모듈(21)은 피사체(10)를 기준으로 왼쪽에 배치되어 있으므로, 제1 영상(31)에 포함되는 피사체(41)는 제1 영상(31)의 중심선을 기준으로 오른쪽에 위치한다. 또한, 도 1a의 제2 카메라 모듈(22)은 피사체(10)를 기준으로 오른쪽에 배치되어 있으므로, 제2 영상(32)에 포함되는 피사체(42)는 제2 영상(32)의 중심선을 기준으로 왼쪽에 위치한다.
도 1b를 참조하면, 다중 카메라 시스템은 제1 영상(31)에 포함되는 피사체(41)의 위치와 제2 영상(32)에 포함되는 피사체(42)의 위치 차이인 디스패리티(d)를 검출할 수 있다. 다중 카메라 시스템은 검출된 디스패리티(d)를 이용하여, 뎁스 오토 포커스(Depth Auto Focus) 방식으로, 제1 카메라 모듈(21) 및 제2 카메라 모듈(22) 각각에 대한 오토 포커싱을 수행할 수 있다.
예를 들어, 다중 카메라 시스템은, 제1 영상(31) 및 제2 영상(32)을 이용하여 계산된 디스패리티(d)에 대응하는 제1 카메라 모듈(21)의 포커스 렌즈의 위치 및 제2 카메라 모듈(22)의 포커스 렌즈의 위치를 획득할 수 있다. 다중 카메라 시스템은, 획득된 포커스 렌즈의 위치로 제1 카메라 모듈 및 제2 카메라 모듈들 각각에 포함되는 포커스 렌즈를 이동시켜, 오토 포커싱을 수행할 수 있다.
도 2의 (a)는 온도에 따른 포커스 렌즈의 위치를 나타내는 그래프이고, 도 2의 (b)는 습도에 따른 포커스 렌즈의 위치를 나타내는 그래프이다.
도 2의 (a)에 도시된 그래프의 가로축은 카메라 모듈의 온도(포커스 렌즈의 온도)를 나타내고, 세로축은 피사체에 초점을 맞추기 위한 포커스 렌즈의 위치를 나타낸다. 카메라 모듈의 초점 거리는, 카메라 모듈의 온도(포커스 렌즈의 온도)가 변하면, 변경될 수 있다. 이에 따라, 피사체에 초점을 맞추기 위한 포커스 렌즈의 위치는, 카메라 모듈로부터 피사체까지의 거리가 동일하더라도, 카메라 모듈의 온도에 따라 변경될 수 있다. 카메라 모듈의 온도 변화가 고려되지 않고, 피사체까지의 거리에 따라 포커스 렌즈의 위치가 계산되는 경우, 피사체에 초점이 맞지 않을 수 있다. 일 실시예에 따른 촬영 장치는, 카메라 모듈의 온도를 고려하여, 포커스 렌즈의 위치를 계산할 수 있다.
또한, 도 2의 (b)에 도시된 그래프의 가로축은 카메라 모듈의 습도(포커스 렌즈의 습도)를 나타내고, 세로축은 피사체에 초점을 맞추기 위한 포커스 렌즈의 위치를 나타낸다. 도 2의 (b)를 참조하면, 카메라 모듈로부터 피사체까지의 거리가 동일하더라도, 피사체에 초점을 맞추기 위한 포커스 렌즈의 위치는 카메라 모듈의 습도에 따라 변경될 수 있다. 카메라 모듈의 습도 변화가 고려되지 않고, 피사체까지의 거리에 따른 포커스 렌즈의 위치가 계산되는 경우, 피사체에 초점이 맞지 않을 수 있다. 일 실시예에 따른 촬영 장치는, 카메라 모듈의 온도뿐만 아니라 카메라 모듈의 습도도 고려하여, 포커스 렌즈의 위치를 계산할 수 있다.
도 3a는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이고, 도 3b는 도 3a의 제1 카메라 모듈의 구성을 나타내는 블록도이다.
도 3a를 참조하면, 촬영 장치(100)는 제1 카메라 모듈(110), 제2 카메라 모듈(120), 온/습도 센서(140) 및 제어부(130)를 포함할 수 있다.
일 실시예에 따르는 촬영 장치(100)는 도 1a에서 설명한 바와 같이, 복수의 카메라 모듈을 포함하는 다중 카메라 시스템으로 구현될 수 있다. 또한, 촬영 장치(100)는 정지 영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다. 또한, 촬영 장치(100)는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라 또는 스마트 폰이 포함될 수 있다. 다만, 이에 한정되는 것은 아니며 일 실시예에 따른 촬영 장치(100)는 렌즈 및 촬상 소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 복수의 카메라 모듈을 탑재한, 장치를 포함할 수 있다.
일 실시예에 따른 온/습도 센서(140)는 제1 온/습도 센서(141) 및 제2 온/습도 센서(142)를 포함할 수 있다. 또한, 일 실시예에 따른 제1 카메라 모듈(110)은 제1 온/습도 센서(141)를 포함하고, 제2 카메라 모듈(120)은 제2 온/습도 센서(142)를 포함할 수 있다.
일 실시예에 따른 제1 온/습도 센서(141)는 제1 카메라 모듈(110)의 온도 및 습도 중 적어도 하나를 측정할 수 있다. 제1 온/습도 센서(141)는 제1 카메라 모듈(110)에 포함되는 렌즈의 온도 및 습도 중 적어도 하나를 측정할 수 있다. 또한, 제2 온/습도 센서(142)는 제2 카메라 모듈(120)의 온도 및 습도 중 적어도 하나를 측정할 수 있다. 예를 들어, 제2 온/습도 센서(142)는 제2 카메라 모듈(120)에 포함되는 렌즈의 온도 및 습도 중 적어도 하나를 측정할 수 있다.
도 3a에서는 온도 및 습도 중 적어도 하나를 측정할 수 있는 온/습도 센서(140)를 도시하였으나, 이에 한정되는 것은 아니다. 온/습도 센서(140)는, 온도 센서 및 습도 센서 각각으로 분리되어 구현될 수도 있다.
또한, 제1 온/습도 센서(141)는 측정된 제1 카메라 모듈(110)의 온도 및 습도 중 적어도 하나를 제어부(130)로 전송할 수 있고, 제2 온/습도 센서(142)는 측정된 제2 카메라 모듈(120)의 온도 및 습도 중 적어도 하나를 제어부(130)로 전송할 수 있다.
도 3b는 제1 카메라 모듈(110)의 구성을 구체적으로 나타내는 블록도이다.
도 3b를 참조하면, 제1 카메라 모듈(110)은 렌즈(111), 렌즈 구동부(112), 제1 온/습도 센서(141), 조리개(113), 조리개 구동부(115), 이미지 센서(116), 이미지 센서 제어부(117), 아날로그 신호 처리부(118), 이미지 신호 처리부(119)를 포함할 수 있다.
렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 일 실시예에 따른 렌즈(111)는 포커스 렌즈를 포함할 수 있으며, 포커스 렌즈는 플라스틱 렌즈를 포함할 수 있다. 렌즈(111)는 렌즈 구동부(112)에 의해 그 위치가 조절될 수 있다. 렌즈 구동부(112)는 제어부(130)에서 제공된 제어 신호에 따라 렌즈(111)의 위치를 조절한다. 렌즈 구동부(112)는 포커스 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 초점 변경들의 동작을 수행할 수 있다.
예를 들어, 일 실시예에 따른 렌즈 구동부(112)는 제어부(130)에서 제공된 제어 신호에 따라 포커스 렌즈의 위치를 조절하여, 오토 포커싱을 수행할 수 있다.
조리개(113)는 조리개 구동부(115)에 의해 그 개폐 정도가 조절되며, 이미지 센서(116)로 입사되는 광량을 조절한다.
렌즈(111) 및 조리개(113)를 투과한 광학 신호는 이미지 센서(116)의 수광면에 이르러 피사체의 상을 결상한다. 이미지 센서(116)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 이미지 센서(116)는 이미지 센서 제어부(117)에 의해 감도 등이 조절될 수 있다. 이미지 센서 제어부(117)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 이미지 센서(116)를 제어할 수 있다.
아날로그 신호 처리부(118)는 이미지 센서(116)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(119)는 아날로그 신호 처리부(118)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색 필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색 보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(119)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상의 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(119)는 이미지 센서(116)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 촬상 신호는 이미지 센서(116)에서 생성되고, 아날로그 신호 처리부(118)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(119)는 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 프레임들을 MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩하여 압축한 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다. 이미지 신호 처리부(119)는 생성된 제1 영상을 제어부(130)로 출력할 수 있다.
한편, 제2 카메라 모듈(120)도 제1 카메라 모듈(110)과 동일하게 렌즈, 렌즈 구동부, 제2 온/습도 센서, 조리개, 조리개 구동부, 이미지 센서, 이미지 센서 제어부, 아날로그 신호 처리부, 이미지 신호 처리부를 포함할 수 있다. 상기 구성요소들에 대해서는 제1 카메라 모듈(110)에서 이미 설명하였으므로 중복하여 설명하지 않기로 한다.
일 실시예에 따른 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)은 서로 다른 광학적 특성을 가질 수 있다. 카메라 모듈의 광학적 특성은 카메라 모듈에 포함되는 렌즈의 화각(angle of view), 카메라 모듈에 포함되는 이미지 센서의 해상도 및 카메라 모듈에 포함되는 이미지 센서의 종류 중 적어도 하나에 의해 결정될 수 있다. 이때, 렌즈의 화각은 렌즈를 통해서 카메라 모듈이 촬영할 수 있는 이미지의 각도(촬영 범위)를 나타내며, 화각이 넓을수록 넓은 범위를 촬영할 수 있다. 또한, 이미지 센서의 해상도는 이미지 센서에 포함되는 픽셀들의 개수에 의해 결정되며, 이미지 센서에 포함되는 픽셀들의 개수가 많을수록 이미지 센서의 해상도는 높아진다.
일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈(120)에 포함되는 렌즈의 화각은 서로 다를 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 렌즈가 광각 렌즈로 구성되고, 제2 카메라 모듈(120)에 포함되는 렌즈가 망원 렌즈로 구성되는 경우, 광각 렌즈는 망원 렌즈보다 화각이 넓기 때문에 제1 카메라 모듈(110)은 제2 카메라 모듈(120)보다 더 넓은 범위를 촬영할 수 있다. 또는 제1 카메라 모듈(110) 및 제2 카메라 모듈(120) 중 어느 하나에 포함되는 렌즈가 줌 렌즈로 구성되고, 나머지 하나에 포함되는 렌즈가 단 렌즈로 구성되는 경우, 제1 카메라 모듈(110)의 화각과 제2 카메라 모듈(120)의 화각은 서로 다를 수 있다.
또한, 일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 서로 다를 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도는 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도보다 저해상도 일 수 있으며, 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도보다 고해상도 일 수 있다.
또한, 일 실시예에 따른 제1 카메라 모듈(110)은 RGB센서를 포함하여, 컬러 영상을 획득할 수 있으며, 제2 카메라 모듈(120)은 모노 센서를 포함하여, 흑백 영상을 획득할 수 있다.
제어부(130)는 촬영 장치(100)의 전체 동작을 제어할 수 있다. 제어부(130)는 촬영 장치(100)에 포함되는 각 구성 요소들에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
제어부(130)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(130)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(130)는 저장된 프로그램을 실행할 수 있다. 또는, 제어부(130)는 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성할 수 있다. 또한, 제어부(130)는 생성된 제어 신호를, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 각각 포함되는 조리개 구동부, 렌즈 구동부, 및 이미지 센서 제어부에 제공할 수 있다. 또한, 제어부(130)는 셔터, 스트로보 등 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한, 제어부(130)는 외부 모니터와 연결되어, 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 포함되는 이미지 신호 처리부로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
한편, 일 실시예에 따른 제어부(130)는 제1 카메라 모듈(110)과 제2 카메라 모듈(120)에서 획득한 제1 영상 및 제2 영상을 이용하여, 디스패리티를 계산할 수 있다. 또한, 제어부(130)는 계산된 디스패리티와, 제1 카메라 모듈(110)의 온도 및 습도 중 적어도 하나에 기초하여, 제1 카메라 모듈(110)의 오토 포커싱을 수행할 수 있다. 또한, 제어부(130)는 계산된 디스패리티와, 제2 카메라 모듈(120)의 온도 및 습도 중 적어도 하나에 기초하여, 제2 카메라 모듈(110)의 오토 포커싱을 수행할 수 있다.
제어부(130)는 계산된 디스패리티에 대응하는 포커스 렌즈(제1 카메라 모듈에 포함되는 포커스 렌즈)의 제1 위치를 계산할 수 있다. 또한, 제1 카메라 모듈의 온도 하나에 따라, 제1 위치에 온도 보상을 수행한 제2 위치를 계산할 수 있다. 제어부(130)는 제2 위치로 포커스 렌즈가 이동하도록 제어하여 제1 카메라 모듈의 오토 포커싱을 수행할 수 있다. 또한, 제어부(130)는 제2 카메라 모듈에 대해서도 동일한 방식으로 오토 포커싱을 수행할 수 있다.
또한, 제어부(130)는 제1 카메라 모듈(110)의 온도를 임계 범위와 비교하여, 제1 카메라 모듈(110)의 온도가 임계 범위에 포함되는 경우, 계산된 디스패리티에 기초하여, 포커스 렌즈의 위치를 계산할 수 있다. 또한, 제어부(130)는 제1 카메라 모듈(110)의 온도가 임계 범위에 포함되지 않는 경우, 포커스 렌즈의 위치를 변경하면서, 복수의 영상들을 획득하고, 획득된 복수의 영상들에 대한 콘트라스트들에 기초하여, 포커스 렌즈의 위치를 계산할 수 있다. 또한, 제어부(130)는 제2 카메라 모듈에 대해서도 동일한 방식으로 포커스 렌즈의 위치를 계산할 수 있다.
도 4는 일 실시예에 따른 촬영 장치(200)의 구성을 나타내는 블록도이다.
도 4를 참조하면, 촬영 장치(200)는 제1 카메라 모듈(210), 제2 카메라 모듈(220), 제어부(230), 저장부(240), 저장/판독 제어부(250), 메모리 카드(242), 프로그램 저장부(260), 디스플레이부(270), 디스플레이 구동부(272), 조작부(280) 및 통신부(290)를 포함할 수 있다. 또한, 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 온/습도 센서를 포함할 수 있다.
도 4의 제1 카메라 모듈(210), 제2 카메라 모듈(220) 및 제어부(230) 각각은 도 3a의 제1 카메라 모듈(110), 제2 카메라 모듈(120) 및 제어부(130) 각각에 대응되므로, 동일한 설명은 생략하고, 나머지 구성요소에 대해서 설명하기로 한다.
도 4를 참조하면, 저장/판독 제어부(250)는 제1 카메라 모듈(210) 또는 제2 카메라 모듈(220)로부터 출력된 영상 데이터를 메모리 카드(242)에 저장할 수 있다. 이때, 저장/판독 제어부(250)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 저장할 수 있다. 또한, 저장/판독 제어부(250)는 메모리 카드(242)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(240)를 통해 또는 다른 경로를 통해 디스플레이 구동부(272)에 입력하여 디스플레이부(270)에 이미지가 표시되도록 할 수도 있다.
메모리 카드(242)는 탈착 가능한 것일 수도 있고 촬영 장치(200)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(242)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
한편, 제1 카메라 모듈(210) 또는 제2 카메라 모듈(220)에서 처리된 이미지 신호는 저장부(240)를 거쳐 제어부(230)에 입력될 수도 있고, 저장부(240)를 거치지 않고 제어부(230)에 입력될 수도 있다. 저장부(240)는 촬영 장치(200)의 메인 메모리로서 동작하고, 촬영 장치(200)의 동작에 필요한 정보를 임시로 저장할 수 있다.
일 실시예에 따른 저장부(240)는 디스패리티 맵을 저장할 수 있다. 일 실시예에 따른 디스패리티 맵은, 복수의 디스패리티들 각각에 대응하는 포커스 렌즈들(제1 카메라 모듈(210) 및 제2 카메라 모듈(220)에 포함되는 포커스 렌즈들)의 위치를 나타내는 표일 수 있다. 디스패리티 맵에 포함되는 포커스 렌즈들의 위치는, 촬영 장치(100)의 제조 공정에서 측정된 위치들로, 제조 공정이 수행될 때의 온도 및 습도에 해당하는 포커스 렌즈들의 위치일 수 있다. 또는, 디스패리티 맵은, 디스패리티를 제1 카메라 모듈(210)에 포함되는 포커스 렌즈의 위치로 변환하는 관계식 또는 디스패리티를 제2 카메라 모듈(220)에 포함되는 포커스 렌즈의 위치로 변환하는 관계식의 형태일 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 저장부(240)는 온도 맵을 저장할 수 있다. 일 실시예에 따른 온도 맵은, 계산된 포커스 렌즈의 위치(예를 들어, 제조 공정이 수행될 때의 온도에 대응하는 포커스 렌즈의 위치)를, 현재 온도에 대응하는 포커스 렌즈의 위치로 변환하는 표일 수 있다. 또한, 저장부(240)는 습도 맵을 저장할 수 있다. 일 실시예에 따른 습도 맵은, 계산된 포커스 렌즈의 위치(예를 들어, 제조 공정이 수행될 때의 습도에 대응하는 포커스 렌즈의 위치)를, 현재 습도에 대응하는 포커스 렌즈의 위치로 변환하는 표일 수 있다.
프로그램 저장부(260)는 촬영 장치(200)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
촬영 장치(200)는 촬영 장치(200)의 동작 상태 또는 촬영 장치(200)에서 촬영한 영상 정보를 표시하도록 디스플레이부(270)를 포함할 수 있다. 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 촬영한 영상 정보를 디스플레이부(270)에 디스플레이하기 위해 디스플레이 영상 신호 처리를 수행할 수 있다. 예를 들어, 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 촬영한 영상 정보에 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다.
디스플레이부(270)는 시각적인 정보를 사용자에게 제공할 수 있다. 디스플레이부(270)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(270)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
디스플레이 구동부(272)는 디스플레이부(270)에 구동 신호를 제공한다.
조작부(280)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(280)는 정해진 시간 동안 이미지 센서를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정 값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(280)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
통신부(290)는 네트워크 인터페이스 카드(NIC: Network Interface Card)나 모뎀 등을 포함하여 이루어 질 수 있으며, 촬영 장치(200)가 외부 디바이스와 네트워크를 통해 유무선 방식으로 통신할 수 있도록 하는 역할을 수행할 수 있다.
도 5는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.
도 5를 참조하면, 촬영 장치(300)는 하나 이상의 프로세서(예: AP(application processor))(310), 통신 모듈(320), 가입자 식별 모듈(324), 메모리(330), 센서 모듈(340), 입력 장치(350), 디스플레이(360), 인터페이스(370), 오디오 모듈(380), 카메라 모듈(391), 전력 관리 모듈(395), 배터리(396), 인디케이터(397), 및 모터(398) 를 포함할 수 있다.
도 5의 카메라 모듈(391)은 도 3a의 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 대응되고, 도 5의 프로세서(310)는 도 3a의 제어부(130)에 대응되므로 동일한 설명은 생략하기로 한다.
프로세서(310)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(310)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(310)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(310)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(310)는 도 5에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(321))를 포함할 수도 있다. 프로세서(310)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(320)은, 예를 들면, 셀룰러 모듈(321), WiFi 모듈(323), 블루투스 모듈(325), GNSS 모듈(327)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(328) 및 RF(radio frequency) 모듈(329)를 포함할 수 있다.
메모리(330)는, 예를 들면, 내장 메모리(332) 또는 외장 메모리(334)를 포함할 수 있다. 내장 메모리(332)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(334)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(334)는 다양한 인터페이스를 통하여 촬영 장치(300)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(340)은, 예를 들면, 물리량을 계측하거나 촬영 장치(300)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(340)은, 예를 들면, 제스처 센서(340A), 자이로 센서(340B), 기압 센서(340C), 마그네틱 센서(340D), 가속도 센서(340E), 그립 센서(340F), 근접 센서(340G), 컬러(color) 센서(340H)(예: RGB(red, green, blue) 센서), 생체 센서(340I), 온/습도 센서(340J), 조도 센서(340K), 또는 UV(ultra violet) 센서(340M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(340)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 촬영 장치(300)는 프로세서(310)의 일부로서 또는 별도로, 센서 모듈(340)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(310)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(340)을 제어할 수 있다.
입력 장치(350)는, 예를 들면, 터치 패널(touch panel)(352), (디지털) 펜 센서(pen sensor)(354), 또는 키(key)(356), 또는 초음파(ultrasonic) 입력 장치(358)를 포함할 수 있다. 터치 패널(352)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(352)은 제어 회로를 더 포함할 수도 있다. 터치 패널(352)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(354)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(356)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(358)는 마이크(예: 마이크(388))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(360)는 패널(362), 홀로그램 장치(364), 또는 프로젝터(366)를 포함할 수 있다. 패널(362)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(362)은 터치 패널(352)과 하나의 모듈로 구성될 수도 있다.
인터페이스(370)는, 예를 들면, HDMI(high-definition multimedia interface)(372), USB(universal serial bus)(374), 광 인터페이스(optical interface)(376), 또는 D-sub(D-subminiature)(378)를 포함할 수 있다.
오디오 모듈(380)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(380)은, 예를 들면, 스피커(382), 리시버(384), 이어폰(386), 또는 마이크(388) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(391)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 카메라 모듈(391)은 도 3a, 3b 및 4에서 설명한 제1 카메라 모듈 및 제2 카메라 모듈을 포함할 수 있다.
전력 관리 모듈(395)은, 예를 들면, 촬영 장치(300)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(395)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 배터리 게이지는, 예를 들면, 배터리(396)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
인디케이터(397)는 촬영 장치(300) 또는 그 일부(예: 프로세서(310))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(398)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 촬영 장치의 종류에 따라서 달라질 수 있다.
또한, 한편, 도 3a, 3b, 4및 5에 도시된 촬영장치(100, 200, 300)의 블록도는 일 실시예를 위한 블록도이다. 다양한 실시예에서, 촬영 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 촬영 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 6은 일 실시예에 따른 촬영 장치가 오토 포커싱을 수행하는 방법을 나타내는 흐름도이다.
도 6을 참조하면, 촬영 장치(100)는 제1 카메라 모듈(110)로부터 제1 영상을 획득하고, 제2 카메라 모듈(120)로부터 제2 영상을 획득할 수 있다(S610).
이때, 제1 영상 및 제2 영상은 촬영 전에, 사용자에게 촬영의 대상이 되는 피사체의 이미지를 보여주기 위해 획득하는 프리뷰(preview) 영상일 수 있다.
촬영 장치(100)는 제1 영상과 제2 영상을 이용하여, 디스패리티를 계산할 수 있다(S620).
예를 들어, 촬영 장치(100)는 제1 영상에서의 관심 영역의 위치와 제2 영상에서의 관심 영역의 위치의 차이인 디스패리티를 계산할 수 있다. 이때, 일 실시예에 따른 관심 영역은 사용자에 의해 지정된 영역일 수 있다. 또는, 촬영 장치(100)는 사람의 얼굴과 같은 특정 객체를 포함하는 영역을 검출하고, 검출된 영역을 관심 영역으로 설정할 수 있다.
일 실시예에 따른 제1 영상에서의 관심 영역과 제2 영상에서의 관심 영역은 동일한 피사체를 포함하는 영역일 수 있다. 이때, 도 1b에서 설명한 바와 같이, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)의 위치 차이로 인해, 제1 영상 및 제2 영상 내에서의 동일한 피사체의 위치는 달라지게 되고, 디스패리티가 발생한다.
촬영 장치(100)는 제1 카메라 모듈(110)의 온도 및 제2 카메라 모듈(120)의 온도를 측정할 수 있다(S630).
예를 들어, 촬영 장치(100)는 온도 센서를 이용하여, 제1 카메라 모듈 및 제2 카메라 모듈에 포함된 렌즈의 온도를 측정할 수 있다. 또한, 촬영 장치(100)는 습도 센서를 이용하여, 제1 카메라 모듈 및 제2 카메라 모듈에 포함된 렌즈의 습도를 측정할 수 있다.
촬영 장치(100)는 620단계(S620)에서 계산된 디스패리티와 630단계(S630)에서 측정된 제1 카메라 모듈(110)의 온도에 기초하여, 제1 카메라 모듈(110)에 포함된 포커스 렌즈의 위치를 계산할 수 있다(S640). 또한, 디스패리티와 제2 카메라 모듈(120)의 온도에 기초하여, 제2 카메라 모듈(120)에 포함된 포커스 렌즈의 위치도 계산할 수 있다.
도 7은 도 6의 640 단계(S640)를 구체적으로 나타내는 흐름도이다. 640 단계(S640)에 대해서는, 이하에서, 도 7을 참조하여, 자세히 설명하기로 한다.
도 7을 참조하면, 일 실시예에 따른 촬영 장치(100)는 디스패리티를 이용하여, 제1 카메라 모듈(110)로부터 촬영의 대상이 되는 피사체까지의 거리를 계산할 수 있다. 또한, 촬영 장치(100)는 피사체까지의 거리에 기초하여, 피사체에 초점을 맞추기 위한 포커스 렌즈의 위치를 계산할 수 있다(S710).
일 실시예에 따른 촬영 장치(100)는 디스패리티 맵을 이용하여, 계산된 디스패리티를 포커스 렌즈의 위치로 변환할 수 있다. 일 실시예에 따른, 디스패리티 맵은 촬영 장치(100)에 미리 저장되어 있을 수 있다. 디스패리티 맵은, 복수의 디스패리티들 각각에 대응하는 포커스 렌즈들(제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 포함되는 포커스 렌즈들)의 위치를 나타내는 표일 수 있다. 디스패리티 맵에 포함되는 포커스 렌즈들의 위치는, 촬영 장치의 제조 공정에서 측정된 위치들로, 제조 공정이 수행될 때의 온도 및 습도에 해당하는 포커스 렌즈들의 위치일 수 있다. 또는, 디스패리티 맵은, 디스패리티를 제1 카메라 모듈에 포함되는 포커스 렌즈의 위치로 변환하는 관계식 또는 디스패리티를 제2 카메라 모듈에 포함되는 포커스 렌즈의 위치로 변환하는 관계식의 형태일 수 있다. 다만, 이에 한정되는 것은 아니다.
상술한 바와 같이, 제조 공정에서 측정된 포커스 렌즈들의 위치에 기초하여, 디스패리티 맵을 작성한 경우, 디스패리티 맵에 의해 변환된 포커스 렌즈들의 위치는 제조 공정이 수행될 때의 온도 및 습도에 해당하는 포커스 렌즈의 위치이다.
촬영 장치(100)는 710 단계(S710)에서 계산된 포커스 렌즈의 위치에, 현재 온도에 따른 온도 보상을 수행할 수 있다.
예를 들어, 촬영 장치(100)는 온도 맵을 이용하여, 디스패리티에 대응하는 포커스 렌즈의 위치를 현재 온도에서의 포커스 렌즈의 위치로 변환할 수 있다. 온도 맵은, 계산된 포커스 렌즈의 위치(예를 들어, 제조 공정이 수행될 때의 온도에 대응하는 포커스 렌즈의 위치)를, 현재 온도에 대응하는 포커스 렌즈의 위치로 변환하는 표일 수 있다.
또는, 촬영 장치(100)는 온도 보상식을 이용하여, 디스패리티에 대응하는 포커스 렌즈의 위치를 현재 온도에서의 포커스 렌즈의 위치로 변환할 수 있다. 온도 보상식은 다음의 수학식 1과 같다.
Figure pat00001
여기서, Depth AFc는 현재 온도에서의 포커스 렌즈의 위치를 나타내고, Depth AFo는 디스패리티 맵에 의해 변환된 포커스 렌즈의 위치(예를 들어, 제조 공정이 수행될 때의 온도에 해당하는 포커스 렌즈의 위치)를 나타낸다. Temp는 현재 온도를 나타내고, C0는 제1 온도 보상 계수를 나타내고, C1은 제2 온도 보상 계수를 나타낸다.
다시, 도 6을 참조하면, 촬영 장치(100)는 온도 보상이 수행된 포커스 렌즈의 위치로 포커스 렌즈를 이동시켜, 관심 영역에 초점이 맞도록 오토 포커싱을 수행할 수 있다(S650). 오토 포커싱이 수행되면, 촬영 장치(100)는 피사체를 촬영한다.
한편, 도 6 및 7에서는, 계산된 디스패리티와 카메라 모듈의 온도에 기초하여, 포커스 렌즈의 위치를 계산하는 실시예에 대해서만 도시하고, 설명하였지만, 일 실시예에 따른 촬영 장치(100)는 계산된 디스패리티와 카메라 모듈의 습도에 기초하여, 포커스 렌즈의 위치를 계산할 수 있다.
예를 들어, 촬영 장치(100)는 디스패리티 맵을 이용하여, 계산된 디스패리티를 포커스 렌즈의 위치로 변환하고, 변환된 포커스 렌즈의 위치에 현재 습도에 따른 습도 보상을 수행할 수 있다. 이때, 온도와 마찬가지로 습도에 대해서도 습도 맵을 이용하여, 디스패리티에 대응하는 포커스 렌즈의 위치를 현재 습도에서의 포커스 렌즈의 위치로 변환할 수 있다. 습도 맵은, 계산된 포커스 렌즈의 위치를, 현재 습도에 대응하는 포커스 렌즈의 위치로 변환하는 표 또는 수학식을 포함할 수 있다.
도 8은 카메라 모듈로부터 동일한 거리에 떨어져 있는 피사체에 대하여, 카메라 모듈의 온도에 따라, 뎁스 오토 포커스 방식을 이용하여 계산한 포커스 렌즈의 위치와 콘트라스트 오토 포커스 방식을 이용하여 계산한 포커스 렌즈의 위치를 나타내는 그래프이다.
도 8의 점선 그래프(801)는 뎁스 오토 포커스(Depth Auto Focus) 방식을 이용하여, 계산된 포커스 렌즈의 위치를 나타내고, 실선 그래프(802)는, 콘트라스트 오토 포커스(Contrast Auto Focus) 방식을 이용하여, 계산한 포커스 렌즈의 위치를 나타낸다.
콘트라스트 오토 포커스 방식은, 포커스 렌즈의 위치를 바꿔가면서, 영상들을 획득하고, 획득된 영상들 중 콘트라스트 값이 가장 큰 영상에 대응하는 포커스 렌즈의 위치를 포커스 렌즈의 최종 위치로 결정하는 방식이다. 콘트라스트 오토 포커스 방식을 이용하여 오토 포커싱을 수행하는 경우, 뎁스 오토 포커스 방식을 이용하여, 오토 포커싱을 수행하는 경우보다 오토 포커싱의 정확도는 높으나, 오토 포커싱의 속도가 느리다.
도 8의 실선 그래프(802)를 참조하면, 콘트라스트 오토 포커스 방식은, 카메라 모듈의 온도(렌즈의 온도)에 따라 초점 거리가 변경되는 카메라 모듈의 특성이 반영되며, 카메라 모듈의 온도에 따라 계산되는 포커스 렌즈의 위치가 달라지게 된다. 반면에, 도 8의 점선 그래프(801)를 참조하면, 뎁스 오토 포커스 방식은, 카메라 모듈의 온도(렌즈의 온도)에 따라 초점 거리가 변경되는 카메라 모듈의 특성이 반영되지 않으며, 카메라 모듈의 온도에 따라 계산되는 포커스 렌즈의 위치가 동일하다.
다만, 디스패리티 맵에 포함되는 포커스 렌즈의 위치들이 측정된 온도(예를 들어, 촬영 장치의 제조 공정 시의 온도)에서는, 뎁스 오토 포커스 방식으로 계산한 포커스 렌즈의 위치와 콘트라스트 오토 포커스 방식으로 계산한 포커스 렌즈의 위치가 동일할 수 있다.
또한, 일정 범위(임계 범위)의 온도 구간에서는 뎁스 오토 포커스 방식으로 계산한 포커스 렌즈의 위치와 콘트라스트 오토 포커스 방식으로 계산한 포커스 렌즈의 위치의 오차의 범위가 작다. 이에 따라, 일 실시예에 따른 촬영 장치(100)는 임계 범위의 온도 구간에서는 뎁스 오토 포커스 방식으로 포커스 렌즈의 위치를 계산하고, 임계 범위 이외의 온도 구간에서는 콘트라스트 오토 포커스 방식으로 포커스 렌즈의 위치를 계산하는 하이브리드 오토 포커스 방식으로 오토 포커싱을 수행할 수 있다. 이에 대해서는, 도 9 및 도 10에서 자세히 설명하기로 한다.
도 9는 일 실시예에 따른 촬영 장치가 오토 포커싱을 수행하는 방법을 나타내는 흐름도이다.
도 9를 참조하면, 촬영 장치(100)는 제1 카메라 모듈 및 제2 카메라 모듈의 온도를 측정할 수 있다(S810).
예를 들어, 촬영 장치(100)는 온도 센서를 이용하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 포함된 렌즈의 온도를 측정할 수 있다. 또한, 촬영 장치(100)는 습도 센서를 이용하여, 제1 카메라 모듈 및 제2 카메라 모듈에 포함된 렌즈의 습도를 측정할 수 있다.
촬영 장치(100)는 측정된 온도가 제1 임계 범위에 포함되는지를 판단할 수 있다(S820).
제1 임계 범위는 온도에 따라 카메라 모듈의 초점 거리 변화가 발생하지 않거나, 초점 거리 변화가 일정 값보다 작은 온도 범위일 수 있다. 또한, 일 실시예에 따른 제1 임계 범위는 촬영 장치의 제조 공정을 수행할 때의 온도를 포함할 수 있다.
또는, 촬영 장치(100)는 측정된 습도가 제2 임계 범위에 포함되는지를 판단할 수 있다. 제2 임계 범위는 습도에 따라 카메라 모듈의 초점 거리 변화가 발생하지 않거나, 초점 거리 변화가 일정 값보다 작은 습도 범위일 수 있다. 또한, 일 실시예에 따른 제2 임계 범위는 촬영 장치의 제조 공정을 수행할 때의 습도를 포함할 수 있다.
촬영 장치(100)는 측정된 온도가 제1 임계 범위에 포함되는 경우, 뎁스 오토 포커스(Depth Auto Focus) 방식으로 포커스 렌즈의 위치를 계산할 수 있다(S830). 또는, 촬영 장치(100)는 측정된 습도가 제2 임계 범위에 포함되는 경우, 뎁스 오토 포커스 방식으로 포커스 렌즈의 위치를 계산할 수 있다.
뎁스 오토 포커스 방식은, 앞에서 상술한 바와 같이, 제1 카메라 모듈 및 제2 카메라 모듈에서 획득된 영상을 이용하여, 피사체의 디스패리티를 계산하고, 계산된 디스패리티에 대응하는 포커스 렌즈의 위치를 획득하는 방식이다. 이때, 카메라 모듈은, 디스패리티 맵을 이용하여, 계산된 디스패리티에 대응하는 포커스 렌즈의 위치를 검출할 수 있다.
촬영 장치(100)는 측정된 온도가 제1 임계 범위에 포함되지 않는 경우, 콘트라스트 오토 포커스 방식으로 포커스 렌즈의 위치를 계산할 수 있다(S840). 또는, 촬영 장치(100)는 측정된 습도가 제2 임계 범위에 포함되지 않는 경우, 콘트라스트 오토 포커스 방식으로 포커스 렌즈의 위치를 계산할 수 있다.
콘트라스트 오토 포커스 방식은, 카메라 모듈에서 획득된 영상들의 콘트라스트들에 기초하여, 포커스 렌즈의 위치를 획득하는 방식이다. 예를 들어, 카메라 모듈은 포커스 렌즈의 위치를 바꿔가면서, 복수의 영상들을 획득할 수 있다. 카메라 모듈은 획득된 영상들 중 콘트라스트 값이 가장 큰 이미지를 검출한다. 카메라 모듈은 검출된 영상에 대응하는 포커스 렌즈의 위치를 포커스 렌즈의 최종 위치로 결정할 수 있다.
촬영 장치(100)는 830단계(S830)에서 뎁스 오토 포커스 방식으로 계산된 포커스 렌즈의 위치 또는 840 단계(S840)에서 콘트라스트 오토 포커스 방식으로 계산된 포커스 렌즈의 위치로 포커스 렌즈를 이동시켜, 피사체에 초점을 맞출 수 있다.
도 10은 일 실시예에 따른 촬영 장치가 오토 포커싱을 수행하는 방법을 나타내는 흐름도이다.
도 10을 참조하면, 촬영 장치(100)는 제1 카메라 모듈(110)로부터 제1 영상을 획득하고, 제2 카메라 모듈(120)로부터 제2 영상을 획득할 수 있다(S910).
이때, 제1 영상 및 제2 영상은 촬영 전에, 사용자에게 촬영의 대상이 되는 피사체의 이미지를 보여주기 위해 획득하는 프리뷰(preview) 영상일 수 있다.
촬영 장치(100)는 제1 영상과 제2 영상을 이용하여, 디스패리티를 계산할 수 있다(S920).
예를 들어, 촬영 장치(100)는 제1 영상에서의 관심 영역의 위치와 제2 영상에서의 관심 영역의 위치의 차이인 디스패리티를 계산할 수 있다. 일 실시예에 따른 제1 영상에서의 관심 영역과 제2 영상에서의 관심 영역은 동일한 피사체를 포함하는 영역일 수 있다.
촬영 장치(100)는 제1 카메라 모듈의 온도 및 제2 카메라 모듈의 온도를 측정할 수 있다(S930).
예를 들어, 촬영 장치(100)는 온도 센서를 이용하여, 제1 카메라 모듈 및 제2 카메라 모듈에 포함된 렌즈의 온도를 측정할 수 있다. 또한, 촬영 장치(100)는 습도 센서를 이용하여, 제1 카메라 모듈 및 제2 카메라 모듈에 포함된 렌즈의 습도를 측정할 수 있다.
촬영 장치(100)는 측정된 온도가 제1 임계 범위에 포함되는지를 판단할 수 있다(S940). 또는, 측정된 습도가 제2 임계 범위에 포함되는지를 판단할 수 있다. 제1 임계 범위 및 제2 임계 범위에 대해서는 도 9의 820 단계(S820)에서 자세히 설명하였으므로, 동일한 설명은 생략하기로 한다.
촬영 장치(100)는 측정된 온도가 제1 임계 범위에 포함되는 경우, 뎁스 오토 포커스(Depth Auto Focus) 방식으로 포커스 렌즈의 위치를 계산할 수 있다. 또는, 촬영 장치(100)는 측정된 습도가 제2 임계 범위에 포함되는 경우, 뎁스 오토 포커스(Depth Auto Focus) 방식으로 포커스 렌즈의 위치를 계산할 수 있다.
촬영 장치(100)는 측정된 온도가 제1 임계 범위에 포함되지 않는 경우, 뎁스 오토 포커스 방식으로 포커스 렌즈의 제1 위치를 계산할 수 있다. 촬영 장치(100)는 계산된 제1 위치를 기준으로 하는 일정 범위 내에서, 콘트라스트 오토 포커스 방식을 이용하여, 포커스 렌즈의 제2 위치를 계산할 수 있다.
촬영 장치(100)는 제1 위치를 기준으로 포커스 렌즈의 위치를 변경시킬 일정 범위를 결정할 수 있다. 이때, 포커스 렌즈의 위치를 변경시킬 일정 범위는, 포커스 렌즈의 변경 가능한 전체 범위보다 작은 범위이다. 예를 들어, 포커스 렌즈의 위치가 0부터 150까지 변경 가능하고, 뎁스 오토 포커스 방식을 이용하여 계산된 포커스 렌즈의 제1 위치가 80인 경우, 촬영 장치(100)는 포커스 렌즈의 위치를 변경시킬 일정 범위를 60부터 100까지로 결정할 수 있다. 촬영 장치(100)는 포커스 렌즈의 위치를 60부터 100까지 일정 값씩 바꿔가면서, 영상을 획득할 수 있다. 촬영 장치(100)는 변경된 위치마다 획득한 영상들 중 콘트라스트 값이 가장 큰 영상을 검출한다. 촬영 장치(100)는 검출된 영상에 대응하는 위치를 포커스 렌즈의 최종 위치(제2 위치)로 결정할 수 있다.
촬영 장치(100)는 측정된 습도가 제2 임계 범위에 포함되지 않는 경우에도, 960단계(S960) 및 970단계(S970)에서 설명한 방법과 동일하게, 뎁스 오토 포커스 방식으로 포커스 렌즈의 제1 위치를 계산하고, 계산된 제1 위치를 기준으로 하는 일정 범위 내에서, 콘트라스트 오토 포커스 방식을 이용하여, 포커스 렌즈의 제2 위치를 계산할 수 있다.
일 실시예에 따른 촬영 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (18)

  1. 동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈;
    상기 제1 카메라 모듈의 온도를 측정하는 온도 센서; 및
    상기 제1 카메라 모듈에서 획득한 제1 영상과 상기 제2 카메라 모듈에서 획득한 제2 영상을 이용하여 디스패리티(disparity)를 계산하고, 상기 디스패리티 및 상기 제1 카메라 모듈의 온도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 제어부;를 포함하는 촬영 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제1 카메라 모듈의 포커스를 상기 피사체에 맞추도록 상기 오토 포커싱을 수행하는 촬영 장치.
  3. 제1항에 있어서,
    상기 제1 카메라 모듈은 포커스 렌즈를 포함하고,
    상기 제1 카메라 모듈의 온도는 상기 포커스 렌즈의 온도인 촬영 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 디스패리티에 대응하는 상기 포커스 렌즈의 제1 위치를 계산하고,
    상기 제1 카메라 모듈의 온도에 따라, 상기 제1 위치에 온도 보상을 수행한 제2 위치를 계산하며,
    상기 제2 위치로 상기 포커스 렌즈가 이동되도록 제어하는, 촬영 장치.
  5. 제4항에 있어서,
    상기 촬영 장치는,
    상기 디스패리티와 상기 포커스 렌즈의 위치의 관계를 나타내는 디스패리티 맵과 상기 포커스 렌즈의 위치와 제1 카메라 모듈의 온도의 관계를 나타내는 온도 맵을 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 디스패리티 맵을 이용하여, 상기 디스패리티에 대응하는 상기 제1 위치를 결정하고, 상기 온도 맵을 이용하여, 상기 제1 위치를 상기 제2 위치로 변환하는, 촬영 장치.
  6. 제3항에 있어서,
    상기 포커스 렌즈는 플라스틱 렌즈를 포함하는, 촬영 장치.
  7. 제3항에 있어서,
    상기 제어부는,
    상기 제1 카메라 모듈의 온도를 임계 범위와 비교하여, 상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되는 경우, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 위치를 계산하고,
    상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 포커스 렌즈의 위치를 변경하면서, 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 위치를 계산하는 촬영 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 제1 위치를 계산하고, 상기 제1 위치에 기초하여 결정된 일정 범위에서 상기 포커스 렌즈의 위치를 변경하면서, 상기 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 제2 위치를 계산하는 촬영 장치.
  9. 제1항에 있어서,
    상기 촬영 장치는,
    상기 제1 카메라 모듈의 습도를 측정하는 습도 센서를 더 포함하고,
    상기 제어부는,
    상기 디스패리티 및 상기 제1 카메라 모듈의 습도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 촬영 장치.
  10. 제1 카메라 모듈로부터 피사체를 촬영한 제1 영상을 획득하고, 제2 카메라 모듈로부터 상기 피사체를 촬영한 제2 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상을 이용하여, 디스패리티(disparity)를 계산하는 단계;
    상기 제1 카메라 모듈의 온도를 측정하는 단계; 및
    상기 디스패리티 및 상기 제1 카메라 모듈의 온도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계를 포함하는 촬영 장치의 동작방법.
  11. 제10항에 있어서,
    상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계는,
    상기 제1 카메라 모듈의 포커스를 상기 피사체에 맞추는 단계를 포함하는 촬영 장치의 동작방법.
  12. 제10항에 있어서,
    상기 제1 카메라 모듈은 포커스 렌즈를 포함하고,
    상기 제1 카메라 모듈의 온도를 측정하는 단계는,
    상기 포커스 렌즈의 온도를 측정하는 단계를 포함하는 촬영 장치의 동작방법.
  13. 제12항에 있어서,
    상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계는,
    상기 디스패리티에 대응하는 상기 포커스 렌즈의 제1 위치를 계산하는 단계;
    상기 제1 카메라 모듈의 온도에 따라, 상기 제1 위치에 온도 보상을 수행한 제2 위치를 계산하는 단계; 및
    상기 제2 위치로 상기 포커스 렌즈가 이동되도록 제어하는 단계를 포함하는 촬영 장치의 동작방법.
  14. 제13항에 있어서,
    상기 동작방법은,
    상기 디스패리티와 상기 포커스 렌즈의 위치의 관계를 나타내는 디스패리티 맵과 상기 포커스 렌즈의 위치와 제1 카메라 모듈의 온도의 관계를 나타내는 온도 맵을 저장하는 단계를 더 포함하고,
    상기 제1 위치를 계산하는 단계는,
    상기 디스패리티 맵을 이용하여, 상기 디스패리티에 대응하는 상기 제1 위치를 결정하는 단계를 포함하고,
    상기 제2 위치를 계산하는 단계는,
    상기 온도 맵을 이용하여, 상기 제1 위치를 상기 제2 위치로 변환하는 단계를 포함하는 촬영 장치의 동작방법.
  15. 제12항에 있어서,
    상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계는,
    상기 제1 카메라 모듈의 온도를 임계 범위와 비교하는 단계;
    상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되는 경우, 상기 디스패리티에 기초하여, 상기 포커스 렌즈의 위치를 계산하는 단계; 및
    상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 포커스 렌즈의 위치를 변경하면서, 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 위치를 계산하는 단계;를 포함하는 촬영 장치의 동작방법.
  16. 제15항에 있어서,
    상기 제1 카메라 모듈의 온도가 상기 임계 범위에 포함되지 않는 경우, 상기 포커스 렌즈의 위치를 계산하는 단계는,
    상기 디스패리티에 기초하여, 상기 포커스 렌즈의 제1 위치를 계산하는 단계; 및
    상기 제1 위치에 기초하여 결정된 일정 범위에서 상기 포커스 렌즈의 위치를 변경하면서, 상기 복수의 영상들을 획득하고, 상기 복수의 영상들에 대한 콘트라스트들에 기초하여, 상기 포커스 렌즈의 제2 위치를 계산하는 단계를 포함하는 촬영 장치의 동작방법.
  17. 제10항에 있어서,
    상기 동작방법은,
    상기 제1 카메라 모듈의 습도를 측정하는 단계; 및
    상기 디스패리티 및 상기 제1 카메라 모듈의 습도에 기초하여, 상기 제1 카메라 모듈의 오토 포커싱을 수행하는 단계를 더 포함하는 촬영 장치의 동작방법.
  18. 제10항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150163985A 2015-11-23 2015-11-23 촬영 장치 및 그 동작 방법 KR20170059704A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150163985A KR20170059704A (ko) 2015-11-23 2015-11-23 촬영 장치 및 그 동작 방법
PCT/KR2016/005269 WO2017090848A1 (en) 2015-11-23 2016-05-18 Photographing device and operating method of the same
CN201680068204.6A CN108292075A (zh) 2015-11-23 2016-05-18 拍摄设备及其操作方法
EP16868750.7A EP3335076A4 (en) 2015-11-23 2016-05-18 Photographing device and operating method of the same
US15/158,635 US20170150126A1 (en) 2015-11-23 2016-05-19 Photographing device and operating method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163985A KR20170059704A (ko) 2015-11-23 2015-11-23 촬영 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20170059704A true KR20170059704A (ko) 2017-05-31

Family

ID=58721443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163985A KR20170059704A (ko) 2015-11-23 2015-11-23 촬영 장치 및 그 동작 방법

Country Status (5)

Country Link
US (1) US20170150126A1 (ko)
EP (1) EP3335076A4 (ko)
KR (1) KR20170059704A (ko)
CN (1) CN108292075A (ko)
WO (1) WO2017090848A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019823A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
KR20190021725A (ko) * 2017-08-23 2019-03-06 삼성전자주식회사 복수 개의 카메라들 간의 시차를 감소시키는 방법 및 이를 지원하는 전자 장치
WO2022149812A1 (ko) * 2021-01-07 2022-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
KR102636272B1 (ko) * 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템
US10429608B1 (en) * 2016-09-23 2019-10-01 Apple Inc. Primary-subordinate camera focus based on lens position sensing
US10162149B1 (en) * 2017-06-30 2018-12-25 Semiconductor Components Industries, Llc Methods and apparatus for focus control in an imaging system
US10802244B2 (en) * 2017-06-30 2020-10-13 Semiconductor Components Industries, Llc Methods and apparatus for focus control in an imaging system
US11218626B2 (en) * 2017-07-28 2022-01-04 Black Sesame International Holding Limited Fast focus using dual cameras
US10764486B2 (en) * 2018-01-11 2020-09-01 Qualcomm Incorporated Multi-camera autofocus synchronization
JP6690105B1 (ja) * 2018-10-31 2020-04-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、システム、制御方法、及びプログラム
CN113647090A (zh) * 2019-03-29 2021-11-12 日本电气株式会社 图像捕获设备、图像捕获方法和图像捕获系统
WO2021072648A1 (en) * 2019-10-15 2021-04-22 Qualcomm Incorporated Active depth sensing based autofocus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6268885B1 (en) * 1996-01-31 2001-07-31 Canon Kabushiki Kaisha Optical apparatus for correcting focus based on temperature and humidity
JP4360851B2 (ja) * 2003-07-02 2009-11-11 株式会社リコー 画像入力装置
US7609958B2 (en) * 2006-08-01 2009-10-27 Eastman Kodak Company Automatic focus system calibration for image capture systems
JP2008065193A (ja) * 2006-09-08 2008-03-21 Canon Inc 撮像装置及びフォーカス制御方法
KR100820966B1 (ko) * 2006-12-07 2008-04-11 엘지전자 주식회사 온도 검출에 따른 카메라 동작 제어장치 및 방법
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP5610762B2 (ja) * 2009-12-21 2014-10-22 キヤノン株式会社 撮像装置及び制御方法
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
US9948918B2 (en) * 2012-12-10 2018-04-17 Mediatek Inc. Method and apparatus for stereoscopic focus control of stereo camera
CN103871186A (zh) * 2012-12-17 2014-06-18 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
KR20150029897A (ko) * 2013-09-11 2015-03-19 엘지전자 주식회사 촬영 장치 및 그의 동작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019823A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
KR20190021725A (ko) * 2017-08-23 2019-03-06 삼성전자주식회사 복수 개의 카메라들 간의 시차를 감소시키는 방법 및 이를 지원하는 전자 장치
WO2022149812A1 (ko) * 2021-01-07 2022-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법

Also Published As

Publication number Publication date
CN108292075A (zh) 2018-07-17
EP3335076A4 (en) 2018-08-08
EP3335076A1 (en) 2018-06-20
WO2017090848A1 (en) 2017-06-01
US20170150126A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
US11496696B2 (en) Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same
KR20170059704A (ko) 촬영 장치 및 그 동작 방법
US10291842B2 (en) Digital photographing apparatus and method of operating the same
US10511758B2 (en) Image capturing apparatus with autofocus and method of operating the same
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
KR20170074538A (ko) 타임랩스 영상을 생성하는 장치 및 방법
CN107636692B (zh) 图像捕获设备及操作其的方法
KR102352682B1 (ko) 디지털 촬영 장치 및 그 동작 방법
KR20190051594A (ko) 복수의 카메라들을 이용하여 영상을 촬영하는 전자 장치와 이의 동작 방법
KR20170009089A (ko) 사용자의 제스쳐를 이용하여 기능을 제어하는 방법 및 촬영 장치.
KR20200043818A (ko) 전자 장치 및 그의 이미지 촬영 방법
KR102368625B1 (ko) 디지털 촬영 장치 및 그 방법
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR102336449B1 (ko) 촬영 장치 및 촬영 장치의 동작방법
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
US10248859B2 (en) View finder apparatus and method of operating the same
KR20190065736A (ko) 3d 이미지를 생성하기 위한 전자 장치 및 방법
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.
KR20120080879A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체