KR102600504B1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102600504B1
KR102600504B1 KR1020160115309A KR20160115309A KR102600504B1 KR 102600504 B1 KR102600504 B1 KR 102600504B1 KR 1020160115309 A KR1020160115309 A KR 1020160115309A KR 20160115309 A KR20160115309 A KR 20160115309A KR 102600504 B1 KR102600504 B1 KR 102600504B1
Authority
KR
South Korea
Prior art keywords
frame rate
camera
image
processor
magnification
Prior art date
Application number
KR1020160115309A
Other languages
English (en)
Other versions
KR20180027978A (ko
Inventor
백재명
윤영권
정택성
수바스 판데이
정상기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160115309A priority Critical patent/KR102600504B1/ko
Priority to EP17189709.3A priority patent/EP3293962B1/en
Priority to US15/696,504 priority patent/US10484600B2/en
Priority to CN201710800468.2A priority patent/CN107800959B/zh
Publication of KR20180027978A publication Critical patent/KR20180027978A/ko
Application granted granted Critical
Publication of KR102600504B1 publication Critical patent/KR102600504B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명의 일 면에 따른 전자 장치는, 제1 화각을 갖는 제1 카메라; 제2 화각을 갖는 제2 카메라; 디스플레이; 및 입력부를 통해 사용자의 의도에 의해 설정된 배율을 수신하는 프로세서를 포함하고, 상기 프로세서는, 상기 배율이 지정된 범위에 속하는 경우, 상기 제1 카메라를 지정된 제1 프레임 속도로 설정하고, 상기 제2 카메라를 상기 제1 프레임 속도 보다 느린 제2 프레임 속도로 설정하고, 및 상기 제1 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제1 영상을 상기 디스플레이를 통해 표시하고, 상기 배율이 다른 지정된 범위에 속하는 경우, 상기 제2 카메라를 지정된 제3 프레임 속도로 설정하고, 상기 제1 카메라를 상기 제3 프레임 속도 보다 느린 제4 프레임 속도로 설정하고, 상기 제2 카메라를 이용하여 상기 제3 프레임 속도로 획득된 제2 영상을 상기 디스플레이를 통해 표시하도록 설정된 것을 특징으로 한다.

Description

전자 장치 및 그 제어 방법{Electronic Apparatus and the Controlling Method thereof}
본 발명의 다양한 실시예들은 전자 장치 및 그 제어 방법에 관한 것이다.
전자 장치에 복수의 카메라 모듈이 적용되는 경우가 많아지고 있다. 예를 들어, 복수의 카메라는 전자 장치의 각기 다른 면에 장착되어, 다른 방향의 영상 촬영에 사용될 수 있다. 복수의 카메라는 전자 장치의 동일 면에 장착되어, 동일 방향의 촬영 영상을 합성한 영상(예: 3차원 영상)을 제공할 때 사용될 수 있다.
듀얼 카메라 모듈을 사용하는 전자 장치는 두 개의 카메라 모듈 간의 시차, 색감 및 밝기의 차이로 인하여 사용자로 하여금 이질감을 느끼게 할 수 있다.
본 발명의 다양한 실시예들은 듀얼 카메라 모듈의 소비 전력을 어느 정도 절감할 수 있는 전자 장치 및 그 제어 방법을 제공할 수 있다.
본 발명의 일 면에 따른 전자 장치는, 제1 화각을 갖는 제1 카메라; 제2 화각을 갖는 제2 카메라; 디스플레이; 및 입력부를 통해 사용자의 의도에 의해 설정된 배율을 수신하는 프로세서를 포함하고, 상기 프로세서는, 상기 배율이 지정된 범위에 속하는 경우, 상기 제1 카메라를 지정된 제1 프레임 속도로 설정하고, 상기 제2 카메라를 상기 제1 프레임 속도 보다 느린 제2 프레임 속도로 설정하고, 및 상기 제1 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제1 영상을 상기 디스플레이를 통해 표시하고, 상기 배율이 다른 지정된 범위에 속하는 경우, 상기 제2 카메라를 지정된 제3 프레임 속도로 설정하고, 상기 제1 카메라를 상기 제3 프레임 속도 보다 느린 제4 프레임 속도로 설정하고, 상기 제2 카메라를 이용하여 상기 제3 프레임 속도로 획득된 제2 영상을 상기 디스플레이를 통해 표시하도록 설정된 것을 특징으로 한다.
본 발명의 다른 면에 따른 적어도 하나의 프로세서에 의한 제1 화각을 갖는 제1 카메라와 제2 화각을 갖는 제2 카메라를 제어하는 전자 장치 제어 방법은, 입력부를 통해 사용자의 의도에 의해 설정된 배율을 수신하는 동작; 상기 배율이 지정된 범위에 속하는 경우, 상기 제1 카메라를 지정된 제1 프레임 속도로 설정하고, 상기 제2 카메라를 상기 제1 프레임 속도 보다 느린 제2 프레임 속도로 설정하고, 상기 제1 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제1 영상을 디스플레이를 통해 표시하는 동작; 및 상기 배율이 다른 지정된 범위에 속하는 경우, 상기 제2 카메라를 지정된 제3 프레임 속도로 설정하고, 상기 제1 카메라를 상기 제3 프레임 속도 보다 느린 제4 프레임 속도로 설정하고, 상기 제2 카메라를 이용하여 상기 제3 프레임 속도로 획득된 제2 영상을 상기 디스플레이를 통해 표시하는 동작을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 듀얼 카메라를 사용하는 시스템에서 카메라에 의해 소비되는 전력을 어느 정도 절감할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 시스템을 도시한 도면이다.
도 2는 본 발명의 제1실시예에 따른 카메라 구동 방법을 도시한 흐름도이다.
도 3은 본 발명의 제2실시예에 따른 카메라 구동 방법을 도시한 흐름도이다.
도 4는 본 발명의 실시예에 따른 프로세서를 도시한 구성도이다.
도 5는 본 발명의 실시예에 따른 프레임 레이트를 도시한 타이밍도이다.
도 6a 내지 6c는 본 발명의 실시예에 따른 프레임 레이트 제어 방법을 설명하기 위한 타이밍도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 카메라 시스템은, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 카메라 시스템은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 카메라 시스템은, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 카메라 시스템은 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 카메라 시스템은 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 카메라 시스템은 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 카메라 시스템을 사용하는 사람 또는 카메라 시스템을 사용하는 장치(예: 인공지능 카메라 시스템)를 지칭할 수 있다.
이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 카메라 시스템을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 카메라 시스템(10)은 제1 및 제2 카메라 모듈(141, 142), 메모리(120), 디스플레이(130), 조도 센서(110) 및 적어도 하나의 프로세서(150)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 제1 카메라 모듈(141)은 제1 초점길이와 제1 화각을 갖는 제1 렌즈군과 제1 이미지 센서를 포함할 수 있다. 예를 들어, 제1 렌즈군은 광각(wide-angle) 렌즈일 수 있다.
본 발명의 일 실시예에 따르면, 제2 카메라 모듈(142)은 제1 초점길이를 초과하는 제2 초점길이와 제1 화각 미만의 제2 화각을 갖는 제2 렌즈군과 제2 이미지 센서를 포함할 수 있다. 예를 들어, 제2 렌즈군은 망원(tele photo) 렌즈일 수 있다.
본 발명의 일 실시예에 따르면, 프리뷰 모드에서 제1 및 제2 카메라 모듈(141, 142) 중 하나는 프리뷰 영상을 제공하는 마스터로 다른 하나는 프리뷰 영상을 제공하지 않는 슬레이브로 구동될 수 있다. 제1 및 제2 카메라 모듈(141, 142) 중 슬레이브는 마스터의 동기 신호(Vsync)를 수신하고, 동기 신호에 프레임 레이트를 맞출 수 있다(time sync). 슬레이브는 마스터의 AE/AWB 정보를 제공받고, 마스터의 AE/AWB 정보를 이용하여 AE/AWB를 수행할 수 있다. 이로써, 본 발명의 실시예에서는 줌 기능의 수행에 따라 제1 및 제2 영상 간의 색감 및 밝기 등의 편차를 어느 정도 보정할 수 있다. 본 발명의 일 실시예에서, AE , AWB 및 AF는 프로세서(150)에 의해 수행될 수도 있다.
본 발명의 일 실시예에 따르면, 메모리(120)는 듀얼 카메라 제어에 필요한 정보를 저장할 수 있다. 예를 들어, 메모리(120)는 감지된 조도별 프레임 레이트, 제1 및 제2 프레임 레이트 비율, 제1 및 제2 임계비율, 한계조도 및 임계조도 등을 저장할 수 있다.
본 발명의 일 실시예에 따르면, 조도 센서(110)는 제1 및 제2 카메라 모듈(141, 142)에 근접 설치되어 주변 조도를 감지할 수 있다. 조도 센서(110)는 생략될 수도 있다. 예를 들어, 조도 센서(110)는 제1 및 제2 카메라 모듈(141, 142) 중 적어도 하나에 포함될 수도 있고, 이미지 센서를 조도센서로 사용할 수도 있다.
본 발명의 일 실시예에 따르면, 디스플레이(130)는 프로세서(150)의 지시에 따라 프리뷰 영상, 촬영 영상 및 사용자 인터페이스 등을 표출할 수 있다. 예를 들어, 사용자 인터페이스는 줌 조절 기능, 프리뷰 모드, 캡처 등의 명령을 선택하는 화면일 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)에 대한 전반적인 제어를 수행할 수 있다. 예를 들어, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)의 구동(on), 구동 모드(예: sleep, standby, active 등), 프레임 레이트, 디지털 줌 등을 제어할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 프리뷰 모드에서 줌 배율의 조절 전에 제1 카메라 모듈(141)로부터의 제1 영상을 이용하여 프리뷰 영상을 생성할 수 있다. 예를 들어, 프로세서(150)는 프리뷰 모드에 진입하면 제1 및 제2 카메라 모듈(141, 142)을 구동시키고 일정 시간 후에 제2 카메라 모듈(142)을 슬립(또는 스탠바이) 모드로 제어할 수 있다. 프로세서(150)는 제1 카메라 모듈(141)의 프레임 레이트를 제1 프레임 레이트로 제어할 수 있다. 예를 들어, 제1 프레임 레이트는 프리뷰(Preview 또는 Live View) 상의 최고 프레임 레이트(예: 30fps)일 수 있으며, 주변 조도에 따라 최고 프레임 레이트 미만으로 변경될 수 있다. 일 실시예에서, 프로세서(150)는 슬레이브인 제2 카메라 모듈(142)을 슬립 모드 또는 스탠바이 모드로 제어하지 않고 제2 프레임 레이트로 제어할 수도 있다. 예를 들어, 제2 프레임 레이트는 제1 프레임 레이트 이하의 프레임 레이트로서, 예를 들어, 5fps일 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 제1 카메라 모듈(141) 및 제2 카메라 모듈(142)의 시차를 이용하여 깊이 정보를 획득할 수 있다. 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)에 의하여 획득한 깊이 정보에 기반하여 외부 오브젝트(예: 피사체)에 대한 깊이 정보를 확인하는 용도로 사용될 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)의 캘리브레이션 값을 바탕으로　제1 및 제2 카메라 모듈(141, 142)을 이용하여 생성된 제1 및 제2 영상을 교정(align)한 후,　제2 영상의 픽셀을 시프트(shift)하면서 매칭되는 제1 영상의 픽셀을 찾아서 깊이 맵을 생성할 수 있다. 일 실시예에서, 프로세서(150)는 제2 영상의 각 픽셀과 매칭되는 제1 영상의 픽셀을 찾는 과정에서의 시프트 양을 깊이 정보로 대응시켜 깊이 맵을 생성할 수 있다. 프로세서(150)는 시프트 양이 적으면 깊이 맵에서 근거리로 표현하고,　시프트 양이 적으면 깊이 맵에서 원거리로 표현할 수 있다. 일 실시예에서, 캘리브레이션 값은 제1 및 제2 카메라 모듈(141, 142)의 제작 시 캘리브레이션 공정을 통해서 결정된 값으로서, 예컨대, 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)일 수 있다. 내부 파라미터(intrinsic parameter)는 각 카메라 모듈의 특성으로서, 광학 중심(optical center), 초점거리(focal length) 및 렌즈 왜곡(lens distortion) 등일 수 있다. 외부 파라미터(extrinsic parameter)는 두 카메라 모듈 사이의 상대적 위치를 나타내는 것으로 틸트(tilt), 쉬프트(shift)일 수 있다. 캘리브레이션 값은 제1 및 제2 카메라 모듈(141, 142)의 내장 메모리(예: FROM)에 저장될 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 제1 및 제2 영상의 해상도를 줄여서(예: VGA~HD) 깊이 맵을　생성할 수 있다. 이후, 프로세서(150)는 응용 프로그램에 따라서 필요한　해상도로 깊이 맵의 해상도를 조절해서 출력할 수 있다.　프로세서(150)는 깊이 맵을 이용하여 제1 및 제2 영상 중 적어도 하나에서 피사체의 거리에 따라 흐림(blur) 양을 조절하여 아웃 포커싱(outfocus)된 영역을 생성할 수 있다.　
본 발명의 일 실시예에 따르면, 프로세서(150)는. 상기 제2 카메라 모듈(142)을 이용한 제2 영상만으로 프리뷰를 동작 시킬 수 있다. 상기 프리뷰에 해당되는 영역(scene)에서 깊이 맵을 생성할 수 있다. 깊이 맵은 제 1영상과 제 2영상을 이용하여 생성할 수 있다. 상기 깊이 맵을 이용하여 상기 프리뷰에 해당되는 영상에 아웃 포커싱의 효과를 적용할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 프리뷰 모드에서 줌 조절 기능이 선택되면, 설정된 줌(zoom) 배율에 따라 제1 및 제2 카메라 모듈(141, 142) 중에서 마스터와 슬레이브를 변경 설정할 수 있다. 예를 들어, 프로세서(150)는 프리뷰 모드에서 설정된 줌 배율이 제1 임계배율(예: 2배) 미만이면, 제1 카메라 모듈(141)를 마스터로 유지하고, 설정된 줌 배율이 제1 임계배율 이상이면, 제2 카메라 모듈(142)을 마스터로 변경 설정할 수 있다. 일 실시예에서, 프로세서(150)는 프리뷰 화면에 대한 두 손가락의 터치로 줌 조절 기능의 선택을 확인할 수 있다. 본 발명의 일 실시예에서 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)에 대해 중심점에 기준하여 AF를 수행할 수 있다. 다른 실시예에서, 프로세서(150)는 프리뷰 모드에서 줌 조절 기능이 선택되는 시점에, 제2 카메라 모듈(142)에 중심점 정보를 제공하고, 중심점에 기준한 AF를 지시할 수 있다. 그러면, 제2 카메라 모듈(142)은 제1 프레임 레이트로 전환되어, AF(auto focus) 기능을 수행할 수 있다. 프로세서(150)는 제2 카메라 모듈(142)에 AF 실행을 위한 프레임 레이트 전환을 지시할 수도 있다. 일 실시예에서, 중심점은 각 카메라 모듈(141, 142)의 이미지의 중심점일 수 있다. 또는 중심점은 사용자에 의해 선택된 줌 영역의 중심점일 수도 있다. 이로써, 본 발명의 실시예에서는 줌 기능의 수행에 따라 제1 및 제2 영상 간의 시차 등을 보정할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 프리뷰 모드에서 마스터와 슬레이브의 프레임 레이트를 체배수로 제어할 수 있다. 예를 들어, 프로세서(150)는 제1 카메라 모듈(141)가 마스터이면, 그 프레임 레이트를 30fps로 제어하고, 슬레이브인 제2 카메라 모듈(142)의 프레임 레이트를 5fps(=30fps/n, n은 자연수)로 제어할 수 있다. 본 발명의 일 실시예에 따르면, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142) 중 어느 카메라 모듈이 슬레이브 카메라 모듈인가에 따라 제2 프레임 레이트를 달리 설정할 수 있다. 예를 들어, 프로세서(150)는 제1 카메라 모듈(141)이 슬레이브인 경우에 제2 프레임 레이트를 10fps로 설정하고, 제2 카메라 모듈(142)이 슬레이브인 경우 제2 프레임 레이트를 5fps로 설정할 수 있다. 그에 따라, 본 발명의 실시예에서는 AF 처리 속도가 상대적으로 빠른 제1 카메라 모듈(141)이 슬레이브일 때는 프레임 레이트의 변경 없이 AF 기능을 수행할 수도 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 정지 영상 촬영을 위한 프리뷰 모드에서 조도 센서(110)에 의해 감지된 주변 조도에 따라서 마스터의 프레임 레이트를 조절할 수 있다. 이 경우, 프로세서(150)는 슬레이브 카메라 모듈의 프레임 레이트도 마스터 카메라 모듈에 대응하여 조절할 수 있다. 예를 들어, 프로세서(150)는 제1 카메라 모듈(141)이 마스터인 경우 그 프레임 레이트를 하기 표 1과 같이 주변 조도에 따라서 30 내지 10fps로 제어하고, 제2 카메라 모듈(142)의 프레임 레이트도 주변 조도에 따라 지정된 프레임 레이트 비율(fps 비율)에 대응하여 5 내지 7.5fps 사이의 지정된 프레임 레이트에 따라 조절할 수 있다.
[표 1]
예를 들어, 프로세서(150)는 제2 카메라 모듈(142)이 마스터인 경우에는 그 프레임 레이트를 주변 조도에 따라서 하기 표 2와 같이 30 내지 10fps로 제어하고, 제1 카메라 모듈(141)의 프레임 레이트를 10 내지 20fps 사이에서 지정된 프레임 레이트로 조절할 수 있다.
[표 2]
본 발명의 일 실시예에 따르면, 프로세서(150)는 조도가 임계조도 미만이면, 감지된 조도에 대응하여 가변 설정하고, 마스터의 프레임 레이트를 가변 설정하되, 슬레이브의 프레임 레이트를 조절하지 않을 수 있다. 일 실시예에서, 임계조도는 제1 프레임 레이트(최고 프레임 레이트)에서 제1 및 제2 카메라 모듈(141, 142)에 의해 촬영된 영상의 해상력이 저하되는 조도로서, 실험적으로 결정될 수 있다. 조도 변화에 의하여 마스터의 프레임 레이트가 최고 프레임 레이트 미만으로 변경 설정된 경우, 슬레이브는 마스터와 비동기(time async) 상태로 구동될 수 있다. 예를 들어 제1 카메라 모듈(141)이 마스터이고, 제2 카메라 모듈(142)이 슬레이브인 경우, 마스터는 27fps 슬레이브는 5fps 로 비동기 상태로 구동될 수 있다. 다만, 프로세서(150)는 캡처(capture) 명령이 확인되면, 슬레이브의 프레임 프레임을 중지하고 마스터의 프레임에 동기를 맞추어 새로 시작하여 마스터와 슬레이브의 프레임 레이트의 동기가 맞는 상태에서 촬영 영상을 생성할 수 있다. 이때 새로 시작하는 슬레이브의 프레임 레이트는 마스터의 프레임 레이트와 동일할 수도 있고 지정된 제2 프레임 레이트로 동작할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 동영상 촬영을 위한 프리뷰 모드에서는 주변 조도를 고려한 프레임 레이트 제어를 수행하지 않을 수 있다. 예를 들어, 프로세서(150)는 동영상 촬영을 위한 프리뷰 모드에서 주변 조도에 상관 없이 동일한 제1 프레임 레이트를 설정할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 제2 카메라 모듈(142)을 제2 프레임 레이트에서 제1 프레임 레이트로 전환시킬 때 제2 카메라 모듈(142)의 프레임정지시킨 후 다시 제2 카메라 모듈(142)의 프레임 레이트를 설정할 수 있다. 예를 들어, 프로세서(150)는 제2 카메라 모듈(142)의 영상 출력을 중단(stream off)시킨 후 제2 카메라 모듈(142)의 프레임 레이트를 제1 프레임 레이트로 조정한 다음, 제1 카메라 모듈(141)의 프레임 레이트에 동기를 맞추어 제2 카메라 모듈(142)에 영상 출력을 지시(stream on)할 수 있다. 이로써, 본 발명의 실시예에서는 프레임 레이트 전환의 속도를 향상시킬 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 프리뷰 모드 등에서 제1 및 제2 카메라 모듈(141, 142) 중에서 마스터 모듈과 슬레이브가 둘 다 설정된 임계시간(예: 5초) 이상 제1 프레임 레이트로 동작 중(예: 줌 조절 기능의 선택 시)에 캡쳐 및 줌 배율 변경 중 적어도 하나의 명령을 전달하지 않는 경우에 슬레이브의 프레임 레이트를 제2 프레임 레이트로 전환시킬 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 프리뷰 모드에서 제1 및 제2 카메라 모듈(141, 142) 중 적어도 하나에 주기적으로 AF를 지시할 수 있다. 또한, 프로세서(150)는 프리뷰 모드에서 줌 조절 기능이 선택된 경우에 선택된 영역의 중심점(center) 정보와 함께 제1 및 제2 카메라 모듈(141, 142) 중 적어도 하나에 AF를 지시할 수 있다. 예를 들어, 프로세서(150)는 줌 조절 기능이 선택된 경우에 슬레이브에 AF를 지시할 수 있다.
본 발명의 일 실시예에 따르면, 제1 및 제2 카메라 모듈(141, 142)은 AF 지시를 수신하면, 각기 AF를 수행할 수 있다. 제1 및 제2 카메라 모듈(141, 142)은 선택된 영역의 중심점 정보를 수신한 경우에 중심점 정보에 따른 중심점을 기준으로 AF를 수행할 수 있다. 일 실시예에서, 제2 카메라 모듈(142)은 제2 프레임 레이트로 구동 중에 AF 명령을 수신하면, 프레임 레이트를 제1 프레임 레이트로 변환한 다음 AF를 수행할 수 있다. 제1 카메라 모듈(141)은 슬레이브로 동작할 때, AF 명령을 확인하여도 프레임 레이트를 변경하지 않고, AF를 수행할 수 있다.
본 발명의 일 실시예에 따르면, 제1 및 제2 카메라 모듈(141, 142) 중 마스터는 자체적으로 AE/AWB를 수행하고, 프로세서(150)를 통해 슬레이브에 AE/AWB 정보를 제공할 수 있다. 일 실시예에서, 슬레이브는 마스터의 AE/AWB 정보를 참고하여 AE/AWB를 수행할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 줌 배율이 제1 임계비율 이상에서 제1 임계배율 미만으로 조절되면, 제1 카메라 모듈(141)을 마스터로 선 전환시킨 후 제1 카메라 모듈(141)의 프레임 레이트를 제1 프레임 레이트로 조절할 수 있다. 예를 들어, 프로세서(150)는 줌 아웃에 의해서 줌 배율이 제1 임계배율 미만으로 조절되면, 제1 영상을 이용하여 프리뷰 영상을 출력하고, 이후 제1 카메라 모듈(141)에 제1 프레임 레이트로 프레임 레이트 변경을 지시할 수 있다. 프로세서(150)는 제2 카메라 모듈(142)에 제2 프레임 레이트로 프레임 레이트 변경을 지시할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 줌 조절 기능에 의해 조절된 줌 배율이 지정된 배율 구간(예: 1.7배~2.3배)이면, 제1 카메라 모듈(141)과 제2 카메라 모듈(142)을 둘 다 -최고 프레임 레이트인 제1 프레임 레이트로 제어할 수 있다. 이로 인해 제 1 임계 배율 이상 또는 미만으로 변할 때 마스터, 슬레이브 전환의 시간 지연을 감소 시킬 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)이 둘 다 제1 프레임 레이트로 구동될 때 캡쳐, AF 및 줌 배율 변경 중 적어도 하나의 명령이 전달되지 않으면, 프리뷰를 담당하지 않는 슬레이브 카메라 모듈을 제2 프레임 레이트로 전환시킬 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 캡처 명령에 의하여 촬영 영상을 생성하는 경우에도 줌 배율에 따라 제1 카메라 모듈(141)로부터의 제1 영상 및 제2 카메라 모듈(142)로부터의 제2 영상 중 적어도 하나를 이용하여 촬영(capture) 영상을 생성할 수 있다. 일 실시예에서, 프로세서(150)는 줌 배율이 제2 임계배율(예: 1.3배) 미만이면, 제1 카메라 모듈(141)의 의해 촬영된 제1 영상을 이용하여 촬영 영상을 생성할 수 있다. 예를 들어, 프로세서(150)는 제1 카메라 모듈(141)의 디지털 줌 조절 기능을 이용하여 제1 영상을 스케일 업(scale up)하여 촬영 영상을 생성할 수 있다.
다른 실시예에서, 프로세서(150)는 줌 배율이 제1 임계배율(예: 2배) 미만 제2 임계배율 이상이면, 제1 및 제2 카메라 모듈(141, 142)로부터의 제1 및 제2 영상을 합성하여 촬영 영상을 생성할 수 있다. 프로세서(150)는 줌 배율이 제1 임계배율 미만 제2 임계배율 이상일 때 제1 및 제2 카메라 모듈(141, 142)의 프레임 레이트를 동기화하여(time sync) 제1 및 제2 영상을 합성할 수 있다. 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)의 영상을 합성하여 지정된 줌 배율을 영상을 생성할 수 있다. 예를 들어, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)에 의한 촬영으로 제1 및 제2 영상을 생성하고, 제1 영상을 줌 배율에 맞게 자른(CROP) 다음 잘려진 두 영상을 합성할 수 있다. 프로세서(150)는 제2 카메라 모듈(142)의 캘리브레이션 값을 참조하여 제2 영상을 틸트(tilt) 및 쉬프트(shift)시키고, 제2 영상을 다수의 블록으로 나누어서 제2 영상의 사용될 영역이 제1 영상의 어느 영역에 있는지 검출하고, 제1 영상의 검출된 영역에 제2 영상을 합성할 수 있다. 본 발명의 실시예들에서, 제1 및 제2 카메라 모듈(141, 142)의 시차는 피사체와의 거리가 가까울수록 크고, 멀어질수록 작을 수 있다. 영상 합성부(157)는 제1 및 제2 영상의 시차를 극복하여 제1 및 제2 영상을 합성하기 위해서 매 촬영 과정에서 제2 영상의 사용될 영역에 대응하는 제1 영상의 영역을 검출할 수 있다.
또 다른 실시예에서, 프로세서(150)는 줌 배율이 제1 임계배율 이상이면, 제2 카메라 모듈(142)로부터의 제2 영상을 이용하여 촬영 영상을 생성할 수 있다. 예를 들어, 프로세서(150)는 제2 카메라 모듈(142)의 디지털 줌 조절 기능에 의해 제1 임계배율 이상의 줌 배율에 따라 제2 영상을 확대하여 촬영 영상을 생성할 수 있다. 본 발명의 실시예에 따르면, 프로세서(150)는 제1 및 제2 영상 중 적어도 하나를 이용하여 촬영 영상을 생성할 때 제1 및 제2 영상 중 적어도 하나에 대해 노이즈 제거(noise reduction), 대비 향상(contrast enhancement) 및/또는 SR(super resolution) 줌 등을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 각 영상(예: 제1 영상 또는 제2 영상)의 복수의 프레임을 이용하여 하나의 촬영 영상을 생성할 수도 있다. 예를 들어, 프로세서(150)는 복수의 사진(프레임)을 촬영 시 손 흔들림에 의해 촬영 영상이 다를 수 있다. 이에, 프로세서(150)는 복수의 프레임(예컨대, 4개)을 이용해 SR 줌을 수행함에 따라 촬영 영상의 해상력을 향상할 수 있다. 프로세서(150)는 정상보다 짧은 노출로 제1 및 제2 카메라 모듈(141, 142) 중 적어도 하나를 이용하여 촬영하여 복수의 프레임을 생성하고, 복수의 프레임을 이용하여 합성 영상(촬영 영상)을 생성할 수 있다. 이로써, 본 발명의 실시예에서는 흔들림이 적고 노이즈(noise)가 줄어든 촬영 영상을 생성할 수 있다. 예를 들어, 2배 이상의 줌 배율에서 제2 카메라 모듈(142)을 이용한 촬영 영상은 줌 배율이 증가할수록 해상력이 감소될 수 있다. 프로세서(150)는 제2 카메라 모듈(142)을 이용한 촬영 영상의 복수의 프레임을 합성하여 SR 합성을 수행함에 따라 촬영 영상의 해상력을 향상시킬 수 있다. 또는, 줌 배율이 2배 미만일 때 제1 카메라 모듈(141)을 이용한 촬영 영상의 해상력이　제2 카메라 모듈(142)을 이용한 촬영 영상의 해상력에 비해 낮으므로, 두 카메라 모듈(141, 142)의 합성된 영상은 제2 카메라 모듈(142)의 이미지 범위를 벗어난 외곽영역이 제2 카메라 모듈(142)의 이미지 범위의 중심 영역에 비해 해상력이 낮아질 수 있다. 이를 개선하고자, 프로세서(150)는 제1 카메라 모듈(141)을 이용한 촬영 영상의 복수 프레임을 합성하여　제1 영상의 해상력을 향상시킨 후에 다음 제2 카메라 모듈(142)을 이용한 촬영 영상과 설정된 줌 배율에 대응하도록 합성할 수 있다.　
본 발명의 다양한 실시예들은 두 개의 카메라 모듈 중에서 프리뷰 영상을 제공하지 않는 카메라 모듈을 필요한 구동상황을 제외하고 프레임 레이트를 줄여서 구동시킴에 따라 소비전력을 절감시킬 수 있다.
본 발명의 다양한 실시예들은 프리뷰 영상을 제공하는 마스터 카메라 모듈의 AE/AWB 정보를 이용하여 슬레이브 카메라 모듈의 AE/AWB를 수행함에 따라 AE/AWB 수행 시간을 절감할 수 있다.
도 2는 본 발명의 제1실시예에 따른 카메라 구동 방법을 도시한 흐름도이다.
동작 205에서, 프로세서(150)는 프리뷰 모드에 진입하면, 제1 및 제2 카메라 모듈(141, 142)을 구동시킬 수 있다.
동작 210에서, 프로세서(150)는 제1 카메라 모듈(141)의 초기화가 완료되는지를 확인할 수 있다. 프로세서(150)는 제1 카메라 모듈(141)의 초기화가 완료되면 제1 카메라 모듈(141)로부터의 제1 영상을 이용하여 프리뷰를 수행할 수 있다.
동작 215에서, 프로세서(150)는 제2 카메라 모듈(142)의 초기화가 완료되면, 제2 카메라 모듈(142)을 슬립(또는 스탠바이) 모드로 구동시킬 수 있다. 동작 210과 215는 동시에 일어나거나 순서가 바뀌어 일어날 수 있다.
동작 220에서, 프로세서(150)는 사용자에 의해 줌 조절 기능이 선택되는지를 확인할 수 있다. 예를 들어, 프로세서(150)는 프리뷰 화면에 대한 두 손가락 터치에 의해 줌 조절 기능 선택을 확인할 수 있다.
동작 225에서, 동작 220에서 확인한 프로세서(150)는 줌 조절 기능이 선택되면, 제2 카메라 모듈(142)에 웨이크업 및 AE, AWB 및 AF 기능을 지시할 수 있다. 예를 들어, 프로세서(150)는 제2 카메라 모듈(142)이 슬립(또는 스탠바이) 모드이면 웨이크업 시켜 제1 프레임 레이트로 구동시킨 다음 AE, AWB 및 AF 기능을 지시할 수 있다. 동작 225에서, 제1 카메라 모듈(141)은 매 프레임 시작점에 동기(예: Vsync) 신호를 전달하고, 제2 카메라 모듈(142)은 제1 카메라 모듈(141)의 동기 신호에 동기를 맞추어 제2 영상 신호를 전달할 수 있다. 동작 225에서, 프로세서(150)는 제1 카메라 모듈(141)로부터의 제1 영상의 AWB(auto white balance) 및 AE(auto exposure) 정보를 이용하여 제2 카메라 모듈(142)로부터의 제2 영상에 대한 AWB 및 AE를 수행할 수 있다. 동작 225에서, 프로세서(150)는 위상차 AF(phase detection) 또는 컨트라스트 AF(coarse AF)를 수행할 수도 있다. 예를 들어, 프로세서(150)는 저조도 등으로 인해 위상차 AF의 정보가 부정확하여 AF 시간이 오래 걸릴 경우에는 AF를 최적의 초점이 아닌 위치에서 AF 기능을 조기 종료할 수 있다. 프로세서(150)는 AF 명령을 송신 후 제1 임계시간이 경과한 경우에 제2 카메라 모듈(142)의 AF 기능을 종료시키고 컨트라스트 AF를 수행할 수 있다.
동작 230에서, 프로세서(150)는 줌 조절 기능에 의해 조절된 줌 배율이 제1 임계배율 이상인지를 확인할 수 있다.
동작 235에서, 프로세서(150)는 줌 배율이 제1 임계배율 이상이면, 제2 카메라 모듈(142)이 준비 완료되었는지를 확인할 수 있다. 예를 들어, 프로세서(150)는 제2 카메라 모듈(142)이 제1 프레임 레이트로 구동되고, AE/AWB/AF 완료되었으면서, 주변 조도가 한계조도 이상이면, 제2 카메라 모듈(142)을 사용가능한 것으로 판단할 수 있다. 일 실시예에서, 한계조도는 제1 임계배율 이상에서 제2 카메라 모듈(142)의 해상력 또는 이미지 품질이 제1 카메라 모듈(141)의 해상력 또는 이미지 품질보다 저하되는 조도로서, 실험에 의해 결정될 수 있다. 한계조도는 동영상 촬영을 위한 프리뷰 모드와 정지 영상 촬영을 위한 프리뷰 모드에서 각기 달리 설정될 수 있다. 예를 들어, 한계조도는 동영상의 프리뷰 모드에서는 80lux로 설정되고, 정지영상의 프리뷰 모드에서는 50lux로 설정될 수 있다. 동작 235에서, 프로세서(150)는 추가적으로 또는 대체적으로 물체 거리를 이용하여 제2 카메라 모듈(142)이 사용 가능한지를 판단할 수 있다. 예를 들어, 물체거리가 제2 카메라 모듈(142)의 초점 가능 거리보다 가까운 경우(예를 들어 20cm) 제2 카메라 모듈(142)의 AF는 정확하지 않을 수 있다. 또한, 물체거리가 가까운 경우 두 카메라 모듈에서 나온 영상을 합성하는 시간이 증가할 수 있다. 이에, 프로세서(142)는 물체 거리가 지정된 한계 거리 이상일 때만 제2 카메라 모듈(142)이 사용 가능한 것으로 판단할 수도 있다. 동작 235는 좀 조절 기능의 선택 이후 적어도 1회만 수행되고 이후는 생략될 수 있다.
동작 240에서, 프로세서(150)는 제2 영상을 이용하여 프리뷰 가능하면, 제2 카메라 모듈(142)로부터의 제2 영상을 이용하여 프리뷰할 수 있다. 동작 240에서, 프로세서(150)는 제2 카메라 모듈(142)의 프레임 레이트를 제1 프레임 레이트로, 제1 카메라 모듈(141)의 프레임 레이트를 제2 프레임 레이트로 제어할 수 있다. 예를 들어, 제1 카메라 모듈(141)의 제2 프레임 레이트는 10 FPS일 수 있다.
동작 245에서, 프로세서(150)는 줌 조절 기능이 종료되는지를 확인할 수 있다. 예를 들어, 프로세서(150)는 프리뷰 화면에서 줌 조절 기능을 수행하던 사용자의 손가락이 떨어지는지를 확인하여 줌 조절 기능의 종료를 확인할 수 있다.
동작 250에서, 프로세서(150)는 줌 조절 기능이 종료되면, 제1 및 제2 카메라 모듈(141, 142)에 AF 기능을 지시할 수 있다. 동작 250 이후, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142) 중에서 프리뷰를 담당하지 않는 카메라 모듈을 슬립(또는 스탠바이) 모드 또는 제2 프레임 레이트로 전환시킬 수 있다. 프로세서(150)는 프리뷰 모드가 종료되기 전까지 제1 카메라 모듈(141) 또는 제2 카메라 모듈(142)로부터 제공된 제1 또는 제2 영상을 프리뷰 영상으로 디스플레이에 출력할 수 있다. 프리뷰 모드가 종료되면, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)에 오프(off)를 지시할 수 있다.
도 3은 본 발명의 제2실시예에 따른 카메라 구동 방법을 도시한 흐름도이다. 도 3에서 프로세서(150)가 카메라 기동 시 슬레이브인 제2 카메라 모듈(142)을 슬립 모드 또는 스탠바이 모드로 제어하는 대신에 제2 프레임 레이트로 제어하고, 줌 조절 기능이 선택될 때 제1 프레임 레이트로 제어하는 경우에 대한 예이다. 단, 프로세서(150)는 AF를 지시할 때 슬레이브(제1 카메라 모듈(141) 또는 제2 카메라 모듈(142))를 제1 프레임 레이트로 조절할 수도 있고, 제2 프레임 레이트로 유지할 수도 있다. 전자의 경우, 프로세서(150)는 AF를 수행한 이후에 슬레이브의 프레임 레이트를 제2 프레임 레이트로 다시 전환시킬 수 있다. 제2 프레임 레이트는 제1 프레임 레이트 미만의 로우 프레임 레이트일 수 있다. 일 실시예에서, 제1 프레임 레이트는 프리뷰 모드에서 설정되는 최고 프레임 레이트일 수 있으며, 제2 프레임 레이트는 제1 프레임 레이트 미만의 프레임 레이트일 수 있다.
동작 305에서, 프로세서(150)는 카메라 기동시, 제1 및 제2 카메라 모듈(141, 142)을 구동시킬 수 있다.
동작 310에서, 프로세서(150)는 제1 카메라 모듈(141)의 초기화를 완료하고, 제1 카메라 모듈(141)의 영상을 이용하여 프리뷰를 수행할 수 있다. 프로세서(150)는 제1 카메라 모듈(141)의 프레임 레이트를 제1 프레임 레이트로 제어할 수 있다. 프로세서(150)는 제2 카메라 모듈(142)의 초기화가 완료되면, 제2 카메라 모듈(142)의 프레임 레이트를 제2 프레임 레이트로 제어할 수 있다.
동작 315에서, 프로세서(150)는 사용자에 의해 줌 조절 기능이 선택되는지를 확인할 수 있다. 예를 들어, 프로세서(150)는 프리뷰 화면에 대한 두 손가락 터치에 의해 줌 조절 기능 선택을 확인할 수 있다.
동작 320에서, 프로세서(150)는 줌 조절 기능이 선택되면, 프로세서(150)는 줌 조절 기능에 의해 조절된 줌 배율이 제2 임계배율 초과인지를 확인할 수 있다. 프로세서(150)는 줌 조절 기능이 선택되기 전에 제2 카메라 모듈(142)의 AF가 비완료되거나, AF 실패 시에 제2 카메라 모듈(142)에 AF 기능을 지시할 수 있다.동작 320에서, 조절된 줌 배율이 제2 임계배율 초과이면, 프로세서(150)는 제2 카메라 모듈(142)에 제1 프레임 레이트로 프레임 변경을 지시할 수 있다. 프로세서(150)는 줌 배율과 상관 없이 줌 조절 기능이 선택되면, 제2 카메라 모듈(142)에 제1 프레임 레이트로 프레임 레이트 변경을 지시할 수도 있다.동작 330에서, 프로세서(150)는 줌 배율이 제1 임계배율 이상인지를 확인할 수 있다.
동작 335에서, 프로세서(150)는 줌 배율이 제1 임계배율 이상이면, 제2 카메라 모듈(142)이 준비 완료되었는지를 확인할 수 있다. 예를 들어, 프로세서(150)는 제2 카메라 모듈(142)이 AF 완료되면서, 제1 프레임 레이트 변경 완료되면, 제2 카메라 모듈(142)이 준비 완료된 것으로 판단할 수 있다. 프로세서(150)는 AF 완료, 제1 프레임 레이트 변경 완료되더라도 주변 조도가 한계조도 미만이면, 제2 카메라 모듈(142)이 준비 완료되지 않은 것으로 판단할 수 있다. 일 실시예에서, 한계조도는 제1 임계배율 이상에서 제2 카메라 모듈(142)의 해상력이 제1 카메라 모듈(141)의 해상력보다 저하되는 조도로서, 실험에 의해 결정될 수 있다. 한계조도는 동영상 촬영을 위한 프리뷰 모드와 정지 영상 촬영을 위한 프리뷰 모드에서 각기 달리 설정될 수 있다. 예를 들어, 한계조도는 동영상의 프리뷰 모드에서는 80lux로 설정되고, 정지영상의 프리뷰 모드에서는 50lux로 설정될 수 있다.
동작 335에서, 프로세서(150)는 추가적으로 또는 대체적으로 물체 거리를 이용하여 제2 카메라 모듈(142)이 사용 가능한지를 판단할 수 있다. 예를 들어, 물체거리가 제2 카메라 모듈(142)의 초점 가능 거리 보다 가까운 경우(예를 들어 20cm) 제2 카메라 모듈(142)의 AF는 정확하지 않을 수 있다. 또한 물체거리가 가까운 경우 두 카메라 모듈에서 나온 영상을 합성하는 시간이 증가할 수 있다. 이에, 프로세서(142)는 물체 거리가 지정된 한계 거리 이상일 때만 제2 카메라 모듈(142)이 사용 가능한 것으로 판단할 수도 있다. 동작 335는 좀 조절 기능의 선택 이후 적어도 1회만 수행되고 이후는 생략될 수 있다.
동작 340에서, 프로세서(150)는 제2 카메라 모듈(142)이 준비 완료되면, 제2 카메라 모듈(142)로부터의 제2 영상을 이용하여 프리뷰할 수 있다.
동작 345에서, 프로세서(150)는 줌 조절 기능이 종료되는지를 확인할 수 있다. 예를 들어, 프로세서(150)는 프리뷰 화면에서 줌 조절 기능을 수행하던 사용자의 손가락이 떨어지는지를 확인하여 줌 조절 기능의 종료를 확인할 수 있다.
동작 350에서, 프로세서(150)는 줌 조절 기능이 종료되면, 제1 및 제2 카메라 모듈(141, 142)에 AF 기능을 지시할 수 있다. 동작 345 이후, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142) 중에서 프리뷰를 담당하지 않는 카메라 모듈을 제2 프레임 레이트로 전환시킬 수 있다. 프로세서(150)는 프리뷰 모드가 종료되기 전까지 제1 카메라 모듈(141) 또는 제2 카메라 모듈(142)로부터 제공된 제1 또는 제2 영상을 프리뷰 영상으로 디스플레이에 출력할 수 있다. 프리뷰 모드가 종료되면, 프로세서(150)는 제1 및 제2 카메라 모듈(141, 142)에 오프(off)를 지시할 수 있다.
도 4는 본 발명의 실시예에 따른 프로세서를 도시한 구성도이다.
도 4에 도시된 바와 같이, 프로세서(150)는 입력 확인부(151), 줌 제어부(155), 제1 및 제2 영상 처리부(153-1, 153-2) 및 영상 합성부(157)를 포함할 수 있다. 입력 확인부(151), 줌 제어부(155), 제1 및 제2 영상 처리부(153-1, 153-2) 및 영상 합성부(157)는 적어도 하나의 프로세서(150)에 포함될 수 있다. 예를 들어, 입력 확인부(151), 줌 제어부(155), 제1 및 제2 영상 처리부(153-1, 153-2) 및 영상 합성부(157)는 CPU, GPU, AP(Application Processor), ISP(Image Signal Processor) 중 적어도 하나에 포함될 수 있다.
본 발명의 일 실시예에 따르면, 입력 확인부(151)는 사용자의 정지 영상/동영상 촬영 요청, 캡처 요청 및 줌 조절 요청 등을 확인할 수 있다. 입력 확인부(151)는 사용자 입력을 기반으로 줌 배율을 검출할 수 있다. 예를 들어, 사용자 입력의 인터페이스가 터치 패널인 경우, 입력 확인부(151)는 두 개의 손가락의 초기 이격 거리에 대비하여 증가된의 이격 거리에 대응하는 줌 배율을 검출할 수 있다.
본 발명의 일 실시예에 따르면, 줌 제어부(155)는 배율 확인부(151)에 의해 검출된 줌 배율에 따라 제1 및 제2 카메라 모듈(141, 142)의 구동 모드를 제어할 수 있다. 예를 들어, 줌 제어부(155)는 제1 및 제2 카메라 모듈(141, 142)에 온/오프 및 슬립(또는 스탠바이) 모드로의 변경을 지시하여 제1 및 제2 카메라 모듈(141, 142)의 구동 모드를 제어할 수 있다. 줌 제어부(155)는 프리뷰 모드에서 줌 조절 기능이 선택되기 전에는 제2 카메라 모듈(142)을 슬립 모드 또는 스탠바이 모드로 제어하고, 프리뷰 모드에서 줌 조절 기능이 선택된 이후에는 제2 카메라 모듈(142)을 액티브 모드로 제어할 수 있다. 일 실시예에서, 액티브 모드는 제2 카메라 모듈(142)이 제2 영상을 출력하는 모드일 수 있다.
본 발명의 일 실시예에 따르면, 줌 제어부(155)는 줌 배율에 기반하여 각 카메라 모듈(141, 142)의 프레임 레이트, AF, AE 및 AWB 중 적어도 하나를 제어할 수 있다. 예를 들어, 줌 제어부(155)는 줌 배율에 기반하여 각 카메라 모듈(141, 142)의 프레임 레이트를 제1 프레임 레이트 또는 제2 프레임 레이트로 제어할 수 있다. 줌 제어부(151)는 감지된 주변 조도에 기반하여 마스터 카메라 모듈(141, 142 중 하나)의 프레임 레이트를 변경 설정할 수도 있다. 줌 제어부(151)는 예를 들어, 캡처 시에, 조도에 따라 가변된 마스터 카메라 모듈(141, 142 중 하나)의 동기를 맞추기 위하여 슬레이브 카메라 모듈(141, 142 중 다른 하나)의 프레임 레이트를 가변 설정할 수 있다.
본 발명의 일 실시예에 따르면, 줌 제어부(155)는 기설정된 시나리오에 따라 제1 및 제2 영상 처리부(153-1, 153-2)에 AF, AE 및 AWB를 지시할 수 있다. 예를 들어, 줌 제어부(155)는 입력 확인부(151)를 통해 프리뷰 모드에서 줌 조절 기능이 선택되면 제1 및 제2 영상 처리부(153-1, 153-2)에 AF, AE 및 AWB를 지시할 수 있다. 본 발명의 일 실시예에 따르면, 줌 제어부(155)는 영상 합성부(157)에 프리뷰 영상 및 촬영 영상 생성을 지시할 수 있다.
본 발명의 일 실시예에 따르면, 제1 및 제2 영상 처리부(153-1, 153-2)는 제1 및 제2 카메라 모듈(141, 142)의 출력에 대해 각기 3A(AF, AWB, AE)를 수행하고, 3A 수행된 출력을 이용하여 제1 및 제2 영상을 각기 생성할 수 있다. 제1 및 제2 영상 처리부(153-1, 153-2)는 제1 및 제2 카메라 모듈(141, 142)의 출력에 대해 화질(색감, 밝기, 초점 등)을 동일하게 맞추는 작업을 수행할 수 있다. 예를 들어, 제1 및 제2 카메라 모듈(141, 142) 중에서 슬레이브의 영상 처리부(152-1 및 152-2 중 하나)는 마스터의 영상 처리부(152-1 및 152-2 중 다른 하나)로부터 AE 및 AWB 정보를 제공받아, 마스터의 AE 및 AWB를 기반으로 AE 및 AWB를 수행할 수 있다. 제1 및 제2 영상 처리부(153-1, 153-2)는 AF 명령을 수신하면 중심점을 기준으로 AF 기능을 수행할 수 있다. 일 실시예에 따른, 제1 및 제2 영상 처리부(153-1, 153-2)는 각 카메라 모듈(141, 142)(예: 카메라의 ISP)에 포함될 수도 있다.
본 발명의 일 실시예에 따르면, 영상 합성부(157)는 프리뷰 모드에서 제1 및 제2 영상 중 적어도 하나의 영상을 이용하여 프리뷰 영상을 생성할 수 있다. 예를 들어, 영상 합성부(157)는 프리뷰 모드에서 제2 임계배율 미만에서는 제1 영상을 이용하여 줌 배율에 대응하는 프리뷰 영상을 생성하고, 제2 임계배율 이상에서는 제2 영상을 이용하여 줌 배율에 대응하는 프리뷰 영상을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 영상 합성부(157)는 캡처 시에 제1 영상 및 제2 영상 중 적어도 하나의 영상을 이용하여 촬영 영상을 생성할 수 있다. 예를 들어, 영상 합성부(157)는 제2 임계배율 이하에서 제1 영상을 줌 배율에 따라 디지털 줌하여 촬영 영상을 생성할 수 있다. 영상 합성부(157)는 제1 임계배율 이상에서 제2 영상을 줌 배율에 따라 디지털 줌하여 촬영 영상을 생성할 수 있다. 영상 합성부(157)는 제2 임계배율 초과 제1 임계배율 미만에서 제1 및 제2 영상을 합성하여 촬영 영상을 제공할 수 있다.
본 발명의 일 실시예에 따르면, 영상 합성부(157)는 제1 및 제2 영상을 합성하기 위해서 제1 및 제2 카메라 모듈(141, 142)를 이용한 촬영으로 제1 및 제2 영상을 생성하고, 제1 및 제2 영상을 줌 배율에 맞게 자른(CROP) 다음 잘려진 두 영상을 합성할 수 있다. 영상 합성부(157)는 카메라 모듈(141,142)의 캘리브레이션 값을 참조하여 제2 영상을 틸트(tilt) 및 쉬프트(shift)시키고, 제2 영상을 다수의 블록으로 나누어서 제2 영상의 사용될 영역이 제1 영상의 어느 영역에 있는지 검출하고, 제1 영상의 검출된 영역에 제2 영상을 합성할 수 있다. 본 발명의 실시예들에서, 제1 및 제2 카메라 모듈(141, 142)의 시차는 피사체와의 거리가 가까울수록 크고, 멀어질수록 작을 수 있다. 영상 합성부(157)는 제1 및 제2 영상을 합성하기 위해서 매 촬영 과정에서 제2 영상의 사용될 영역에 대응하는 제1 영상의 영역을 검출할 수 있다.
일 실시예에서, 캘리브레이션 값은 제1 및 제2 카메라 모듈(141, 142)의 제작 시 캘리브레이션 공정을 통해서 결정된 값으로서, 예컨대, 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)일 수 있다. 내부 파라미터(intrinsic parameter)는 각 카메라 모듈의 특성으로서, 광학 중심(optical center), 초점거리(focal length) 및 렌즈 왜곡(lens distortion) 등일 수 있다. 외부 파라미터(extrinsic parameter)는 두 카메라 모듈 사이의 상대적 위치를 나타내는 것으로 틸트(tilt), 쉬프트(shift)일 수 있다. 캘리브레이션 값은 제1 및 제2 카메라 모듈(141, 142)의 내장 메모리 또는 둘 중 하나에 (예: FROM)에 저장될 수 있다.
본 발명의 일 실시예에 따르면, 영상 합성부(157)는 줌 배율에 따라서 제1 및 제2 영상의 합성 배율을 조절할 수 있다. 예를 들어 영상 합성부(157)는 줌 배율이 1.3배일 때는 제1 영상의 70%, 제2 영상의 30%를 합성하고, 줌 배율이 2배일 때는 제2 영상만을 100% 이용할 수 있다. 일 실시예에서 합성배율은 실험에 의하여 결정될 수 있다
본 발명의 다양한 실시예에서는 복수의 단초점 카메라인 제1 및 제2 카메라 모듈로부터의 제1 및 제2 영상 중 적어도 하나의 영상을 이용하여 프리뷰 영상 또는 촬영 영상을 생성할 수 있다. 그에 따라, 본 발명의 다양한 실시예에서는 단초점 카메라에 의해 광학 줌 기능과 유사한 줌 기능을 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 프레임 레이트를 도시한 타이밍도이다.
도 5과 같이, 프로세서(150)는 줌 배율이 제1비율(ZOOM1)일 때 제1 카메라 모듈(141-)을 최고 프레임 레이트인 제1 프레임 레이트(예: 30fps)로 제어하고, 제2 카메라 모듈(142)을 로우 프레임 레이트인 제2 프레임 레이트(예: 5fps)로 제어할 수 있다. 또는, 프로세서(150)는 제2비율(ZOOM2)(예: 지정구간)에서 제1 및 제2 카메라 모듈(141,142)을 둘 다 제1 프레임 레이트로 제어할 수 있다. 프로세서(150)는 제3비율(ZOOM3)에서 제1 카메라 모듈(141)을 제2 프레임 레이트로 제어하고, 제2 카메라 모듈(142)을 제1 프레임 레이트로 제어할 수 있다.
도 6a 내지 6c는 본 발명의 실시예에 따른 프레임 레이트 제어 방법을 설명하기 위한 타이밍도이다. 도 6a 내지 6c에서, 실선 네모는 제1, 제 2 카메라 모듈-에서 영상 프레임이 출력되는 구간이며, 점선 네모는 제 1 또는 제2 카메라 모듈에서 영상 프레임이 출력되지 않는 구간일 수 있다. 도 6a 및 6b는 제 1 카메라 또는 제 2 카메라 모듈이 최고 프레임 레이트 (30프레임) 영상을 출력하는 경우의 타이밍도이며, 도 6c는 제 1또는 제 2 카메라의 프레임 레이트가, 낮은 조도에서 최고 프레임 레이트 보다 줄어들어 영상을 출력하는 경우의 타이밍도이다. 이때 제 1카메라 모듈과 제2 카메라 모듈은 time async로 동작하는 경우를 표시하였다.
도 6a와 같이, 프로세서(150)는 제2 카메라 모듈(142)을 제2 프레임 레이트로 구동시키던 중에 제2 카메라 모듈(142)의 프레임 레이트를 다음과 같은 절차를 통해 변경할 수 있다. 프로세서(150)는 t1 시점에 제2 카메라 모듈(t)의 영상 출력을 중단(stream off)시킨 후 제2 카메라 모듈(142)의 프레임 레이트를 제1 프레임 레이트로 변경시킨 다음에 제2 카메라 모듈(142)에 영상 출력(stream on)을 지시할 수 있다. 제2 카메라 모듈(142)은 t1 내지 t2 지연(delay)에 다시 제1 프레임 레이트로 제2 영상을 출력할 수 있다. 이러한 지연(t2-t1)은 제2 카메라 모듈(142)의 영상 출력이 지속되는 상태에서 프레임 레이트를 변경하는 경우에 비교하여 상대적으로 짧을 수 있다.
도 6b와 같이, 프로세서(150)는 제2 카메라 모듈(142)을 제2 프레임 레이트로 구동시키던 중에 제1 프레임 레이트로 프레임 레이트를 변경하기 위해서 t3 시점에 제2 카메라 모듈(142)의 프레임레이트를 제1 프레임 레이트로 변경을 지시할 수 있다. 이 경우, 제2 카메라 모듈(w)은 t3 내지 t4의 지연(delay) 후에 다시 제1 프레임 레이트로 제1 영상을 출력할 수 있다. 이러한 지연(t4-t3)은 도 6a의 지연 (t2-t1)에 비하여 늘어날 수 있다.
도 6c와 같이, 프로세서(150)는 제2 카메라 모듈(142)과 제1 카메라 모듈(141)을 비동기로 구동시키다가 동기를 맞추기 위해서 t5 시점에 제2 카메라 모듈(142)의 영상 출력을 중단(stream off)시킨 후 제1 프레임 레이트로 변경시킨 다음에 제 1 카메라 모듈에 동기를 맞추어 제2 카메라 모듈(142)로부터 다시 영상을 수신(stream on)할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (23)

  1. 제1 화각을 갖는 제1 카메라;
    상기 제1 화각보다 좁은 제2 화각을 갖는 제2 카메라;
    디스플레이; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 제1 카메라를 제1 프레임 속도로 제어하여 획득된 프리뷰 영상을 상기 디스플레이에 표시하고, 상기 제2 카메라를 상기 제1 프레임보다 느린 제2 프레임 속도로 제어하고,
    상기 제1 카메라를 이용한 상기 프리뷰 영상의 디스플레이 중에, 줌 조절 기능의 선택 입력을 수신하고,
    상기 선택 입력에 기반하여, 상기 제2 카메라에 줌 영역의 중심점에 대한 중심점 정보를 제공함으로써 상기 제2 카메라가 상기 중심점 정보에 기반한 AF(auto focus)를 수행하도록 하고,
    상기 줌 조절 기능을 이용하여 배율을 조정하는 사용자 입력이 해제됨을 감지하여 상기 줌 조절 기능의 종료를 감지함으로써 상기 사용자 입력을 획득하고,
    상기 줌 조절 기능에 의하여 조정된 배율이 제1 범위에 속하는 경우, 상기 제1 카메라를 상기 제1 프레임 속도로 설정하고, 상기 제2 카메라를 상기 제2 프레임 속도로 설정하고, 및 상기 제1 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제1 영상을 상기 디스플레이를 통해 상기 프리뷰 영상으로 표시하고,
    상기 줌 조절 기능에 의하여 조정된 배율이 상기 제1 범위보다 큰 제2 범위에 속하는 경우, 상기 제2 카메라를 상기 제1 프레임 속도로 설정하고, 상기 제1 카메라를 상기 제1 프레임 속도 보다 느린 제4 프레임 속도로 설정하고, 상기 제2 카메라의 AF 및 프레임 속도 변환이 완료되면 상기 제2 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제2 영상을 상기 프리뷰 영상으로서 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  2. 제1항에서, 상기 프로세서는,
    상기 배율이 상기 제1 범위에 속하는 경우, 상기 제2 카메라를 이용하여 상기 제2 프레임 속도로 영상을 획득하고,
    상기 배율이 상기 제2 범위에 속하는 경우, 상기 제1 카메라를 이용하여 상기 제4 프레임 속도로 영상을 획득하도록 설정된, 전자 장치.
  3. 삭제
  4. 제1항에서, 상기 제2 프레임 속도는,
    상기 제4 프레임 속도와 동일한 것인 전자 장치.
  5. 제1항에서,
    상기 제1 프레임 속도와 상기 제2 프레임 속도는 체배수 관계이며,
    상기 제1 프레임 속도와 상기 제4 프레임 속도는 체배수 관계인 전자 장치.
  6. 제5항에서, 상기 프로세서는,
    상기 제1 카메라와 상기 제2 카메라의 프레임 속도를 체배수로 설정하여 상기 제1 및 제2 카메라를 동기화 구동시키도록 설정된, 전자 장치.
  7. 제1항에서, 상기 프로세서는,
    감지된 주변 조도에 대응하여 상기 제1 프레임 속도가 가변 설정되면, 상기 감지된 조도에 따라 지정된 비율로 상기 제2 프레임 속도 또는 상기 제4 프레임 속도를 가변 설정하여 상기 제1 프레임 속도와 제2 프레임 속도 또는 제4 프레임 속도의 시간 동기를 맞추도록 설정된, 전자 장치.
  8. 제5항에서, 상기 프로세서는,
    상기 배율이 상기 제1 범위에 속하는 경우, 감지된 주변 조도에 대응하여 제1 카메라의 상기 제1 프레임 속도가 가변되면, 상기 제1 프레임 속도와 상기 제2 프레임 속도 사이의 체배수 관계가 일시적으로 유지되지 않아 상기 제1 카메라와 상기 제2 카메라를 시간 비동기로 동작시키다가, 캡처 명령이 수신되면, 상기 제2 카메라의 프레임을 중지시키고 상기 제1 카메라의 프레임에 맞추어 새로 시작하여 상기 제1 카메라와 상기 제2 카메라 사이의 시간 동기를 맞추도록 설정된, 전자 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제1항에서, 상기 프로세서는,
    줌 아웃(zoom out)에 대응하는 사용자 입력에 대응하여, 상기 배율이 상기 제2 범위에서 상기 제1 범위로 변화되면, 상기 제1 카메라의 프레임 속도 변화 전에는 상기 제2 카메라를 이용하여 상기 제1 프레임 속도로 획득된 상기 제2 영상을 상기 디스플레이를 통해 표시하고, 상기 제1 카메라의 프레임 속도가 상기 제1 프레임 속도로 변경되면, 상기 제1 카메라를 이용하여 상기 제1 프레임 속도로 획득된 상기 제1 영상을 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  13. 제1항에서, 상기 프로세서는,
    캡처 명령이 수신되면, 상기 제1 영상 또는 상기 제2 영상을 설정된 배율에 따라 디지털 줌하거나, 상기 제1 및 제2 영상을 상기 설정된 배율에 따라 자른(crop) 후 자른 영상을 서로 대응하는 영역에 합성하여 상기 설정된 배율에 대응하는 촬영 영상을 생성하도록 설정된 전자 장치.
  14. 제1항에서, 상기 프로세서는,
    상기 제1 카메라 및 상기 제2 카메라 중에서, 상기 디스플레이 상에 영상을 제공하는 데에 이용되는 마스터 카메라의 AE(auto exposure) 및 AWB(auto white balance) 정보를 참고하여, 상기 마스터 카메라를 제외한 슬레이브 카메라의 AE 및 AWB를 수행하도록 설정된, 전자 장치.
  15. 삭제
  16. 제1항에서, 상기 프로세서는,
    상기 배율이 확대 조절된 후 축소 조절되어, 상기 배율이 1배이면, 상기 제2 카메라를 슬립 모드 또는 스탠바이 상태로 제어하도록 설정된, 전자 장치.
  17. 제1항에서, 상기 프로세서는,
    상기 제2 카메라로부터 획득된 상기 제2 영상을 상기 디스플레이로 출력하던 중에 캡처 명령이 수신되면, 상기 제1 카메라 및 제2 카메라를 이용하여 제2 카메라의 이미지 영역에 대응하는 깊이 맵을 생성하도록 설정된 전자 장치.
  18. 제1 화각을 갖는 제1 카메라와 상기 제1 화각보다 좁은 제2 화각을 갖는 제2 카메라를 포함하는 전자 장치의 제어 방법으로서,
    상기 제1 카메라를 제1 프레임 속도로 제어하여 획득된 프리뷰 영상을 상기 전자 장치의 디스플레이에 표시하고, 상기 제2 카메라를 상기 제1 프레임보다 느린 제2 프레임 속도로 제어하는 동작;
    상기 제1 카메라를 이용한 상기 프리뷰 영상의 디스플레이 중에, 줌 조절 기능의 선택 입력을 수신하는 동작;
    상기 선택 입력에 기반하여, 상기 제2 카메라에 줌 영역의 중심점에 대한 중심점 정보를 제공함으로써 상기 제2 카메라가 상기 중심점 정보에 기반한 AF(auto focus)를 수행하도록 하는 동작;
    상기 줌 조절 기능을 이용하여 배율을 조정하는 사용자 입력이 해제됨을 감지하여 상기 줌 조절 기능의 종료를 감지함으로써 상기 사용자 입력을 획득하는 동작;
    상기 줌 조절 기능에 의하여 조정된 배율이 제1 범위에 속하는 경우, 상기 제1 카메라를 상기 제1 프레임 속도로 설정하고, 상기 제2 카메라를 상기 제2 프레임 속도로 설정하고, 상기 제1 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제1 영상을 상기 디스플레이를 통해 상기 프리뷰 영상으로 표시하는 동작; 및
    상기 줌 조절 기능에 의하여 조정된 배율이 상기 제1 범위보다 큰 제2 범위로 조정되면, 상기 제2 카메라를 상기 제1 프레임 속도로 설정하고, 상기 제1 카메라를 상기 제1 프레임 속도 보다 느린 제4 프레임 속도로 설정하고, 상기 제2 카메라의 AF 및 프레임 속도 변환이 완료되면 상기 제2 카메라를 이용하여 상기 제1 프레임 속도로 획득된 제2 영상을 상기 프리뷰 영상으로 상기 디스플레이를 통해 표시하는 동작
    을 포함하는 전자 장치의 제어 방법.
  19. 삭제
  20. 삭제
  21. 제18항에서,
    상기 제1 프레임 속도와 상기 제2 프레임 속도는 체배수 관계이며,
    상기 제1 프레임 속도와 상기 제4 프레임 속도는 체배수 관계인 전자 장치의 제어 방법.
  22. 제18항에서,
    감지된 주변 조도에 대응하여 상기 제1 프레임가 가변 설정되는지를 확인하는 동작; 및
    상기 제1 프레임 속도가 가변 설정되면, 상기 감지된 조도에 따라 지정된 비율로 상기 제2 프레임 속도 또는 상기 제4 프레임 속도를 가변 설정하는 동작
    을 더 포함하는 전자 장치의 제어 방법.

  23. 삭제
KR1020160115309A 2016-09-07 2016-09-07 전자 장치 및 그 제어 방법 KR102600504B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160115309A KR102600504B1 (ko) 2016-09-07 2016-09-07 전자 장치 및 그 제어 방법
EP17189709.3A EP3293962B1 (en) 2016-09-07 2017-09-06 Electronic apparatus
US15/696,504 US10484600B2 (en) 2016-09-07 2017-09-06 Electronic apparatus and controlling method thereof
CN201710800468.2A CN107800959B (zh) 2016-09-07 2017-09-07 电子设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160115309A KR102600504B1 (ko) 2016-09-07 2016-09-07 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20180027978A KR20180027978A (ko) 2018-03-15
KR102600504B1 true KR102600504B1 (ko) 2023-11-10

Family

ID=59829214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115309A KR102600504B1 (ko) 2016-09-07 2016-09-07 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10484600B2 (ko)
EP (1) EP3293962B1 (ko)
KR (1) KR102600504B1 (ko)
CN (1) CN107800959B (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926018B1 (ko) * 2016-08-12 2018-12-06 라인 가부시키가이샤 동영상 녹화 방법 및 시스템
US10250812B2 (en) * 2017-05-17 2019-04-02 Caterpillar Inc. Display system for machine
CN107343158A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 加快aec收敛的方法及装置、终端设备
US10681273B2 (en) * 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
KR20190032818A (ko) * 2017-09-20 2019-03-28 삼성전자주식회사 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
JP6630939B2 (ja) * 2018-04-26 2020-01-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN110830756B (zh) 2018-08-07 2022-05-17 华为技术有限公司 一种监控方法与装置
KR102544709B1 (ko) * 2018-09-18 2023-06-20 삼성전자주식회사 외부 조도에 기반하여 복수개의 카메라를 구동하는 전자 장치
WO2020059925A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 이동 단말기
WO2020118624A1 (en) * 2018-12-13 2020-06-18 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
CN109743561A (zh) * 2018-12-29 2019-05-10 努比亚技术有限公司 一种终端拍摄方法、拍摄终端及计算机可读存储介质
WO2020166911A1 (en) * 2019-02-11 2020-08-20 Samsung Electronics Co., Ltd. Screen providing method and electronic device supporting same
KR20200101207A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
MX2021009857A (es) 2019-02-19 2021-11-12 Lutron Tech Co Llc Sensor de luz visible configurado para la deteccion de condiciones de reflejo.
GB2583704B (en) * 2019-04-19 2023-05-24 Jaguar Land Rover Ltd Imaging system and method
KR20200141338A (ko) * 2019-06-10 2020-12-18 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
US11113797B1 (en) * 2019-08-19 2021-09-07 Snap Inc. Passive flash imaging
US11064108B2 (en) * 2019-08-21 2021-07-13 Sony Corporation Frame rate control for media capture based on rendered object speed
CN112422805B (zh) * 2019-08-22 2022-02-18 华为技术有限公司 一种拍摄方法及电子设备
KR102099687B1 (ko) * 2020-01-29 2020-04-10 주식회사 원테크시스템 영상 촬영 장치 및 시스템
CN113784015A (zh) * 2020-06-10 2021-12-10 Oppo广东移动通信有限公司 图像处理电路、电子设备和图像处理方法
JP2021197659A (ja) * 2020-06-16 2021-12-27 キヤノン株式会社 制御装置、制御方法、及び、プログラム
US11265462B2 (en) * 2020-07-06 2022-03-01 Qualcomm Incorporated Automatic camera selection capturing intended subjects in an image
US11671704B2 (en) * 2020-11-13 2023-06-06 Samsung Electronics Co., Ltd. Electronic device including a plurality of image sensors and method for thereof
US11425306B2 (en) * 2021-01-22 2022-08-23 Qualcomm Incorporated Zoom in or zoom out with slow-motion video capture
CN112887617B (zh) * 2021-01-26 2022-12-20 维沃移动通信有限公司 一种拍摄方法、装置和电子设备
US20220327718A1 (en) * 2021-04-13 2022-10-13 Qualcomm Incorporated Techniques for enhancing slow motion recording
EP4333449A1 (en) * 2021-09-27 2024-03-06 Samsung Electronics Co., Ltd. Wearable device comprising camera, and control method therefor
US20230147711A1 (en) * 2021-11-08 2023-05-11 Proprio, Inc. Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
CN117641116A (zh) * 2022-08-26 2024-03-01 荣耀终端有限公司 一种控制摄像头帧率的方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211941A1 (en) * 2007-03-01 2008-09-04 Deever Aaron T Digital camera using multiple image sensors to provide improved temporal sampling
US20160241793A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304252A (ja) * 2003-03-28 2004-10-28 Minolta Co Ltd 撮像システム
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
EP2590396B1 (en) * 2010-07-02 2018-08-08 Sony Interactive Entertainment Inc. Information processing system and information processing method
EP2860963B1 (en) * 2012-06-11 2019-05-22 Sony Interactive Entertainment Inc. Image generation device, and image generation method
US9185291B1 (en) 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
GB2520319A (en) * 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
US9438868B2 (en) 2014-02-13 2016-09-06 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods
US11927874B2 (en) * 2014-07-01 2024-03-12 Apple Inc. Mobile camera system
CN104333702A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种自动对焦的方法、装置及终端
CN104660994B (zh) * 2015-02-09 2018-03-16 武汉理工大学 海事专用摄像机及海事智能监控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211941A1 (en) * 2007-03-01 2008-09-04 Deever Aaron T Digital camera using multiple image sensors to provide improved temporal sampling
US20160241793A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras

Also Published As

Publication number Publication date
EP3293962A1 (en) 2018-03-14
US10484600B2 (en) 2019-11-19
US20180070009A1 (en) 2018-03-08
EP3293962B1 (en) 2021-12-29
CN107800959A (zh) 2018-03-13
KR20180027978A (ko) 2018-03-15
CN107800959B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
KR102600504B1 (ko) 전자 장치 및 그 제어 방법
US11412136B2 (en) Apparatus and method for operating multiple cameras for digital photography
US10798299B2 (en) Digital photographing apparatus, methods of controlling the same, and computer-readable storage medium to increase success rates in panoramic photography
US8213787B2 (en) Camera system and image forming apparatus
US9596398B2 (en) Automatic image capture
US9325970B2 (en) Imaging control device and imaging control method
US20150015671A1 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
CN109714524B (zh) 摄像装置、系统、摄像装置的控制方法和存储介质
US9706264B2 (en) Multiple field-of-view video streaming
US20150271414A1 (en) Display apparatus and display method
KR20150139159A (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
US20190132559A1 (en) Imaging device, control method of imaging device, and storage medium
CN114630053B (zh) 一种hdr图像显示方法及显示设备
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
US20120287309A1 (en) Image capturing apparatus, control method thereof, and storage medium
KR20170098412A (ko) 이미지 획득 방법 및 이를 지원하는 전자 장치
KR20180057171A (ko) 전방위 영상 촬영 장치 및 그것을 포함하는 전자 장치
JP5744527B2 (ja) 撮像装置及びその制御方法
JP2011188057A (ja) 撮像装置
JP2014062926A (ja) オートフォーカスシステム
JP2011188058A (ja) 撮像装置
KR20120133981A (ko) 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant