KR20180005543A - 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법 - Google Patents

듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법 Download PDF

Info

Publication number
KR20180005543A
KR20180005543A KR1020160085766A KR20160085766A KR20180005543A KR 20180005543 A KR20180005543 A KR 20180005543A KR 1020160085766 A KR1020160085766 A KR 1020160085766A KR 20160085766 A KR20160085766 A KR 20160085766A KR 20180005543 A KR20180005543 A KR 20180005543A
Authority
KR
South Korea
Prior art keywords
image sensor
image data
image
condition
sensor
Prior art date
Application number
KR1020160085766A
Other languages
English (en)
Other versions
KR102524498B1 (ko
Inventor
김영민
유석우
김광영
김동수
김병우
김현수
유수진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160085766A priority Critical patent/KR102524498B1/ko
Priority to CN201710545616.0A priority patent/CN107592437A/zh
Priority to EP17180131.9A priority patent/EP3267670A1/en
Priority to US15/643,048 priority patent/US20180013955A1/en
Publication of KR20180005543A publication Critical patent/KR20180005543A/ko
Application granted granted Critical
Publication of KR102524498B1 publication Critical patent/KR102524498B1/ko

Links

Images

Classifications

    • H04N5/2257
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/02Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23296
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 다양한 실시 예에 따른 전자 장치는 메모리, 이미지를 출력할 수 있는 디스플레이, 상기 전자 장치 내부 또는 외부를 감지하는 센서 모듈, 지정된 거리를 사이에 두고 배치되는 제1 이미지 센서 및 제2 이미지 센서를 포함하는 듀얼 카메라, 상기 제1 이미지 센서에서 수집된 제1 이미지 데이터를 처리하는 제1 파이프 라인, 상기 제2 이미지 센서에서 수집된 제2 이미지 데이터를 처리하는 제2 파이프 라인, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하는 제어부를 포함하고, 상기 제어부는 제1 이미지 데이터 또는 제2 이미지 데이터에서 추출된 정보와 관련된 제1 조건, 상기 센서 모듈에서 수집된 센싱 정보와 관련된 제2 조건, 제1 이미지 센서 및 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 제3 조건 중 적어도 하나를 기반으로 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나를 지정된 전력 제한 상태로 유지할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법{The Electronic Device including the Dual Camera and Method for controlling the Dual Camera}
본 문서의 다양한 실시 예는 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법 에 관한 것이다.
스마트폰, 태블릿 PC 등과 같은 전자 장치는 카메라 모듈을 포함할 수 있다. 카메라 모듈은 렌즈를 통해 이미지 데이터를 수집하고, 수집된 이미지 데이터는 전자 장치 내부의 메모리에 저장되거나, 디스플레이를 통해 출력될 수 있다.
최근 듀얼 카메라를 장착한 전자 장치가 출시되고 있다. 듀얼 카메라는 일정한 거리를 두고 배치되는 2개의 이미지 센서(또는 렌즈)를 통해 이미지 데이터를 수집할 수 있다. 각각의 이미지 센서는 동일한 피사체에 대하여, 서로 다른 각도에서 서로 다른 설정에 따라 이미지를 캡쳐할 수 있다. 듀얼 카메라를 장착한 전자 장치는 서로 다른 각도에서 캡쳐된 이미지를 결합하여, 싱글 카메라의 이미지와 다른 특성(예: 고품질, 광시야각, 입체 사진 등)를 가지는 이미지를 생성할 수 있다.
종래 기술에 따른 듀얼 카메라를 포함하는 전자 장치는 2개의 이미지 센서를 항상 동시에 동작시키고 있다. 이 경우, 이미지 센서에서 소모하는 전류가 증가하여, 배터리 소모로 인한 불편함을 발생시킬 수 있다.
또한, 종래의 전자 장치는 내부/외부의 조건에 따라 2개의 이미지 센서 중 하나의 이미지 센서만 동작하거나, 2개의 이미지 센서가 동시에 동작하도록 하고 있다. 이 경우, 전환 과정에서 셔터 랙(sutter lag)이 발생하여, 듀얼 카메라를 효과적으로 제어하지 못하는 문제점이 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는 메모리, 이미지를 출력할 수 있는 디스플레이, 상기 전자 장치 내부 또는 외부를 감지하는 센서 모듈, 지정된 거리를 사이에 두고 배치되는 제1 이미지 센서 및 제2 이미지 센서를 포함하는 듀얼 카메라, 상기 제1 이미지 센서에서 수집된 제1 이미지 데이터를 처리하는 제1 파이프 라인, 상기 제2 이미지 센서에서 수집된 제2 이미지 데이터를 처리하는 제2 파이프 라인, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하는 제어부를 포함하고, 상기 제어부는 제1 이미지 데이터 또는 제2 이미지 데이터에서 추출된 정보와 관련된 제1 조건, 상기 센서 모듈에서 수집된 센싱 정보와 관련된 제2 조건, 제1 이미지 센서 및 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 제3 조건 중 적어도 하나를 기반으로 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나를 지정된 전력 상태로 유지할 수 있다.
본 발명의 다양한 실시 예에 따른 듀얼 카메라를 전자 장치는 주변의 환경, 내부 설정 등에 따라, 듀얼 카메라를 싱글 모드 또는 듀얼 모드로 전환할 수 있다.
본 발명의 다양한 실시 예에 따른 듀얼 카메라를 전자 장치는 하나의 이미지 센서를 다양한 전력 상태를 유지하도록 하여, 소모되는 전류를 줄이거나 차단할 수 있다.
본 발명의 다양한 실시 예에 따른 듀얼 카메라를 전자 장치는 소모 전류를 줄이면서, 듀얼 카메라를 전환하는 속도를 빠르게 하여, 이미지 캡쳐 속도를 높일 수 있다.
도 1은 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자 장치를 도시한다.
도 2는 다양한 실시 예에 따른 이미지 데이터를 전송하는 파이프 라인의 구성도이다.
도 3은 다양한 실시 예에 따른 듀얼 카메라의 제어 방법을 도시한다.
도 4는 다양한 실시 예에 따른 밝기에 따른 듀얼 카메라 제어 방법을 나타내는 순서도이다.
도 5는 다양한 실시 예에 따른 근접 센서의 센싱 정보를 이용한 듀얼 카메라의 제어 방법을 설명하는 순서도이다.
도 6은 다양한 실시 예에 따른 듀얼 줌 렌즈를 이용한 듀얼 카메라의 제어 방법을 설명하는 순서도이다.
도 7a는 다양한 실시 예에 따른 제2 이미지 센서의 전력 차단 상태를 설명하는 순서도이다.
도 7b는 다양한 실시 예에 따른 제2 이미지 센서의 전력 차단 상태에서의 신호 흐름도이다.
도 8a는 다양한 실시 예에 따른 제2 이미지 센서의 스트리밍 제한 상태를 설명하는 순서도이다.
도 8b는 다양한 실시 예에 따른 제2 이미지 센서의 스트리밍 제한 상태에서의 신호 흐름도이다.
도 9a는 다양한 실시 예에 따른 리텐션 모드를 이용한 제2 이미지 센서의 제어를 설명하는 순서도이다.
도 9b는 다양한 실시 예에 따른 제2 이미지 센서의 리텐션 모드에서의 신호 흐름도이다.
도 10a 다양한 실시 예에 따른 파이프 라인의 제어를 통한 제2 이미지 데이터의 제어 방법을 설명하는 순서도이다.
도 10b는 다양한 실시 예에 따른 파이프 라인의 제어를 통한 제2 이미지 데이터의 제어를 설명하는 신호 흐름도이다.
도 11a 및 11b는 다양한 실시 에에 따른 프레임 비율을 변경하여 제2 이미지 센서를 제어하는 순서도 및 신호 흐름도이다.
도 12a 및 12b는 다양한 실시 에에 따른 해상도를 변경하여 제2 이미지 센서를 제어하는 순서도 및 신호 흐름도이다.
도 13은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 14는 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다.
본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자 장치를 도시한다.
도 1을 참조하면, 전자 장치(101)는 외부에 디스플레이(110), 하우징(120), 및 듀얼 카메라(150)를 포함할 수 있다. 전자 장치(101)는 추가적으로 버튼, 센서, 마이크 등을 더 포함할 수 있다.
디스플레이(110)는 사용자에게 제공하는 다양한 컨텐츠를 출력할 수 있고, 터치 입력을 통해 사용자의 입력을 수신할 수 있다. 다양한 실시 예에서, 디스플레이(110)는 듀얼 카메라(150)를 통해 수집된 이미지 데이터를 기반으로 하는 프리뷰 이미지를 출력할 수 있다. 예를 들어, 사용자는 카메라 앱을 실행하고, 디스플레이(110)을 통해 출력되는 프리뷰 이미지를 실시간으로 확인하면서, 사진 또는 동영상을 촬영할 수 있다.
하우징(120)은 외부에 디스플레이(110), 듀얼 카메라(150) 및 주변의 버튼 등을 장착할 수 있고, 내부에 전자 장치(101)를 구동하기 위한 프로세서, 모듈, 센서, 회로기판 등을 장착할 수 있다. 도 1에서는, 하우징(120)의 후면(디스플레이(110)이 배치되는 면의 반대면)에 듀얼 카메라(150)가 장착되는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 하우징(120)의 전면(디스플레이(110)이 배치되는 면)에 듀얼 카메라(150)가 장착될 수도 있다.
듀얼 카메라(150)는 제1 이미지 센서(151) 및 제2 이미지 센서 (152)를 포함할 수 있다. 제1 이미지 센서(151) 및 제2 이미지 센서(152)는 지정된 거리(예: 2cm)를 유지하도록 배치될 수 있다. 도 1에서는, 제1 이미지 센서(151) 및 제2 이미지 센서(152)가 축 I-I'을 따라 배치되는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 축 I-I'에 수직한 II-II'을 따라 제1 이미지 센서(151) 및 제2 이미지 센서(152)가 배치될 수도 있다.
제1 이미지 센서(151) 및 제2 이미지 센서 (152)는 서로 다른 동작 특성을 가질 수 있다. 예를 들어, 제1 이미지 센서(151)는 RGB 센서로서, 컬러 이미지를 수집할 수 있고, 제2 이미지 센서 (152)는 모노 센서로서, 흑백 이미지를 수집할 수 있다. 다른 예를 들어, 제1 이미지 센서(151)는 광각 렌즈(wide-angle lens)를 포함하여, 근접 거리의 피사체를 촬영하는데 적합할 수 있고, 제2 이미지 센서(152)는 망원 렌즈(telephoto lens)를 포함하여 원거리의 피사체를 촬영하는데 적합할 수 있다.
일 실시 예에 따르면, 제1 이미지 센서(151) 및 제2 이미지 센서(152)는 동시에 동작하여, 각각 이미지 데이터를 수집할 수 있다(듀얼 입력 모드). 듀얼 입력 모드에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 수집할 수 있고, 동시에 제2 이미지 센서(152)는 제2 이미지 데이터를 수집할 수 있다. 수집된 제1 이미지 데이터 및 제2 이미지 데이터는 각각 전자 장치(101) 내부의 제어부(예: 프로세서, 어프리케이션 프로세서(AP))에 제공될 수 있다. 제어부는 제1 이미지 데이터 및 제2 이미지 데이터를 동기화 시키고 결합할 수 있다. 제어부는 결합된 이미지 데이터를 기반으로 디스플레이(110)에 출력되는 프리뷰 이미지를 생성하거나 결합된 이미지를 메모리에 저장할 수 있다.
다른 일 실시 예에 따르면, 제1 이미지 센서(151) 및 제2 이미지 센서(152) 중 하나는 이미지 데이터를 수집하고, 다른 하나의 이미지 센서는 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)를 유지할 수 있다(싱글 입력 모드). 예를 들어, 제1 이미지 센서(151)는 전원이 공급되어 제1 이미지 데이터를 제어부에 스트리밍 하는 상태일 수 있고, 제2 이미지 센서(152)는 전원이 차단되어 제2 이미지 데이터를 수집할 수 없는 상태일 수 있다. 제어부는 제1 이미지 데이터를 기반으로 디스플레이(110)에 출력되는 프리뷰 이미지를 생성하거나 제1 이미지 데이터를 이미지 파일로 변경하여 메모리에 저장할 수 있다.
전자 장치(101)가 듀얼 입력 모드로 동작하는 경우, 제1 이미지 센서(151) 및 제2 이미지 센서(152)가 각각에 이미지 데이터를 수집하여, 이용 가능한 이미지 데이터가 증가할 수 있다. 듀얼 입력 모드에서, 전자 장치(101)는 제1 이미지 센서(151) 및 제2 이미지 센서(152) 각각에 전원을 공급하게 되고, 제1 이미지 데이터 및 제2 이미지 데이터를 처리하여, 싱글 입력 모드 보다 소비 전력이 상대적으로 클 수 있다.
다양한 실시 예에 따르면, 제1 이미지 센서(151) 및 제2 이미지 센서(152)는 전자 장치(101) 내부의 제어 신호에 따라 싱글 입력 모드 또는 듀얼 입력 모드로 동작할 수 이다. 전자 장치(101)는 주변의 환경, 내부 설정 등에 따라, 싱글 입력 모드 또는 듀얼 입력 모드를 전환하여, 전류 소모를 줄일 수 있다. 제1 이미지 센서(151) 및 제2 이미지 센서(152)를 제어하는 방법에 관한 추가 정보는 도 2 내지 도 12를 통해 제공될 수 있다.
도 2는 다양한 실시 예에 따른 이미지 데이터를 전송하는 파이프 라인의 구성도이다.
도 2를 참조하면, 제1 이미지 센서(151)는 제1 파이프 라인(210)을 통해 제어부(230)에 연결될 수 있다. 제1 이미지 센서(151)에서 수집된 제1 이미지 데이터는 제1 파이프 라인(210)을 통해, 제어부(230)에 전달될 수 있다.
다양한 실시 예에 따르면, 제1 파이프 라인(210)은 이미지 수신부(211), 전처리부(212), 자동 처리부(213), 이미지 신호 처리부(214), 후처리부(215)를 포함할 수 있다.
이미지 수신부(211)는 제1 이미지 센서(151)와의 인터페이스를 수행하고, 수집된 제1 이미지 데이터를 수신할 수 있다. 다양한 실시 예에서, 이미지 수신부(211)는 버퍼 또는 메모리에 수신한 제1 이미지 데이터를 저장할 수 있다.
전처리부(212)는 자동 처리부(213) 및 이미지 신호 처리부(214)를 위한 데이터 변환 등을 수행할 수 있다.
자동 처리부(213)는 AF(자동 초점), AE(자동 노출)과 AWB(자동 화이트 밸런스) 등의 작업을 수행할 수 있다. 자동 처리부(213)는 수집된 제1 이미지 데이터를 기반으로 초점, 노출, 화이트 밸런스를 조절할 수 있다. 다양한 실시 예에서, AE(자동 노출)은 color space conversion된 luminous 성분을 분석하여, analog gain과 photo-pixel의 노출 시간을 자동으로 조절하는 기능일 수 있다. AWB(자동 화이트 밸런스)는 광원의 고유 파장에 따라서 왜곡되는 color를 자동으로 보정하는 기능일 수 있다.
이미지 신호 처리부(image signal processer;isp)(214)는 블랙레벨 보상(BLC;black level conversion), Color Interpolation, 색보정(Color Correction), 색공간 변환(Color Space Conversion), 감마수정(Gamma Correction), Image Formatter 등을 수행할 수 있다. 다양한 실시 예에서, 블랙레벨 보상(BLC;black level conversion)은 dark current와 fixed pattern noise를 검출하여 이를 개선하는 기능일 수 있다. Color Interpolation은 pixel당 RGB primary color로 구현되는 이미지를 생성하는 기능일 수 있다. 색보정(Color Correction)은 lens의 광 전달 특성, 색을 표현하기 위해 거치는 color filter의 광 전달 특성, 그리고 RGB photo diode의 광 집적 효율에 따라 색이 왜곡되는 것을 보정하는 기능일 수 있다.
후처리부(215)는 제어부(230)에 제1 이미지 데이터를 전송하기 위한 인터페이스를 수행할 수 있다.
제2 이미지 센서(152)는 제2 파이프 라인(220)을 통해 제어부(230)에 연결될 수 있다. 제2 이미지 센서(152)에서 수집된 제2 이미지 데이터는 제1 파이프 라인(220)을 통해, 제어부(230)에 전달될 수 있다.
다양한 실시 예에 따르면, 제2 파이프 라인(220)은 이미지 수신부(221), 전처리부(222), 자동 처리부(223), 이미지 신호 처리부(224), 후처리부(225)를 포함할 수 있다. 제2 파이프 라인(220)에 포함되는 구성은 제1 파이프 라인(210)에 대응하는 구성의 기능과 동일할 수 있다.
제어부(230)는 제1 파이프 라인(210)을 통해 전달된 제1 이미지 데이터와 제2 파이프 라인(220)을 통해 전달된 제2 이미지 데이터를 각각 처리하거나, 결합하여 처리할 수 있다. 제어부(230)는 제1 이미지 데이터 또는 제2 이미지 데이터를 이용하여 디스플레이(110)을 통해 출력되는 프리뷰 이미지를 생성할 수 있다. 제어부(230)는 지정된 알고리즘 또는 조건에 따라 제1 이미지 데이터 및 제2 이미지 데이터를 결합할 수 있다. 예를 들어, 제어부(230)는 피사체를 촬영한 이미지 중, 저조도 영역에 대해서는 제2 이미지 데이터를 적용하고, 다른 영역에 대해서는 제1 이미지 데이터를 이용할 수 있다.
다양한 실시 예에 따르면, 제어부(230)는 제1 이미지 센서(151) 및 제2 이미지 센서(152) 각각에 대한 전원 신호, 제어 신호 등을 제어하여, 듀얼 입력 모드 또는 싱글 입력 모드를 전환할 수 있다. 또한, 제어부(230)는 제1 파이프 라인(210) 및 제2 파이프 라인(220)을 구성하는 각각의 칩 또는 모듈을 제어하여, 듀얼 입력 모드 또는 싱글 입력 모드를 전환할 수도 있다.
도 3은 다양한 실시 예에 따른 듀얼 카메라의 제어 방법을 도시한다.
도 3을 참조하면, 동작 310에서, 제어부(230)는 제1 이미지 센서(151) 또는 제2 이미지 센서(152) 중 하나를 이용하여, 이미지 데이터를 수집할 수 있다(싱글 입력 모드). 제어부(230)는 기본 설정 또는 사용자의 선택에 따라, 하나의 이미지 센서를 이용하여 이미지 데이터를 수집하고, 다른 하나의 이미지 센서는 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)를 유지하여, 소비 전력을 줄일 수 있다.
예를 들어, 사용자가 카메라 앱을 시작하는 경우, 제어부(230)는 RGB 센서인 제1 이미지 센서(151)에 전원 신호 및 제어 신호를 제공하여, 제1 이미지 데이터를 수집할 수 있다. 제어부(230)는 제1 이미지 데이터를 이용하여, 프리뷰 이미지를 디스플레이(110)에 출력할 수 있다. 제어부(230)는 이미지를 캡쳐하기 위한 사용자의 입력(예: 화면 터치, 버튼 입력, 제스쳐 입력 등)이 발생하는 경우, 캡쳐 이미지를 메모리에 저장할 수 있다. 이 경우, 제어부(230)는 모노 센서인 제2 이미지 센서(152)에 전원 공급을 차단하여, 제2 이미지 센서(152)를 통해서는 이미지 데이터를 수집하지 못하도록 할 수 있다.
이하에서는 싱글 입력 모드에서, 제1 이미지 센서(151)가 동작 상태(이미지 데이터를 수집하고, 파이프 라인을 통해 스트리밍 하는 상태)이고, 제2 이미지 센서(152)가 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)인 경우를 중심으로 논의하지만, 이에 한정되는 것은 아니다.
동작 320에서, 제어부(230)는 전자 장치(101)의 주변의 환경, 내부 설정 등에 따라 싱글 입력 모드에서 듀얼 입력 모드로 전환하는 조건(이하, 전환 조건)을 만족하는지를 확인할 수 있다. 상기 전환 조건은 전자 장치(101)의 내부/외부의 환경과 관련하여 미리 설정된 조건으로, 싱글 입력 모드에서 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)인 제2 이미지 센서(152)를 동작 상태(이미지 데이터를 스트리밍 하는 상태)로 전환하기 위한 조건일 수 있다.
다양한 실시 예에 따르면, 전환 조건은 제1 이미지 데이터에서 추출된 정보(예: 밝기 정보)와 관련된 조건, 전자 장치(101)에 포함된 센서 모듈에서 수집된 센싱 정보(예: 근접 센서에서 측정된 수광량)와 관련된 조건, 제1 이미지 센서 및 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 조건 중 적어도 하나를 기반으로 설정될 수 있다. 상기 전환 조건에 대한 추가 정보는 도 4 내지 도 6을 통해 제공될 수 있다.
동작 330에서, 전환 조건을 만족하는 경우, 제어부(230)는 제1 이미지 센서(151) 및 제2 이미지 센서(152)를 각각 이용하여 제1 이미지 데이터 및 제2 이미지 데이터를 수집하는 듀얼 입력 모드로 동작할 수 있다. 제어부(230)는 제1 이미지 데이터와 제2 이미지 데이터를 결합하여, 프리뷰 이미지를 생성할 수 있다. 제어부(230)는 이미지를 캡쳐하기 위한 사용자의 입력(예: 화면 터치, 버튼 입력, 제스쳐 입력 등)이 발생하는 경우, 각각의 이미지 센서에서 캡쳐된 이미지를 동기화 시키고 결합하여, 결합 이미지(예: 사진, 동영상)를 생성할 수 있다. 듀얼 입력 모드에 의한 결합 이미지는 싱글 입력 모드에 의한 캡쳐 이미지보다 다양한 효과(예: 고품질, 광시야각 효과, 저조도 영역 보정 등)가 반영된 이미지일 수 있다.
동작 340에서, 전환 조건을 만족하지 못하는 경우, 제어부(230)는, 동작 310과 동일하게, 싱글 입력 모드로 동작할 수 있다. 제1 이미지 센서(151)는 동작 상태를 유지할 수 있고, 제2 이미지 센서(152)는 동작 제한 상태를 유지할 수 있다.
도 4는 다양한 실시 예에 따른 밝기에 따른 듀얼 카메라 제어 방법을 나타내는 순서도이다. 이하에서는 싱글 입력 모드에서, 제1 이미지 센서(151)가 동작 상태인 경우를 중심으로 논의하지만, 이에 한정되는 것은 아니다.
도 4를 참고하면, 동작 410에서, 제어부(230)는 제1 이미지 센서(151)를 이용하여, 제1 이미지 데이터를 수집할 수 있다. 제2 이미지 센서(152)는 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)를 유지할 수 있다(싱글 입력 모드).
동작 420에서, 제어부(230)는 제1 이미지 데이터에서 밝기 정보를 추출할 수 있다. 다양한 실시 예에서, 제어부(230)는 파이프 라인(210)의 자동 처리부(213)의 통계 데이터를 이용하여, 주변 밝기(예: 휘도 값, Luminance value(LV))를 계산할 수 있다.
동작 430에서, 제어부(230)는 추출된 밝기 정보를 미리 설정된 문턱값과 비교할 수 있다. 상기 문턱값은 제1 이미지 센서(151) 및 제2 이미지 센서(152)의 동작 특성 등에 따라 미리 결정되어 저장될 수 있다.
동작 440에서, 제어부(230)는 밝기 정보가 상기 문턱값 미만인 경우, 제2 이미지 센서(152)를 동작 상태로 변경하여, 듀얼 입력 모드로 전환할 수 있다. 제어부(230)는 이미지 데이터의 품질이 저하될 수 있는 저조도 환경에서, 듀얼 입력 모드를 통해 싱글 입력 모드 보다 고품질의 이미지 데이터를 수집할 수 있다.
동작 450에서, 제어부(230)는 밝기 정보가 상기 문턱값 이상인 경우, 싱글 입력 모드를 유지할 수 있다. 제어부(230)는 전자 장치(101)의 주변이 밝은 상태에서, 싱글 입력 모드를 유지하여 전류 소모를 줄일 수 있다.
도 5는 다양한 실시 예에 따른 근접 센서의 센싱 정보를 이용한 듀얼 카메라의 제어 방법을 설명하는 순서도이다.
도 5를 참조하면, 동작 510에서, 제어부(230)는 제1 이미지 센서(151)를 이용하여, 제1 이미지 데이터를 수집할 수 있다. 제2 이미지 센서(152)는 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)를 유지할 수 있다(싱글 입력 모드).
동작 520에서, 제어부(230)는 전자 장치(101) 내부의 센서 모듈(예: 근접 센서)를 이용하여 사용자 또는 주변의 객체를 인식한 센싱 정보를 수집할 수 있다. 예를 들어, 제어부(230)는 근접 센서를 이용하여 피사체로부터 반사된 수광량(irradiance responsivity; IR)을 획득하고, 사용자의 접근 또는 버튼 실행 등의 동작을 인식할 수 있다. 이하에서는, 근접 센서의 센싱 정보를 이용하는 경우를 중심으로 설명하지만, 이에 한정되는 것은 아니다.
동작 530에서, 제어부(230)는 수집된 수광량을 미리 설정된 문턱값과 비교할 수 있다. 상기 문턱값은 제1 이미지 센서(151) 및 제2 이미지 센서(152)의 동작 특성, 센서 모듈의 동작 특성 등에 따라 미리 결정되어 저장될 수 있다.
동작 540에서, 제어부(230)는 수집된 수광량이 상기 문턱값 미만인 경우, 제2 이미지 센서(152)를 동작 상태로 변경하여, 듀얼 입력 모드로 전환할 수 있다. 제어부(230)는 사용자의 접근 또는 버튼 실행 등에 의해 촬영이 시작될 가능성이 높은 상태에서, 듀얼 입력 모드로 전환하여, 고품질의 이미지 데이터를 수집할 수 있다.
동작 550에서, 제어부(230)는 수집된 수광량이 상기 문턱값 이상인 경우, 싱글 입력 모드를 유지할 수 있다. 제어부(230)는 사용자의 접근이 없어 촬영이 시작될 가능성이 낮은 경우, 싱글 입력 모드를 유지하여 전류 소모를 줄일 수 있다.
도 6은 다양한 실시 예에 따른 듀얼 줌 렌즈를 이용한 듀얼 카메라의 제어 방법을 설명하는 순서도이다.
도 6을 참조하면, 동작 610에서, 제어부(230)는 제1 이미지 센서(151)에 장착된 제1 줌 렌즈(예: wide-angle 렌즈)를 통해, 제1 이미지 데이터를 수집할 수 있다. 반면, 제2 이미지 센서(152)는 제2 줌 렌즈(예: telephoto 렌즈)를 장착할 수 있고, 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)를 유지할 수 있다(싱글 입력 모드).
예를 들어, 제1 이미지 센서(151)는 근접 거리의 촬영을 위한 광각 렌즈(wide-angle lens)가 장착될 수 있고, 제2 이미지 센서(152)는 원거리의 촬영을 위한 망원 렌즈(telephoto lens)가 장착될 수 있다.
동작 615에서, 제어부(230)는 줌 배율(zoom step)의 변경을 확인할 수 있다. 줌 배율은 사용자 선택을 통해 변경되거나, 촬영 방식에 따라 자동으로 변경될 수 있다.
동작 620에서, 제어부(230)는 줌 배율(zoom step)을 미리 설정된 제1 문턱값과 비교할 수 있다. 제1 문턱값은 제1 이미지 센서(151) 및 제1 줌 렌즈의 특성에 따라 미리 결정될 수 있다.
동작 625에서, 제어부(230)는 줌 배율(zoom step)이 제1 문턱값 미만인 경우, 제1 이미지 센서(151)를 이용하여 싱글 입력 모드로 동작할 수 있다. 제어부(230)는 제2 이미지 센서(152)는 동작 제한 상태를 유지할 수 있다. 예를 들어, 제1 문턱값은 x1.6 배율일 수 있고, 제어부(230)는 x1.6 배율 미만의 줌 배율에서는 제1 이미지 센서(151)를 이용하는 싱글 입력 모드를 유지할 수 있다.
동작 630에서, 제어부(230)는 줌 배율(zoom step)이 제1 문턱값 이상인 경우, 줌 배율(zoom step)을 미리 설정된 제2 문턱값과 비교할 수 있다. 제2 문턱값은 제2 이미지 센서(152) 및 제2 줌 렌즈의 특성에 따라 미리 결정될 수 있다. 제2 문턱값(예: x2.2)은 제1 문턱값(예: x1.6) 보다 큰 값일 수 있다.
동작 635에서, 제어부(230)는 줌 배율(zoom step)이 제1 문턱값 이상, 제2 문턱값 미만인 경우, 제1 이미지 센서(151) 및 제2 이미지 센서(152)를 이용하여 듀얼 입력 모드로 동작할 수 있다. 예를 들어, 광각 렌즈(wide-angle lens)의 입력에서 망원 렌즈(telephoto lens) 입력으로 스위칭되는 경우, 화각이 달라져 부자연스러운 화면 전환이 발생할 수 있다. 제어부(230)는 렌즈의 종류가 전환되는 구간에서, 듀얼 입력 모드로 동작하여, 사용자가 자연스럽고 연속적인 화면 전환을 인식하도록 할 수 있다.
듀얼 입력 모드에서, 제어부(230)는 스위칭 구간의 앞 뒤로 광각 렌즈(wide-angle lens)와 망원 렌즈(telephoto lens)의 입력 영상을 합성하여, 자연스럽게 스위칭되도록 할 수 있다. 제1 이미지 데이터와 제2 이미지 데이터는 결합되어 처리될 수 있고, 줌 렌즈의 변경이 자연스럽게 적용된 사진 또는 동영상이 출력되거나 저장될 수 있다.
동작 645에서, 제어부(230)는 줌 배율(zoom step)이 제2 문턱값 이상인 경우, 제2 이미지 센서(152)를 이용하여 싱글 입력 모드로 동작할 수 있다. 이 경우, 제어부(230)는 제1 이미지 센서(151)를 동작 제한 상태로 유지할 수 있다.
도 7a는 다양한 실시 예에 따른 제2 이미지 센서의 전력 차단 상태를 설명하는 순서도이다.
도 7a를 참조하면, 초기화 단계(710)에서, 제어부(230)는 제1 이미지 센서(151) 및 제1 파이프 라인(210)을 통해 제1 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다. 제1 이미지 센서(151)에 전원 신호가 공급될 수 있고(711), 리셋 신호를 통해 제 1 이미지 센서(712)가 초기값으로 설정될 수 있다(712). 제1 파이프 라인(210)에 포함되는 각각의 구성들도 초기 상태로 설정될 수 있다(713).
초기화 단계(710)에서, 제2 이미지 센서(152)에는 별도의 전원이 공급되지 않는 전력 차단 상태일 수 있다. 예를 들어, 제2 이미지 센서(152)를 구동하는 VDD 전원핀은 low 상태를 유지할 수 있다. 이 경우, 제2 이미지 센서(152)에는 다른 제어 신호들도 입력되지 않는 상태일 수 있다. 제2 파이프 라인(220)에 포함되는 각각의 구성들은 초기 상태로 설정될 수 있다(715).
싱글 프리뷰 단계(720)에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 수집하는 상태일 수 있다. 제1 이미지 센서(151)는 수집한 제1 이미지 데이터를 제1 파이프 라인(210)을 통해 스트리밍할 수 있다(721). 제1 이미지 데이터는 제1 파이프 라인(210)을 통해 제어부(230)에 전달될 수 있다. 제어부(230)는 제1 이미지 데이터를 기반으로 싱글 프리뷰 이미지를 생성하여, 디스플레이(110)에 출력할 수 있다(722). 다양한 실시 예에서, 상기 싱글 프리뷰 이미지는 디스플레이(110)의 특성(예: 크기, 해상도 등)을 기반으로 변경(예: 다운 사이징, 필터링)된 이미지일 수 있다.
제2 이미지 센서(152)는 전원이 차단된 상태로, 별도의 이미지 데이터를 스트리밍하지 않는 상태일 수 있다. 제2 이미지 센서(152)는 프리뷰 이미지를 생성하는데 이미지 데이터를 제공하지 않을 수 있다.
싱글 입력 모드에서, 제2 이미지 센서(152)에는 전원(power)이 공급되지 않으므로, 소모 전류가 발생하지 않을 수 있다.
듀얼 프리뷰 상태(730)에서, 제어부(230)는 싱글 모드에서 듀얼 모드로 전환하기 위한 전환 조건(예: 밝기 조건, 줌 배율 조건 등)을 만족하는지 확인하고(731), 만족하는 경우, 제2 이미지 센서(152)에 전원 및 제어 신호를 제공할 수 있다.
제어부(230)는 제2 이미지 센서(152)에 전원 신호를 공급할 수 있다(735). 예를 들어, 제2 이미지 센서(152)를 구동하는 VDD 전원핀은 low 상태에서, high 상태로 전환할 수 있다. 제어부(230)는 리셋 신호를 통해 제2 이미지 센서(152)가 초기값으로 설정되도록 할 수 있다(736). 제2 이미지 센서(152)는 제2 이미지 데이터를 수집하고, 수집한 제2 이미지 데이터를 제2 파이프 라인(220)을 통해 스트리밍할 수 있다(737). 제어부(230)는 제1 이미지 데이터 및 제2 이미지 데이터를 기반으로 듀얼 프리뷰 이미지를 생성하여, 디스플레이(110)에 출력할 수 있다.
듀얼 캡쳐 단계(740)에서, 제어부(230)는 이미지를 캡쳐하기 위한 사용자의 입력(예: 화면 터치, 버튼 입력, 제스쳐 입력 등)이 발생하는 경우, 각각의 이미지 센서에서 캡쳐 이미지를 선택할 수 있다(741,745). 제어부(230)는 제1 이미지 센서(151)에서 캡쳐된 제1 캡쳐 이미지와, 제2 이미지 센서(152)에서 캡쳐된 제2 캡쳐 이미지를 동기화 시키고, 각각의 파이프 라인을 통해 이미지 프로세싱할 수 있다(742, 746).
제어부(230)는 프로세싱된 제1 캡쳐 이미지 및 제2 캡쳐 이미지를 결합하여, 결합 이미지(예: 사진, 동영상)를 생성할 수 있다(747).
도 7b는 다양한 실시 예에 따른 제2 이미지 센서의 전력 차단 상태에서의 신호 흐름도이다.
도 7b를 참조하면, 싱글 입력 모드(760) 구간에서, 제어부(230)는 제1 이미지 센서(151)에 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)를 제공하여 스트리밍이 발생(MIPIDATA/CLK)하도록 할 수 있다. 반면, 제어부(230)는 제2 이미지 센서(152)에는 전원 신호 및 별도의 제어 신호 또는 타이밍 신호도 입력되지 않도록 할 수 있다. 제2 이미지 센서(152)는 이미지 데이터의 스트리밍이 발생하지 않고, 프리뷰, 이미지 캡쳐 등에 관여하지 않는 상태일 수 있다.
전원 입력 구간(761)에서, 제1 이미지 센서(151)에 클럭신호(MCLK)가 지정된 주기에 따라 입력될 수 있다. 전원(VDDx)이 low 에서 high로 변경될 수 있다. 전원 인가 직후, 리셋 신호가 low 에서 high로 변경될 수 있다.
초기화 구간(762)에서, 리셋 신호가 high인 상태로, 지정된 시간 동안 유지되어 제1 이미지 센서(151)가 초기화 될 수 있다.
스트리밍 준비 구간(763)에서, 스트리밍 되는 제1 이미지 데이터의 특성에 관한 정보가 제공될 수 있다. 예를 들어, 수집되는 이미지 데이터의 해상도, 이미지 크기, 줌 정보 등이 제공될 수 있다.
스트리밍 구간(764)에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 스트리밍 할 수 있다. 제1 이미지 데이터는 제1 파이프 라인(210)을 통해 제어부(230)에 전송될 수 있다.
듀얼 입력 모드(770) 구간에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 계속적으로 스트리밍할 수 있다. 반면, 제2 이미지 센서(152)는 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)신호가 입력되어 스트리밍이 발생(MIPIDATA/CLK)하는 상태로 변경될 수 있다.
제2 이미지 센서(152)의 듀얼 입력 모드(770) 구간에서의 동작은 제1 이미지 센서(151)의 싱글 입력 모드(760) 구간에서의 동작과 동일 또는 유사할 수 있다.
싱글 입력 모드(760)에서 듀얼 입력 모드(770)으로 변경된 후, 제2 이미지 센서(152)에 전원 신호 및 제어 신호가 제공되어야 하고, 초기화 시간이 필요할 수 있다. 이 경우, 제2 이미지 데이터를 스트리밍 하기 전까지, 전원 입력 구간(771), 초기화 구간(772) 및 스트리밍 준비 구간(773)을 포함하는 지연 시간(예: 셔터 랙(sutter lag))이 발생할 수 있다.
도 8a는 다양한 실시 예에 따른 제2 이미지 센서의 스트리밍 제한 상태를 설명하는 순서도이다.
도 8a를 참조하면, 제어부(230)는, 도 7a 및 7b와 달리, 싱글 입력 모드에서, 제2 이미지 센서(152)에 전원 및 제어 신호를 공급하되, 이미지 데이터에 대한 스트리밍을 제한할 수 있다.
초기화 단계(810)에서, 제어부(230)는 제1 이미지 센서(151) 및 제1 파이프 라인(210)을 통해 제1 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다(811 내지 813). 또한, 제어부(230)는 제2 이미지 센서(152) 및 제2 파이프 라인(220)을 통해 제2 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다(815 내지 817).
싱글 프리뷰 단계(820)에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 제1 파이프 라인(210)을 통해 스트리밍할 수 있다(821). 제1 이미지 데이터는 제1 파이프 라인(210)을 통해 제어부(230)에 전달될 수 있다. 제어부(230)는 제1 이미지 데이터를 기반으로 싱글 프리뷰 이미지를 생성하여, 디스플레이(110)에 출력할 수 있다(822).
제2 이미지 센서(152)는 전원은 공급되는 상태이지만, 스트리밍이 제한된 상태일 수 있다. 별도의 스트리밍 시작 신호가 제공되기 전까지, 제2 이미지 센서(152)는 제2 이미지 데이터를 스트리밍하지 않는 상태일 수 있다.
듀얼 프리뷰 상태(830)에서, 제어부(230)는 싱글 모드에서 듀얼 모드로 전환하기 위한 전환 조건(예: 밝기 조건, 줌 배율 조건 등)을 만족하는지 확인하고(831), 만족하는 경우, 제2 이미지 센서(152)에 스트리밍 시작 신호를 제공할 수 있다. 제2 이미지 센서(152)는 스트리밍 시작 신호에 따라, 제2 이미지 데이터를 제2 파이프 라인(220)을 통해 스트리밍할 수 있다(835). 제어부(230)는 제1 이미지 데이터 및 제2 이미지 데이터를 기반으로 듀얼 프리뷰 이미지를 생성하여, 디스플레이(110)에 출력할 수 있다.
듀얼 캡쳐 단계(840)에서의 제어부(230)의 동작은 도 7a의 듀얼 캡쳐 단계(740)과 동일할 수 있다.
도 8b는 다양한 실시 예에 따른 제2 이미지 센서의 스트리밍 제한 상태에서의 신호 흐름도이다.
도 8b를 참조하면, 싱글 입력 모드(860) 구간에서, 제어부(230)는, 도 7a 및 7b와 달리, 제1 이미지 센서(151) 및 제2 이미지 센서(152) 각각에 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)를 제공할 수 있다.
제1 이미지 센서(151)는 전원 입력 구간(861), 초기화 구간(862), 스트리밍 준비 구간(863), 및 스트리밍 구간(864)을 통해 스트리밍이 시작될 수 있다.
반면, 제2 이미지 센서(152)는 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)신호가 입력되는 상태이지만, 별도의 스트리밍 시작 신호가 발생하기 전까지, 스트리밍(MIPIDATA/CLK)이 제한되는 상태일 수 있다. 제2 이미지 센서(152)의 스트리밍 제한을 통해 싱글 입력 모드(860)에서, 소비 전류가 줄어들 수 있다.
듀얼 입력 모드(870) 구간에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 계속적으로 스트리밍할 수 있다. 제2 이미지 센서(152)는 스트리밍 시작 구간(861)에서, 스트리밍 시작 신호(861a)가 입력되는 경우, 스트리밍이 발생(MIPIDATA/CLK)하는 상태로 변경될 수 있다.
싱글 입력 모드(760)에서 듀얼 입력 모드(770)으로 변경된 후, 제2 이미지 센서(152)에 스트리밍 시작 신호가 제공되어야 하고, 스트리밍 시작 구간(861)의 지연 시간이 발생할 수 있다.
제2 이미지 센서(152)가 스트리밍 제한 상태로 유지되는 경우(도 8a 및 8b)는 제2 이미지 센서(152)가 전원 차단 상태로 유지되는 경우(도 7a 및 7b) 보다 소비 전류는 증가하지만, 지연 시간은 줄어들 수 있다.
도 9a는 다양한 실시 예에 따른 리텐션 모드를 이용한 제2 이미지 센서의 제어를 설명하는 순서도이다.
도 9a를 참조하면, 제어부(230)는, 싱글 입력 모드에서, 제2 이미지 센서(152)에 전원 및 제어 신호를 공급하되, 일부 구간에서 리텐션 모드(retention mode)로 동작하도록 하여, 소비 전류를 줄일 수 있다. 리텐션 모드(retention mode)는 제2 이미지 센서(152)의 내부 설정 값들을 저장하기 위한 최소 전원을 공급하는 상태일 수 있다.
초기화 단계(910)에서, 제어부(230)는 제1 이미지 센서(151) 및 제1 파이프 라인(210)을 통해 제1 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다(911 내지 913). 또한, 제어부(230)는 제2 이미지 센서(152) 및 제2 파이프 라인(220)을 통해 제2 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다(915 내지 917).
싱글 프리뷰 단계(920)에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 제1 파이프 라인(210)을 통해 스트리밍할 수 있다(921). 제1 이미지 데이터는 제1 파이프 라인(210)을 통해 제어부(230)에 전달될 수 있다. 제어부(230)는 제1 이미지 데이터를 기반으로 싱글 프리뷰 이미지를 생성하여, 디스플레이(110)에 출력할 수 있다(922). 제2 이미지 센서(152)는 전원이 공급되는 상태에서, 리텐션 모드(retention mode)로 진입할 수 있다(925).
듀얼 프리뷰 상태(930)에서, 제어부(230)는 싱글 모드에서 듀얼 모드로 전환하기 위한 전환 조건(예: 밝기 조건, 줌 배율 조건 등)을 만족하는지 확인하고(931), 만족하는 경우, 제2 이미지 센서(152)의 리텐션 모드(retention mode)를 종료할 수 있다. 제어부(230)는 제2 이미지 센서(152) 전체에 전원 신호 및 제어 신호를 공급할 수 있다. 제2 이미지 센서(152)는 스탠바이 모드에 진입할 수 있고(935), 제2 이미지 데이터를 제2 파이프 라인(220)을 통해 스트리밍할 수 있다(936). 제어부(230)는 제1 이미지 데이터 및 제2 이미지 데이터를 기반으로 듀얼 프리뷰 이미지를 생성하여, 디스플레이(110)에 출력할 수 있다.
듀얼 캡쳐 단계(940)에서의 제어부(230)의 동작은 도 7a의 듀얼 캡쳐 단계(740)과 동일할 수 있다.
도 9b는 다양한 실시 예에 따른 제2 이미지 센서의 리텐션 모드에서의 신호 흐름도이다.
도 9b를 참조하면, 싱글 입력 모드(960) 구간에서, 제어부(230)는, 제1 이미지 센서(151) 및 제2 이미지 센서(152)에 리텐션 전원(VDD_RET), 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)를 제공할 수 있다.
전원 입력 구간(961)에서, 제1 이미지 센서(151) 및 제2 이미지 센서(152)에 각각 클럭신호(MCLK)가 지정된 주기에 따라 입력될 수 있고, 리텐션 전원(VDD_RET) 및 전원(VDDx)이 low 에서 high로 변경될 수 있다.
스트리밍 구간(964)에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 스트리밍 할 수 있다. 제1 이미지 데이터는 제1 파이프 라인(210)을 통해 제어부(230)에 전송될 수 있다.
반면, 제2 이미지 센서(152)는 리텐션 모드로 진입할 수 있다. 리텐션 모드 구간(954a)에서, 리텐션 전원(VDD_RET)는 계속적으로 high 상태를 유지할 수 있고, 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)는 low 상태일 수 있다. 제어부(230)는 리텐션 전원(VDD_RET)을 제외한 센서 Core전원, 센서 I/O 전원, 센서 Analog 전원 등을 차단하여 소비 전류를 줄일 수 있다. 리텐션 전원(VDD_RET)은 제2 이미지 센서(152) 내부 설정 값들을 저장하는데만 사용될 수 있다.
듀얼 입력 모드(970) 구간에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 계속적으로 스트리밍할 수 있다. 제어부(230)는 싱글 모드에서 듀얼 모드로 전환하기 위한 전환 조건(예: 밝기 조건, 줌 배율 조건 등)을 만족하는 경우, 제2 이미지 센서(152)의 리텐션 모드(retention mode)를 종료하고, 제2 이미지 센서(152)의 전원 신호(VDDx)를 high 상태로 변경할 수 있다. 제어부(230)는 제어 신호(MCLK, RSTN, SDI/SCK Control)를 제공하여, 스트리밍을 시작할 수 있다.
제2 이미지 센서(152)가 리텐션 모드로 동작하는 경우, 리텐션 종료 구간(961) 및 스트리밍 시작 구간(962)을 포함하는 지연 시간이 발생할 수 있다.
도 10a 다양한 실시 예에 따른 파이프 라인의 제어를 통한 제2 이미지 데이터의 제어 방법을 설명하는 순서도이다.
도 10a를 참조하면, 제어부(230)는, 싱글 입력 모드에서, 제1 이미지 센서(151) 및 제2 이미지 센서(152)에 전원 및 제어 신호를 공급하되, 제2 파이프 라인(220)의 일부 기능을 제한할 수 있다.
초기화 단계(1010)에서, 제어부(230)는 제1 이미지 센서(151) 및 제1 파이프 라인(210)을 통해 제1 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다(1011 내지 1013). 또한, 제어부(230)는 제2 이미지 센서(152) 및 제2 파이프 라인(220)을 통해 제2 이미지 데이터를 수집하기 위한 기본 설정을 수행할 수 있다(1015 내지 1017).
싱글 프리뷰 단계1(1020) 및 싱글 프리뷰 단계2(1030)에서, 제1 이미지 센서(151)는 제1 이미지 데이터를 제1 파이프 라인(210)을 통해 스트리밍할 수 있다(1021). 제1 이미지 데이터는 제1 파이프 라인(210)을 통해 제어부(230)에 전달될 수 있다. 제1 파이프 라인(210)은 제1 이미지 데이터를 수신하고(1031), 3A(AF(자동 초점), AE(자동 노출), AWB(자동 화이트 밸런스))작업, 화질 처리 등을 수행할 수 있다(1031 내지 1033). 제어부(230)는 싱글 프리뷰 이미지를 디스플레이(110)에 출력할 수 있다.
반면, 제어부(230)는 제2 파이프 라인(220)의 이미지 수신부(221), 전처리부(222), 자동 처리부(223), 이미지 신호 처리부(224), 후처리부(225) 중 이미지 수신부(221)를 활성화 하고, 다른 구성은 비활성화 상태를 유지할 수 있다. 제2 이미지 센서(152)는 제2 이미지 데이터를 계속적으로 수집하고, 제2 파이프 라인(220)의 이미지 수신부(221)는 제2 이미지 데이터를 계속적으로 수신할 수 있다. 제2 파이프 라인(220)의 일부 구성이 비활성화 되어, 제2 이미지 데이터는 제2 파이프 라인(220)을 통해 전송될 수 없다. 다양한 실시 예에서, 제2 파이프 라인(220)의 이미지 수신부(221)는 수신한 제2 이미지 데이터를 버퍼 또는 메모리에 저장할 수 있다.
듀얼 캡쳐 단계(1040)에서, 제어부(230)는 싱글 모드에서 듀얼 모드로 전환하기 위한 전환 조건(예: 밝기 조건, 줌 배율 조건 등)을 만족하는지 확인하고(731), 만족하는 경우, 제2 파이프 라인(220)의 모든 구성을 활성화 상태로 변경할 수 있다.
제어부(230)는 이미지를 캡쳐하기 위한 사용자의 입력(예: 화면 터치, 버튼 입력, 제스쳐 입력 등)이 발생하는 경우, 각각의 이미지 센서에서 캡쳐 이미지를 선택할 수 있다(1041,1045). 제어부(230)는 제1 이미지 센서(151)과 캡쳐된 제1 캡쳐 이미지와, 제2 이미지 센서(152)에서 캡쳐된 제2 캡쳐 이미지를 동기화 시키고, 각각의 파이프 라인을 통해 이미지 프로세싱할 수 있다(1042, 1046).
제어부(230)는 프로세싱된 제1 캡쳐 이미지 및 제2 캡쳐 이미지를 결합하여, 결합 이미지(예: 사진, 동영상)를 생성할 수 있다(1047).
제어부(230)는 싱글 입력 모드에서, 제2 파이프 라인(220)의 전처리부(222), 자동 처리부(223), 이미지 신호 처리부(224), 후처리부(225) 를 비활성화하여, 소비 전류를 줄일 수 있다. 이 경우, 제2 이미지 센서(152)는 제2 이미지 데이터를 계속적으로 수집하고, 제2 파이프 라인(220)의 이미지 수신부(221)는 제2 이미지 데이터를 계속적으로 수신하는 상태이므로, 상대적으로 지연 시간이 줄어들 수 있다.
도 10b는 다양한 실시 예에 따른 파이프 라인의 제어를 통한 제2 이미지 데이터의 제어를 설명하는 신호 흐름도이다.
도 10b를 참조하면, 싱글 입력 모드(1060) 구간에서, 제어부(230)는 제1 이미지 센서(151) 및 제2 이미지 센서(152)에 각각 전원 신호(VDDx) 및 제어 신호(MCLK, RSTN, SDI/SCK Control)를 제공하여 스트리밍이 발생(MIPIDATA/CLK)하도록 할 수 있다.
제어부(230)는 제1 파이프 라인(210a)의 모든 구성을 활성화하여, 제1 이미지 데이터가 제어부(230)으로 전송되도록 할 수 있다. 반면, 제어부(230)는 제2 파이프 라인(220a)의 일부 구성을 비활성화하여, 제2 이미지 데이터가 제어부(230)로 전송되지 않도록 할 수 있다.
듀얼 입력 모드(1070) 구간에서, 제어부(230)는 제1 파이프 라인(210b) 및 제2 파이프 라인(220b)의 모든 구성을 활성화하여, 제1 이미지 데이터 및 제2 이미지 데이터가 스트리밍 되도록 할 수 있다.
도 11a 및 11b는 다양한 실시 에에 따른 프레임 비율을 변경하여 제2 이미지 센서를 제어하는 순서도 및 신호 흐름도이다.
도 11a 및 11b를 참조하면, 싱글 입력 모드(1120, 1160)에서, 제어부(230)는 제2 이미지 센서(152)를 통해 수집되는 제2 이미지 데이터의 프레임 비율을 낮추어, 소비전류를 줄일 수 있다. 다양한 실시 예에서, 싱글 입력 모드(1120, 1160)에서, 제2 이미지 데이터의 프레임 비율(1154a)은 제1 이미지 데이터의 프레임 비율보다 낮을 수 있다.
듀얼 입력 모드(1130, 1170)에서, 제어부(230)는 제2 이미지 센서(152)를 통해 수집되는 제2 이미지 데이터의 프레임 비율을 목표로 하는 프레임 비율로 높여, 사진 또는 동영상의 품질을 향상시킬 수 있다. 다양한 실시 예에서, 변경된 제2 이미지 데이터의 프레임 비율은 제1 이미지 데이터의 프레임 비율과 같을 수 있다.
도 12a 및 12b는 다양한 실시 에에 따른 해상도를 변경하여 제2 이미지 센서를 제어하는 순서도 및 신호 흐름도이다.
도 12a 및 12b를 참조하면, 싱글 입력 모드(1220, 1260)에서, 제어부(230)는 제2 이미지 센서(152)를 통해 수집되는 제2 이미지 데이터의 해상도를 낮추어, 소비 전류를 줄일 수 있다. 다양한 실시 예에서, 제2 이미지 데이터의 해상도(1254a)는 제1 이미지 데이터의 해상도 보다 낮을 수 있다.
듀얼 입력 모드(1230, 1270)에서, 제어부(230)는 제2 이미지 센서(152)를 통해 수집되는 제2 이미지 데이터의 해상도를 목표로 하는 해상도로 높여, 사진 또는 동영상의 품질을 향상시킬 수 있다. 다양한 실시 예에서, 변경된 제2 이미지 데이터의 해상도는 제1 이미지 데이터의 해상도와 같을 수 있다.
다양한 실시 예에 따르면, 제1 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치에서 수행되는 카메라 제어 방법은, 제1 이미지 센서 및 제2 이미지 센서 중 하나를 이용하여, 이미지 데이터를 수집하고, 다른 하나를 지정된 전력 제한 상태로 유지하는 동작, 제1 이미지 센서에서 수집되는 제1 이미지 데이터 또는 제2 이미지 센서에서 수집되는 제2 이미지 데이터에서 추출된 정보와 관련된 제1 조건, 상기 전자 장치에 포함된 센서 모듈에서 수집된 센싱 정보와 관련된 제2 조건, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 제3 조건을 확인하는 동작, 및 상기 제1 조건, 상기 제2 조건, 또는 상기 제3 조건 중 적어도 하나가 만족되는 경우, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 모두 이용하여 각각 이미지 데이터를 수집하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 조건을 확인하는 동작은 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 하나에서 측정된 밝기 정보와 미리 설정된 문턱값과 비교하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제2 조건을 확인하는 동작은 사용자의 제스쳐 또는 사용자의 접근에 관한 센싱 정보를 수집하는 동작, 및 상기 센싱 정보와 미리 설정된 문턱값을 비교하는 동작을 포함할 수 있다.
상기 제3 조건을 확인하는 동작은 상기 듀얼 카메라의 줌 배율을 미리 설정된 문턱값을 비교하는 동작을 포함할 수 있다. 상기 제3 조건을 확인하는 동작은 상기 줌 배율을 제1 문턱값 및 상기 제1 문턱값보다 큰 제2 문턱값과 비교하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 카메라 제어 방법은, 상기 제1 조건, 상기 제2 조건, 및 상기 제3 조건이 만족되지 않는 경우, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 하나를 지정된 전력 제한 상태로 유지하는 동작을 더 포함할 수 있다. 상기 지정된 전력 제한 상태로 유지하는 동작은 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 전력 신호를 차단하여 상기 전력 제한 상태를 유지할 수 있다. 상기 지정된 전력 제한 상태로 유지하는 동작은 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 이미지 데이터의 스트리밍을 제한하는 제어 신호를 송신하여, 상기 전력 상태를 유지하는 동작을 포함할 수 있다.
도 13을 참조하여, 다양한 실시 예에서의, 네트워크 환경(1300) 내의 전자 장치(1301)가 기재된다. 전자 장치(1301)는 버스(1310), 프로세서(1320), 메모리(1330), 입출력 인터페이스(1350), 디스플레이(1360), 통신 인터페이스(1370), 및 듀얼 카메라(1380)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1301)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(1310)는 구성요소들(1310-1370)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(1320)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(1320)는, 예를 들면, 전자 장치(1301)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(1330)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(1330)는, 예를 들면, 전자 장치(1301)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(1330)는 소프트웨어 및/또는 프로그램(1340)을 저장할 수 있다. 프로그램(1340)은, 예를 들면, 커널(1341), 미들웨어(1343), 어플리케이션 프로그래밍 인터페이스(API)(1345), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(1347) 등을 포함할 수 있다. 커널(1341), 미들웨어(1343), 또는 API(1345)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(1341)은, 예를 들면, 다른 프로그램들(예: 미들웨어(1343), API(1345), 또는 어플리케이션 프로그램(1347))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(1310), 프로세서(1320), 또는 메모리(1330) 등)을 제어 또는 관리할 수 있다. 또한, 커널(1341)은 미들웨어(1343), API(1345), 또는 어플리케이션 프로그램(1347)에서 전자 장치(1301)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(1343)는, 예를 들면, API(1345) 또는 어플리케이션 프로그램(1347)이 커널(1341)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(1343)는 어플리케이션 프로그램(1347)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(1343)는 어플리케이션 프로그램(1347) 중 적어도 하나에 전자 장치(1301)의 시스템 리소스(예: 버스(1310), 프로세서(1320), 또는 메모리(1330) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(1345)는 어플리케이션(1347)이 커널(1341) 또는 미들웨어(1343)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(1350)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(1301)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(1301)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(1360)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(1360)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(1360)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(1370)는, 예를 들면, 전자 장치(1301)와 외부 장치(예: 제 1 외부 전자 장치(1302), 제 2 외부 전자 장치(1304), 또는 서버(1306)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(1370)는 무선 통신 또는 유선 통신을 통해서 네트워크(1362)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(1304) 또는 서버(1306))와 통신할 수 있다.
듀얼 카메라(1380)는 제1 이미지 센서(1381) 및 제2 이미지 센서 (1382)를 포함할 수 있다. 제1 이미지 센서(1381) 및 제2 이미지 센서 (1382)는 서로 다른 동작 특성을 가질 수 있다. 듀얼 입력 모드에서, 제1 이미지 센서(1381)는 제1 이미지 데이터를 수집할 수 있고, 동시에 제2 이미지 센서(1382)는 제2 이미지 데이터를 수집할 수 있다. 싱글 입력 모드에서, 제1 이미지 센서(1381) 및 제2 이미지 센서(1382) 중 하나의 이미지 센서는 이미지 데이터를 수집하고, 다른 하나의 이미지 센서는 동작 제한 상태(예: 전원 차단 상태, 출력 제한 상태, 해상도 제한 상태 등)를 유지할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시 예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(1362)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(1302, 1304) 각각은 전자 장치(1301)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예에 따르면, 전자 장치(1301)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(1302,1304), 또는 서버(1306)에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(1301)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(1301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(1302, 1304), 또는 서버(1306))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(1302, 1304), 또는 서버(1306))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(1301)로 전달할 수 있다. 전자 장치(1301)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 14는 다양한 실시 예에 따른 전자 장치(1401)의 블록도이다.
전자 장치(1401)는, 예를 들면, 도 13에 도시된 전자 장치(1301)의 전체 또는 일부를 포함할 수 있다. 전자 장치(1401)는 하나 이상의 프로세서(예: AP)(1414), 통신 모듈(1420), (가입자 식별 모듈(1424), 메모리(1430), 센서 모듈(1440), 입력 장치(1450), 디스플레이(1460), 인터페이스(1470), 오디오 모듈(1480), 카메라 모듈(1491), 전력 관리 모듈(1495), 배터리(1496), 인디케이터(1497), 및 모터(1498)를 포함할 수 있다. 프로세서(1410)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(1410)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1410)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(1410)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(1410)는 도 14에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(1421))를 포함할 수도 있다. 프로세서(1410) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(1420)(예: 통신 인터페이스(1370))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(1420)은, 예를 들면, 셀룰러 모듈(1421), WiFi 모듈(1423), 블루투스 모듈(1425), GNSS 모듈(1427), NFC 모듈(1428) 및 RF 모듈(1429)를 포함할 수 있다. 셀룰러 모듈(1421)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1421)은 가입자 식별 모듈(예: SIM 카드)(1424)을 이용하여 통신 네트워크 내에서 전자 장치(1401)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1421)은 프로세서(1410)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1421)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(1421), WiFi 모듈(1423), 블루투스 모듈(1425), GNSS 모듈(1427) 또는 NFC 모듈(1428) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(1429)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(1429)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(1421), WiFi 모듈(1423), 블루투스 모듈(1425), GNSS 모듈(1427) 또는 NFC 모듈(1428) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(1424)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(1430)(예: 메모리(1330))는, 예를 들면, 내장 메모리(1432) 또는 외장 메모리(1434)를 포함할 수 있다. 내장 메모리(1432)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(1434)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(1434)는 다양한 인터페이스를 통하여 전자 장치(1401)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(1440)은, 예를 들면, 물리량을 계측하거나 전자 장치(1401)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1440)은, 예를 들면, 제스처 센서(1440A), 자이로 센서(1440B), 기압 센서(1440C), 마그네틱 센서(1440D), 가속도 센서(1440E), 그립 센서(1440F), 근접 센서(1440G), 컬러(color) 센서(1440H)(예: RGB(red, green, blue) 센서), 생체 센서(1440I), 온/습도 센서(1440J), 조도 센서(1440K), 또는 UV(ultra violet) 센서(1440M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1440)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(1440)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1401)는 프로세서(1410)의 일부로서 또는 별도로, 센서 모듈(1440)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(1410)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(1440)을 제어할 수 있다.
입력 장치(1450)는, 예를 들면, 터치 패널(1452), (디지털) 펜 센서(1454), 키(1456), 또는 초음파 입력 장치(1458)를 포함할 수 있다. 터치 패널(1452)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(1452)은 제어 회로를 더 포함할 수도 있다. 터치 패널(1452)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(1454)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(1456)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(1458)는 마이크(예: 마이크(1488))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(1460)(예: 디스플레이(1360))는 패널(1462), 홀로그램 장치(1464), 프로젝터(1466), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(1462)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(1462)은 터치 패널(1452)과 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널(1462)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(1452)과 일체형으로 구현되거나, 또는 터치 패널(1452)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(1464)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1466)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1401)의 내부 또는 외부에 위치할 수 있다. 인터페이스(1470)는, 예를 들면, HDMI(1472), USB(1474), 광 인터페이스(optical interface)(1476), 또는 D-sub(D-subminiature)(1478)를 포함할 수 있다. 인터페이스(1470)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1470)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(1480)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1480)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(1480)은, 예를 들면, 스피커(1482), 리시버(1484), 이어폰(1486), 또는 마이크(1488) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(1491)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(1495)은, 예를 들면, 전자 장치(1401)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(1495)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(1496)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(1496)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(1497)는 전자 장치(1401) 또는 그 일부(예: 프로세서(1410))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1498)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(1401)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치(예: 전자 장치(1401))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
다양한 실시 예에 따른 전자 장치는, 메모리, 이미지를 출력할 수 있는 디스플레이, 상기 전자 장치 내부 또는 외부를 감지하는 센서 모듈, 지정된 거리를 사이에 두고 배치되는 제1 이미지 센서 및 제2 이미지 센서를 포함하는 듀얼 카메라, 상기 제1 이미지 센서에서 수집된 제1 이미지 데이터를 처리하는 제1 파이프 라인, 상기 제2 이미지 센서에서 수집된 제2 이미지 데이터를 처리하는 제2 파이프 라인, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하는 제어부를 포함하고, 상기 제어부는 제1 이미지 데이터 또는 제2 이미지 데이터에서 추출된 정보와 관련된 제1 조건, 상기 센서 모듈에서 수집된 센싱 정보와 관련된 제2 조건, 제1 이미지 센서 및 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 제3 조건 중 적어도 하나를 기반으로 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나를 지정된 전력 제한 상태로 유지할 수 있다.
다양한 실시 예에 따르면, 상기 제1 조건은 제1 이미지 데이터 또는 제2 이미지 데이터 중 하나에서 측정된 밝기 정보와 미리 설정된 문턱값을 비교하는 조건일 수 있다.
다양한 실시 예에 따르면, 상기 센서 모듈은 사용자의 제스쳐 또는 사용자의 접근에 관한 센싱 정보를 수집하고, 상기 제2 조건은 상기 센싱 정보와 미리 설정된 문턱값과 비교하는 조건일 수 있다.
다양한 실시 예에 따르면, 상기 제1 이미지 센서는 제1 줌 렌즈를 장착하고, 상기 제2 이미지 센서는 제2 줌 렌즈를 장착하고, 상기 제3 조건은 상기 듀얼 카메라의 줌 배율을 기반으로 결정되는 조건일 수 있다. 상기 제1 줌 렌즈는 광각 렌즈(wide-angle lens)이고, 상기 제2 줌 렌즈는 망원 렌즈(telephoto lens)일 수 있다. 상기 제어부는 상기 줌 배율을 제1 문턱값 및 상기 제1 문턱값보다 큰 제2 문턱값과 비교할 수 있다.
다양한 실시 예에 따르면, 상기 제어부는 상기 줌 배율이 상기 제1 문턱값 미만인 경우, 상기 제1 이미지 센서를 이용하여 싱글 입력 모드로 동작하고, 상기 줌 배율이 상기 제1 문턱값보다 크고 제2 문턱값 미만인 경우, 상기 제1 이미지 센서 및 상기 제2 이미지 센서를 이용하여 듀얼 입력 모드로 동작하고, 상기 줌 배율이 상기 제2 문턱값 보다 큰 경우, 상기 제2 이미지 센서를 이용하여 싱글 입력 모드로 동작할 수 있다.
다양한 실시 예에 따르면, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 전력 신호를 차단하여 상기 전력 제한 상태를 유지할 수 있다.
상기 제어부는 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 이미지 데이터의 스트리밍을 제한하는 제어 신호를 송신하여, 상기 전력 제한 상태를 유지할 수 있다.
상기 제어부는 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 전력을 공급한 이후, 지정된 시간 동안 전력을 차단하여 상기 전력 제한 상태를 유지할 수 있다.
상기 제어부는 상기 제1 이미지 센서 및 상기 제2 이미지 센서 모두에 전력을 공급하고, 상기 제1 파이프 라인 또는 상기 제2 파이프 라인 중 적어도 하나에 대한 이미지 데이터의 전송을 제한하여 상기 전력 제한 상태를 유지할 수 있다.
상기 제어부는 상기 제1 이미지 센서 및 상기 제2 이미지 센서 모두에 전력을 공급하고, 상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 하나의 해상도 또는 프레임 출력 비율을 지정된 값 이하로 제한하여 상기 전력 제한 상태를 유지할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    메모리;
    이미지를 출력할 수 있는 디스플레이;
    상기 전자 장치 내부 또는 외부를 감지하는 센서 모듈;
    지정된 거리를 사이에 두고 배치되는 제1 이미지 센서 및 제2 이미지 센서를 포함하는 듀얼 카메라;
    상기 제1 이미지 센서에서 수집된 제1 이미지 데이터를 처리하는 제1 파이프 라인;
    상기 제2 이미지 센서에서 수집된 제2 이미지 데이터를 처리하는 제2 파이프 라인;
    상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하는 제어부를 포함하고,
    상기 제어부는 제1 이미지 데이터 또는 제2 이미지 데이터에서 추출된 정보와 관련된 제1 조건, 상기 센서 모듈에서 수집된 센싱 정보와 관련된 제2 조건, 제1 이미지 센서 및 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 제3 조건 중 적어도 하나를 기반으로 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나를 지정된 전력 제한 상태로 유지하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서, 상기 제1 조건은
    제1 이미지 데이터 또는 제2 이미지 데이터 중 하나에서 측정된 밝기 정보와 미리 설정된 문턱값을 비교하는 조건인 전자 장치.
  3. 제1항에 있어서, 상기 센서 모듈은
    사용자의 제스쳐 또는 사용자의 접근에 관한 센싱 정보를 수집하고,
    상기 제2 조건은 상기 센싱 정보와 미리 설정된 문턱값을 비교하는 조건인 전자 장치.
  4. 제1항에 있어서, 상기 제1 이미지 센서는
    제1 줌 렌즈를 장착하고,
    상기 제2 이미지 센서는 제2 줌 렌즈를 장착하고,
    상기 제3 조건은 상기 듀얼 카메라의 줌 배율을 기반으로 결정되는 조건인 전자 장치.
  5. 제4항에 있어서, 상기 제1 줌 렌즈는
    광각 렌즈(wide-angle lens)이고, 상기 제2 줌 렌즈는 망원 렌즈(telephoto lens)인 전자 장치.
  6. 제4항에 있어서, 상기 제어부는
    상기 줌 배율을 제1 문턱값 및 상기 제1 문턱값보다 큰 제2 문턱값과 비교하는 전자 장치.
  7. 제6항에 있어서, 상기 제어부는
    상기 줌 배율이 상기 제1 문턱값 미만인 경우, 상기 제1 이미지 센서를 이용하여 싱글 입력 모드로 동작하고,
    상기 줌 배율이 상기 제1 문턱값보다 크고 제2 문턱값 미만인 경우, 상기 제1 이미지 센서 및 상기 제2 이미지 센서를 이용하여 듀얼 입력 모드로 동작하고,
    상기 줌 배율이 상기 제2 문턱값 보다 큰 경우, 상기 제2 이미지 센서를 이용하여 싱글 입력 모드로 동작하는 전자 장치.
  8. 제1항에 있어서, 상기 제어부는
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 전력 신호를 차단하여 상기 전력 제한 상태를 유지하는 전자 장치.
  9. 제1항에 있어서, 상기 제어부는
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 이미지 데이터의 스트리밍을 제한하는 제어 신호를 송신하여, 상기 전력 제한 상태를 유지하는 전자 장치.
  10. 제1항에 있어서, 상기 제어부는
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 전력을 공급한 이후, 지정된 시간 동안 전력을 차단하여 상기 전력 제한 상태를 유지하는 전자 장치.
  11. 제1항에 있어서, 상기 제어부는
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 모두에 전력을 공급하고,
    상기 제1 파이프 라인 또는 상기 제2 파이프 라인 중 적어도 하나에 대한 이미지 데이터의 전송을 제한하여 상기 전력 제한 상태를 유지하는 전자 장치.
  12. 제1항에 있어서, 상기 제어부는
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 모두에 전력을 공급하고,
    상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 하나의 해상도 또는 프레임 출력 비율을 지정된 값 이하로 제한하여 상기 전력 제한 상태를 유지하는 전자 장치.
  13. 제1 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치에서 수행되는 카메라 제어 방법에 있어서,
    제1 이미지 센서 및 제2 이미지 센서 중 하나를 이용하여, 이미지 데이터를 수집하고, 다른 하나를 지정된 전력 제한 상태로 유지하는 동작;
    제1 이미지 센서에서 수집되는 제1 이미지 데이터 또는 제2 이미지 센서에서 수집되는 제2 이미지 데이터에서 추출된 정보와 관련된 제1 조건, 상기 전자 장치에 포함된 센서 모듈에서 수집된 센싱 정보와 관련된 제2 조건, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 장착된 렌즈의 줌 특성과 관련된 제3 조건을 확인하는 동작; 및
    상기 제1 조건, 상기 제2 조건, 또는 상기 제3 조건 중 적어도 하나가 만족되는 경우, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 모두 이용하여 각각 이미지 데이터를 수집하는 동작;을 포함한 방법.
  14. 제13항에 있어서, 상기 제1 조건을 확인하는 동작은
    상기 제1 이미지 데이터 또는 상기 제2 이미지 데이터 중 하나에서 측정된 밝기 정보와 미리 설정된 문턱값을 비교하는 동작;을 포함하는 방법.
  15. 제13항에 있어서, 상기 제2 조건을 확인하는 동작은
    사용자의 제스쳐 또는 사용자의 접근에 관한 센싱 정보를 수집하는 동작; 및
    상기 센싱 정보와 미리 설정된 문턱값과 비교하는 동작;을 포함하는 방법.
  16. 제13항에 있어서, 상기 제3 조건을 확인하는 동작은
    상기 듀얼 카메라의 줌 배율을 미리 설정된 문턱값과 비교하는 동작;을 포함하는 방법.
  17. 제16항에 있어서, 상기 제3 조건을 확인하는 동작은
    상기 줌 배율을 제1 문턱값 및 상기 제1 문턱값보다 큰 제2 문턱값과 비교하는 동작;을 포함하는 방법.
  18. 제13항에 있어서,
    상기 제1 조건, 상기 제2 조건, 및 상기 제3 조건이 만족되지 않는 경우, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 하나를 지정된 전력 제한 상태로 유지하는 동작;을 더 포함하는 방법.
  19. 제18항에 있어서, 상기 지정된 전력 제한 상태로 유지하는 동작은
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 전력 신호를 차단하여 상기 전력 제한 상태를 유지하는 동작;을 포함하는 방법.
  20. 제14항에 있어서, 상기 지정된 전력 제한 상태로 유지하는 동작은
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 중 적어도 하나에 대한 이미지 데이터의 스트리밍을 제한하는 제어 신호를 송신하여, 상기 전력 상태를 유지하는 동작;을 포함하는 방법.


KR1020160085766A 2016-07-06 2016-07-06 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법 KR102524498B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160085766A KR102524498B1 (ko) 2016-07-06 2016-07-06 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
CN201710545616.0A CN107592437A (zh) 2016-07-06 2017-07-06 包括双相机的电子设备和用于控制双相机的方法
EP17180131.9A EP3267670A1 (en) 2016-07-06 2017-07-06 Electronic device including dual camera and method for controlling dual camera
US15/643,048 US20180013955A1 (en) 2016-07-06 2017-07-06 Electronic device including dual camera and method for controlling dual camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160085766A KR102524498B1 (ko) 2016-07-06 2016-07-06 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180005543A true KR20180005543A (ko) 2018-01-16
KR102524498B1 KR102524498B1 (ko) 2023-04-24

Family

ID=59298323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160085766A KR102524498B1 (ko) 2016-07-06 2016-07-06 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법

Country Status (4)

Country Link
US (1) US20180013955A1 (ko)
EP (1) EP3267670A1 (ko)
KR (1) KR102524498B1 (ko)
CN (1) CN107592437A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210023348A (ko) * 2019-08-23 2021-03-04 한화테크윈 주식회사 멀티 카메라
US10944908B2 (en) 2016-08-31 2021-03-09 Samsung Electronics Co., Ltd. Method for controlling camera and electronic device therefor
US11277563B2 (en) 2020-01-20 2022-03-15 Samsung Electro-Mechanics Co., Ltd. Camera module
US11877072B2 (en) 2020-05-15 2024-01-16 Samsung Electronics Co., Ltd. Image capturing method using plurality of cameras, and electronic device

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170123125A (ko) * 2016-04-28 2017-11-07 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2018057693A1 (en) * 2016-09-21 2018-03-29 Ring Inc. Parcel theft deterrence for wireless audio/video recording and communication devices
CN106851111A (zh) * 2017-03-20 2017-06-13 惠州Tcl移动通信有限公司 基于移动终端的双摄像头供电控制方法、系统及移动终端
KR20180119281A (ko) * 2017-04-25 2018-11-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN107426471B (zh) * 2017-05-03 2021-02-05 Oppo广东移动通信有限公司 相机模组和电子装置
JP2018195905A (ja) * 2017-05-15 2018-12-06 オリンパス株式会社 データ処理装置
CN107343158A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 加快aec收敛的方法及装置、终端设备
US10681273B2 (en) 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
CN108416281B (zh) * 2018-02-28 2020-11-06 厦门云之拓科技有限公司 一种应用于虹膜识别的摄像机
CN109040417B (zh) * 2018-06-06 2022-01-18 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置、存储介质和计算机设备
US11012603B2 (en) * 2018-06-08 2021-05-18 Samsung Electronics Co., Ltd Methods and apparatus for capturing media using plurality of cameras in electronic device
CN110874922A (zh) * 2018-08-31 2020-03-10 百度在线网络技术(北京)有限公司 智能路侧单元及其信息处理方法
US11108973B2 (en) * 2018-10-05 2021-08-31 Essential Products, Inc. Varying a zoom level of an image recorded with a lens having a fixed zoom level
KR102661185B1 (ko) * 2018-10-18 2024-04-29 삼성전자주식회사 전자 장치 및 그의 이미지 촬영 방법
CN111131662B (zh) * 2018-10-31 2021-09-24 杭州海康威视数字技术股份有限公司 图像输出方法、装置、摄像机及存储介质
KR102552923B1 (ko) * 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
EP3997866B1 (en) * 2019-08-26 2024-10-23 Samsung Electronics Co., Ltd. System and method for content enhancement using quad color filter array sensors
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN114630016B (zh) * 2020-12-09 2023-04-25 Oppo广东移动通信有限公司 图像处理方法、图像处理器及电子设备
KR20220132301A (ko) * 2021-03-23 2022-09-30 삼성전자주식회사 신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120009896A1 (en) * 2010-07-09 2012-01-12 Microsoft Corporation Above-lock camera access
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
US20150229889A1 (en) * 2014-02-13 2015-08-13 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI229544B (en) * 2003-09-05 2005-03-11 Novatek Microelectronics Corp Preview system of a digital camera
US8502870B2 (en) * 2005-02-02 2013-08-06 Pima Electronic Systems Ltd. Device, system, and method of rapid image acquisition
JP5251126B2 (ja) * 2005-10-20 2013-07-31 株式会社ニコン カメラ付き電子機器
JP2008035474A (ja) * 2006-06-26 2008-02-14 Olympus Imaging Corp デジタルカメラ
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
US7729602B2 (en) * 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US8125512B2 (en) * 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device
CN101827219B (zh) * 2010-01-22 2014-07-16 中兴通讯股份有限公司 无线终端中主从模式双摄像头控制方法及装置
AU2015201127B2 (en) * 2010-04-07 2017-02-23 Apple Inc. Establishing a video conference during a phone call
JP5609467B2 (ja) * 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
CN102480593B (zh) * 2010-11-25 2014-04-16 杭州华三通信技术有限公司 双镜头摄像机切换方法及装置
US20130028586A1 (en) * 2011-07-22 2013-01-31 Nikon Corporation Camera system, accessory, camera, camera system control program, accessory control program, and camera control program
US20130235226A1 (en) * 2012-03-12 2013-09-12 Keith Stoll Karn Digital camera having low power capture mode
US20130235234A1 (en) * 2012-03-12 2013-09-12 Megan Lyn Cucci Digital camera having multiple image capture systems
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
US10609285B2 (en) * 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9977507B2 (en) * 2013-03-14 2018-05-22 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
US11172126B2 (en) * 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
CN104410785B (zh) * 2014-11-17 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
CN105163028B (zh) * 2015-09-11 2018-09-28 青岛海信移动通信技术股份有限公司 一种双摄像头的控制方法及装置
CN105208360B (zh) * 2015-09-23 2017-07-25 青岛海信移动通信技术股份有限公司 一种智能终端的图像预览方法、装置及终端
US20170078573A1 (en) * 2015-11-27 2017-03-16 Mediatek Inc. Adaptive Power Saving For Multi-Frame Processing
CN105578049A (zh) * 2015-12-24 2016-05-11 深圳市金立通信设备有限公司 一种控制摄像头的方法及终端
MX2018010226A (es) * 2016-02-26 2018-11-19 Amazon Tech Inc Grabacion de video compartido desde dispositivos de grabacion y comunicacion de audio/video.
US10334149B2 (en) * 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120009896A1 (en) * 2010-07-09 2012-01-12 Microsoft Corporation Above-lock camera access
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
US20150229889A1 (en) * 2014-02-13 2015-08-13 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10944908B2 (en) 2016-08-31 2021-03-09 Samsung Electronics Co., Ltd. Method for controlling camera and electronic device therefor
US11350033B2 (en) 2016-08-31 2022-05-31 Samsung Electronics Co., Ltd. Method for controlling camera and electronic device therefor
KR20210023348A (ko) * 2019-08-23 2021-03-04 한화테크윈 주식회사 멀티 카메라
US11277563B2 (en) 2020-01-20 2022-03-15 Samsung Electro-Mechanics Co., Ltd. Camera module
US11877072B2 (en) 2020-05-15 2024-01-16 Samsung Electronics Co., Ltd. Image capturing method using plurality of cameras, and electronic device

Also Published As

Publication number Publication date
US20180013955A1 (en) 2018-01-11
EP3267670A1 (en) 2018-01-10
KR102524498B1 (ko) 2023-04-24
CN107592437A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
KR102524498B1 (ko) 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
US11350033B2 (en) Method for controlling camera and electronic device therefor
US10447908B2 (en) Electronic device shooting image
KR102565847B1 (ko) 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
US10484589B2 (en) Electronic device and image capturing method thereof
KR102361885B1 (ko) 전자 장치 및 전자 장치 제어 방법
EP3440829B1 (en) Apparatus and method for processing image
US10551833B2 (en) Method for image capturing using unmanned image capturing device and electronic device supporting the same
US10367978B2 (en) Camera switching method and electronic device supporting the same
US20180070009A1 (en) Electronic apparatus and controlling method thereof
EP2958316B1 (en) Electronic device using composition information of picture and shooting method using the same
US20180131869A1 (en) Method for processing image and electronic device supporting the same
US20200244854A1 (en) Method and electronic device for acquiring image by using camera comprising driving apparatus capable of rotating mirror
KR20180106076A (ko) 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
KR102547104B1 (ko) 전자 장치 및 복수의 영상을 처리하는 방법
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
US10506175B2 (en) Method for processing image and electronic device supporting the same
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
US10051161B2 (en) Electronic device with zoom lens
US10339672B2 (en) Method and electronic device for verifying light source of images
US11153498B2 (en) Image processing method and electronic device supporting same
KR20170098093A (ko) 전자 장치 및 그의 동작 방법
US11210828B2 (en) Method and electronic device for outputting guide
KR20170116533A (ko) 촬영 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant