KR102558471B1 - Electronic apparatus and operating method thereof - Google Patents

Electronic apparatus and operating method thereof Download PDF

Info

Publication number
KR102558471B1
KR102558471B1 KR1020160095644A KR20160095644A KR102558471B1 KR 102558471 B1 KR102558471 B1 KR 102558471B1 KR 1020160095644 A KR1020160095644 A KR 1020160095644A KR 20160095644 A KR20160095644 A KR 20160095644A KR 102558471 B1 KR102558471 B1 KR 102558471B1
Authority
KR
South Korea
Prior art keywords
image
image sensor
processor
sensor
row line
Prior art date
Application number
KR1020160095644A
Other languages
Korean (ko)
Other versions
KR20180012602A (en
Inventor
안지훈
김성오
박현희
이기혁
이용만
장슬기
전형주
최종범
김광태
김수형
염동현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160095644A priority Critical patent/KR102558471B1/en
Priority to PCT/KR2017/007748 priority patent/WO2018021752A1/en
Publication of KR20180012602A publication Critical patent/KR20180012602A/en
Application granted granted Critical
Publication of KR102558471B1 publication Critical patent/KR102558471B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은, 제 1 이미지 센서에서 제 1 이미지를 획득하고, 제 2 이미지 센서에서 제 2 이미지를 획득하고, 제 1 이미지와 제 2 이미지를 비교하여, 제 1 이미지와 제 2 이미지에서 움직임을 추정하고, 제 1 이미지와 제 2 이미지에서 상기 움직임을 보상하도록 구성될 수 있다. An electronic device and an operating method thereof according to various embodiments may be configured to acquire a first image from a first image sensor, acquire a second image from a second image sensor, compare the first image and the second image, estimate motion in the first image and the second image, and compensate for the motion in the first image and the second image.

Description

전자 장치 및 그의 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}Electronic device and its operating method {ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}

다양한 실시예들은 전자 장치 및 그의 동작 방법에 관한 것이다. Various embodiments relate to an electronic device and an operating method thereof.

최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), PDA(Personal Digital Assistant), 전자수첩, 노트북(notebook) 또는 웨어러블 디바이스(wearable device) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 전자 장치는, 다른 장치들의 기능까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. With the recent development of digital technology, various types of electronic devices such as mobile communication terminals, smart phones, tablet PCs (Personal Computers), PDAs (Personal Digital Assistants), electronic notebooks, notebooks, or wearable devices are widely used. BACKGROUND OF THE INVENTION Electronic devices are reaching a stage of mobile convergence that encompasses the functions of other devices.

전자장치는 복수의 이미지 센서들을 구비할 수 있다. 전자장치는 복수의 이미지 센서들을 동시에 구동하여 동일한 이미지들을 획득할 수 있다. An electronic device may include a plurality of image sensors. The electronic device may acquire the same images by simultaneously driving a plurality of image sensors.

그런데, 상기와 같은 전자 장치에서 피사체 또는 촬영자의 움직임에 의해, 이미지 센서들에서 획득되는 이미지들에 젤로 현상이 발생할 수 있다. However, in the electronic device as described above, a Jello phenomenon may occur in images acquired by image sensors due to movement of a subject or a photographer.

다양한 실시예들은 복수의 이미지 센서들을 구비하는 전자 장치가 이미지 센서들에서 획득되는 이미지들에서 움직임을 보상할 수 있는 전자 장치 및 그의 동작 방법을 제공할 수 있다. Various embodiments may provide an electronic device having a plurality of image sensors and an operating method thereof capable of compensating motion in images acquired by the image sensors.

다양한 실시예들에 따른 전자 장치는, 제 1 이미지 센서, 제 2 이미지 센서및 상기 제 1 이미지 센서 및 제 2 이미지 센서와 기능적으로 연결된 프로세서를 포함할 수 있다. An electronic device according to various embodiments may include a first image sensor, a second image sensor, and a processor functionally connected to the first image sensor and the second image sensor.

다양한 실시예들에 따르면, 상기 프로세서는, 상기 제 1 이미지 센서에서 제 1 이미지를 획득하고, 상기 제 2 이미지 센서에서 제 2 이미지를 획득하고, 상기 제 1 이미지와 제 2 이미지를 비교하여, 상기 제 1 이미지와 제 2 이미지에서 움직임을 추정하고, 상기 제 1 이미지와 제 2 이미지에서 상기 움직임을 보상하도록 구성될 수 있다. According to various embodiments, the processor may be configured to acquire a first image from the first image sensor, obtain a second image from the second image sensor, compare the first image and the second image, estimate motion in the first image and the second image, and compensate for the motion in the first image and the second image.

다양한 실시예들에 따른 다수개의 이미지 센서들을 포함하는 전자 장치의 동작 방법은, 제 1 이미지 센서에서 제 1 이미지를 획득하고, 제 2 이미지 센서에서 제 2 이미지를 획득하는 동작, 상기 제 1 이미지와 제 2 이미지를 비교하여, 상기 제 1 이미지와 제 2 이미지에서 움직임을 추정하는 동작 및 상기 제 1 이미지와 제 2 이미지에서 상기 움직임을 보상하는 동작을 포함할 수 있다. An operating method of an electronic device including a plurality of image sensors according to various embodiments may include acquiring a first image from a first image sensor and obtaining a second image from a second image sensor, estimating motion in the first image and second image by comparing the first image with the second image, and compensating for the motion in the first image and the second image.

다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은 이미지 센서들에서 획득되는 이미지들에서 움직임을 보상할 수 있다. An electronic device and an operating method thereof according to various embodiments may compensate motion in images acquired by image sensors.

도 1은 다양한 실시예들에 따른 네트워크 환경 시스템의 블록도를 도시한다.
도 2는 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 3은 다양한 실시예들에 따른 프로그램 모듈의 블록도를 도시한다.
도 4는 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 5a, 도 5b 및 도 5c는 다양한 실시예들에 따른 전자 장치에서 이미지 센서들의 스캔 방식을 설명하기 위한 예시도들이다.
도 6a, 도 6b, 도 6c 및 도 6d는 다양한 실시예들에 따른 전자 장치에서 이미지 센서들의 스캔 방식을 설명하기 위한 예시도들이다.
도 7은 다양한 실시예들에 따른 전자 장치에서 이미지 센서들의 세부 구성을 도시하는 블록도이다.
도 8은 다양한 실시예들에 따른 전자 장치에서 프로세서의 세부 구성을 도시하는 블록도이다.
도 9은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 순서도이다.
도 10a, 도 10b 및 도 10c는 다양한 실시예들에 따른 전자 장치의 동작 방법을 설명하기 위한 예시도들이다.
도 11은 다양한 실시예들에 따른 전자 장치에서 이미지를 획득하기 위한 방법을 도시하는 순서도이다.
도 12는 다양한 실시예들에 따른 전자 장치에서 이미지에서 움직임을 추정하기 위한 방법을 도시하는 순서도이다.
1 shows a block diagram of a network environment system according to various embodiments.
2 shows a block diagram of an electronic device according to various embodiments.
3 shows a block diagram of program modules in accordance with various embodiments.
4 shows a block diagram of an electronic device according to various embodiments.
5A, 5B, and 5C are exemplary diagrams for explaining a scanning method of image sensors in an electronic device according to various embodiments.
6A, 6B, 6C, and 6D are exemplary diagrams for explaining a scanning method of image sensors in an electronic device according to various embodiments.
7 is a block diagram illustrating a detailed configuration of image sensors in an electronic device according to various embodiments.
8 is a block diagram illustrating a detailed configuration of a processor in an electronic device according to various embodiments.
9 is a flowchart illustrating a method of operating an electronic device according to various embodiments.
10A, 10B, and 10C are exemplary diagrams for explaining an operating method of an electronic device according to various embodiments.
11 is a flowchart illustrating a method for acquiring an image in an electronic device according to various embodiments.
12 is a flowchart illustrating a method for estimating motion in an image in an electronic device according to various embodiments.

이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.Hereinafter, various embodiments of this document will be described with reference to the accompanying drawings. Examples and terms used therein are not intended to limit the technology described in this document to specific embodiments, and should be understood to include various modifications, equivalents, and/or substitutes of the embodiments. In connection with the description of the drawings, like reference numerals may be used for like elements. Singular expressions may include plural expressions unless the context clearly dictates otherwise. In this document, expressions such as "A or B" or "at least one of A and/or B" may include all possible combinations of the items listed together. Expressions such as “first,” “second,” “first,” or “second,” may modify corresponding components regardless of order or importance, and are used to distinguish one component from another component, but do not limit the corresponding components. When a (e.g., first) component is referred to as being "(functionally or communicatively) connected" or "connected" to another (e.g., second) component, the component may be directly connected to the other component, or may be connected through another component (e.g., a third component).

본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다. In this document, “configured to (or configured to)” may be used interchangeably with “suitable for,” “having the ability to,” “modified to,” “made to,” “capable of,” or “designed to” depending on the situation, for example, hardware or software. In some contexts, the expression "device configured to" can mean that the device is "capable of" in conjunction with other devices or components. For example, the phrase “a processor configured (or configured) to perform A, B, and C” may refer to a dedicated processor (e.g., an embedded processor) for performing the corresponding operations, or a general-purpose processor (e.g., CPU or application processor) capable of performing the corresponding operations by executing one or more software programs stored in a memory device.

본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.An electronic device according to various embodiments of the present document may include, for example, at least one of a smart phone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a portable multimedia player (PMP), an MP3 player, a medical device, a camera, or a wearable device. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSync TM , 애플TV TM , 또는 구글 TV TM ), 게임 콘솔(예: Xbox TM , PlayStation TM ), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. In another embodiment, the electronic device may include various types of medical devices (e.g., various portable medical measuring devices (eg, blood glucose meter, heart rate monitor, blood pressure monitor, or body temperature monitor), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), computed tomography (CT), camera, or ultrasound), navigation device, global navigation satellite system (GNSS), event data recorder (EDR), flight data recorder (FDR), and automobile infotainment device. , Electronic equipment for ships (eg, navigation systems for ships, gyrocompasses, etc.), avionics, security equipment, head units for vehicles, industrial or household robots, drones, ATMs in financial institutions, point of sales (POS) in stores, or IoT devices (eg, light bulbs, various sensors, sprinklers, fire alarms, thermostats, street lights, toasters, exercise equipment, hot water tanks, heaters, boilers, etc.). According to some embodiments, the electronic device may include at least one of furniture, a part of a building/structure or a vehicle, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, water, electricity, gas, or radio wave measuring devices, etc.). In various embodiments, the electronic device may be flexible or a combination of two or more of the various devices described above. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices. In this document, the term user may refer to a person using an electronic device or a device using an electronic device (eg, an artificial intelligence electronic device).

도 1을 참조하여, 다양한 실시예들에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. Referring to FIG. 1 , an electronic device 101 in a network environment 100 in various embodiments is described. The electronic device 101 may include a bus 110, a processor 120, a memory 130, an input/output interface 150, a display 160, and a communication interface 170. In some embodiments, the electronic device 101 may omit at least one of the components or may additionally include other components. Bus 110 may include circuitry that connects components 110-170 to each other and communicates (eg, control messages or data) between components. The processor 120 may include one or more of a central processing unit, an application processor, or a communication processor (CP). The processor 120 may, for example, execute calculations or data processing related to control and/or communication of at least one other component of the electronic device 101 .

메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다. Memory 130 may include volatile and/or non-volatile memory. The memory 130 may store, for example, commands or data related to at least one other component of the electronic device 101 . According to one embodiment, memory 130 may store software and/or programs 140 . The program 140 may include, for example, a kernel 141 , middleware 143 , an application programming interface (API) 145 , and/or an application program (or “application”) 147 . At least part of the kernel 141, middleware 143, or API 145 may be referred to as an operating system. The kernel 141, for example, may control or manage system resources (eg, the bus 110, processor 120, or memory 130, etc.) used to execute operations or functions implemented in other programs (eg, middleware 143, API 145, or application program 147). In addition, the kernel 141 may provide an interface capable of controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, API 145, or application program 147.

미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. The middleware 143 may perform an intermediary role so that, for example, the API 145 or the application program 147 communicates with the kernel 141 to exchange data. Also, the middleware 143 may process one or more task requests received from the application program 147 according to priority. For example, the middleware 143 may assign a priority for using system resources (e.g., the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 to at least one of the application programs 147, and process the one or more task requests. The API 145 is an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143, and may include, for example, at least one interface or function (eg, command) for file control, window control, image processing, or text control. The input/output interface 150 may transmit, for example, commands or data input from a user or other external device to other element(s) of the electronic device 101, or may output commands or data received from other element(s) of the electronic device 101 to the user or other external device.

디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.The display 160 may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a microelectromechanical systems (MEMS) display, or an electronic paper display. The display 160 may display various types of content (eg, text, image, video, icon, and/or symbol) to the user. The display 160 may include a touch screen, and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of the user's body. The communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). For example, the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).

무선 통신은, 예를 들면, LTE, LTE-A(LTE advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.Wireless communication may include, for example, cellular communication using at least one of LTE, LTE advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), or global system for mobile communications (GSM). According to an embodiment, wireless communication may include at least one of, for example, wireless fidelity (WiFi), Bluetooth, Bluetooth Low Energy (BLE), Zigbee, near field communication (NFC), magnetic secure transmission, radio frequency (RF), or body area network (BAN). According to one embodiment, wireless communication may include GNSS. GNSS may be, for example, a global positioning system (GPS), a global navigation satellite system (Glonass), a Beidou Navigation Satellite System (hereinafter “Beidou”) or Galileo, the European global satellite-based navigation system. Hereinafter, in this document, "GPS" may be used interchangeably with "GNSS". Wired communication may include, for example, at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), power line communication, or plain old telephone service (POTS). Network 162 may include at least one of a telecommunication network, for example, a computer network (eg, LAN or WAN), the Internet, or a telephone network.

제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.Each of the first and second external electronic devices 102 and 104 may be the same as or different from the electronic device 101 . According to various embodiments, all or part of operations executed in the electronic device 101 may be executed in one or more electronic devices (eg, the electronic devices 102 and 104, or the server 106). According to one embodiment, when the electronic device 101 needs to perform a certain function or service automatically or upon request, the electronic device 101, instead of or in addition to executing the function or service itself, performs at least some functions related to the function or service to another device (eg, electronic device 101). A request may be made to the device 102 or 104 or the server 106. Another electronic device (eg, the electronic device 102 or 104 or the server 106) may execute the requested function or additional function and deliver the result to the electronic device 101. The electronic device 101 may provide the requested function or service by processing the received result as it is or additionally. To this end, for example, cloud computing, distributed computing, or client-server Computing technology may be used.

도 2는 다양한 실시예들에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.2 is a block diagram of an electronic device 201 according to various embodiments. The electronic device 201 may include all or part of the electronic device 101 shown in FIG. 1 , for example. The electronic device 201 includes one or more processors (eg AP) 210, communication module 220, subscriber identity module 224, memory 230, sensor module 240, input device 250, display 260, interface 270, audio module 280, camera module 291, power management module 295, battery 296, indicator 297, and motor 29 8) can be included. The processor 210 may control a plurality of hardware or software components connected to the processor 210 by driving, for example, an operating system or an application program, and may perform various data processing and calculations. The processor 210 may be implemented as, for example, a system on chip (SoC). According to one embodiment, the processor 210 may further include a graphic processing unit (GPU) and/or an image signal processor. The processor 210 may include at least some of the components shown in FIG. 2 (eg, the cellular module 221). The processor 210 may load and process a command or data received from at least one of other components (eg, non-volatile memory) into a volatile memory, and store resultant data in the non-volatile memory.

통신 모듈(220)은, 예를 들면, 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다. The communication module 220 may have the same or similar configuration as the communication interface 170 , for example. The communication module 220 may include, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227, an NFC module 228, and an RF module 229. The cellular module 221 may provide, for example, a voice call, a video call, a text service, or an Internet service through a communication network. According to one embodiment, the cellular module 221 may identify and authenticate the electronic device 201 within a communication network using the subscriber identity module (eg, SIM card) 224 . According to one embodiment, the cellular module 221 may perform at least some of the functions that the processor 210 may provide. According to one embodiment, the cellular module 221 may include a communication processor (CP). According to some embodiments, at least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may be included in one integrated chip (IC) or IC package. The RF module 229 may transmit and receive communication signals (eg, RF signals), for example. The RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), or an antenna. According to another embodiment, at least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 transmits and receives an RF signal through a separate RF module. The subscriber identity module 224 may include, for example, a card or embedded SIM including a subscriber identity module, and may include unique identification information (e.g., integrated circuit card identifier (ICCID)) or subscriber information (e.g., international mobile subscriber identity (IMSI)).

메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.The memory 230 (eg, the memory 130) may include, for example, an internal memory 232 or an external memory 234. The built-in memory 232 may include, for example, at least one of volatile memory (eg, DRAM, SRAM, or SDRAM), non-volatile memory (eg, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, flash memory, a hard drive, or a solid state drive (SSD). The external memory 234 may include a flash drive, for example, a compact flash (CF), secure digital), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc. The external memory 234 may be functionally or physically connected to the electronic device 201 through various interfaces.

센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.The sensor module 240 may, for example, measure a physical quantity or detect an operating state of the electronic device 201 and convert the measured or sensed information into an electrical signal. The sensor module 240 includes, for example, a gesture sensor 240A, a gyro sensor 240B, a pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a grip sensor 240F, a proximity sensor 240G, a color sensor 240H (eg, a red, green, blue (RGB) sensor), a bio sensor 240I, and a temperature/humidity sensor 240. 0J), an illuminance sensor 240K, or an ultra violet (UV) sensor 240M. Additionally or alternatively, sensor module 240 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electroencephalogram (EEG) sensor, an electrocardiogram (ECG) sensor, an infrared (IR) sensor, an iris sensor, and/or a fingerprint sensor. The sensor module 240 may further include a control circuit for controlling one or more sensors included therein. In some embodiments, the electronic device 201 may further include a processor configured to control the sensor module 240, either as part of the processor 210 or separately, to control the sensor module 240 while the processor 210 is in a sleep state.

입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.The input device 250 may include, for example, a touch panel 252 , a (digital) pen sensor 254 , a key 256 , or an ultrasonic input device 258 . The touch panel 252 may use at least one of, for example, a capacitive type, a pressure-sensitive type, an infrared type, or an ultrasonic type. Also, the touch panel 252 may further include a control circuit. The touch panel 252 may further include a tactile layer to provide a tactile response to the user. The (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate recognition sheet. Keys 256 may include, for example, physical buttons, optical keys, or keypads. The ultrasonic input device 258 may detect ultrasonic waves generated from an input tool through a microphone (eg, the microphone 288) and check data corresponding to the detected ultrasonic waves.

디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다. The display 260 (eg, the display 160) may include a panel 262, a hologram device 264, a projector 266, and/or a control circuit for controlling them. Panel 262 may be implemented to be flexible, transparent, or wearable, for example. The panel 262 may include the touch panel 252 and one or more modules. According to one embodiment, the panel 262 may include a pressure sensor (or force sensor) capable of measuring the strength of a user's touch. The pressure sensor may be implemented integrally with the touch panel 252 or may be implemented as one or more sensors separate from the touch panel 252 . The hologram device 264 may display a 3D image in the air using interference of light. The projector 266 may display an image by projecting light onto a screen. The screen may be located inside or outside the electronic device 201 , for example. Interface 270 may include, for example, HDMI 272, USB 274, optical interface 276, or D-sub (D-subminiature) 278. Interface 270 may be included in, for example, communication interface 170 shown in FIG. 1 . Additionally or alternatively, the interface 270 may include, for example, a mobile high-definition link (MHL) interface, an SD card/multi-media card (MMC) interface, or an infrared data association (IrDA) standard interface.

오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다. The audio module 280 may, for example, convert a sound and an electrical signal in both directions. At least some components of the audio module 280 may be included in the input/output interface 145 shown in FIG. 1 , for example. The audio module 280 may process sound information input or output through, for example, the speaker 282, the receiver 284, the earphone 286, or the microphone 288. The camera module 291 is, for example, a device capable of capturing still images and moving images. According to one embodiment, the camera module 291 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, an image signal processor (ISP), or a flash (eg, LED or xenon lamp). The power management module 295 may manage power of the electronic device 201 , for example. According to one embodiment, the power management module 295 may include a power management integrated circuit (PMIC), a charger IC, or a battery or fuel gauge. A PMIC may have a wired and/or wireless charging method. The wireless charging method includes, for example, a magnetic resonance method, a magnetic induction method, or an electromagnetic wave method, and may further include an additional circuit for wireless charging, for example, a coil loop, a resonance circuit, or a rectifier. The battery gauge may measure, for example, the remaining capacity of the battery 296, voltage, current, or temperature during charging. Battery 296 may include, for example, a rechargeable battery and/or a solar cell.

인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예들에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.The indicator 297 may indicate a specific state of the electronic device 201 or a part thereof (eg, the processor 210), for example, a booting state, a message state, or a charging state. The motor 298 may convert electrical signals into mechanical vibrations and generate vibrations or haptic effects. The electronic device 201 may include, for example, a mobile TV supporting device (eg, a GPU) capable of processing media data according to standards such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo . Each of the components described in this document may be composed of one or more components, and the name of the corresponding component may vary depending on the type of electronic device. In various embodiments, an electronic device (e.g., the electronic device 201) is configured as a single entity by omitting some components, further including additional components, or combining some of the components, but performing the same functions of the corresponding components before combining.

도 3은 다양한 실시예들에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.3 is a block diagram of a program module according to various embodiments. According to one embodiment, the program module 310 (eg, program 140) may include an operating system that controls resources related to an electronic device (eg, electronic device 101) and/or various applications (eg, application program 147) running on the operating system. The operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM . Referring to FIG. 3 , the program module 310 may include a kernel 320 (eg, kernel 141), middleware 330 (eg, middleware 143), (API 360 (eg, API 145)), and/or an application 370 (eg, application program 147). At least a portion of the program module 310 may be preloaded on an electronic device or an external electronic device (eg, It can be downloaded from the electronic devices 102 and 104, the server 106, etc.).

커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.The kernel 320 may include, for example, a system resource manager 321 and/or a device driver 323 . The system resource manager 321 may perform control, allocation, or recovery of system resources. According to one embodiment, the system resource manager 321 may include a process management unit, a memory management unit, or a file system management unit. The device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver. The middleware 330 may, for example, provide functions commonly required by the application 370 or provide various functions to the application 370 through the API 360 so that the application 370 can use limited system resources inside the electronic device. According to one embodiment, middleware 330 includes runtime library 335, application manager 341, window manager 342, multimedia manager 343, resource manager 344, power manager 345, database manager 346, package manager 347, connectivity manager 348, notification manager 349, location manager 350, graphics manager 351, or security At least one of the managers 352 may be included.

런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. The runtime library 335 may include, for example, a library module used by a compiler to add new functions through a programming language while the application 370 is being executed. The runtime library 335 may perform input/output management, memory management, or arithmetic function processing. The application manager 341 may manage the life cycle of the application 370 , for example. The window manager 342 may manage GUI resources used in the screen. The multimedia manager 343 may determine a format required for reproducing media files, and encode or decode the media files using a codec suitable for the format. The resource manager 344 may manage a source code of the application 370 or a memory space. The power manager 345 may manage, for example, battery capacity or power, and provide power information necessary for the operation of the electronic device. According to one embodiment, the power manager 345 may interoperate with a basic input/output system (BIOS). The database manager 346 may create, search, or change a database to be used in the application 370 , for example. The package manager 347 may manage installation or update of applications distributed in the form of package files.

커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 시큐리티 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.The connectivity manager 348 may manage wireless connections, for example. The notification manager 349 may provide a user with an event such as an arrival message, an appointment, or proximity notification. The location manager 350 may manage, for example, location information of an electronic device. The graphic manager 351 may manage, for example, graphic effects to be provided to the user or user interfaces related thereto. Security manager 352 may provide system security or user authentication, for example. According to one embodiment, the middleware 330 may include a telephony manager for managing voice or video call functions of an electronic device or a middleware module capable of forming a combination of functions of the aforementioned components. According to one embodiment, the middleware 330 may provide modules specialized for each type of operating system. The middleware 330 may dynamically delete some existing components or add new components. The API 360 is, for example, a set of API programming functions, and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set can be provided for each platform, and in the case of Tizen, two or more API sets can be provided for each platform.

어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.The application 370 includes, for example, a home 371, a dialer 372, an SMS/MMS 373, an instant message (IM) 374, a browser 375, a camera 376, an alarm 377, a contact 378, a voice dial 379, an email 380, a calendar 381, a media player 382, an album 383, and a watch 38. 4), health care (eg, measurement of exercise or blood sugar, etc.), or environmental information (eg, atmospheric pressure, humidity, or temperature information) providing applications. According to one embodiment, the application 370 may include an information exchange application capable of supporting information exchange between an electronic device and an external electronic device. The information exchange application may include, for example, a notification relay application for delivering specific information to an external electronic device or a device management application for managing an external electronic device. For example, a notification delivery application may transfer notification information generated by another application of an electronic device to an external electronic device or may receive notification information from an external electronic device and provide the notification information to a user. The device management application may, for example, install, delete, or update a function of an external electronic device that communicates with the electronic device (e.g., turn-on/turn-off of the external electronic device itself (or some component parts) or control of brightness (or resolution) of a display) or an application running in the external electronic device. According to an embodiment, the application 370 may include an application designated according to the properties of an external electronic device (eg, a health management application of a mobile medical device). According to one embodiment, the application 370 may include an application received from an external electronic device. At least part of the program module 310 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 210), or a combination of at least two or more of these, and may include a module, program, routine, instruction set, or process for performing one or more functions.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. The term "module" used in this document includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. A “module” may be an integrally constructed component or a minimal unit or part thereof that performs one or more functions. A “module” may be implemented mechanically or electronically and may include, for example, known or future developed application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or programmable logic devices that perform certain operations.

다양한 실시예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. At least some of devices (eg modules or functions thereof) or methods (eg operations) according to various embodiments may be implemented as instructions stored in a computer-readable storage medium (eg memory 130) in the form of program modules. When the command is executed by a processor (eg, the processor 120), the processor may perform a function corresponding to the command. A computer-readable recording medium may include a hard disk, a floppy disk, a magnetic medium (eg, magnetic tape), an optical recording medium (eg, CD-ROM, DVD, a magneto-optical medium (eg, a floppy disk), a built-in memory, etc. The command may include a code generated by a compiler or a code that can be executed by an interpreter.

다양한 실시예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.A module or program module according to various embodiments may include at least one or more of the aforementioned components, some may be omitted, or other components may be further included. According to various embodiments, operations performed by modules, program modules, or other components may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, may be omitted, or other operations may be added.

도 4는 다양한 실시예들에 따른 전자 장치(400)를 도시하는 블록도이다. 4 is a block diagram illustrating an electronic device 400 according to various embodiments.

도 4를 참조하면, 전자 장치(400)는 프로세서(410), 메모리(420), 다수개의 이미지 센서(430, 440)들, 표시부(450) 및 입력부(460)를 포함할 수 있다. Referring to FIG. 4 , the electronic device 400 may include a processor 410, a memory 420, a plurality of image sensors 430 and 440, a display unit 450, and an input unit 460.

프로세서(410)는 도 1의 프로세서(120) 및 도 2의 프로세서(210)로 구성될 수 있다. 프로세서(410)는 이미지 센서(430, 440)들을 통해 다수개의 이미지들을 획득할 수 있다. 이를 위해, 프로세서(410)는 이미지 센서(430, 440)들에 대하여, 비대칭적으로 리드아웃을 수행할 수 있다. 그리고 프로세서(410)는 이미지들에서 움직임을 추정하여, 이미지들을 보상할 수 있다. The processor 410 may include the processor 120 of FIG. 1 and the processor 210 of FIG. 2 . The processor 410 may acquire a plurality of images through the image sensors 430 and 440 . To this end, the processor 410 may asymmetrically perform readout with respect to the image sensors 430 and 440 . Also, the processor 410 may compensate for the images by estimating motion in the images.

메모리(420)는 도 1의 메모리(130) 및 도 2의 메모리(230)로 구성될 수 있다. 메모리(420)는, 프로세서(410)가 이미지 센서(430, 440)들에 대하여, 비대칭적으로 리드아웃을 수행하도록 하는 인스트럭션들을 저장할 수 있다. 그리고 메모리(420)는, 프로세서(410)가 이미지들에서 움직임을 추정하여, 이미지들을 보상하도록 하는 인스트럭션들을 저장할 수 있다. 예를 들면, 메모리(420)는, 실행 시에 프로세서(410)가 이미지들을 비교하여, 각각의 이미지들에서 움직임을 추정하고, 움직임에 기반하여 각각의 이미지를 보정하도록 하는 인스트럭션들을 저장할 수 있다. The memory 420 may include the memory 130 of FIG. 1 and the memory 230 of FIG. 2 . The memory 420 may store instructions that cause the processor 410 to asymmetrically perform readout with respect to the image sensors 430 and 440 . And the memory 420 may store instructions that cause the processor 410 to estimate motion in the images and compensate for the images. For example, memory 420 may store instructions that, when executed, cause processor 410 to compare images, estimate motion in each image, and correct each image based on motion.

이미지 센서(430, 440)들은 도 1의 입출력 인터페이스(150) 및 도 2의 카메라 모듈(291)의 적어도 일부로 구성될 수 있다. 이미지 센서(430, 440)들은 제 1 이미지 센서(430)와 제 2 이미지 센서(440)를 포함할 수 있다. 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 각각 로우 드라이버, 픽셀 어레이 및 컬럼 드라이버 등을 포함할 수 있다. 제 1 이미지 센서(430)는, 프로세서(410)에 의해 액세스 주기가 제어됨에 따라, 제 1 이미지를 생성할 수 있다. 제 2 이미지 센서(440)는, 프로세서(410)에 의해 액세스 주기가 제어됨에 따라, 제 2 이미지를 생성할 수 있다. 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 동일한 해상도(resolution)를 가질 수 있으며, 서로 다른 해상도를 가질 수도 있다. 해상도는 특정 거리 또는 공간 당 차지하는 픽셀 수를 나타낼 수 있다. 예를 들면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 각각 HD(high definition), FHD(full high definition) 또는 UHD(ultra high definition) 중 어느 하나의 이미지를 생성할 수 있는 픽셀 어레이(pixel array)를 포함할 수 있다. The image sensors 430 and 440 may be configured as at least part of the input/output interface 150 of FIG. 1 and the camera module 291 of FIG. 2 . The image sensors 430 and 440 may include a first image sensor 430 and a second image sensor 440 . Each of the first image sensor 430 and the second image sensor 440 may include a row driver, a pixel array, and a column driver. The first image sensor 430 may generate a first image as the access period is controlled by the processor 410 . The second image sensor 440 may generate a second image as the access period is controlled by the processor 410 . The first image sensor 430 and the second image sensor 440 may have the same resolution or may have different resolutions. Resolution can refer to the number of pixels occupied per specific distance or space. For example, the first image sensor 430 and the second image sensor 440 may each generate a pixel array capable of generating any one of high definition (HD), full high definition (FHD), and ultra high definition (UHD) images. It may include a pixel array.

표시부(450)는 도 1의 디스플레이(160) 및 도 2의 디스플레이(260)로 구성될 수 있다. 표시부(450)는 이미지 센서(430, 440)들에서 획득되는 이미지들을 표시할 수 있다. The display unit 450 may include the display 160 of FIG. 1 and the display 260 of FIG. 2 . The display unit 450 may display images acquired by the image sensors 430 and 440 .

입력부(460)는 도 1의 입출력 인터페이스(150) 및 도 2의 입력 장치(250)의 적어도 일부로 구성될 수 있다. 입력부(460)는 전자 장치(400)의 동작을 제어하기 위한 명령 및 데이터를 입력할 수 있다. The input unit 460 may include at least a part of the input/output interface 150 of FIG. 1 and the input device 250 of FIG. 2 . The input unit 460 may input commands and data for controlling the operation of the electronic device 400 .

다양한 실시예들에 따르면, 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)에서 롤링 셔터(rolling shutter) 방식으로 이미지들을 획득할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)에 대하여, 비대칭 리드아웃을 수행하여 이미지들을 획득할 수 있다. 즉 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)에 대하여, 서로 다른 방식으로 리드아웃을 수행하여 다수개의 이미지들을 획득할 수 있다. 예를 들면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 동일한 형태 또는 서로 다른 형태로 배치될 수 있다. 이를 통해, 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)의 라인 이미지를 서로 다른 순서로 획득할 수 있다.According to various embodiments, the processor 410 may obtain images from the first image sensor 430 and the second image sensor 440 using a rolling shutter method. The processor 410 may obtain images by performing asymmetric readout on the first image sensor 430 and the second image sensor 440 . That is, the processor 410 may acquire a plurality of images by performing readout on the first image sensor 430 and the second image sensor 440 in different ways. For example, the first image sensor 430 and the second image sensor 440 may be disposed in the same shape or different shapes. Through this, the processor 410 may obtain line images of the first image sensor 430 and the second image sensor 440 in different order.

예를 들면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)가 동일한 형태로 배치되면, 프로세서(410)는, 제 1 이미지 센서(430)에서 첫번째 라인 이미지로부터 마지막 라인 이미지의 순서로 리드아웃하도록 어드레싱할 수 있으며, 제 2 이미지 센서(440)에서 마지막 라인 이미지로부터 첫번째 라인 이미지의 순서로 리드아웃하도록 어드레싱할 수 있다. 예를 들면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)가 상호로부터 180 도 회전되어 배치되면, 제 1 이미지 센서(430)가 정위상 이미지를 획득하고, 제 2 이미지 센서(440)가 180 도 회전된 역위상 이미지를 획득할 수 있다. 이러한 경우, 프로세서(410)는, 제 1 이미지 센서(430)에서 첫번째 라인 이미지를 리드아웃할 때 제 2 이미지 센서(440)에서 마지막 라인 이미지를 리드아웃하도록 어드레싱할 수 있으며, 제 1 이미지 센서(430)에서 마지막 라인 이미지를 리드아웃할 때 제 2 이미지 센서(440)에서 첫번째 라인 이미지를 리드아웃하도록 어드레싱할 수 있다. For example, if the first image sensor 430 and the second image sensor 440 are disposed in the same form, the processor 410 may address the first image sensor 430 to read out the first line image in the order of the last line image, and address the second image sensor 440 to read out the last line image in the order of the first line image. For example, if the first image sensor 430 and the second image sensor 440 are rotated by 180 degrees from each other, the first image sensor 430 may obtain a normal phase image, and the second image sensor 440 may acquire an anti-phase image rotated by 180 degrees. In this case, the processor 410 may read out the last line image from the second image sensor 440 when reading out the first line image from the first image sensor 430, and address the first line image from the second image sensor 440 when reading out the last line image from the first image sensor 430.

다양한 실시예들에 따르면, 제 1 이미지 센서(430) 또는 제 2 이미지 센서(440)는 각각 CMOS, CIS 또는 CCD 중 어느 하나의 구조를 가질 수 있다. 이러한 제 1 이미지 센서(430) 및 제 2 이미지 센서(440)는 각각 픽셀 어레이와 픽셀 어레이를 제어(row control)하기 위한 제어 블록(row control block) 및 픽셀 어레이에서 리드아웃하기 위한 리드아웃 블록(column readout block)을 포함할 수 있다. 제어 블록은 픽셀을 초기화(reset)한 후 일정 노출 시간 동안 픽셀 어레이의 광 감지소자, 예컨대 포토 다이오드(photo diode)에 전하를 아날로그 신호로서 축적시킬 수 있다. 리드아웃 블록은 광 감지소자에 축적된 아날로그 신호를 디지털 데이터로 변환시킬 수 있다. 이를 위해, 리드아웃 블록은 변환기(analog to digital converter; ADC)를 포함할 수 있다. 디지털 데이터는 제 1 이미지 센서(430) 및 제 2 이미지 센서(440) 각각의 내부 디지털 블록(digital block)으로부터 MIPI(mobile industry processor interface)와 같은 외부 인터페이스를 통해 외부, 예컨대 프로세서(410)로 출력될 수 있다. According to various embodiments, the first image sensor 430 or the second image sensor 440 may each have a structure of one of CMOS, CIS, and CCD. Each of the first image sensor 430 and the second image sensor 440 may include a pixel array, a row control block for controlling the pixel array, and a column readout block for reading out from the pixel array. The control block may accumulate charges as an analog signal in a photo-sensing element of the pixel array, for example, a photo diode for a predetermined exposure time after resetting the pixel. The read-out block may convert the analog signal accumulated in the photodetector into digital data. To this end, the readout block may include an analog to digital converter (ADC). Digital data may be output from an internal digital block of each of the first image sensor 430 and the second image sensor 440 to the outside, for example, to the processor 410 through an external interface such as a mobile industry processor interface (MIPI).

그런데, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)가 롤링 셔터 방식을 사용함에 따라, 이미지들에서 젤로 현상(jello effect, rolling shutter artifact)이 발생할 수 있다. 젤로 현상은 피사체 또는 촬영자의 움직임에 의해, 이미지가 젤리처럼 흔들리는 현상을 의미할 수 있다. 예를 들면, 이미지에 움직이는 피사체가 포함되거나 촬영자가 이동하면서 이미지를 촬영하면, 이미지들에서 젤로 현상이 발생할 수 있다. However, as the first image sensor 430 and the second image sensor 440 use a rolling shutter method, a jello effect (rolling shutter artifact) may occur in images. The jello phenomenon may refer to a phenomenon in which an image shakes like jelly due to movement of a subject or a photographer. For example, if a moving subject is included in an image or a photographer captures an image while moving, a jello phenomenon may occur in the images.

다양한 실시예들에 따르면, 프로세서(410)는 제 1 이미지 센서(430)를 통해 연속적으로 이미지들을 획득할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)를 통해 획득한 연속적인 이미지들을 비교하여 이미지의 움직임 보상이 필요한지 판단할 수 있다. 예를 들어, 프로세서(410)는 제 1 이미지 센서(430)를 통해 획득한 연속적인 이미지들을 오차가 기준 범위를 벗어난 경우, 제 1 이미지 센서(430)를 통해 획득한 이미지에 대한 움직임 보상이 필요한 것으로 판단할 수 있다. 예컨대, 프로세서(410)는 이미지들을 픽셀 단위로 비교하여 이미지들의 오차를 획득할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)를 통해 획득한 이미지의 움직임 보상이 필요한 것으로 판단한 경우, 제 2 이미지 센서(440)를 활성화할 수 있다. According to various embodiments, the processor 410 may continuously acquire images through the first image sensor 430 . The processor 410 may compare successive images acquired through the first image sensor 430 to determine whether motion compensation of the image is required. For example, the processor 410 may determine that motion compensation for the images acquired through the first image sensor 430 is necessary when errors in the successive images acquired through the first image sensor 430 are out of a reference range. For example, the processor 410 may obtain an error between the images by comparing the images on a pixel-by-pixel basis. The processor 410 may activate the second image sensor 440 when it is determined that motion compensation of the image acquired through the first image sensor 430 is required.

다양한 실시예에 따르면, 프로세서(410)는 제 1 이미지 센서(430)를 통해 획득한 이미지의 움직임 보상을 위해 제 2 이미지 센서(440)를 활성화한 경우, 제 2 이미지 센서(440)의 동작 변수를 설정할 수 있다. 예를 들어, 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)의 리드아웃이 비대칭적인 경우, 제 1 이미지 센서(430)의 동작 변수와 상이하게 제 2 이미지 센서(440)의 동작 변수를 설정할 수 있다. 추가적으로 또는 대체적으로, 프로세서(410)는 제 2 이미지 센서(440)를 통해 획득한 이미지를 제 1 이미지 센서(430)를 통해 획득한 이미지의 움직임 보상을 위한 이미지로 사용할 경우, 제 2 이미지 센서(440)의 동작 변수를 움직임 검출에 대응하도록 설정할 수 있다. 즉, 프로세서(410)는 제 2 이미지 센서(440)를 통해 노이즈를 고려하지 않고 블러가 없는 이미지를 획득할 수 있도록 제 2 이미지 센서(440)의 동작 변수를 설정할 수 있다. 또한, 프로세서(410)는 메모리(420)에 저장된 LUT(look up table)에서 제 1 이미지 센서(430)의 동작 변수에 대응하는 움직임 검출을 위한 동작 변수를 추출하여 제 2 이미지 센서(440)의 동작 변수로 설정할 수 있다. 예컨대, 이미지 센서의 동작 변수는 이미지 센서의 노출 또는 센서 이득(ISO: international organization for standardization) 중 적어도 하나를 포함할 수 있다.According to various embodiments, when the processor 410 activates the second image sensor 440 for motion compensation of an image obtained through the first image sensor 430, the processor 410 may set operating parameters of the second image sensor 440. For example, when the readout of the first image sensor 430 and the second image sensor 440 are asymmetrical, the processor 410 may set the operating variable of the second image sensor 440 to be different from the operating variable of the first image sensor 430. Additionally or alternatively, when the image acquired through the second image sensor 440 is used as an image for motion compensation of the image acquired through the first image sensor 430, the processor 410 may set an operating variable of the second image sensor 440 to correspond to motion detection. That is, the processor 410 may set operating parameters of the second image sensor 440 so as to obtain an image without blur without considering noise through the second image sensor 440 . In addition, the processor 410 extracts an operating variable for motion detection corresponding to the operating variable of the first image sensor 430 from a look up table (LUT) stored in the memory 420 and sets it as an operating variable of the second image sensor 440. For example, the operating variable of the image sensor may include at least one of an exposure of the image sensor or a sensor gain (International Organization for Standardization (ISO)).

다양한 실시예들에 따르면, 프로세서(410)는 제 1 이미지 센서(430)를 제 1 속성으로 리드아웃하여 제 1 이미지를 획득하고, 제 2 이미지 센서(440)를 제 2 속성으로 리드아웃하여 제 2 이미지를 획득할 수 있다. 제 1 속성은 제 1 방향 또는 제 1 속도 중 적어도 어느 하나를 포함하고, 제 2 속성은 제 2 방향 또는 제 2 속도 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 프로세서(410)는 제 1 이미지 센서(430)를 제 1 방향으로 리드아웃하여 제 1 이미지를 획득하고, 제 2 이미지 센서(440)를 제 2 방향으로 리드아웃하여 제 2 이미지를 획득할 수 있다. 그리고 프로세서(410)는 제 1 이미지와 제 2 이미지에서 각각의 움직임을 추정할 수 있다. 또한 프로세서(410)는 제 1 이미지와 제 2 이미지에서 각각의 움직임을 보상할 수 있다. 한 실시예에 따르면, 프로세서(410)는 제 1 이미지와 제 2 이미지를 비교하여 이미지의 움직임 보상이 필요한지 판단할 수 있다. 예를 들어, 프로세서(410)는 제 1 이미지와 제 2 이미지의 오차가 기준 범위를 벗어난 경우, 이미지에 대한 움직임 보상이 필요한 것으로 판단할 수 있다. 프로세서(410)는 이미지의 움직임 보상이 필요한 것으로 판단한 경우, 제 1 이미지와 제 2 이미지에서 각각의 움직임을 추정할 수 있다.According to various embodiments, the processor 410 may acquire a first image by reading out the first image sensor 430 as a first attribute, and acquire a second image by reading out the second image sensor 440 as a second attribute. The first property may include at least one of a first direction and a first speed, and the second property may include at least one of a second direction and a second speed. For example, the processor 410 may acquire a first image by reading out the first image sensor 430 in a first direction, and acquire a second image by reading out the second image sensor 440 in a second direction. Also, the processor 410 may estimate each motion in the first image and the second image. Also, the processor 410 may compensate each motion in the first image and the second image. According to an embodiment, the processor 410 may compare the first image and the second image to determine whether motion compensation of the image is required. For example, if the error between the first image and the second image is out of a reference range, the processor 410 may determine that motion compensation for the image is required. When the processor 410 determines that image motion compensation is required, the processor 410 may estimate the respective motions in the first image and the second image.

도 5a, 도 5b 및 도 5c는 다양한 실시예들에 따른 전자 장치(400)에서 이미지 센서(430, 440)들의 스캔 방식을 설명하기 위한 예시도들이다. 도 5a는 제 1 이미지 센서(430)의 스캔 방식을 설명하기 위한 도면이고, 도 5b는 제 2 이미지 센서(440)의 스캔 방식을 설명하기 위한 도면이다. 5A, 5B, and 5C are exemplary diagrams for explaining a scanning method of the image sensors 430 and 440 in the electronic device 400 according to various embodiments. FIG. 5A is a diagram for explaining a scanning method of the first image sensor 430 and FIG. 5B is a diagram for explaining a scanning method of the second image sensor 440 .

제 1 이미지 센서(420)와 제 2 이미지 센서(430)는 다수개의 로우 라인들을 갖는 픽셀 어레이를 구비할 수 있으며, 한 개의 로우 라인을 단위로 스캔할 수 있다. 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 동일한 수의 로우 라인들을 포함할 수 있다. 예를 들면, 도 5a 및 도 5b에 도시된 바와 같이, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 각각 N 개의 로우 라인들을 포함할 수 있다. 또는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 서로 다른 수의 로우 라인들을 포함할 수 있다. 예를 들면, 제 1 이미지 센서(430)는 N 개의 로우 라인들을 포함하고, 제 2 이미지 센서(440)는 M 개의 로우 라인들을 포함할 수 있다. 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 서로 다른 형태로 로우 라인들을 스캔할 수 있다. 예를 들면, 제 1 이미지 센서(430)는 제 1 방향에 따라 첫번째 로우 라인으로부터 마지막 로우 라인의 순서로 노광 및 리드아웃을 수행할 수 있으며, 제 2 이미지 센서(440)는 제 2 방향에 따라 마지막 로우 라인으로부터 첫번째 로우 라인의 순서로 노광 및 리드아웃을 수행할 수 있다. 도 5a, 도 5b 및 도 5c에 도시된 바와 같이, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 동일한 해상도의 픽셀 어레이들을 포함할 수 있다. The first image sensor 420 and the second image sensor 430 may include a pixel array having a plurality of row lines, and may scan one row line as a unit. The first image sensor 430 and the second image sensor 440 may include the same number of row lines. For example, as shown in FIGS. 5A and 5B , each of the first image sensor 430 and the second image sensor 440 may include N row lines. Alternatively, the first image sensor 430 and the second image sensor 440 may include different numbers of row lines. For example, the first image sensor 430 may include N row lines, and the second image sensor 440 may include M row lines. The first image sensor 430 and the second image sensor 440 may scan row lines in different shapes. For example, the first image sensor 430 may perform exposure and readout in the order from the first row line to the last row line in the first direction, and the second image sensor 440 may perform exposure and readout in the order from the last row line to the first row line in the second direction. As shown in FIGS. 5A , 5B and 5C , the first image sensor 430 and the second image sensor 440 may include pixel arrays having the same resolution.

도 5a를 참조하면, 프로세서(410)는 제 1 이미지 센서(430)의 첫번째 로우 라인(R1)으로부터 N번째 로우 라인(RN)의 순서로 노출할 수 있다. 프로세서(410)는 첫번째 시작 시점(510)에서 첫번째 로우 라인(R1)의 노출을 시작할 수 있으며, 첫번째 종료 시점(515)에서 첫번째 로우 라인(R1)의 노출을 종료할 수 있다. 프로세서(410)는 두번째 시작 시점(520)에서 두번째 로우 라인(R2)의 노출을 시작할 수 있으며, 두번째 종료 시점(525)에서 두번째 로우 라인(R2)의 노출을 종료할 수 있다. 이 때 첫번째 시작 시점(510)으로부터 설정된 라인 지연 시간이 경과된 시점이 두번째 시작 시점(520)일 수 있다. 이러한 방식으로, 프로세서(410)는 첫번째 시작 시점(510)으로부터 N개의 라인 지연 시간들이 경과된 N번째 시작 시점(530)에서 N번째 로우 라인(RN)의 노출을 시작할 수 있으며, N번째 종료 시점(535)에서 N번째 로우 라인(RN)의 노출을 종료할 수 있다. 이를 통해, 프로세서(410)는 제 1 이미지 센서(430)에서 픽셀 어레이의 첫번째 로우 라인(R1)으로부터 마지막 로우 라인(RN)의 순서로 로우 라인(R1, R2, R3, R4, ?, RN-1, RN)들을 선택하면서, 광 감지소자에 아날로그 신호를 축적시킬 수 있다. Referring to FIG. 5A , the processor 410 may perform exposures from the first row line R1 to the Nth row line RN of the first image sensor 430 in order. The processor 410 may start exposing the first row line R1 at a first start point 510 and end exposure of the first row line R1 at a first end point 515 . The processor 410 may start exposing the second row line R2 at the second start time 520 and end exposure of the second row line R2 at the second end time 525 . In this case, the time when the set line delay time has elapsed from the first start time 510 may be the second start time 520 . In this way, the processor 410 may start exposing the N-th row line RN at the N-th starting time point 530 when N line delay times have elapsed from the first starting time point 510, and may end exposure of the N-th row line RN at the N-th ending time point 535. Through this, the processor 410 may accumulate analog signals in the light sensing element while selecting the row lines R1, R2, R3, R4, ?, RN-1, and RN in the order from the first row line R1 to the last row line RN of the pixel array in the first image sensor 430.

도 5b를 참조하면, 프로세서(410)는 제 2 이미지 센서(440)의 N번째 로우 라인(RN)으로부터 첫번째 로우 라인(R1)의 순서로 노출할 수 있다. 프로세서(420)는 첫번째 시작 시점(550)에서 N번째 로우 라인(RN)의 노출을 시작할 수 있으며, 첫번째 종료 시점(555)에서 N번째 로우 라인(RN)의 노출을 종료할 수 있다. 프로세서(410)는 두번째 시작 시점(560)에서 N-1번째 로우 라인(RN-1)의 노출을 시작할 수 있으며, 두번째 종료 시점(565)에서 N-1번째 로우 라인(RN-1)의 노출을 종료할 수 있다. 이 때 첫번째 시작 시점(550)으로부터 설정된 라인 지연 시간이 경과된 시점이 두번째 시작 시점(560)일 수 있다. 이러한 방식으로, 프로세서(410)는 첫번째 시작 시점(550)으로부터 N개의 라인 지연 시간들이 경과된 N번째 시작 시점(570)에서 첫번째 로우 라인(R1)의 노출을 시작할 수 있으며, N번째 종료 시점(575)에서 첫번째 로우 라인(R1)의 노출을 종료할 수 있다. 이를 통해, 프로세서(410)는 제 2 이미지 센서(440)에서 픽셀 어레이의 마지막 로우 라인(RN)으로부터 첫번째 로우 라인(R1)의 순서로 로우 라인(RN, RN-1, RN-2, RN-3, ?, R2, R1) 들을 선택하면서, 광 감지소자에 아날로그 신호를 축적시킬 수 있다.Referring to FIG. 5B , the processor 410 may expose in order from the Nth row line RN to the first row line R1 of the second image sensor 440 . The processor 420 may start exposing the N-th row line RN at a first start point 550 and end exposure of the N-th row line RN at a first end point 555 . The processor 410 may start exposing the N-1 row line RN-1 at the second start point 560 and end the exposure of the N-1 row line RN-1 at the second end point 565. In this case, the time when the set line delay time has elapsed from the first start time 550 may be the second start time 560 . In this way, the processor 410 may start exposing the first row line R1 at the Nth starting time point 570 when N line delay times have elapsed from the first starting time point 550, and may end exposure of the first row line R1 at the Nth ending time point 575. Through this, the processor 410 may accumulate analog signals in the light sensing element while selecting the row lines RN, RN-1, RN-2, RN-3, ?, R2, and R1 in the order from the last row line RN to the first row line R1 of the pixel array in the second image sensor 440.

도 5c를 참조하면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 제 1 프레임(F1)에서 로우 라인들을 순차적으로 선택하면서 노출 시간(580)을 활성화시킬 수 있다. 그리고 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 노출 시간(580)의 종료 시점에서 리드아웃 시간(590)을 활성화시켜, 해당 로우 라인의 광 감지소자에 축적된 아날로그 신호를 컬럼 라인으로 출력할 수 있다. 그리고 리드아웃 시간(590)이 종료되면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 제 2 프레임(F2)에서 노출 시간(580)을 활성화할 수 있다. Referring to FIG. 5C , the first image sensor 430 and the second image sensor 440 may activate an exposure time 580 while sequentially selecting row lines in the first frame F1. In addition, the first image sensor 430 and the second image sensor 440 activate the readout time 590 at the end of the exposure time 580, and output analog signals accumulated in the photodetectors of the corresponding row line to the column line. When the readout time 590 ends, the first image sensor 430 and the second image sensor 440 may activate the exposure time 580 in the second frame F2 .

도 6a, 도 6b, 도 6c 및 도 6d는 다양한 실시예들에 따른 전자 장치(400)에서 이미지 센서(430, 440)들의 스캔 방식을 설명하기 위한 예시도들이다. 6A, 6B, 6C, and 6D are exemplary diagrams for explaining a scanning method of the image sensors 430 and 440 in the electronic device 400 according to various embodiments.

다양한 실시예들에 따르면, 도 6a에 도시된 바와 같은 실제 영상으로부터, 프로세서(410)는 제 1 이미지 센서(430)를 제 1 방향으로 스캔하여 제 1 이미지를 획득하고, 제 2 이미지 센서(440)를 제 1 방향에 반대되는 제 2 방향으로 스캔하여 제 2 이미지를 획득할 수 있다. 피사체 또는 촬영자의 움직임에 의해, 제 1 이미지와 제 2 이미지가 서로 다른 젤로 현상을 포함할 수 있다. 예를 들면, 제 1 이미지는 픽셀 어레이의 후반 라인 이미지들에서 젤로 현상이 상대적으로 크게 발생될 수 있으며, 제 2 이미지는 픽셀 어레이의 전반 라인 이미지들에서 젤로 현상이 상대적으로 크게 발생될 수 있다. 제 1 이미지와 제 2 이미지는 각각의 픽셀 어레이에서 중간 라인 이미지들에서 동일한 젤로 현상을 가질 수 있다. According to various embodiments, from a real image as shown in FIG. 6A, the processor 410 may obtain a first image by scanning the first image sensor 430 in a first direction, and may obtain a second image by scanning the second image sensor 440 in a second direction opposite to the first direction. Depending on the movement of the subject or the photographer, the first image and the second image may include different Jello phenomena. For example, in the first image, a relatively large jello phenomenon may occur in the second half line images of the pixel array, and in the second image, a relatively large jello phenomenon may occur in the first half line images of the pixel array. The first image and the second image may have the same Jello phenomenon in the middle line images in each pixel array.

한 실시예에 따르면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)가 동일한 해상도, 예컨대 N 개의 로우 라인들을 갖고, 동일한 속도, 예컨대 A fps로 스캔될 수 있다. 이러한 경우, 프로세서(410)가 도 6b의 (a)에 도시된 바와 같이 제 1 이미지 센서(430)에서 한 개의 프레임으로 제 1 이미지를 획득하고, 도 6b의 (b)에 도시된 바와 같이 제 2 이미지 센서(440)에서 한 개의 프레임으로 제 2 이미지를 획득할 수 있다. According to one embodiment, the first image sensor 430 and the second image sensor 440 may have the same resolution, eg, N row lines, and may be scanned at the same speed, eg, A fps. In this case, the processor 410 may acquire the first image in one frame from the first image sensor 430 as shown in (a) of FIG. 6B, and acquire the second image in one frame from the second image sensor 440 as shown in (b) of FIG. 6B.

예를 들면, 각각의 로우 라인을 스캔하는 데 소요되는 시간, 즉 로우 라인들 사이의 시간 차이가 1/(N*A) sec일 수 있다. 이에 따르면, 제 1 이미지 센서(430)에서 n번째 로우 라인의 스캔 시점(T1(n))은 첫번째 로우 라인의 스캔 시점(T1(1))을 기준으로 하기 [수학식 1]과 같이 결정되고, 이에 대응하여 제 2 이미지 센서(440)에서 N-n번째 로우 라인의 스캔 시점(T2(N-n))은 첫번째 로우 라인의 스캔 시점(T2(1))을 기준으로 하기 [수학식 2]와 같이 결정될 수 있다. 이를 통해, 제 1 이미지 센서(430)에서 첫번째 로우 라인의 스캔 시점(T1(1))과 제 2 이미지 센서(440)에서 첫번째 로우 라인의 스캔 시점(T2(1))이 동일한 것으로 가정하면, 제 1 이미지 센서(430)에서 n번째 로우 라인의 스캔 시점(T1(n))과 제 2 이미지 센서(440)에서 N-n번째 로우 라인의 스캔 시점(T2(N-n))의 차이가 하기 [수학식 3]과 같이 결정될 수 있다. 한편, 제 1 이미지 센서(430)에서 중간 로우 라인의 스캔 시점(T1(N/2))을 기준으로 하면, 제 1 이미지 센서(430)에서 n번째 로우 라인의 스캔 시점(T1(n))은 중간 로우 라인의 스캔 시점(T1(N/2))으로부터 T1(N/2)-T1(n) 만큼 차이가 있을 수 있다. 그리고 제 2 이미지 센서(440)에서 중간 로우 라인의 스캔 시점(T2(N/2))을 기준으로 하면, 제 2 이미지 센서(440)에서 N-n번째 로우 라인의 스캔 시점(T2(N-n))은 중간 로우 라인의 스캔 시점(T2(N/2))으로부터 T2(N/2)-T2(N-n) 만큼 차이가 있을 수 있다. For example, the time required to scan each row line, that is, the time difference between row lines may be 1/(N*A) sec. According to this, the scan time T1(n) of the n-th row line in the first image sensor 430 is determined as in [Equation 1] based on the scan time T1(1) of the first row line, and correspondingly, the scan time T2(N-n) of the N-n row line in the second image sensor 440 is determined as [Equation 2] based on the scan time T2(1) of the first row line It can be. Through this, assuming that the scan time (T1 (1)) of the first row line in the first image sensor 430 and the scan time (T2 (1)) of the first row line in the second image sensor 440 are the same, the difference between the scan time (T1 (n)) of the n-th row line in the first image sensor 430 and the scan time (T2 (N-n)) of the N-n row line in the second image sensor 440 [ It can be determined as in Equation 3]. On the other hand, when the scan time T1(N/2) of the middle row line in the first image sensor 430 is taken as a reference, the scan time T1(n) of the nth row line in the first image sensor 430 may differ from the scan time T1(N/2) of the middle row line by T1(N/2)-T1(n). Also, when the scanning time T2(N/2) of the middle row line in the second image sensor 440 is taken as a reference, the scanning time T2(N-n) of the N-nth row line in the second image sensor 440 may differ from the scanning time T2(N/2) of the middle row line by T2(N/2)-T2(N-n).

Figure 112016073204131-pat00001
Figure 112016073204131-pat00001

Figure 112016073204131-pat00002
Figure 112016073204131-pat00002

Figure 112016073204131-pat00003
Figure 112016073204131-pat00003

다른 실시예에 따르면, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)가 동일한 해상도, 예컨대 N 개의 로우 라인들을 갖되, 상이한 속도로 스캔될 수 있다. 제 1 이미지 센서(430)의 스캔 속도가 A fps이고, 제 2 이미지 센서(440)의 스캔 속도가 B fps일 수 있다. 예를 들면, 프로세서(410)가 도 6c의 (a)에 도시된 바와 같이 제 1 이미지 센서(430)에서 한 개의 프레임으로 제 1 이미지를 획득하고, 도 6c의 (b)와 (c)에 도시된 바와 같이 제 2 이미지 센서(440)에서 두 개의 프레임들로 제 2 이미지를 획득하는 경우, 제 2 이미지 센서(440)의 스캔 속도는 제 1 이미지 센서(430)의 스캔 속도의 두 배일 수 있다. 또는 프로세서(410)가 도 6d의 (a)에 도시된 바와 같이 제 1 이미지 센서(430)에서 한 개의 프레임으로 제 1 이미지를 획득하고, 도 6d의 (b), (c) 및 (d)에 도시된 바와 같이 제 2 이미지 센서(440)에서 세 개의 프레임들로 제 2 이미지를 획득하는 경우, 제 2 이미지 센서(440)의 스캔 속도는 제 1 이미지 센서(430)의 스캔 속도의 세 배일 수 있다. According to another embodiment, the first image sensor 430 and the second image sensor 440 may have the same resolution, eg, N row lines, but may be scanned at different speeds. The scan speed of the first image sensor 430 may be A fps, and the scan speed of the second image sensor 440 may be B fps. For example, if the processor 410 obtains a first image as a frame in one frame in the first image sensor 430 as shown in FIG. The scan speed of the image sensor 430 may be twice. Alternatively, when the processor 410 acquires the first image with one frame from the first image sensor 430 as shown in (a) of FIG. 6D and the second image with three frames from the second image sensor 440 as shown in (b), (c) and (d) of FIG. .

예를 들면, 프로세서(410)가 제 1 이미지 센서(430)에서 한 개의 프레임으로 제 1 이미지를 획득하고, 제 2 이미지 센서(440)에서 세 개의 프레임들로 제 2 이미지를 획득하는 경우, 제 1 이미지 센서(430)에서 각각의 로우 라인을 스캔하는 데 소요되는 시간, 즉 로우 라인들 사이의 시간 차이는 1/(N*A) sec이고, 제 2 이미지 센서(440)에서 각각의 로우 라인을 스캔하는 데 소요되는 시간, 즉 로우 라인들 사이의 시간 차이는 1/(N*3A)일 수 있다. 이에 따르면, 제 1 이미지 센서(430)에서 n번째 로우 라인의 스캔 시점(T1(n))은 첫번째 로우 라인의 스캔 시점(T1(1))을 기준으로 하기 [수학식 4]와 같이 결정되고, 이에 대응하여 제 2 이미지 센서(440)에서 N-n번째 로우 라인의 스캔 시점(T2(N-n))은 첫번째 로우 라인의 스캔 시점(T2(1))을 기준으로 하기 [수학식 5]와 같이 프레임 별로 결정될 수 있다.For example, when the processor 410 acquires a first image with one frame from the first image sensor 430 and a second image with three frames from the second image sensor 440, the time required to scan each row line in the first image sensor 430, that is, the time difference between row lines is 1/(N*A) sec, and the second image sensor 440 scans each row line. The time taken to do this, that is, the time difference between the row lines, may be 1/(N*3A). According to this, the scan time T1(n) of the n-th row line in the first image sensor 430 is determined as in [Equation 4] based on the scan time T1(1) of the first row line, and correspondingly, the scan time T2(N-n) of the N-n row line in the second image sensor 440 is determined based on the scan time T2(1) of the first row line as in [Equation 5]. can be determined individually.

Figure 112016073204131-pat00004
Figure 112016073204131-pat00004

Figure 112016073204131-pat00005
Figure 112016073204131-pat00005

이를 통해, 프로세서(410)는 제 1 이미지와 제 2 이미지의 중간 라인 이미지들을 기준으로 제 1 이미지와 제 2 이미지에서 각각의 움직임을 추정할 수 있다. 그리고 프로세서(410)는 제 1 이미지와 제 2 이미지에서 각각의 움직임을 보상할 수 있다. 이를 위해, 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)에서 상호에 대응하는 로우 라인들에 대하여 픽셀 차이를 나타내는 모션 벡터(p)와 로우 라인들의 스캔 시점에 기반하여, 로우 라인 별 보상량, 즉 보정 파라미터를 결정할 수 있다. Through this, the processor 410 may estimate each motion in the first image and the second image based on the intermediate line images of the first image and the second image. Also, the processor 410 may compensate each motion in the first image and the second image. To this end, the processor 410 may determine a compensation amount for each row line, that is, a correction parameter, based on a motion vector (p) representing a pixel difference between row lines corresponding to each other in the first image sensor 430 and the second image sensor 440 and the scan timing of the row lines.

도 7은 다양한 실시예들에 따른 전자 장치(400)에서 이미지 센서(430, 440)들의 세부 구성을 도시하는 블록도이다. 7 is a block diagram illustrating a detailed configuration of image sensors 430 and 440 in an electronic device 400 according to various embodiments.

도 7을 참조하면, 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)의 액세스를 제어하기 위한 정보를 출력할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)의 동작 속도, 즉 노출 시간과 리드아웃 시간, 해상도, 동작 모드(예컨대, binning mode) 등에 따라, 제 1 이미지 센서(430)와 제 2 이미지 센서(440)의 액세스를 제어하기 위한 정보를 출력할 수 있다. 이 때 프로세서(410)는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)의 프레임 동기 및 라인 동기를 맞출 수 있는 타이밍 제어신호를 생성할 수 있다. Referring to FIG. 7 , the processor 410 may output information for controlling access between the first image sensor 430 and the second image sensor 440 . The processor 410 may output information for controlling access of the first image sensor 430 and the second image sensor 440 according to operating speeds of the first image sensor 430 and the second image sensor 440, that is, exposure time and readout time, resolution, and operation mode (e.g., binning mode). At this time, the processor 410 may generate a timing control signal capable of matching frame synchronization and line synchronization between the first image sensor 430 and the second image sensor 440 .

제 1 이미지 센서(430)는 제 1 센서 제어부(710), 제 1 로우 드라이버(720), 제 1 픽셀 어레이(730), 제 1 변환기(740) 및 제 1 컬럼 드라이버(750)를 포함할 수 있다. 제 1 센서 제어부(710)는 프로세서(410)의 제어 하에, 제 1 이미지 센서(430)의 동작을 제어할 수 있다. 제 1 픽셀 어레이(720)는 다수개의 광 감지소자들을 포함하며, 광 감지소자들은 다수개의 로우 라인들과 다수개의 컬럼 라인들로 연결될 수 있다. 제 1 로우 드라이버(730)는 제 1 픽셀 어레이(720)의 로우 라인들을 위한 노출 시간을 설정할 수 있으며, 로우 라인들의 아날로그 신호들을 컬럼 라인으로 리드아웃하기 위한 리드아웃 시간을 설정할 수 있다. 이를 통해, 제 1 픽셀 어레이(720)의 광 감지소자들은 각각의 로우 라인을 단위로 각각의 노출 시간 동안 광을 감지하여 아날로그 신호로 축적할 수 있으며, 각각의 리드아웃 시간에 아날로그 신호를 각각의 컬럼 라인에 출력할 수 있다. 제 1 변환기(740)는 각각의 컬럼 라인을 단위로 아날로그 신호를 디지털 데이터로 변환할 수 있다. 제 1 컬럼 드라이버(750)는 제 1 변환기(740)로부터 디지털 데이터를 수신하여, MIPI 방식으로 프로세서(410)에 포함되는 제 1 이미지 처리부에 전달할 수 있다. The first image sensor 430 may include a first sensor controller 710 , a first row driver 720 , a first pixel array 730 , a first converter 740 and a first column driver 750 . The first sensor controller 710 may control the operation of the first image sensor 430 under the control of the processor 410 . The first pixel array 720 includes a plurality of light sensing elements, and the light sensing elements may be connected to a plurality of row lines and a plurality of column lines. The first row driver 730 may set an exposure time for row lines of the first pixel array 720 and a readout time for reading out analog signals of the row lines to column lines. Through this, the light sensing elements of the first pixel array 720 may detect light for each row line unit during each exposure time and accumulate the analog signal, and output the analog signal to each column line at each readout time. The first converter 740 may convert an analog signal into digital data for each column line. The first column driver 750 may receive digital data from the first converter 740 and transfer the digital data to the first image processing unit included in the processor 410 in the MIPI method.

제 2 이미지 센서(440)는 제 2 센서 제어부(715), 제 2 로우 드라이버(725), 제 2 픽셀 어레이(735), 제 2 변환기(745) 및 제 2 컬럼 드라이버(755)를 포함할 수 있다. 제 2 센서 제어부(715)는 프로세서(410)의 제어 하에, 제 2 이미지 센서(440)의 동작을 제어할 수 있다. 제 2 픽셀 어레이(725)는 다수개의 광 감지소자들을 포함하며, 광 감지소자들은 다수개의 로우 라인들과 다수개의 컬럼 라인들로 연결될 수 있다. 제 2 로우 드라이버(735)는 제 2 픽셀 어레이(725)의 로우 라인들을 위한 노출 시간을 설정할 수 있으며, 로우 라인들의 아날로그 신호들을 컬럼 라인으로 리드아웃하기 위한 리드아웃 시간을 설정할 수 있다. 이를 통해, 제 2 픽셀 어레이(725)의 광 감지소자들은 각각의 로우 라인을 단위로 각각의 노출 시간 동안 광을 감지하여 아날로그 신호로 축적할 수 있으며, 각각의 리드아웃 시간에 아날로그 신호를 각각의 컬럼 라인에 출력할 수 있다. 제 2 변환기(745)는 각각의 컬럼 라인을 단위로 아날로그 신호를 디지털 데이터로 변환할 수 있다. 제 2 컬럼 드라이버(755)는 제 2 변환기(745)로부터 디지털 데이터를 수신하여, MIPI 방식으로 프로세서(410)에 포함되는 제 2 이미지 처리부에 전달할 수 있다. The second image sensor 440 may include a second sensor controller 715 , a second row driver 725 , a second pixel array 735 , a second converter 745 and a second column driver 755 . The second sensor controller 715 may control the operation of the second image sensor 440 under the control of the processor 410 . The second pixel array 725 includes a plurality of light sensing elements, and the light sensing elements may be connected to a plurality of row lines and a plurality of column lines. The second row driver 735 may set an exposure time for row lines of the second pixel array 725 and a readout time for reading out analog signals of the row lines to column lines. Through this, the photodetectors of the second pixel array 725 may sense light in units of each row line during each exposure time and accumulate the analog signal, and output the analog signal to each column line at each readout time. The second converter 745 may convert analog signals into digital data for each column line. The second column driver 755 may receive digital data from the second converter 745 and transfer the digital data to the second image processor included in the processor 410 in the MIPI method.

도 8은 다양한 실시예들에 따른 전자 장치(400)에서 프로세서(410)의 세부 구성을 도시하는 블록도이다. 8 is a block diagram illustrating a detailed configuration of a processor 410 in an electronic device 400 according to various embodiments.

도 8을 참조하면, 프로세서(410)는 제 1 이미지 처리부(810), 제 2 이미지 처리부(820), 움직임 추정부(830), 이미지 보정부(840) 및 이미지 제어부(850)를 포함할 수 있다. 제 1 이미지 처리부(810)는 제 1 이미지 센서(430)의 디지털 데이터를 처리할 수 있다. 이를 통해, 제 1 이미지 처리부(810)가 제 1 이미지 센서(430)의 디지털 데이터로부터 제 1 이미지를 획득할 수 있다. 제 2 이미지 처리부(820)는 제 2 이미지 센서(440)의 디지털 데이터를 처리할 수 있다. 이를 통해, 제 2 이미지 처리부(820)가 제 2 이미지 센서(440)의 디지털 데이터로부터 제 2 이미지를 획득할 수 있다. 움직임 추정부(830)는 제 1 이미지와 제 2 이미지에서 각각의 움직임을 추정할 수 있다. 이미지 보상부(840)는 제 1 이미지와 제 2 이미지에서 각각의 움직임을 보상할 수 있다. 이미지 제어부(850)는 제 1 이미지와 제 2 이미지를 하나의 이미지, 즉 제 3 이미지로 합성할 수 있다. 또는 이미지 제어부(850)는 제 1 이미지 또는 제 2 이미지 중 어느 하나를 선택할 수 있다. 이를 통해, 이미지 제어부(850)는 제 1 이미지, 제 2 이미지 또는 제 3 이미지 중 적어도 어느 하나를 표시할 수 있다. 한 실시예에 따르면, 이미지 제어부(850)는 제 1 이미지와 제 2 이미지 간 매끄러운 전환을 통해, 제 1 이미지 또는 제 2 이미지 중 어느 하나를 표시할 수 있다. 다른 실시예에 따르면, 이미지 제어부(850)는 제 3 이미지를 표시할 수 있다. Referring to FIG. 8 , the processor 410 may include a first image processing unit 810, a second image processing unit 820, a motion estimation unit 830, an image correction unit 840, and an image control unit 850. The first image processor 810 may process digital data of the first image sensor 430 . Through this, the first image processing unit 810 may acquire the first image from the digital data of the first image sensor 430 . The second image processor 820 may process digital data of the second image sensor 440 . Through this, the second image processing unit 820 may acquire the second image from the digital data of the second image sensor 440 . The motion estimator 830 may estimate each motion in the first image and the second image. The image compensator 840 may compensate for each motion in the first image and the second image. The image controller 850 may combine the first image and the second image into one image, that is, a third image. Alternatively, the image controller 850 may select either the first image or the second image. Through this, the image controller 850 can display at least one of the first image, the second image, and the third image. According to an embodiment, the image controller 850 may display either the first image or the second image through a smooth transition between the first image and the second image. According to another embodiment, the image controller 850 may display a third image.

다양한 실시예들에 따른 전자 장치(400)는, 제 1 이미지 센서(430), 제 2 이미지 센서(440) 및 상기 제 1 이미지 센서 및 제 2 이미지 센서와 기능적으로 연결된 프로세서(410)를 포함할 수 있다. The electronic device 400 according to various embodiments may include a first image sensor 430, a second image sensor 440, and a processor 410 functionally connected to the first image sensor and the second image sensor.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 제 1 이미지 센서(430)에서 제 1 이미지를 획득하고, 상기 제 2 이미지 센서(440)에서 제 2 이미지를 획득하고, 상기 제 1 이미지와 제 2 이미지를 비교하여, 상기 제 1 이미지와 제 2 이미지에서 움직임을 추정하고, 상기 제 1 이미지와 제 2 이미지에서 상기 움직임을 보상하도록 구성될 수 있다. According to various embodiments, the processor 410 may be configured to acquire a first image from the first image sensor 430, obtain a second image from the second image sensor 440, compare the first image and the second image, estimate motion in the first image and the second image, and compensate for the motion in the first image and the second image.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 제 1 이미지 센서(430)를 제 1 방향으로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서(440)를 제 2 방향으로 리드아웃하여 상기 제 2 이미지를 획득하도록 더 구성될 수 있다. According to various embodiments, the processor 410 may be further configured to acquire the first image by reading out the first image sensor 430 in a first direction, and acquire the second image by reading out the second image sensor 440 in a second direction.

다양한 실시예들에 따르면, 상기 제 1 방향은 상기 제 1 이미지 센서(430)의 첫번째 로우 라인으로부터 마지막 로우 라인의 순서로 리드아웃하기 위한 것이고, 상기 제 2 방향은 상기 제 2 이미지 센서(440)의 마지막 로우 라인으로부터 첫번째 로우 라인의 순서로 리드아웃하기 위한 것일 수 있다. According to various embodiments, the first direction may be for reading out in the order of the first row line to the last row line of the first image sensor 430, and the second direction may be for reading out in the order of the first row line from the last row line of the second image sensor 440.

다양한 실시예들에 따르면, 상기 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 상호로부터 180도 회전되어 배치될 수 있다. According to various embodiments, the first image sensor 430 and the second image sensor 440 may be disposed rotated 180 degrees from each other.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 제 1 이미지와 제 2 이미지에서 상호에 대응하는 기준 영역들을 검출하고, 상기 기준 영역들에 기반하여, 상기 제 1 이미지와 제 2 이미지의 나머지 영역들에서 상기 움직임을 검출하도록 더 구성될 수 있다. According to various embodiments, the processor 410 may be further configured to detect reference regions corresponding to each other in the first image and the second image, and to detect the motion in remaining regions of the first image and the second image based on the reference regions.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 제 1 이미지의 중간 로우 라인과 상기 제 2 이미지의 중간 로우 라인 간 픽셀 차이를 검출하고, 상기 제 1 이미지와 제 2 이미지에서 상호에 대응하는 로우 라인들 간 픽셀 차이를 검출하고, 상기 픽셀 차이들의 차이값에 기반하여, 상기 로우 라인 별 보정 파라미터를 결정하도록 더 구성될 수 있다. According to various embodiments, the processor 410 may be further configured to detect a pixel difference between a middle row line of the first image and a middle row line of the second image, detect a pixel difference between row lines corresponding to each other in the first image and the second image, and determine a correction parameter for each row line based on a difference between the pixel differences.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 보정 파라미터에 기반하여, 상기 로우 라인 별로 보정하도록 더 구성될 수 있다. According to various embodiments, the processor 410 may be further configured to perform correction for each row line based on the correction parameter.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 제 1 이미지 센서(430)를 제 1 속도로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서(440)를 제 2 속도로 리드아웃하여 상기 제 2 이미지를 획득하도록 더 구성될 수 있다. According to various embodiments, the processor 410 may be further configured to acquire the first image by reading out the first image sensor 430 at a first rate and acquire the second image by reading out the second image sensor 440 at a second rate.

다양한 실시예들에 따르면, 상기 제 1 이미지는 하나의 프레임을 갖고, 상기 제 2 이미지는 다수개의 프레임들을 가질 수 있다. According to various embodiments, the first image may have one frame and the second image may have a plurality of frames.

다양한 실시예들에 따르면, 상기 프로세서(410)는, 상기 제 1 이미지와 제 2 이미지에서 동일한 시점에 스캔되는 로우 라인들을 비교하도록 더 구성될 수 있다. According to various embodiments, the processor 410 may be further configured to compare row lines scanned at the same time point in the first image and the second image.

도 9은 다양한 실시예들에 따른 전자 장치(400)의 동작 방법을 도시하는 순서도이다. 도 10a, 도 10b 및 도 10c는 다양한 실시예들에 따른 전자 장치(400)의 동작 방법을 설명하기 위한 예시도들이다. 9 is a flowchart illustrating an operating method of an electronic device 400 according to various embodiments. 10A, 10B, and 10C are exemplary diagrams for explaining an operating method of an electronic device 400 according to various embodiments.

도 9을 참조하면, 프로세서(410)는 911 동작에서 이미지(1010, 1020)들을 획득할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)의 제 1 픽셀 어레이(720)를 제 1 방향에 따라 노광 및 리드아웃하여 제 1 이미지(1010)를 획득하고, 제 2 이미지 센서(440)의 제 2 픽셀 어레이(725)를 제 2 방향에 따라 노광 및 리드아웃하여 제 2 이미지(1020)를 획득할 수 있다. Referring to FIG. 9 , the processor 410 may acquire images 1010 and 1020 in operation 911 . The processor 410 may acquire the first image 1010 by exposing and reading out the first pixel array 720 of the first image sensor 430 in a first direction, and may acquire the second image 1020 by exposing and reading out the second pixel array 725 of the second image sensor 440 in a second direction.

그런데, 제 1 이미지(1010)와 제 2 이미지(1020)에서 젤로 현상이 발생할 수 있다. 제 1 이미지(190)와 제 2 이미지(1020)가 서로 다른 젤로 현상을 포함할 수 있다. 예를 들면, 촬영자가 좌에서 우로 이동하면서 제 1 이미지(1010)와 제 2 이미지(1020)를 촬영하면, 도 10a의 (a)와 (b)에 각각 도시된 바와 같이 제 1 이미지(1010)와 제 2 이미지(1020)에서 전체적으로 좌우의 젤로 현상이 발생할 수 있다. 또는 촬영자가 아래에서 위로 이동하면서 제 1 이미지(1010)와 제 2 이미지(1020)를 촬영하면, 도 10b의 (a)와 (b)에 각각 도시된 바와 같이 제 1 이미지(1010)와 제 2 이미지(1020)에서 전체적으로 상하의 젤로 현상이 발생할 수 있다. 제 1 이미지(1010)는 제 1 픽셀 어레이(720)의 후반 로우 라인들에 대응하여 젤로 현상이 상대적으로 크게 발생될 수 있으며, 제 2 이미지(1020)는 제 2 픽셀 어레이(725)의 전반 로우 라인들에 대응하여 젤로 현상이 상대적으로 크게 발생될 수 있다. 또는 움직이는 피사체를 포함하는 제 1 이미지(1010)와 제 2 이미지(1020)를 촬영하면, 도 10c의 (a)와 (b)에 각각 도시된 바와 같이 제 1 이미지(1010)와 제 2 이미지(1020)에서 피사체의 위치에 대하여 젤로 현상이 발생할 수 있다. However, the jello phenomenon may occur in the first image 1010 and the second image 1020 . The first image 190 and the second image 1020 may include different Jello phenomena. For example, when a photographer captures the first image 1010 and the second image 1020 while moving from left to right, as shown in (a) and (b) of FIG. Alternatively, if the photographer captures the first image 1010 and the second image 1020 while moving from bottom to top, as shown in (a) and (b) of FIG. In the first image 1010, a relatively large jello phenomenon may occur corresponding to the second half row lines of the first pixel array 720, and in the second image 1020, a relatively large jello phenomenon may occur corresponding to the first half row lines of the second pixel array 725. Alternatively, when the first image 1010 and the second image 1020 including a moving subject are captured, a Jello phenomenon may occur with respect to the position of the subject in the first image 1010 and the second image 1020, as shown in (a) and (b) of FIG. 10C, respectively.

프로세서(410)는 913 동작에서 이미지(1010, 1020)들에서 각각의 움직임을 추정할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)를 비교하여, 제 1 이미지(1010)와 제 2 이미지(1020)에서 각각의 움직임을 추정할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)에서 기준 영역들을 결정하고, 기준 영역을 기반으로 제 1 이미지(1010)와 제 2 이미지(1020)에서 각각의 움직임을 추정할 수 있다.The processor 410 may estimate motion of each of the images 1010 and 1020 in operation 913 . The processor 410 may compare the first image 1010 and the second image 1020 to estimate motions in the first image 1010 and the second image 1020 . The processor 410 may determine reference areas in the first image 1010 and the second image 1020, and estimate respective motions in the first image 1010 and the second image 1020 based on the reference areas.

예를 들면, 프로세서(410)는 도 10a와 도 10b 각각의 (c)에 도시된 바와 같이 제 1 이미지(1010)와 제 2 이미지(1020)에서 중간 라인 이미지들을 기준으로, 제 1 이미지(1010)와 제 2 이미지(1020)를 비교할 수 있다. 이를 위해, 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)에서 중간 라인 이미지들을 기준 영역(r)들로 결정할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)에서 기준 영역(r)들 간 픽셀 차이를 시차 보정값으로 결정할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)에서 상호에 대응하는 로우 라인들을 움직임 검출 영역(a, b)들로 결정할 수 있다. 프로세서(410)는 제 1 이미지(1010)의 첫번째 로우 라인과 제 2 이미지(1020)의 마지막 로우 라인을 상호에 대응시켜 움직임 검출 영역(a)들로 결정할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)에서 움직임 검출 영역(a)들 간 픽셀 차이를 움직임 검출값으로 결정할 수 있다. 프로세서(410)는 시차 보정값과 움직임 검출값에 기반하여, 해당 로우 라인을 위한 보정 파라미터를 검출할 수 있다. 이러한 방식으로, 프로세서(410)는 하기 [수학식 6]과 같이 제 1 이미지(1010)와 제 2 이미지(1020)에서 로우 라인 별 보정 파라미터를 검출할 수 있다. 보정 파라미터는 제 1 이미지(1010)에서 제 1 픽셀 어레이(720)의 후반 로우 라인들에서 상대적으로 큰 값을 갖고, 제 2 이미지(1020)에서 제 2 픽셀 어레이(725)의 전반 로우 라인들에서 상대적으로 큰 값을 가질 수 있다. 또는 보정 파라미터는 제 1 이미지(1010)에서 제 1 픽셀 어레이(720)의 로우 라인들 중 일부와 제 2 이미지(1020)에서 제 2 픽셀 어레이(725)의 로우 라인들 중 일부에서 상대적으로 큰 값을 가질 수 있다. For example, the processor 410 may compare the first image 1010 and the second image 1020 based on midline images in the first image 1010 and the second image 1020, as shown in (c) of FIGS. 10A and 10B, respectively. To this end, the processor 410 may determine intermediate line images in the first image 1010 and the second image 1020 as reference regions r. The processor 410 may determine a pixel difference between reference regions r in the first image 1010 and the second image 1020 as a parallax correction value. The processor 410 may determine row lines corresponding to each other in the first image 1010 and the second image 1020 as motion detection areas a and b. The processor 410 may determine the first row line of the first image 1010 and the last row line of the second image 1020 as motion detection regions a by corresponding to each other. The processor 410 may determine a pixel difference between motion detection areas a in the first image 1010 and the second image 1020 as a motion detection value. The processor 410 may detect a correction parameter for a corresponding row line based on the parallax correction value and the motion detection value. In this way, the processor 410 may detect correction parameters for each row line in the first image 1010 and the second image 1020 as shown in [Equation 6] below. The correction parameter may have a relatively large value in the second half row lines of the first pixel array 720 in the first image 1010 and a relatively large value in the first half row lines of the second pixel array 725 in the second image 1020. Alternatively, the correction parameter may have a relatively large value in some of the row lines of the first pixel array 720 in the first image 1010 and some of the row lines of the second pixel array 725 in the second image 1020.

Figure 112016073204131-pat00006
Figure 112016073204131-pat00006

프로세서(410)는 915 동작에서 이미지(1010, 1020)들에서 각각의 움직임을 보상할 수 있다. 프로세서(410)는 로우 라인 별 보정 파라미터에 기반하여, 제 1 이미지(1010)와 제 2 이미지(1020)에서 로우 라인들을 보정할 수 있다. 이를 통해, 프로세서(410)는 도 10a 및 도 10b의 (d) 및 (e)에 각각 도시된 바와 같이 제 1 이미지(1010)와 제 2 이미지(1020)를 전체적으로 보정할 수 있다. 또는 프로세서(410)는 도 10c의 (d) 및 (e)에 각각 도시된 바와 같이 제 1 이미지(1010)와 제 2 이미지(1020)를 부분적으로 보정할 수 있다.The processor 410 may compensate for motion in the images 1010 and 1020 in operation 915 . The processor 410 may correct row lines in the first image 1010 and the second image 1020 based on the correction parameter for each row line. Through this, the processor 410 may correct the first image 1010 and the second image 1020 as a whole, as shown in (d) and (e) of FIGS. 10A and 10B, respectively. Alternatively, the processor 410 may partially correct the first image 1010 and the second image 1020 as shown in (d) and (e) of FIG. 10C, respectively.

프로세서(410)는 917 동작에서 이미지(1010, 1020)들을 제어할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)를 하나의 이미지, 즉 제 3 이미지로 합성할 수 있다. 또는 프로세서(410)는 제 1 이미지(1010) 또는 제 2 이미지(1020) 중 어느 하나를 선택할 수 있다. 이를 통해, 프로세서(410)는 제 1 이미지(1010), 제 2 이미지(1020) 또는 제 3 이미지 중 적어도 어느 하나를 표시할 수 있다. 한 실시예에 따르면, 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020) 간 매끄러운 전환을 통해, 제 1 이미지(1010) 또는 제 2 이미지(1020) 중 어느 하나를 표시할 수 있다. 다른 실시예에 따르면, 프로세서(410)는 제 3 이미지를 표시할 수 있다. The processor 410 may control the images 1010 and 1020 in operation 917 . The processor 410 may combine the first image 1010 and the second image 1020 into one image, that is, a third image. Alternatively, the processor 410 may select one of the first image 1010 and the second image 1020 . Through this, the processor 410 may display at least one of the first image 1010, the second image 1020, and the third image. According to an embodiment, the processor 410 may display either the first image 1010 or the second image 1020 through a smooth transition between the first image 1010 and the second image 1020 . According to another embodiment, the processor 410 may display the third image.

도 11은 다양한 실시예들에 따른 전자 장치에서 이미지를 획득하기 위한 방법을 도시하는 순서도이다. 이하 설명은 도 9의 911동작에서 이미지들을 획득하기 위한 동작에 대해 설명한다.11 is a flowchart illustrating a method for acquiring an image in an electronic device according to various embodiments. The following description describes an operation for acquiring images in operation 911 of FIG. 9 .

도 11을 참조하면, 프로세서(410)는 1111 동작에서, 제 1 이미지 센서(430)을 통해 시간 차를 가지는 이미지들을 획득할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)의 제 1 픽셀 어레이(720)를 제 1 방향에 따라 노광 및 리드아웃하여 연속적인 적어도 두 개의 이미지들을 획득할 수 있다.Referring to FIG. 11 , in operation 1111, the processor 410 may obtain images having time differences through the first image sensor 430 . The processor 410 may acquire at least two consecutive images by exposing and reading out the first pixel array 720 of the first image sensor 430 in a first direction.

프로세서(410)는 1113 동작에서, 제 1 이미지 센서(430)을 통해 연속적으로 획득한 이미지들을 비교하여 이미지의 움직임 보상이 필요한지 판단할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)을 통해 연속적으로 획득한 이미지들의 픽셀 오차가 기준 범위를 벗어난 경우, 이미지의 움직임 보상이 필요한 것으로 판단할 수 있다. 프로세서(410)는 제 1 이미지 센서(430)을 통해 연속적으로 획득한 이미지들의 픽셀 오차가 기준 범위 내에 포함되는 경우, 이미지의 움직임 보상이 불필요한 것으로 판단할 수 있다.In operation 1113, the processor 410 may compare images continuously acquired through the first image sensor 430 to determine whether motion compensation of the image is required. The processor 410 may determine that image motion compensation is required when pixel errors of images consecutively acquired through the first image sensor 430 are out of a reference range. The processor 410 may determine that image motion compensation is unnecessary when pixel errors of images successively acquired through the first image sensor 430 are within a reference range.

프로세서(410)는 1115 동작에서, 이미지의 움직임 보상이 필요한 것으로 판단한 경우, 제 2 이미지 센서(440)를 활성화할 수 있다. 프로세서(410)는 제 2 이미지 센서(440)를 통해 제 1 이미지 센서(430)를 통해 획득한 이미지의 움직임 보상을 위한 이미지를 획득할 수 있도록 제 2 이미지 센서(440)의 동작 변수를 설정할 수 있다. 예를 들어, 프로세서(410)는 메모리(420)에 저장된 LUT에서 제 1 이미지 센서(430)의 동작 변수에 대응하는 움직임 검출을 위한 동작 변수를 추출하여 제 2 이미지 센서(440)의 동작 변수로 설정할 수 있다. 예컨대, 움직임 검출을 위한 동작 변수는 제 2 이미지 센서(440)를 통해 이미지에 포함되는 노이즈의 양을 고려하지 않고, 블러가 없는 이미지를 획득할 수 있는 노출 값 또는 센서 이득 중 적어도 하나를 포함할 수 있다.In operation 1115, the processor 410 may activate the second image sensor 440 when it is determined that motion compensation of the image is necessary. The processor 410 may set operating parameters of the second image sensor 440 so that an image for motion compensation of an image obtained through the first image sensor 430 may be acquired through the second image sensor 440 . For example, the processor 410 may extract an operating variable for motion detection corresponding to an operating variable of the first image sensor 430 from the LUT stored in the memory 420 and set it as an operating variable of the second image sensor 440. For example, the motion variable for motion detection may include at least one of an exposure value or a sensor gain capable of obtaining an image without blur without considering the amount of noise included in the image through the second image sensor 440 .

프로세서(410)는 1117 동작에서, 제 1 이미지 센서(430) 및 제 2 이미지 센서(440)를 통해 제 1 이미지(1010) 및 제 2 이미지(1020)를 획득할 수 있다.The processor 410 may acquire the first image 1010 and the second image 1020 through the first image sensor 430 and the second image sensor 440 in operation 1117 .

도 12는 다양한 실시예들에 따른 전자 장치에서 이미지에서 움직임을 추정하기 위한 방법을 도시하는 순서도이다. 이하 설명은 도 9의 911동작 내지 913 동작에서 이미지에서 움직임을 추정하기 위한 동작에 대해 설명한다.12 is a flowchart illustrating a method for estimating motion in an image in an electronic device according to various embodiments. Hereinafter, operations for estimating motion in an image in operations 911 to 913 of FIG. 9 will be described.

도 12를 참조하면, 프로세서(410)는 1211 동작에서, 제 1 이미지 센서(430) 및 제 2 이미지 센서(440)를 통해 제 1 이미지(1010) 및 제 2 이미지(1020)를 획득할 수 있다. 예를 들어, 프로세서(410)는 도 9의 911 동작과 같이, 비대칭적인 리드아웃을 수행하는 제 1 이미지 센서(430)와 제 2 이미지 센서(440)를 통해 제 1 이미지(1010) 및 제 2 이미지(1020)를 획득할 수 있다.Referring to FIG. 12 , in operation 1211, the processor 410 may obtain a first image 1010 and a second image 1020 through the first image sensor 430 and the second image sensor 440. For example, the processor 410 may acquire the first image 1010 and the second image 1020 through the first image sensor 430 and the second image sensor 440 that perform asymmetric readout, as in operation 911 of FIG. 9 .

프로세서(410)는 1213 동작에서, 제 1 이미지(1010)와 제 2 이미지(1020)를 비교하여 이미지의 움직임 보상이 필요한지 판단할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)의 오차가 기준 범위를 벗어난 경우, 이미지의 움직임 보상이 필요한 것으로 판단할 수 있다. 프로세서(410)는 제 1 이미지(1010)와 제 2 이미지(1020)의 오차가 기준 범위 내에 포함되는 경우, 이미지의 움직임 보상이 불필요한 것으로 판단할 수 있다.In operation 1213, the processor 410 may compare the first image 1010 and the second image 1020 to determine whether motion compensation of the image is required. When the error between the first image 1010 and the second image 1020 is out of a reference range, the processor 410 may determine that image motion compensation is required. When the error between the first image 1010 and the second image 1020 is within the reference range, the processor 410 may determine that image motion compensation is unnecessary.

프로세서(410)는 1215 동작에서, 이미지의 움직임 보상이 필요한 것으로 판단한 경우, 제 1 이미지(1010)와 제 2 이미지(1020)에서 움직임을 추정할 수 있다. 예를 들어, 프로세서(410)는 도 9의 913 동작과 같이, 제 1 이미지(1010)와 제 2 이미지(1020)에서 상호에 대응하는 기준 영역을 검출할 수 있다. 프로세서(410)는 기준 영역에 기반하여 제 1 이미지(1010)와 제 2 이미지(1020)에서 각각의 움직임을 추정할 수 있다.In operation 1215, the processor 410 may estimate motion in the first image 1010 and the second image 1020 when it is determined that motion compensation of the image is necessary. For example, the processor 410 may detect reference regions corresponding to each other in the first image 1010 and the second image 1020 as in operation 913 of FIG. 9 . The processor 410 may estimate each motion in the first image 1010 and the second image 1020 based on the reference region.

다양한 실시예들에 따른 다수개의 이미지 센서(430, 440)들을 포함하는 전자 장치(400)의 동작 방법은, 제 1 이미지 센서(430)에서 제 1 이미지를 획득하고, 제 2 이미지 센서(440)에서 제 2 이미지를 획득하는 동작, 상기 제 1 이미지와 제 2 이미지를 비교하여, 상기 제 1 이미지와 제 2 이미지에서 움직임을 추정하는 동작 및 상기 제 1 이미지와 제 2 이미지에서 상기 움직임을 보상하는 동작을 포함할 수 있다. An operating method of an electronic device 400 including a plurality of image sensors 430 and 440 according to various embodiments includes obtaining a first image from a first image sensor 430 and acquiring a second image from a second image sensor 440, estimating motion in the first image and second image by comparing the first image and second image, and compensating for the motion in the first image and the second image. can include

다양한 실시예들에 따르면, 상기 제 1 이미지 및 제 2 이미지 획득 동작은, 상기 제 1 이미지 센서(430)를 제 1 방향으로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서(440)를 제 2 방향으로 리드아웃하여 상기 제 2 이미지를 획득할 수 있다. According to various embodiments, the operation of acquiring the first image and the second image may acquire the first image by reading out the first image sensor 430 in a first direction, and acquire the second image by reading out the second image sensor 440 in a second direction.

다양한 실시예들에 따르면, 상기 제 1 방향은 상기 제 1 이미지 센서(430)의 첫번째 로우 라인으로부터 마지막 로우 라인의 순서로 리드아웃하기 위한 것이고, 상기 제 2 방향은 상기 제 2 이미지 센서(440)의 마지막 로우 라인으로부터 첫번째 로우 라인의 순서로 리드아웃하기 위한 것일 수 있다. According to various embodiments, the first direction may be for reading out in the order of the first row line to the last row line of the first image sensor 430, and the second direction may be for reading out in the order of the first row line from the last row line of the second image sensor 440.

다양한 실시예들에 따르면, 상기 제 1 이미지 센서(430)와 제 2 이미지 센서(440)는 상호로부터 180도 회전되어 배치될 수 있다. According to various embodiments, the first image sensor 430 and the second image sensor 440 may be disposed rotated 180 degrees from each other.

다양한 실시예들에 따르면, 상기 움직임 추정 동작은, 상기 제 1 이미지와 제 2 이미지에서 상호에 대응하는 기준 영역들을 검출하는 동작 및 상기 기준 영역들에 기반하여, 상기 제 1 이미지와 제 2 이미지의 나머지 영역들에서 상기 움직임을 검출하는 동작을 포함할 수 있다. According to various embodiments, the motion estimation operation may include an operation of detecting reference regions corresponding to each other in the first image and the second image, and an operation of detecting the motion in remaining regions of the first image and the second image based on the reference regions.

다양한 실시예들에 따르면, 상기 움직임 검출 동작은, 상기 제 1 이미지의 중간 로우 라인과 상기 제 2 이미지의 중간 로우 라인 간 픽셀 차이를 검출하는 동작, 상기 제 1 이미지와 제 2 이미지에서 상호에 대응하는 로우 라인들 간 픽셀 차이를 검출하는 동작 및 상기 픽셀 차이들의 차이값에 기반하여, 상기 로우 라인 별 보정 파라미터를 결정하는 동작을 포함할 수 있다. According to various embodiments, the motion detection may include detecting a pixel difference between a middle row line of the first image and a middle row line of the second image, detecting a pixel difference between row lines corresponding to each other in the first image and the second image, and determining a correction parameter for each row line based on a difference between the pixel differences.

다양한 실시예들에 따르면, 상기 움직임 보상 방법은, 상기 보정 파라미터에 기반하여, 상기 로우 라인 별로 보정하는 동작을 포함할 수 있다. According to various embodiments, the motion compensation method may include performing correction for each row line based on the correction parameter.

다양한 실시예들에 따르면, 상기 제 1 이미지 및 제 2 이미지 획득 동작은, 상기 제 1 이미지 센서(430)를 제 1 속도로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서(440)를 제 2 속도로 리드아웃하여 상기 제 2 이미지를 획득할 수 있다. According to various embodiments, the operation of obtaining the first image and the second image may acquire the first image by reading out the first image sensor 430 at a first speed, and acquire the second image by reading out the second image sensor 440 at a second speed.

다양한 실시예들에 따르면, 상기 제 1 이미지는 하나의 프레임을 갖고, 상기 제 2 이미지는 다수개의 프레임들을 가질 수 있다. According to various embodiments, the first image may have one frame and the second image may have a plurality of frames.

다양한 실시예들에 따르면, 상기 움직임 추정 동작은, 상기 제 1 이미지와 제 2 이미지에서 동일한 시점에 스캔되는 로우 라인들을 비교하는 동작을 포함할 수 있다. According to various embodiments, the motion estimation operation may include an operation of comparing row lines scanned at the same time point in the first image and the second image.

본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 다양한 실시예의 범위를 한정하는 것은 아니다. 따라서, 본 발명의 다양한 실시예의 범위는, 본 발명의 다양한 실시예의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.The embodiments disclosed in this document are presented for explanation and understanding of the disclosed technical content, and do not limit the scope of various embodiments of the present invention. Therefore, the scope of various embodiments of the present invention should be construed as including all changes or various other embodiments based on the technical spirit of various embodiments of the present invention.

Claims (20)

다수개의 이미지 센서들을 포함하는 전자 장치의 동작 방법에 있어서,
제 1 이미지 센서에서 하나의 프레임을 갖는 제 1 이미지를 획득하고, 제 2 이미지 센서에서 N개의 프레임을 갖는 제 2 이미지를 획득하는 동작;
상기 제 1 이미지와 상기 제 2 이미지를 비교하여, 상기 제 1 이미지와 상기 제 2 이미지에서 움직임을 추정하는 동작; 및
상기 제 1 이미지와 상기 제 2 이미지에서 상기 움직임을 보상하는 동작을 포함하고,
상기 제2 이미지 센서의 스캔 속도는 상기 제1 이미지 센서의 스캔 속도의 N배이며,
상기 제1 이미지 및 상기 제2 이미지 획득 동작은,
상기 제1 이미지 센서를 리드아웃하여 상기 제1 이미지를 획득하는 동작; 및
상기 제2 이미지 센서를 리드아웃하여 상기 제2 이미지를 획득하는 동작; 을 포함하고,
상기 제1 이미지와 상기 제2 이미지에서 움직임을 추정하는 동작은,
상기 제 1 이미지와 상기 제 2 이미지에서 상호에 대응하는 기준 영역들을 검출하는 동작; 및
상기 기준 영역들에 기반하여, 상기 제 1 이미지와 상기 제 2 이미지의 나머지 영역들에서 상기 움직임을 검출하는 동작; 을 포함하며,
상기 제1 이미지와 상기 제2 이미지에서 상기 움직임을 보상하는 동작은,
상기 제 1 이미지 센서의 리드아웃이 상기 제2 이미지 센서의 리드아웃과 비대칭적인 것에 기반하여, 상기 제 2 이미지 센서와 관련된 제2 동작 변수가 상기 제1 이미지 센서와 관련된 제1 동작 변수와 상이한 동작 변수를 포함하도록 설정하는 동작; 및
상기 제 2 이미지 센서를 통해 획득한 상기 제2 이미지를 상기 제 1 이미지 센서를 통해 획득한 상기 제1 이미지에 대한 움직임 보상을 위한 이미지로 사용함에 기반하여, 상기 제2 동작 변수를 상기 움직임을 검출하는 동작에 대응되도록 설정하는 동작; 을 포함하는 방법.
A method of operating an electronic device including a plurality of image sensors,
acquiring a first image having one frame from a first image sensor and acquiring a second image having N frames from a second image sensor;
comparing the first image with the second image and estimating motion in the first image and the second image; and
Compensating for the motion in the first image and the second image;
The scan speed of the second image sensor is N times the scan speed of the first image sensor,
The operation of obtaining the first image and the second image,
acquiring the first image by reading out the first image sensor; and
acquiring the second image by reading out the second image sensor; including,
The operation of estimating motion in the first image and the second image,
detecting reference regions corresponding to each other in the first image and the second image; and
detecting the motion in remaining regions of the first image and the second image based on the reference regions; Including,
Compensating for the motion in the first image and the second image,
setting a second operating variable associated with the second image sensor to include a different operating variable from the first operating variable associated with the first image sensor, based on the asymmetrical readout of the first image sensor and that of the second image sensor; and
setting the second motion variable to correspond to the motion detection operation based on using the second image acquired through the second image sensor as an image for motion compensation for the first image acquired through the first image sensor; How to include.
제 1 항에 있어서,
상기 제 1 이미지 및 상기 제 2 이미지 획득 동작은,
상기 제 1 이미지 센서를 제 1 방향으로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서를 제 2 방향으로 리드아웃하여 상기 제 2 이미지를 획득하는 방법.
According to claim 1,
The first image and the second image obtaining operation,
A method of acquiring the first image by reading out the first image sensor in a first direction and acquiring the second image by reading out the second image sensor in a second direction.
◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 3 was abandoned when the registration fee was paid.◈ 제 2 항에 있어서,
상기 제 1 방향은, 상기 제 1 이미지 센서의 첫번째 로우 라인으로부터 마지막 로우 라인의 순서로 리드아웃하기 위한 것이고,
상기 제 2 방향은, 상기 제 2 이미지 센서의 마지막 로우 라인으로부터 첫번째 로우 라인의 순서로 리드아웃하기 위한 것인 방법.
According to claim 2,
The first direction is for reading out in order from a first row line to a last row line of the first image sensor;
wherein the second direction is to read out in order of a first row line from a last row line of the second image sensor.
◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 4 was abandoned when the registration fee was paid.◈ 제 1 항에 있어서,
상기 제 1 이미지 센서와 상기 제 2 이미지 센서는, 상호로부터 180도 회전되어 배치되는 방법.
According to claim 1,
The first image sensor and the second image sensor are disposed rotated 180 degrees from each other.
삭제delete ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 6 was abandoned when the registration fee was paid.◈ 제 1 항에 있어서,
상기 움직임 검출 동작은,
상기 제 1 이미지의 중간 로우 라인과 상기 제 2 이미지의 중간 로우 라인 간 픽셀 차이를 검출하는 동작;
상기 제 1 이미지와 상기 제 2 이미지에서 상호에 대응하는 로우 라인들 간 픽셀 차이를 검출하는 동작;
상기 픽셀 차이들의 차이값에 기반하여, 상기 로우 라인 별 보정 파라미터를 결정하는 동작을 포함하는 방법.
According to claim 1,
The motion detection operation,
detecting a pixel difference between a middle row line of the first image and a middle row line of the second image;
detecting a pixel difference between row lines corresponding to each other in the first image and the second image;
and determining a correction parameter for each row line based on a difference value of the pixel differences.
◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 7 was abandoned when the registration fee was paid.◈ 제 6 항에 있어서,
상기 움직임 보상 동작은,
상기 보정 파라미터에 기반하여, 상기 로우 라인 별로 보정하는 동작을 포함하는 방법.
According to claim 6,
The motion compensation operation,
and performing correction for each row line based on the correction parameter.
◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 8 was abandoned when the registration fee was paid.◈ 제 1 항에 있어서,
상기 제 1 이미지 및 상기 제 2 이미지 획득 동작은,
상기 제 1 이미지 센서를 제 1 속도로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서를 제 2 속도로 리드아웃하여 상기 제 2 이미지를 획득하는 방법.
According to claim 1,
The first image and the second image obtaining operation,
A method of acquiring the first image by reading out the first image sensor at a first rate and acquiring the second image by reading out the second image sensor at a second rate.
삭제delete ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 10 was abandoned when the registration fee was paid.◈ 제 1 항에 있어서,
상기 움직임 추정 동작은,
상기 제 1 이미지와 상기 제 2 이미지에서 동일한 시점에 스캔되는 로우 라인들을 비교하는 동작을 포함하는 방법.
According to claim 1,
The motion estimation operation,
and comparing row lines scanned at the same time point in the first image and the second image.
전자 장치에 있어서,
제 1 이미지 센서;
제 2 이미지 센서; 및
상기 제 1 이미지 센서 및 상기 제 2 이미지 센서와 기능적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 제 1 이미지 센서에서 하나의 프레임을 갖는 제 1 이미지를 획득하고, 상기 제 2 이미지 센서에서 N개의 프레임을 갖는 제 2 이미지를 획득하고,
상기 제 1 이미지와 상기 제 2 이미지를 비교하여, 상기 제 1 이미지와 상기 제 2 이미지에서 움직임을 추정하고,
상기 제 1 이미지와 상기 제 2 이미지에서 상기 움직임을 보상하도록 구성되며,
상기 제1 이미지 센서를 리드아웃하여 상기 제1 이미지를 획득하고, 상기 제2 이미지 센서를 리드아웃하여 상기 제2 이미지 센서를 획득하며,
상기 제1 이미지와 상기 제2 이미지에서 상호에 대응하는 기준 영역들을 검출하고, 상기 기준 영역들에 기반하여 상기 제1 이미지와 상기 제2 이미지의 나머지 영역들에서 상기 움직임을 검출하며,
상기 제 1 이미지 센서의 리드아웃이 상기 제2 이미지 센서의 리드아웃과 비대칭적인 것에 기반하여, 상기 제 2 이미지 센서와 관련된 제2 동작 변수가 상기 제1 이미지 센서와 관련된 제1 동작 변수와 상이한 동작 변수를 포함하도록 설정하고,
상기 제 2 이미지 센서를 통해 획득한 상기 제2 이미지를 상기 제 1 이미지 센서를 통해 획득한 상기 제1 이미지에 대한 움직임 보상을 위한 이미지로 사용함에 기반하여, 상기 제2 동작 변수를 상기 움직임을 검출하는 동작에 대응되도록 설정하며,
상기 제 2 이미지 센서의 스캔 속도는 상기 제 1 이미지 센서의 스캔 속도의 N배인, 전자 장치.
In electronic devices,
a first image sensor;
a second image sensor; and
a processor operatively connected to the first image sensor and the second image sensor;
the processor,
Acquiring a first image having one frame from the first image sensor, acquiring a second image having N frames from the second image sensor,
Comparing the first image and the second image to estimate motion in the first image and the second image;
configured to compensate for the motion in the first image and the second image;
read out the first image sensor to obtain the first image, and read out the second image sensor to obtain the second image sensor;
detecting reference regions corresponding to each other in the first image and the second image, and detecting the motion in remaining regions of the first image and the second image based on the reference regions;
Based on the asymmetrical readout of the first image sensor and that of the second image sensor, set a second operating variable associated with the second image sensor to include a different operating variable from the first operating variable associated with the first image sensor,
Based on the use of the second image acquired through the second image sensor as an image for motion compensation for the first image obtained through the first image sensor, the second motion variable is set to correspond to the motion detection operation,
The electronic device, wherein the scan speed of the second image sensor is N times the scan speed of the first image sensor.
제 11 항에 있어서,
상기 프로세서는, 상기 제 1 이미지 센서를 제 1 방향으로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서를 제 2 방향으로 리드아웃하여 상기 제 2 이미지를 획득하도록 더 구성된 전자 장치.
According to claim 11,
wherein the processor is further configured to acquire the first image by reading out the first image sensor in a first direction, and acquire the second image by reading out the second image sensor in a second direction.
제 12 항에 있어서,
상기 제 1 방향은, 상기 제 1 이미지 센서의 첫번째 로우 라인으로부터 마지막 로우 라인의 순서로 리드아웃하기 위한 것이고,
상기 제 2 방향은, 상기 제 2 이미지 센서의 마지막 로우 라인으로부터 첫번째 로우 라인의 순서로 리드아웃하기 위한 것인 전자 장치.
According to claim 12,
The first direction is for reading out in order from a first row line to a last row line of the first image sensor;
The second direction is for reading out in order of a first row line from a last row line of the second image sensor.
제 11 항에 있어서,
상기 제 1 이미지 센서와 상기 제 2 이미지 센서는, 상호로부터 180도 회전되어 배치되는 전자 장치.
According to claim 11,
The electronic device wherein the first image sensor and the second image sensor are rotated 180 degrees from each other.
삭제delete 제 11 항에 있어서,
상기 프로세서는,
상기 제 1 이미지의 중간 로우 라인과 상기 제 2 이미지의 중간 로우 라인 간 픽셀 차이를 검출하고,
상기 제 1 이미지와 제 2 이미지에서 상호에 대응하는 로우 라인들 간 픽셀 차이를 검출하고,
상기 픽셀 차이들의 차이값에 기반하여, 상기 로우 라인 별 보정 파라미터를 결정하도록 더 구성된 전자 장치.
According to claim 11,
the processor,
detecting a pixel difference between a middle row line of the first image and a middle row line of the second image;
detecting a pixel difference between row lines corresponding to each other in the first image and the second image;
The electronic device further configured to determine a correction parameter for each row line based on a difference value of the pixel differences.
제 16 항에 있어서,
상기 프로세서는, 상기 보정 파라미터에 기반하여, 상기 로우 라인 별로 보정하도록 더 구성된 전자 장치.
17. The method of claim 16,
The electronic device of claim 1 , wherein the processor is further configured to perform correction for each row line based on the correction parameter.
제 11 항에 있어서,
상기 프로세서는, 상기 제 1 이미지 센서를 제 1 속도로 리드아웃하여 상기 제 1 이미지를 획득하고, 상기 제 2 이미지 센서를 제 2 속도로 리드아웃하여 상기 제 2 이미지를 획득하도록 더 구성된 전자 장치.
According to claim 11,
wherein the processor is further configured to acquire the first image by reading out the first image sensor at a first rate, and acquire the second image by reading out the second image sensor at a second rate.
삭제delete 제 11 항에 있어서,
상기 프로세서는, 상기 제 1 이미지와 상기 제 2 이미지에서 동일한 시점에 스캔되는 로우 라인들을 비교하도록 더 구성된 전자 장치.
According to claim 11,
The processor is further configured to compare row lines scanned at the same time point in the first image and the second image.
KR1020160095644A 2016-07-27 2016-07-27 Electronic apparatus and operating method thereof KR102558471B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160095644A KR102558471B1 (en) 2016-07-27 2016-07-27 Electronic apparatus and operating method thereof
PCT/KR2017/007748 WO2018021752A1 (en) 2016-07-27 2017-07-19 Electronic device and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095644A KR102558471B1 (en) 2016-07-27 2016-07-27 Electronic apparatus and operating method thereof

Publications (2)

Publication Number Publication Date
KR20180012602A KR20180012602A (en) 2018-02-06
KR102558471B1 true KR102558471B1 (en) 2023-07-25

Family

ID=61016344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095644A KR102558471B1 (en) 2016-07-27 2016-07-27 Electronic apparatus and operating method thereof

Country Status (2)

Country Link
KR (1) KR102558471B1 (en)
WO (1) WO2018021752A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021588A1 (en) * 2007-07-20 2009-01-22 Border John N Determining and correcting for imaging device motion during an exposure
US20120057036A1 (en) * 2010-03-19 2012-03-08 Panasonic Corporation Image capture device, image processing device and image processing program
US20130063614A1 (en) 2011-09-12 2013-03-14 Canon Kabushiki Kaisha Image capturing apparatus, image processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131998B1 (en) * 2010-01-08 2012-03-30 (주)한비젼 3-dimensional image sensor and sterioscopic camera having the same sensor
CN105829945B (en) * 2013-10-18 2019-04-09 光实验室股份有限公司 For implement and/or using camera device method and apparatus
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021588A1 (en) * 2007-07-20 2009-01-22 Border John N Determining and correcting for imaging device motion during an exposure
US20120057036A1 (en) * 2010-03-19 2012-03-08 Panasonic Corporation Image capture device, image processing device and image processing program
US20130063614A1 (en) 2011-09-12 2013-03-14 Canon Kabushiki Kaisha Image capturing apparatus, image processing method and program

Also Published As

Publication number Publication date
KR20180012602A (en) 2018-02-06
WO2018021752A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
US11604574B2 (en) Electronic device and method for electronic device displaying image
US10871798B2 (en) Electronic device and image capture method thereof
US10484589B2 (en) Electronic device and image capturing method thereof
US10725578B2 (en) Apparatus and method for controlling fingerprint sensor
US20180198982A1 (en) Image capturing method and electronic device
KR102486797B1 (en) Electronic device and method for driving display thereof
US20170118402A1 (en) Electronic device and camera control method therefor
CN108476296B (en) Apparatus and method for synchronizing data of electronic device
US20160335940A1 (en) Method for processing display data and electronic device for supporting the same
KR20180090695A (en) Electronic device for capturing image based on difference between a plurality of images and method thereof
KR102584187B1 (en) Electronic device and method for processing image
US11132537B2 (en) Electronic device for determining position of user based on image pixels, and method of controlling said device
KR20180094290A (en) Electronic device and method for determining underwater shooting
KR102477522B1 (en) Electronic device and method for adjusting exposure of camera of the same
KR102467434B1 (en) Device for Controlling Brightness of Display and Method Thereof
KR20180008043A (en) Electronic apparatus and method for controlling thereof
US11210828B2 (en) Method and electronic device for outputting guide
KR20180109204A (en) Electronic device and method for processing image of the same
KR20180037753A (en) Electronic apparatus and operating method thereof
KR102558471B1 (en) Electronic apparatus and operating method thereof
KR102519803B1 (en) Photographying apparatus and controlling method thereof
KR20170046391A (en) Photographing apparatus and method
KR20170046404A (en) Photographing apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant