KR20180038111A - 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치 - Google Patents

복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치 Download PDF

Info

Publication number
KR20180038111A
KR20180038111A KR1020160128474A KR20160128474A KR20180038111A KR 20180038111 A KR20180038111 A KR 20180038111A KR 1020160128474 A KR1020160128474 A KR 1020160128474A KR 20160128474 A KR20160128474 A KR 20160128474A KR 20180038111 A KR20180038111 A KR 20180038111A
Authority
KR
South Korea
Prior art keywords
image
output
correction
subject
processing system
Prior art date
Application number
KR1020160128474A
Other languages
English (en)
Other versions
KR102560780B1 (ko
Inventor
박동진
이지홍
정성영
김덕수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160128474A priority Critical patent/KR102560780B1/ko
Priority to US15/692,159 priority patent/US10652471B2/en
Priority to CN201710850634.XA priority patent/CN107920199B/zh
Priority to CN202010411806.5A priority patent/CN111614898B/zh
Publication of KR20180038111A publication Critical patent/KR20180038111A/ko
Priority to US16/840,805 priority patent/US11190700B2/en
Priority to US17/537,068 priority patent/US11962906B2/en
Application granted granted Critical
Publication of KR102560780B1 publication Critical patent/KR102560780B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/232—
    • H04N5/335—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 처리 시스템은 제1 이미지 센서, 제2 이미지 센서, 및 이미지 처리 장치를 포함한다. 제1 이미지 센서는 피사체에 대한 제1 이미지 데이터를 획득하도록 구성되고, 제2 이미지 센서는 피사체의 일부 또는 전체에 대한 제2 이미지 데이터를 획득하도록 구성된다. 이미지 처리 장치는 제1 이미지 데이터 및 제2 이미지 데이터를 각각 처리하여 제1 이미지 및 제2 이미지를 획득하고, 제1 이미지 및 제2 이미지를 기반으로 출력 이미지를 생성하도록 구성되고, 제1 이미지를 기반으로 출력 이미지를 생성하고, 출력 이미지에 대한 줌 계수가 제1 기준 값을 초과하는 경우, 제1 이미지의 제1 기준 좌표들을 기반으로 제2 이미지의 제2 기준 좌표들의 위치를 보정하여 생성되는 보정 이미지를 출력 이미지로서 생성하고, 출력 이미지에 대한 줌 계수가 제1 기준 값과 다른 제2 기준 값을 초과하는 경우, 이미지 처리 장치는 제2 이미지를 기반으로 출력 이미지를 생성한다.

Description

복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치{IMAGE PROCESSING SYSTEM INCLUDING PLURALITY OF IMAGE SENSORS AND ELECTRONIC DEVICE INCLUDING THEREOF}
본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치에 관한 것이다.
디지털 카메라 및 디지털 캠코더와 같은 디지털 이미지 촬영 장치는 이미지 센서를 이용하여 이미지를 획득한다. 최근에는 스마트폰 또는 PC는 이미지 센서를 이용하여 이미지를 획득한다. 이미지 센서는 CCD (Charge Coupled Device) 및 CIS (CMOS Image Sensor)를 포함한다.
이미지 센서는 복수의 이미지 센서 픽셀들을 포함한다. 이미지 센서 픽셀들은 어레이 형태로 배열된다. 이미지 센서 픽셀들은 입사된 광에 따라 아날로그 신호들을 출력한다. 이미지 센서 픽셀들로부터 출력되는 아날로그 신호들은 디지털 신호들로 변환되고, 디지털 신호들은 디지털 처리되어 이미지 데이터로 저장된다.
본 발명의 목적은 이미지들을 보정하는 과정에서 소모될 수 있는 전력량을 감소시키기 위한 이미지 처리 시스템 및 그것을 포함하는 전자 장치를 제공하는 데에 있다.
본 발명의 실시 예에 따른 이미지 처리 시스템은 제1 이미지 센서, 제2 이미지 센서, 및 이미지 처리 장치를 포함한다. 제1 이미지 센서는 피사체에 대한 제1 이미지 데이터를 획득하도록 구성된다. 제2 이미지 센서는 피사체의 일부 또는 전체에 대한 제2 이미지 데이터를 획득하도록 구성된다. 이미지 처리 장치는 제1 이미지 데이터 및 제2 이미지 데이터를 각각 처리하여 제1 이미지 및 제2 이미지를 획득하고, 제1 이미지 및 제2 이미지를 기반으로 출력 이미지를 생성하도록 구성된다.
몇몇 실시 예로서, 이미지 처리 장치는 제1 기준 값 및 제2 기준 값을 기반으로 출력 이미지를 생성하고, 출력 이미지에 대한 줌 계수가 제1 기준 값 이하인 경우, 제1 이미지를 기반으로 출력 이미지를 생성하고, 출력 이미지에 대한 줌 계수가 제1 기준 값을 초과하고 제2 기준 값 이하인 경우, 제1 이미지의 제1 기준 좌표들을 기반으로 제2 이미지의 제2 기준 좌표들의 위치를 보정하여 생성되는 보정 이미지를 출력 이미지로서 생성하고, 출력 이미지에 대한 줌 계수가 제2 기준 값을 초과하는 경우, 이미지 처리 장치는 제2 이미지를 기반으로 출력 이미지를 생성한다.
본 발명의 실시 예에 따른 전자 장치는 제1 이미지 센서, 제2 이미지 센서, 및 이미지 처리 장치를 포함한다. 제1 이미지 센서는 피사체에 대한 제1 이미지 데이터를 획득하도록 구성된다. 제2 이미지 센서는 피사체의 일부 또는 전체에 대한 제2 이미지 데이터를 획득하도록 구성된다. 이미지 처리 장치는 제1 이미지 데이터 및 제2 이미지 데이터를 각각 처리하여 제1 이미지 및 제2 이미지를 획득하고, 제1 이미지 및 제2 이미지를 기반으로 출력 이미지를 생성하도록 구성된다.
몇몇 실시 예로서, 이미지 처리 장치는 제1 이미지 데이터가 수신되지 않는 경우, 제1 시간 동안 제1 이미지의 제1 기준 좌표들을 기반으로 제2 이미지의 제2 기준 좌표들의 위치를 보정하여 생성되는 보정 이미지를 기반으로 출력 이미지로서 생성하고, 제1 시간 이후 제2 이미지를 기반으로 출력 이미지를 생성한다.
본 발명의 실시 예에 따른 이미지 처리 시스템 및 그것을 포함하는 전자 장치는 촬영된 이미지들을 보정할 때 필요한 연산량을 감소시킴으로써, 전자 장치에서 소모되는 전력량이 감소하기 때문에 전력 효율이 향상될 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템을 보여주기 위한 블록도이다.
도 2는 도 1의 제1 및 제2 이미지 센서들의 피사체를 촬영하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 3은 도 1의 이미지 처리 시스템의 동작 방법을 예시적으로 보여주기 위한 순서도이다.
도 4는 도 1의 제1 및 제2 이미지 센서들의 피사체를 촬영하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 5는 출력 이미지에 포함된 피사체에 대해 줌 계수가 증가하는 경우, 도 1의 이미지 처리 시스템에서 출력 이미지를 생성하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 6은 출력 이미지에 포함된 피사체에 대한 줌 계수가 감소하는 경우, 도 1의 이미지 처리 시스템의 출력 이미지를 생성하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 7은 도 1의 이미지 처리 시스템에서 이미지에 포함된 피사체를 확대하는 방법을 예시적으로 보여주기 위한 순서도이다.
도 8은 본 발명의 실시 예에 따른 이미지 처리 시스템을 보여주기 위한 블록도이다.
도 9는 도 8의 제1 내지 제3 이미지 센서들이 피사체를 촬영하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 10은 도 8의 이미지 처리 시스템에서 제1 이미지를 보정하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 11은 도 8의 이미지 처리 시스템에서 제2 이미지를 보정하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 12는 도 8의 이미지 처리 시스템에서 생성되는 출력 이미지를 예시적을 보여주기 위한 개념도이다.
도 13은 도 8의 이미지 처리 시스템에서 제3 이미지 센서의 이미지 촬영 방법을 예시적으로 보여주기 위한 개념도이다.
도 14는 도 8의 이미지 처리 시스템에서 출력 이미지를 생성하는 방법을 예시적으로 보여주기 위한 개념도이다.
도 15는 본 발명의 실시 예에 따른 이미지 처리 시스템을 포함하는 전자 장치를 예시적으로 보여주기 위한 블록도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템을 보여주기 위한 블록도이다. 이미지 처리 시스템(100)은 다양한 전자 장치에 포함될 수 있다. 예로서, 개인용 컴퓨터(personal computer), 데스크 탑(desktop), 랩 탑(laptop), 태블릿 컴퓨터(tablet computer), 디지털 카메라(digital camera), 캠코더(camcorder), 스마트 폰(smart phone), 및 모바일(mobile) 장치, 웨어러블(wearable) 장치 중 적어도 하나에 포함될 수 있다.
도 1을 참조하면, 이미지 처리 시스템(100)은 제1 이미지 센서(110), 제2 이미지 센서(120), 및 이미지 처리 장치(130)를 포함할 수 있다.
제1 이미지 센서(110)는 피사체(S)의 일부 또는 전체를 촬영할 수 있다. 제1 이미지 센서(110)는 촬영된 결과를 제1 이미지 데이터로서 생성할 수 있다. 제2 이미지 센서(120)는 피사체(S)의 일부 또는 전체를 촬영할 수 있다. 제2 이미지 센서(120)는 촬영된 결과를 제2 이미지 데이터로서 생성할 수 있다. 제1 및 제2 이미지 센서들(110, 120)은 제1 및 제2 이미지 데이터를 이미지 처리 장치(130)로 전송할 수 있다. 그리고, 제1 및 제2 이미지 센서들(110, 120)의 동작은 이미지 처리 장치(130)에 의해 제어될 수 있다.
예로서, 제1 및 제2 이미지 센서들(110, 120) 각각은 전하 결합 소자(Charge Coupled Device, CCD) 센서 및 CMOS(Complementary Metal-Oxide Semiconductor) 센서 중 하나로 구현될 수 있다. 제1 및 제2 이미지 센서들(110, 120) 각각에는 복수의 광 다이오드 소자가 집적될 수 있다. 빛이 제1 및 제2 이미지 센서들(110, 120)로 입사되면, 복수의 광 다이오드 각각은 입사되는 빛의 양에 따라 전자를 발생할 수 있다. 제1 및 제2 이미지 센서들(110, 120)은 각각 발생되는 전자의 양을 기반으로 제1 및 제2 이미지 데이터를 생성할 수 있다. 도 1에 도시된 이미지 처리 시스템(100)은 두 개의 이미지 센서들(110, 120)을 포함한다. 하지만, 본 발명은 이에 한정되지 않고, 이미지 처리 시스템(100)은 두 개 이상의 이미지 센서들을 포함할 수 있다.
이미지 처리 장치(130)는 제1 프로세서(131), 제2 프로세서(132), 컨트롤러(133), 보정 회로(134), 및 멀티플렉서(135)를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 시스템(100)은 제1 및 제2 프로세서들(131, 132)을 포함할 수 있다. 제1 및 제2 프로세서들(131, 132)은 각각 서로 다른 이미지 센서들(110, 120)로부터 촬영되는 제1 및 제2 이미지 데이터를 처리할 수 있다.
제1 프로세서(131)는 제1 이미지 센서(110)로부터 제1 이미지 데이터를 수신할 수 있다. 예로서, 제1 프로세서(131)는 제1 이미지 데이터를 프레임(frame) 단위로 보정할 수 있다. 좀 더 구체적으로, 제1 프로세서(131)는 제1 이미지 데이터에 포함된 노이즈를 제거할 수 있다. 제1 이미지 데이터가 디스플레이 장치(미 도시)로 출력될 때 생길 수 있는 이미지 왜곡 현상을 방지하기 위해, 제1 프로세서(131)는 제1 이미지 데이터에서 왜곡값을 미리 보상할 수 있다. 그리고, 제1 프로세서(131)는 제1 이미지 데이터의 화이트 밸런스를 보정할 수 있다. 그리고 제1 프로세서(131)는 제1 이미지 데이터의 일부 영역의 크기를 조절하여 출력 이미지로서 생성할 수 있다.
제1 프로세서(131)는 제1 이미지 센서(110)의 동작을 제어할 수 있다. 예로서, 제1 프로세서(131)는 제1 이미지 센서(110)에 포함된 셔터의 오픈(open) 또는 클로즈(close)를 제어할 수 있다. 좀 더 구체적으로, 제1 프로세서(131)는 피사체에 대한 이미지의 밝기값이 기준 값에 도달할 때까지, 제1 이미지 센서(110)의 셔터를 오픈시킬 수 있다. 그리고, 제1 프로세서(131)는 제1 이미지 센서(110)와 피사체 사이의 초점을 조절하기 위해, 렌즈(미 도시)의 위치를 제어할 수 있다.
제1 프로세서(131)에서 보정된 제1 이미지 데이터를 기반으로 제1 이미지가 생성될 수 있다. 제1 프로세서(131)는 제1 이미지를 컨트롤러(133), 보정 회로(134) 및 멀티플렉서(135)로 전송할 수 있다. 그리고, 제1 프로세서(131)의 동작은 컨트롤러(133)에 의해 제어될 수 있다.
제2 프로세서(132)는 제2 이미지 센서(120)로부터 제2 이미지 데이터를 수신할 수 있다. 그리고, 제2 프로세서(132)는 제2 이미지 센서(120)의 동작을 제어할 수 있다. 제2 프로세서(132)는 제2 이미지 데이터를 보정할 수 있다. 제2 프로세서(132)에서 보정된 제2 이미지 데이터를 기반으로 제2 이미지가 생성될 수 있다. 제2 프로세서(132)는 제2 이미지를 컨트롤러(133), 보정 회로(134) 및 멀티플렉서(135)로 전송될 수 있다. 제2 프로세서(132)의 동작은 제1 프로세서(131)의 동작과 유사 또는 동일하다. 그러므로, 제2 프로세서(132)의 동작 방법에 대한 자세한 설명은 생략된다.
컨트롤러(133)는 이미지 처리 장치(130)의 전반적인 동작을 제어할 수 있다. 예로서, 컨트롤러(133)는 제1 프로세서(131), 및 제2 프로세서(132) 각각의 동작을 제어할 수 있다. 그리고, 컨트롤러(133)는 제1 프로세서(131)로부터 제1 이미지를 수신하고, 제2 프로세서(132)로부터 제2 이미지를 수신할 수 있다. 예로서, 컨트롤러(133)는 제1 이미지 센서(110), 및 제2 이미지 센서(120) 각각의 포커싱 정도, 또는 이미지 처리 시스템(100)의 움직임을 감지할 수 있다. 또는 컨트롤러(133)는 출력 이미지(OI)에 대한 줌 계수(ZF)에 대한 정보를 감지할 수 있다.
컨트롤러(133)는 감지 결과를 기반으로 보정 회로(134)의 동작을 제어할 수 있다. 컨트롤러(133)는 보정 회로(134)에서 수행되는 이미지의 워핑 보정에 대해 제어할 수 있다. 워핑 보정은 이미지의 형태를 다른 형태로 변환하는 것을 의미한다. 좀 더 구체적으로, 워핑 보정은 이미지에 포함된 픽셀들 각각의 좌표를 기준 좌표로 변환하는 것을 의미한다. 이때, 픽셀들 각각의 좌표는 위치 변환 규칙을 기반으로 변환될 수 있다. 예로서, 위치 변환 규칙은 호모그래피(homography), 또는 리맵핑(remapping) 방식을 이용할 수 있다. 위치 변환 규칙을 이용하여, 이미지에 포함된 픽셀들의 좌표는 기준 좌표로 변환될 수 있다.
그리고, 워핑 보정량은 리매핑을 수행할 때 사용되는 보정 계수 값 또는 호모 그래피 연산에 사용되는 행렬에 의해 결정될 수 있다. 예로서, 보정 계수 값이 증가할 수록, 워핑 보정량은 증가하고, 보정 계수 값이 ‘1’에 가까워 질수록, 워핑 보정량은 감소할 수 있다. 또는, 행렬의 계수를 변경함으로써 워핑 보정량을 조절할 수 있고, 항등 행렬(identity matrix)이 되는 경우, 워핑 보정은 더 이상 수행되지 않을 수 있다.
컨트롤러(133)는 제1 이미지 및 제2 이미지 사이의 중첩되는 영역에 대해 워핑 보정을 수행하도록 보정 회로(134)를 제어할 수 있다. 컨트롤러(133)는 제1 이미지를 기반으로 제2 이미지를 워핑 보정하도록 보정 회로(134)를 제어 할 수 있다. 또는, 컨트롤러(133)는 제2 이미지를 기반으로 제1 이미지를 워핑 보정하도록 보정 회로(134)를 제어할 수 있다.
컨트롤러(133)는 제1 이미지의 픽셀들의 좌표들로부터 제1 기준 좌표들을 추출할 수 있고, 제2 이미지 픽셀들의 좌표들로부터 제2 기준 좌표들을 추출할 수 있다.
본 발명의 실시 예에 따른 컨트롤러(133)는 보정 회로(134)에서 워핑 보정을 수행하는 시간을 제어할 수 있다. 예로서, 컨트롤러(133)는 워핑 보정의 수행 시간을 제어하기 위한 타이머를 포함할 수 있다. 컨트롤러(133)는 보정 회로(134)에서 기준 시간 동안 워핑 보정이 수행되도록 제어할 수 있다. 컨트롤러(133)는 기준 시간이 경과하면, 보정 회로(134)의 동작을 중지할 수 있다.
또는, 컨트롤러(133)는 수신되는 제1 이미지 및 제2 이미지 각각의 프레임(frame)의 개수를 카운트할 수 있다. 제1 이미지 및 제2 이미지 각각의 프레임의 개수를 카운트하기 위해, 컨트롤러(133)는 카운터 회로를 포함할 수 있다.
예로서, 컨트롤러(133)는 보정 회로(134)의 워핑 보정이 시작되는 시점부터, 제1 이미지 및 제2 이미지 각각의 프레임의 개수를 카운트할 수 있다. 컨트롤러(133)는 제1 이미지 및 제2 이미지 각각의 프레임의 개수가 기준 카운트에 도달할 때까지 보정 회로(134)에서 워핑 보정을 수행하도록 제어할 수 있다. 제1 이미지 및 제2 이미지 각각의 프레임의 개수가 기준 카운트에 도달하면, 컨트롤러(133)는 보정 회로(134)의 동작을 중지시킬 수 있다.
보정 회로(134)는 제1 프로세서(131)로부터 제1 이미지를 수신하고, 제2 프로세서(132)로부터 제2 이미지를 수신할 수 있다. 그리고, 보정 회로(134)의 동작은 컨트롤러(133)에 의해 제어될 수 있다.
보정 회로(134)는 제1 이미지 포함되는 제1 기준 좌표들, 및 제2 이미지에 포함되는 제2 기준 좌표들에 대한 정보를 컨트롤러(133)로부터 제공받을 수 있다. 보정 회로(134)는 제1 기준 좌표들 및 제2 기준 좌표들을 이용하여, 제1 이미지 및 제2 이미지에 대해 워핑 보정을 수행할 수 있다.
보정 회로(134)가 제1 이미지 및 제2 이미지 사이의 중첩되는 영역에 대해 워핑 보정을 수행하는 경우, 보정 회로(134)는 제1 이미지 및 제2 이미지 중 하나를 기준 이미지로 설정할 수 있다. 예로서, 제1 이미지가 기준 이미지인 것으로 가정한다. 보정 회로(134)는 제2 이미지와 중첩된 제1 이미지 영역에서 기준 좌표들을 추출하고, 제1 이미지와 중첩된 제2 이미지 영역에서 기준 좌표들을 추출할 수 있다. 보정 회로(134)는 제1 이미지의 기준 좌표들을 기반으로 제2 이미지의 기준 좌표들의 위치를 보정할 수 있다.
보정 회로(134)가 제1 이미지를 기반으로 제2 이미지를 워핑 보정하는 경우, 제1 이미지의 제1 기준 좌표들을 기반으로 제2 이미지의 제2 기준 좌표들의 위치를 보정할 수 있다. 보정 회로(134)가 제2 이미지를 기반으로 제1 이미지를 워핑 보정하는 경우, 제2 이미지의 제2 기준 좌표들을 기반으로 제1 이미지의 제1 기준 좌표들의 위치를 보정할 수 있다. 그리고, 보정 회로(134)는 기준 시간 동안 워핑 보정을 수행할 수 있다. 보정 회로(134)는 워핑 보정을 통해 생성된 보정 이미지를 멀티플렉서(135)로 제공할 수 있다.
멀티플렉서(135)는 제1 프로세서(131)로부터 제1 이미지를 수신할 수 있고, 제2 프로세서(132)로부터 제2 이미지를 수신할 수 있다. 그리고 멀티플렉서(135)는 보정 회로(134)로부터 보정된 이미지를 수신할 수 있다. 멀티플렉서(135)의 동작은 컨트롤러(133)에 의해 제어될 수 있다. 멀티플렉서(135)는 컨트롤러(133)의 제어를 기반으로 제1 이미지, 제2 이미지, 및 보정 이미지 중 하나를 출력 이미지(OI)로서 생성할 수 있다. 그리고 이미지 처리 시스템(100)은 전자 장치의 디스플레이를 통해, 전자 장치의 사용자에게 출력 이미지(OI)를 제공할 수 있다. 또는 이미지 처리 시스템(100)은 다른 전자 장치로 출력 이미지를 전송할 수 있다.
복수의 이미지 센서(110, 120)로부터 생성되는 이미지들을 기반으로 출력 이미지를 생성하기 위해서, 워핑 보정이 필요하다. 하지만, 워핑 보정을 오랜 시간 수행하는 경우, 이미지 처리 시스템(100)은 워핑 보정을 위한 연산 과정에서 많은 전력을 소모할 수 있다. 본 발명의 실시 예에 따른 이미지 처리 시스템(100)은 기준 시간 동안만 워핑 보정을 수행하고, 기준 시간이 지나면 워핑 보정을 수행하지 않고 출력 이미지를 생성할 수 있다. 본 발명의 실시 예에 따른 이미지 처리 시스템(100)은 워핑 보정 시간을 단축 시킴으로써, 소비되는 전력의 양을 감소시킬 수 있다.
도 2는 도 1의 제1 및 제2 이미지 센서들의 피사체를 촬영하는 방법을 예시적으로 보여주기 위한 개념도이다. 도 1 및 도 2를 참조하면, 제1 이미지 센서(110) 및 제2 이미지 센서(120) 각각은 피사체(S)를 촬영할 수 있다. 제1 이미지 센서(110)는 제1 방향(d1)에 위치하고, 제2 이미지 센서(120)는 제1 방향(d1)과 반대되는 제2 방향(d2)에 위치할 수 있다. 그리고, 제1 이미지 센서(110) 및 제2 이미지 센서(120)는 제1 거리(D1)만큼 이격될 수 있다.
제1 이미지 센서(110) 및 제2 이미지 센서(120) 사이의 물리적인 거리(D1)에 의해, 제1 이미지 센서(110) 및 제2 이미지 센서(120)는 서로 다른 각도에서 피사체(S)를 촬영할 수 있다. 예로서, 제1 이미지 센서(110)에서 촬영되는 제1 이미지(I1)는 제1 방향(d1)에서 바라본 피사체(S)를 포함할 수 있다. 제2 이미지 센서(120)에서 촬영되는 제2 이미지(I2)는 제2 방향(d2)에서 바라본 피사체(S)를 포함할 수 있다. 이로 인해, 제1 이미지(I1)에 포함되는 피사체(S)의 위치와 제2 이미지(I2)에 포함되는 피사체(S)의 위치는 서로 다를 수 있다.
도 3은 도 1의 이미지 처리 시스템의 동작 방법을 예시적으로 보여주기 위한 순서도이다. 도 1 내지 도 3을 참조하면, S110 단계에서, 이미지 처리 시스템(100)은 제1 이미지 및 제2 이미지를 생성할 수 있다. 예로서, 도 1에서 설명된 제1 이미지는 도 2에 도시된 제1 이미지(I1)와 동일할 수 있고, 도 1에서 설명된 제2 이미지는 도 2에 도시된 제2 이미지(I2)와 동일할 수 있다. S120 단계에서 이미지 처리 시스템(100)은 제1 이미지 또는 제2 이미지를 출력 이미지로서 생성할 수 있다.
S130 단계에서, 이미지 처리 시스템(100)은 제1 이미지의 제1 기준 좌표들 및 제2 이미지의 제2 기준 좌표들을 기반으로 보정 이미지를 생성할 수 있다. 예로서, 제1 이미지의 제1 기준 좌표들은 제1 이미지의 픽셀들의 좌표들을 기반으로 설정될 수 있고, 제2 이미지의 제2 기준 좌표들은 제2 이미지의 픽셀들의 좌표들을 기반으로 설정될 수 있다. 보정 회로(134)는 제1 이미지 또는 제2 이미지 중 하나를 기준 이미지로 설정하고, 기준 이미지의 기준 좌표들을 기반으로 다른 이미지의 기준 좌표들의 위치를 보정할 수 있다.
S140 단계에서, 이미지 처리 시스템(100)은 보정 시간이 기준 시간을 초과하는지에 대해 판단할 수 있다. 보정 시간이 기준 시간을 초과하지 않는 경우(NO), 이미지 처리 시스템(100)은 보정 이미지를 생성하는 과정을 다시 수행할 수 있다(S130). 보정 시간이 기준 시간을 초과하는 경우(Yes), S150 단계에서, 이미지 처리 시스템(100)은 워핑 보정을 중단할 수 있다. 예로서, 워핑 보정을 수행하는 동안, 이미지 처리 시스템(100)은 워핑 보정에 필요한 변환 계수 값을 감소시킬 수 있다.
도 4는 도 1의 제1 및 제2 이미지 센서들의 피사체를 촬영하는 방법을 예시적으로 보여주기 위한 개념도이다. 도 1 및 도 4를 참조하면, 제1 이미지 센서(110)는 광각 렌즈를 이용하여 피사체(S)를 촬영할 수 있다. 광각 렌즈는 넓은 화각을 가질 수 있다. 예로서, 일반 렌즈의 화각이 44°~50°인 경우, 광각 렌즈의 화각은 60°~80°일 수 있다. 이는 하나의 예시일 뿐, 광각 렌즈의 화각은 80°보다 넓을 수 있다. 제1 이미지 센서(110)는 피사체(S)의 제1 영역(A1)을 촬영할 수 있다. 제1 영역(A1)은 피사체(S)의 전체 영역과 동일할 수 있다.
제2 이미지 센서(120)는 망원 렌즈를 이용하여 피사체(S)를 촬영할 수 있다. 망원 렌즈는 광각 렌즈보다 좁은 화각을 가질 수 있다. 예로서, 망원 렌즈의 화각은 15° 미만을 수 있다. 따라서, 제2 이미지 센서(120)는 피사체(S)의 제2 영역(A2)을 촬영할 수 있다. 제2 영역(A2)는 피사체(S)의 일부분일 수 있다.
제1 이미지 센서(110)는 제1 방향(d1)에 위치하고, 제2 이미지 센서(120)는 제1 방향(d1)과 반대되는 제2 방향(d2)에 위치할 수 있다. 그리고, 제1 이미지 센서(110) 및 제2 이미지 센서(120)는 제2 거리(D2)만큼 이격될 수 있다.
제1 이미지 센서(110) 및 제2 이미지 센서(120) 사이의 물리적인 거리(D2)에 의해, 제1 이미지 센서(110) 및 제2 이미지 센서(120)는 서로 다른 각도에서 피사체(S)를 촬영할 수 있다. 제1 이미지 센서(110)는 제1 방향(d1)에서 바라본 피사체(S)의 제1 영역(A1)을 제1 이미지(I1)로서 생성할 수 있다. 그리고 제2 이미지 센서(120)는 제2 방향(d2)에서 바라본 피사체(S)의 제2 영역(A2)를 제2 이미지(I2)로서 생성할 수 있다.
이미지 처리 시스템(100)에서 서로 다른 화각을 갖는 이미지 센서들(110, 120)이 사용되는 이유는 출력 이미지에 포함된 피사체에 대한 줌 계수(zoom factor)가 변경될 때, 지속적으로 선명한 이미지를 제공하기 위함이다. 출력 이미지에 포함된 피사체 피사체에 대한 줌 계수가 변경될 때, 이미지 처리 시스템(100)의 출력 이미지를 생성하는 방법은 도 5 내지 도 7을 참조하여 자세히 설명된다.
도 5는 출력 이미지에 포함된 피사체에 대해 줌 계수가 증가하는 경우, 도 1의 이미지 처리 시스템에서 출력 이미지를 생성하는 방법을 예시적으로 보여주기 위한 개념도이다. 도 5를 참조하면, 줌 계수(Zoom Factor, ZF)가 증가할 수록, 출력 이미지(OI)에 포함되는 피사체의 크기는 확대될 수 있다. 줌 계수가 증가하더라도, 출력 이미지(OI)의 크기는 일정하게 유지될 수 있다.
도 1, 도 4, 및 도 5를 참조하면, 컨트롤러(133)는 이미지 처리 장치(130)의 외부로부터 줌 계수(ZF)에 대한 정보를 획득할 수 있다. 줌 계수(ZF)가 '1' 인 경우, 제1 이미지 센서(110)에서 촬영되는 제1 이미지(I1)가 출력 이미지(OI)로서 생성될 수 있다. 예로서, 컨트롤러(133)는 제1 이미지 센서(110)를 활성화하고, 제2 이미지 센서(120)를 비활성화할 수 있다. 제1 이미지 센서(110)가 활성화되는 경우, 제1 이미지 센서(110)는 피사체(S)에 대한 촬영을 수행할 수 있다. 제2 이미지 센서(120)가 비활성화되는 경우, 제2 이미지 센서(120)는 피사체(S)에 대한 촬영을 수행할 수 없다. 또는, 제1 이미지 센서(110) 제2 이미지 센서(120)는 피사체(S)에 대한 촬영을 수행하고, 컨트롤러(133)는 제1 이미지(I1)를 출력 이미지(OI)로서 출력하도록 멀티플렉서(135)를 제어할 수 있다.
출력 이미지(OI)에 대한 줌 계수(ZF)의 증가에 비례하여, 제1 이미지(I1)에 포함된 피사체는 확대될 수 있다. 예로서, 컨트롤러(133)는 피사체를 확대하기 위해, 제1 프로세서(131)를 제어할 수 있다. 제1 프로세서(131)는 줌 계수(ZF)에 기반하여, 제1 이미지(I1)에 포함된 피사체를 확대할 수 있다. 줌 계수(ZF)가 제1 기준 값(rv1)에 도달하는 경우, 제1 프로세서(131)는 제1 이미지(I1)의 제1 이미지 영역(a1)을 확대할 수 있다. 예로서, 제1 프로세서(131)는 제1 이미지 영역(a1)을 출력 이미지(OI)의 크기와 동일하게 확대할 수 있다. 확대된 제1 이미지 영역(a1)은 출력 이미지(OI)로서 생성될 수 있다. 줌 계수(ZF)가 제2 기준 값(rv2)에 가깝게 증가할수록, 제1 이미지(I1)의 제1 이미지 영역(a1)의 크기는 작아질 수 있다.
줌 계수(ZF)가 제2 기준 값(rv2)에 도달하면, 제1 이미지 센서(110) 대신 제2 이미지 센서(120)로부터 촬영된 제2 이미지(I2)를 기반으로 출력 이미지(OI)가 생성될 수 있다. 예로서, 제1 이미지 센서(110)를 비활성화하고, 제2 이미지 센서(120)를 활성화할 수 있다. 제1 이미지 센서(110)가 비활성화되는 경우, 제1 이미지 센서(110)는 피사체(S)에 대한 촬영을 수행할 수 없다. 제2 이미지 센서(120)가 비활성화되는 경우, 제2 이미지 센서(120)는 피사체(S)에 대한 촬영을 수행할 수 있다.
줌 계수(ZF)가 제2 기준 값(rv2)에 도달하면, 출력 이미지(OI)는 확대된 제2 영역(A2)에 대한 이미지가 출력 이미지(IO)로서 생성될 수 있다. 만약, 제1 이미지(I1)에 포함된 피사체를 확대하여 출력 이미지(OI)를 생성하는 경우, 출력 이미지(OI)의 화질이 안 좋아질 수 있다. 그러므로, 이미지 처리 장치(130)는 제1 이미지 (I1) 대신 제2 이미지(I2)를 이용하여 출력 이미지(OI)를 생성할 수 있다. 또는, 제1 이미지 센서(110) 제2 이미지 센서(120)는 피사체(S)에 대한 촬영을 수행하고, 컨트롤러(133)는 제2 이미지(I2)를 기반으로 출력 이미지(OI)를 생성하도록 보정 회로(134)를 제어할 수 있다.
도 4 및 도 5를 참조하면, 제1 이미지 센서(110)의 제1 영역(A1)에 대한 촬영 방향과 제2 이미지 센서(120)의 제2 영역(A2)에 대한 촬영 방향은 서로 다르다. 그러므로, 제2 이미지 센서(120)로부터 촬영된 제2 이미지(I2)를 출력 이미지(OI)로서 바로 출력하게 되면, 출력 이미지(OI)에 포함되는 피사체의 위치가 변경될 수 있다. 이를 방지하기 위해, 보정 회로(134)는 제2 이미지(I2)를 워핑 보정할 수 있다.
좀 더 구체적으로, 줌 계수(ZF)가 제2 기준 값(rv2)에 도달하면, 컨트롤러(133)는 보정 회로(134)에서 워핑 보정을 수행하도록 제어할 수 있다. 컨트롤러(133)는 제1 이미지(I1)의 제1 기준 좌표들 및 제2 이미지(I2)의 제2 기준 좌표들에 대한 정보를 보정 회로(134)로 제공할 수 있다. 보정 회로(134)는 제1 이미지(I1)의 제1 기준 좌표들을 기반으로 제2 이미지(I2)의 제2 기준 좌표들의 위치를 보정할 수 있다. 이로 인해, 출력 이미지(OI)에서 줌 계수(ZF)의 증가에 비례하여 피사체는 확대되지만, 피사체의 위치는 변경되지 않는다. 이때, 이미지 처리 시스템(100)에서 소모되는 전력량은 증가할 수 있다.
제2 프로세서(132)는 줌 계수(ZF)에 기반하여, 제2 이미지(I2)에 포함된 피사체를 확대할 수 있다. 줌 계수(ZF)가 제3 기준 값(rv3)에 도달하는 경우, 제2 프로세서(132)는 제2 이미지(I2)의 제2 이미지 영역(a2)을 확대할 수 있다. 예로서, 제2 프로세서(132)는 제2 이미지 영역(a2)을 출력 이미지(OI)의 크기와 동일하게 확대할 수 있다.
보정 회로(134)는 제1 이미지(I1)의 기준 좌표들을 기반으로 확대된 제2 이미지 영역(a2)의 기준 좌표들의 위치를 보정할 수 있다. 보정된 제2 이미지 영역(a2)은 출력 이미지(OI)로서 생성될 수 있다. 이로 인해, 출력 이미지(OI)에서 피사체가 확대되지만, 피사체의 위치는 변경되지 않는다. 그리고 줌 계수(ZF)가 제4 기준 값(rv4)에 가깝게 증가할수록, 제2 이미지(I2)의 제1 이미지 영역(a2)의 크기는 작아질 수 있다. 줌 계수(ZF)가 제2 기준 값(rv2)에서 제4 기준 값(rv4)로 가까워 질수록, 워핑 보정량은 감소할 수 있다. 예로서, 워핑 보정에 필요한 보정 계수 값이 ‘1’에 가까워지거나, 형렬이 항등 행렬로 될 수 있다.
줌 계수(ZF)가 제4 기준 값(rv4)에 도달하는 경우, 제2 프로세서(132)는 제2 이미지(I2)의 제2 이미지 영역(a2)에 포함된 피사체를 확대할 수 있다. 예로서, 제2 프로세서(132)는 제2 이미지 영역(a2)을 출력 이미지(OI)의 크기와 동일하게 확대할 수 있다. 그리고, 보정 회로(134)는 확대된 제2 이미지 영역(a2)에 대해 워핑 보정을 수행하지 않는다. 확대된 제2 이미지 영역(a2)은 출력 이미지(OI)로서 출력될 수 있다. 이로 인해, 출력 이미지(OI)에서 피사체의 위치가 변경될 수 있다. 이를 보상하기 위해, 보정 회로(134)는 2 이미지 영역(a2)에 대해 변환(translation) 보정 또는 크롭(crop) 보정을 수행할 수 있다.기준 값 사용자는 피사체의 위치 변화에 대해 인지하지 못할 수 있다. 그리고, 이미지 처리 시스템(100)에서 소모되는 전력량은 감소할 수 있다.
출력 이미지(OI)에 포함된 피사체에 대한 줌 계수(ZF)가 증가하는 경우, 피사체를 촬영하는 이미지 센서의 종류가 변경될 수 있다. 피사체를 촬영하는 이미지 센서의 종류가 변경되는 경우, 이미지 처리 시스템(100)은 이미지들(I1, I2)의 워핑 보정을 수행할 수 있다. 하지만, 장시간 워핑 보정을 수행하는 경우, 이미지 처리 시스템(100)은 많은 전력을 소비할 수 있다. 전력 소비를 감소시키기 위해, 본 발명의 실시 예에 따른 이미지 처리 시스템(100)은 줌 계수(ZF)가 정해진 기준 값에 도달하는 경우, 워핑 보정을 더 이상 수행하지 않는다. 그러므로, 본 발명의 실시 예에 따른 이미지 처리 시스템(100)의 전력 효율은 향상될 수 있다.
도 6은 출력 이미지에 포함된 피사체에 대한 줌 계수가 감소하는 경우, 도 1의 이미지 처리 시스템의 출력 이미지를 생성하는 방법을 예시적으로 보여주기 위한 개념도이다. 출력 이미지(OI)에 포함되는 피사체에 대해 축소하는 경우, 줌 계수(ZF)의 크기는 감소할 수 있다.
도 1, 도 4 내지 도 6을 참조하면, 줌 계수(ZF)가 제4 기준 값(rv4)인 경우, 이미지 처리 장치(130)의 제2 프로세서(132)는 제2 이미지(I2)의 제2 이미지 영역(a2)을 기반으로 출력 이미지(OI)를 생성할 수 있다. 예로서, 제2 프로세서(132)는 제2 이미지 영역(a2)을 출력 이미지(OI)의 크기와 동일하게 확대할 수 있다. 그리고 확대된 제2 이미지 영역(a2)은 출력 이미지(OI)로서 출력될 수 있다.
줌 계수(ZF)가 제4 기준 값(rv4)보다 작아지는 경우, 제 이미지(I2)에서 제2 이미지 영역(a2)의 크기는 커질 수 있다. 예로서, 줌 계수(ZF)가 제3 기준 값(rv3)에 가까워질수록, 제2 이미지 영역(a2)의 크기는 커지고, 제2 이미지 영역(a2)에 대한 확대율은 감소할 수 있다. 그리고 제2 프로세서(132)는 제2 이미지 영역(a2)을 출력 이미지(OI)의 크기와 동일하게 확대할 수 있다.
보정 회로(134)는 제1 이미지(I1)의 기준 좌표들을 기반으로 확대된 제2 이미지 영역(a2)의 기준 좌표들의 위치를 보정할 수 있다. 보정된 제2 이미지 영역(a2)은 출력 이미지(OI)로서 생성될 수 있다. 이로 인해, 출력 이미지(OI)에서 피사체의 위치가 변경될 수 있다.기준 값
줌 계수(ZF)가 제2 기준 값(rv2)에 가까워질수록, 제2 이미지 영역(a2)은 커질 수 있다. 그리고 줌 계수(ZF)가 제2 기준 값(rv2)에 도달하는 경우, 제2 이미지 영역(a2)의 크기는 제2 이미지 센서(110)에서 촬영되는 제2 이미지(I2)의 크기와 동일해질 수 있다. 제2 프로세서(132)는 제2 이미지(I2)를 더 이상 확대하지 않는다. 그리고 보정 회로(134)는 제1 이미지(I1)의 기준 좌표들을 기반으로 제2 이미지(I2)의 기준 좌표들의 위치를 보정할 수 있다. 보정된 제2 이미지(I2)는 출력 이미지(OI)로서 생성될 수 있다.
줌 계수(ZF)가 제2 기준 값(rv2)보다 작아지는 경우, 제2 이미지 센서(120) 대신 제1 이미지 센서(110)로부터 촬영되는 제2 이미지(I1)를 기반으로 출력 이미지(OI)가 생성될 수 있다. 줌 계수(ZF)가 제1 기준 값(rv1)에 도달하는 경우, 제1 프로세서(131)는 제1 이미지(I1)의 제1 이미지 영역(a1)에 포함된 피사체를 확대할 수 있다. 예로서, 제1 프로세서(131)는 제1 이미지 영역(a1)을 출력 이미지(OI)의 크기와 동일하게 확대할 수 있다. 확대된 제1 이미지 영역(a1)은 출력 이미지(OI)로서 생성될 수 있다. 줌 계수(ZF)가 '1'에 가까워질수록, 제1 이미지(I1)의 제1 이미지 영역(a1)의 크기는 커질 수 있다. 마지막으로, 줌 계수(ZF)가 '1'인 경우, 제1 이미지 센서(110)에서 촬영되는 제1 이미지(I1)가 출력 이미지(OI)로서 생성될 수 있다.
도 7은 도 1의 이미지 처리 시스템에서 이미지에 포함된 피사체를 확대하는 방법을 예시적으로 보여주기 위한 순서도이다. 도 1, 도 4, 도 5, 및 도 7을 참조하면, S210 단계에서 이미지 처리 시스템(100)은 제1 이미지(I1)를 기반으로 출력 이미지(OI)를 생성할 수 있다. S220 단계에서, 제1 이미지(I1)에 포함되는 피사체가 확대될 수 있다. 제1 이미지(I1)의 피사체가 확대됨에 따라, 줌 계수(ZF)도 커질 수 있다.
S230 단계에서, 이미지 처리 시스템(100)은 줌 계수(ZF)가 제2 기준 값(rv2) 이상인지 판단할 수 있다. 줌 계수(ZF)가 제2 기준 값(rv2)보다 작으면(No), 이미지 처리 시스템(100)은 제1 이미지(I1)의 피사체를 확대하는 과정을 반복할 수 있다(S220). 줌 계수(ZF)가 제2 기준 값(rv2) 이상이면(Yes), S240 단계에서, 이미지 처리 시스템(100)은 제1 이미지 및 제2 이미지를 보정하여 생성되는 보정 이미지를 기반으로 하는 출력 이미지(OI)를 생성할 수 있다. 이미지 처리 시스템(100)은 제1 이미지의 기준 좌표들을 기반으로 제2 이미지의 기준 좌표들의 위치를 보정하여 보정 이미지를 생성할 수 있다. 그리고 보정 이미지를 출력 이미지(OI)로서 생성할 수 있다.
S250 단계에서, 이미지 처리 시스템(100)은 줌 계수(ZF)가 제4 기준 값(rv4) 이상인지 판단할 수 있다. 줌 계수(ZF)가 제4 기준 값(rv4)보다 작으면(No), 이미지 처리 시스템(100)은 보정 이미지를 생성하는 과정을 반복할 수 있다(S240). 줌 계수(ZF)가 제4 기준 값(rv4) 이상이면(Yes), S260 단계에서, 이미지 처리 시스템(100)는 보정 동작을 중지할 수 있다. 그리고, 이미지 처리 시스템(100)은 제2 이미지(I2)를 기반으로 출력 이미지(OI)를 생성할 수 있다.
도 8은 본 발명의 실시 예에 따른 이미지 처리 시스템을 보여주기 위한 블록도이다. 도 8을 참조하면, 이미지 처리 시스템(200)은 제1 이미지 센서(210), 제2 이미지 센서(220), 제3 이미지 센서(230) 및 이미지 처리 장치(240)를 포함할 수 있다. 제1 이미지 센서(210), 제2 이미지 센서(220), 및 제3 이미지 센서(230)는 도 9를 참조하여 설명될 수 있다.
도 9는 도 8의 제1 내지 제3 이미지 센서들이 피사체를 촬영하는 방법을 예시적으로 보여주기 위한 개념도이다. 도 8 및 도 9를 참조하면, 제1 내지 제3 이미지 센서들(210, 220, 230) 각각은 일정한 거리(D)를 사이에 두고 이격될 수 있다. 예로서, 제1 이미지 센서(210)는 제1 방향(d1)에 위치하고, 제3 이미지 센서(230)는 제1 방향(d1)과 반대되는 제2 방향(d2)에 위치할 수 있다. 그리고, 제2 이미지 센서(220)는 제1 이미지 센서(210), 및 제3 이미지 센서(230) 사이에 위치할 수 있다.
제1 내지 제3 이미지 센서들(210, 220, 230) 사이의 물리적인 거리(D)에 의해, 제1 내지 제3 이미지 센서들(210, 220, 230)은 각각 서로 다른 각도에서 피사체들(S1, S2, S3)을 촬영할 수 있다. 예로서 제1 이미지 센서(210)는 제1 피사체(S1) 및 제2 피사체의 일부분(S2_1)을 포함하는 제1 영역(A1)을 촬영할 수 있다. 제2 이미지 센서(220)는 제2 피사체(S2)를 포함하는 제2 영역(A2)을 촬영할 수 있다. 그리고 제3 이미지 센서(230)는 제3 피사체(S3) 및 제2 피사체의 일부분(S2_2)을 포함하는 제3 영역(A3)을 촬영할 수 있다.
다시 도 8을 참조하면, 제1 내지 제3 이미지 센서들(210, 220, 230)은 촬영 결과를 기반으로 제1 내지 제3 이미지 데이터를 생성할 수 있다. 제1 내지 제3 데이터는 이미지 처리 장치(240)로 전송될 수 있다.
이미지 처리 장치(240)는 제1 프로세서(241), 제2 프로세서(242), 제3 프로세서(243), 컨트롤러(244), 보정 회로(245), 및 멀티플렉서(246)를 포함할 수 있다. 제1 내지 제3 프로세서들(241, 242, 243)은 각각 제1 내지 제3 이미지 데이터를 수신할 수 있다. 제1 내지 제3 프로세서들(241, 242, 243)은 각각 제1 내지 제3 이미지 데이터의 노이즈를 제거하고, 왜곡값을 보정하고, 화이트 밸런스를 보정할 수 있다.
제1 프로세서(241)는 제1 이미지 데이터를 보정하여 제1 이미지를 생성하고, 제2 프로세서(242)는 제2 이미지 데이터를 보정하여 제2 이미지를 생성할 수 있다. 그리고 제3 프로세서(243)는 제3 이미지 데이터를 보정하여 제3 이미지를 생성할 수 있다. 제1 내지 제3 프로세서들(241, 242, 243)은 각각 제1 내지 제3 이미지들을 컨트롤러(244), 보정 회로(245), 및 멀티플렉서(246)로 전송할 수 있다.
컨트롤러(244)는 이미지 처리 장치(240)의 전반적인 동작을 제어할 수 있다. 컨트롤러(244)는 제1 내지 제3 프로세서들(241, 242, 243)로부터 각각 제1 내지 제3 이미지들을 수신할 수 있다. 그리고, 컨트롤러(244)는 제1 이미지 센서(210), 제2 이미지 센서(220), 또는 제3 이미지 센서(230) 각각의 포커싱 정도, 또는 이미지 처리 시스템(200)의 움직임을 감지할 수 있다. 또는, 컨트롤러(244)는 출력 이미지(OI)에 대한 줌 계수(ZF) 정보를 감지할 수 있다.
제1 내지 제3 이미지 센서들(210, 220, 230) 사이의 촬영 전환이 발생하는 경우, 컨트롤러(244)는 보정 회로(245)를 제어할 수 있다. 예로서, 컨트롤러(244)는 보정 회로(245)에서 수행되는 이미지의 워핑 보정에 대해 제어할 수 있다. 예로서, 컨트롤러(244)는 제1 이미지의 제1 기준 좌표들, 제2 이미지의 제2 기준 좌표들, 및 제3 이미지의 제3 기준 좌표들에 대한 정보를 보정 회로(245)로 제공할 수 있다. 제1 이미지의 제1 기준 좌표들은 제1 이미지의 픽셀들의 좌표들을 기반으로 설정될 수 있다. 제2 이미지의 제2 기준 좌표들을 제2 이미지의 픽셀들의 좌표들을 기반으로 설정될 수 있다. 그리고, 제3 이미지의 제3 기준 좌표들은 제3 이미지의 픽셀들의 좌표들을 기반으로 설정될 수 있다.
컨트롤러(244)는 보정 회로(245)의 워핑 보정의 수행 시간을 제어할 수 있다. 예로서, 컨트롤러(244)는 워핑 보정의 수행 시간을 제어하기 위한 타이머를 포함할 수 있다. 컨트롤러(244)는 보정 회로(245)에서 기준 시간 동안 워핑 보정이 수행되도록 제어할 수 있다. 컨트롤러(244)는 기준 시간이 경과하면, 보정 회로(245)의 동작을 중지할 수 있다.
또는, 컨트롤러(244)는 수신되는 제1 이미지 및 제2 이미지 각각의 프레임의 개수를 카운트할 수 있다. 제1 이미지, 제2 이미지, 및 제3 이미지 각각의 프레임의 개수를 카운트하기 위해, 컨트롤러(244)는 카운터 회로를 포함할 수 있다.
예로서, 제1 내지 제3 이미지 센서들(210, 220, 230) 사이의 촬영 전환이 발생하는 경우, 컨트롤러(244)는 보정 회로(245)의 워핑 보정이 시작되는 시점부터, 제1 이미지, 제2 이미지, 및 제3 이미지 각각의 프레임의 개수를 카운트할 수 있다. 컨트롤러(244)는 제1 이미지, 제2 이미지, 및 제3 이미지 각각의 프레임의 개수가 기준 카운트에 도달할 때까지 보정 회로(245)에서 워핑 보정을 수행하도록 제어할 수 있다. 제1 이미지 및 제2 이미지 각각의 프레임의 개수가 기준 카운트에 도달하면, 컨트롤러(133)는 보정 회로(134)의 동작을 중지할 수 있다.
보정 회로(245)는 컨트롤러(244)의 제어를 기반으로, 제1 내지 제3 이미지들에 대한 워핑 보정을 수행할 수 있다. 보정 회로(245)는 제1 내지 제3 이미지들의 제1 내지 제3 기준 좌표들을 이용하여 워핑 보정을 수행할 수 있다. 보정 회로(245)에서 수행되는 이미지를 보정하는 방법은 도 10 내지 도 14를 참조하여 설명될 수 있다.
도 10은 도 8의 이미지 처리 시스템에서 제1 이미지를 보정하는 방법을 예시적으로 보여주기 위한 개념도이다. 제1 내지 제3 이미지들을 기반으로, 출력 이미지(OI)를 생성하는 경우, 보정 회로(245)는 제1 내지 제3 이미지들을 하나의 이미지로 보정할 수 있다.
도 10을 참조하면, 제1 이미지(I1)와 제2 이미지(I2)의 일부 영역은 중첩될 수 있다. 그리고, 제1 이미지(I1)와 제2 이미지(I2)는 각각 서로 다른 각도에서 촬영될 수 있다. 이로 인해, 제1 이미지(I1)에 포함되는 제2 피사체의 일부분(S2_1)과 제2 이미지(I2)에 포함되는 제2 피사체의 일부분(S2_1)은 서로 매칭되지 않을 수 있다. 보정 회로(245)는 중첩되는 영역에 포함되는 제2 피사체의 일부분(S2_1)을 매칭하기 위해 워핑 보정을 수행할 수 있다. 예로서, 제2 이미지(I2)를 기반으로 제1 이미지(I1)에 대해 워핑 보정을 수행할 수 있다. 이는 본 발명의 일 예시일 뿐, 제1 이미지(I1)를 기반으로 제2 이미지(I2)에 대해 워핑 보정을 수행할 수 있다.
예로서, 제2 이미지(I2)와 중첩되는 제1 이미지(I1)의 영역에는 제1 기준 좌표들(a, b, c, d)이 포함될 수 있다. 그리고, 제1 이미지(I1)와 중첩되는 제2 이미지(I2)의 영역에는 제2 기준 좌표들(A, B, C, D)이 포함될 수 있다. 중첩되는 영역에서 제1 이미지(I1)와 제2 이미지(I2)는 각각 네 개의 기준 좌표들을 포함할 수 있다. 하지만, 이는 본 발명의 일 예시일 뿐, 중첩되는 영역에서 제1 이미지(I1)와 제2 이미지(I2) 각각은 네 개 이상의 기준 좌표들을 포함할 수 있다.
보정 회로(245)는 워핑 보정을 수행하기 위해, 제1 이미지(I1)의 제1 기준 좌표들(a, b, c, d)을 각각 제2 이미지(I2)의 제2 기준 좌표들(A, B, C, D)과 동일한 좌표로 이동시킬 수 있다. 보정 회로(245)는 제1 이미지(I1)를 보정하여 보정된 제1 이미지(I1')를 생성할 수 있다. 이로 인해, 보정된 제1 이미지(I1')에 포함되는 제2 피사체의 일부분(S2_1)과 제2 이미지(I2)에 포함되는 제2 피사체의 일부분(S2_1)은 서로 매칭될 수 있다.
도 11은 도 8의 이미지 처리 시스템에서 제2 이미지를 보정하는 방법을 예시적으로 보여주기 위한 개념도이다. 도 11을 참조하면, 제2 이미지(I2)와 제3 이미지(I3)의 일부 영역은 중첩될 수 있다. 제2 이미지(I2)와 제3 이미지(I3)는 각각 서로 다른 각도에서 촬영될 수 있다. 이로 인해, 제2 이미지(I2)에 포함되는 제2 피사체의 일부분(S2_2)과 제3 이미지(I3)에 포함되는 제2 피사체의 일부분(S2_2)은 서로 매칭되지 않을 수 있다. 보정 회로(245)는 중첩되는 영역에 포함되는 제2 피사체의 일부분(S2_2)을 매칭하기 위해 워핑 보정을 수행할 수 있다. 예로서, 제2 이미지(I2)를 기반으로 제3 이미지(I3)에 대해 워핑 보정을 수행할 수 있다. 이는 본 발명의 일 예시일 뿐, 제3 이미지(I3)를 기반으로 제2 이미지(I2)에 대해 워핑 보정을 수행할 수 있다.
예로서, 제2 이미지(I2)와 중첩되는 제3 이미지(I3)의 영역에는 제3 기준 좌표들(e, f, g, h)이 포함될 수 있다. 그리고 제3 이미지(I3)와 중첩되는 제2 이미지 (I2)의 영역에는 제4 기준 좌표들(E, F, G, H)이 포함될 수 있다. 중첩되는 영역에서 제2 이미지(I2)와 제3 이미지(I3)는 각각 네 개의 기준 좌표들을 포함할 수 있다. 하지만, 이는 본 발명의 일 예시일 뿐, 중첩되는 영역에서 제2 이미지(I2)와 제3 이미지(I3)는 네 개 이상의 기준 좌표들을 포함할 수 있다.
보정 회로(245)는 워핑 보정을 수행하기 위해, 제3 이미지(I3)의 제3 기준 좌표들(e, f, g, h)을 각각 제2 이미지(I2)의 제4 기준 좌표들(E, F, G, H)의 좌표로 이동시킬 수 있다. 보정 회로(245)는 제3 이미지(I3)를 보정하여 보정된 제3 이미지(I3')를 생성할 수 있다. 이로 인해, 보정된 제3 이미지(I3')에 포함되는 제2 피사체의 일부분(S2_2)과 제2 이미지(I2)에 포함되는 제2 피사체의 일부분(S2_2)은 서로 매칭될 수 있다.
도 12는 도 8의 이미지 처리 시스템에서 생성되는 출력 이미지를 예시적을 보여주기 위한 개념도이다. 도 10 내지 도 12를 참조하면, 보정 회로(245)는 보정된 제1 이미지(I1'), 제2 이미지(I2) 및 보정된 제3 이미지(I3')을 하나의 출력 이미지(OI)로 생성할 수 있다. 그리고, 워핑 보정을 수행하는 동안 이미지 처리 시스템(200)에서 소모되는 전력량은 증가할 수 있다.
다시 도 8을 참조하면, 제1 내지 제3 이미지 센서들(210, 220, 230) 중 일부 이미지 센서의 촬영이 중단될 수 있다. 예로서, 사용자의 요청이 발생하거나, 제1 내지 제3 이미지 센서들(210, 220, 230) 사이의 촬영 전환이 발생하는 경우, 컨트롤러(244)는 제1 내지 제3 이미지 센서들(210, 220, 230)로부터 선택적으로 이미지를 수신할 수 있다. 제1 내지 제3 이미지 센서들(210, 220, 230) 중 일부 이미지 센서의 촬영이 중단되는 경우, 이미지 처리 시스템(100)의 동작 방법에 대해서는 도 13 및 도 14를 참조하여 설명된다.
도 13은 도 8의 이미지 처리 시스템에서 제3 이미지 센서의 이미지 촬영 방법을 예시적으로 보여주기 위한 개념도이다. 도 14는 도 8의 이미지 처리 시스템에서 출력 이미지를 생성하는 방법을 예시적으로 보여주기 위한 개념도이다. 도 9 및 도 13을 참조하면, 제1 및 제2 이미지 센서들(210, 220)은 촬영을 수행하지 않고, 제3 이미지 센서(230)만 촬영을 수행할 수 있다. 제3 이미지 센서(230)는 제2 피사체의 일부분(S2_2) 및 제3 피사체(S3)를 촬영할 수 있다.
도 14를 참조하면, 보정 회로(245)는 제2 이미지(I2)를 기반으로 제3 이미지(I3)를 보정하여 보정된 제3 이미지(I3')를 생성할 수 있다. 보정 회로(245)의 보정된 제3 이미지(I3')를 생성하는 방법은 도 11을 참조하여 설명된 방법과 유사 또는 동일하다. 그러므로 보정 회로(245)의 보정된 제3 이미지(I3')를 생성하는 방법에 대한 자세한 설명은 생략된다. 보정된 제3 이미지(I3')는 출력 이미지(OI)로서 생성될 수 있다.
제1 내지 제3 이미지 센서들(210, 220, 230)에서 촬영되는 제1 내지 제3 이미지들을 기반으로 출력 이미지(OI)가 생성되는 중, 제1 내지 제2 이미지 센서들(210, 220)의 촬영이 중단될 수 있다. 제3 이미지(I3)을 워핑 보정하지 않고, 바로 출력 이미지(OI)로서 생성하는 경우, 출력 이미지(OI)에 포함되는 피사체(예로서 제2 피사체의 일부분(S2_2)의 위치가 변경될 수 있다. 이를 방지하기 위해, 보정 회로(245)는 보정된 제3 이미지(I3')를 출력 이미지(OI)로서 생성할 수 있다. 그리고 보정 회로(245)는 제3 이미지(I3)에 대해 제1 시간 동안 워핑 보정을 수행할 수 있다.
이때, 이미지 처리 시스템(200)에서 소모되는 전력량은 보정된 제1 이미지(I1'), 제2 이미지(I2) 및 보정된 제3 이미지(I3')을 하나의 출력 이미지(OI)로 생성할 때보다 감소할 수 있다. 하지만, 이미지 처리 시스템(200)에서 소모되는 전력량은 여전히 크다. 제1 시간 이후, 보정 회로(245)는 제3 이미지(I3)를 출력 이미지(OI)로서 생성할 수 있다. 워핑 보정이 중지되면, 이미지 처리 시스템(200)에서 소모되는 전력량은 감소할 수 있다.
다시 도 8을 참조하면, 보정 회로(245)는 도 10 내지 도 14를 참조하여 설명된 방법과 같이 워핑 보정을 수행할 수 있다. 보정 회로(245)는 보정된 이미지를 멀티플렉서(236)로 전송할 수 있다.
멀티플렉서(236)는 제1 내지 제3 프로세서들(241, 242, 243)로부터 제1 내지 제3 이미지들을 수신할 수 있다. 그리고 멀티플렉서(236)는 보정 회로(245)로부터 보정된 이미지를 수신할 수 있다. 멀티플렉서(236)는 컨트롤러(244)의 제어를 기반으로, 제1 이미지, 제2 이미지, 제3 이미지, 및 보정된 이미지 중 하나를 출력 이미지(OI)로서 출력할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 시스템(200)은 기준 시간 동안만 워핑 보정을 수행하고, 기준 시간이 지나면 워핑 보정을 수행하지 않고 출력 이미지를 생성할 수 있다. 본 발명의 실시 예에 따른 이미지 처리 시스템(200)은 워핑 보정 시간을 단축 시킴으로써, 소비되는 전력의 양을 감소시킬 수 있다.
도 15는 본 발명의 실시 예에 따른 이미지 처리 시스템을 포함하는 전자 장치를 예시적으로 보여주기 위한 블록도이다. 전자 장치(1000)는 스마트폰일 수 있다. 이에 한정되지 않고, 전자 장치(1000)는 휴대폰, 태블릿 PC, 노트북, 디지털 카메라, 스마트 링, 또는 스마트 워치 중 하나일 수 있다. 도 15를 참조하면 전자 장치(1000)는 두 개의 이미지 센서들(1100, 1200)을 포함할 수 있다. 예로서, 제1 이미지 센서(1100)는 광각 렌즈를 이용하여 피사체를 촬영할 수 있고, 제2 이미지 센서(1200)는 망원 렌즈를 이용하여 피사체를 촬영할 수 있다.
전자 장치(1000)는 제1 및 제2 이미지 센서들(1100, 1200)에서 촬영되는 이미지들을 처리하기 위한 이미지 처리 장치(1300)를 포함할 수 있다. 이미지 처리 장치(1300)는 도 1 내지 도 14를 참조하여 설명된 방법으로 이미지들을 처리할 수 있다.
따라서, 본 발명의 실시 예에 따른 전자 장치(1000)는 기준 시간 동안만 워핑 보정을 수행하고, 기준 시간이 지나면 워핑 보정을 수행하지 않고 출력 이미지를 생성할 수 있다. 본 발명의 실시 예에 따른 전자 장치(1000)는 워핑 보정 시간을 단축 시킴으로써, 전자 장치(1000)에서 소비되는 전력량을 감소시킬 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100, 200: 이미지 처리 시스템 130, 240: 이미지 처리 장치
110, 120, 210, 220, 230: 이미지 센서 1000: 전자 장치

Claims (10)

  1. 피사체에 대한 제1 이미지 데이터를 획득하도록 구성되는 제1 이미지 센서;
    상기 피사체의 일부 또는 전체에 대한 제2 이미지 데이터를 획득하도록 구성되는 제2 이미지 센서; 및
    상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 각각 처리하여 제1 이미지 및 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 기반으로 출력 이미지를 생성하도록 구성되는 이미지 처리 장치를 포함하되,
    상기 이미지 처리 장치는 제1 기준 값 및 제2 기준 값을 기반으로 상기 출력 이미지를 생성하고,
    상기 출력 이미지에 대한 줌 계수가 상기 제1 기준 값 이하인 경우, 상기 제1 이미지를 기반으로 상기 출력 이미지를 생성하고,
    상기 출력 이미지에 대한 줌 계수가 제1 기준 값을 초과하고 상기 제2 기준 값 이하인 경우, 상기 제1 이미지의 제1 기준 좌표들을 기반으로 상기 제2 이미지의 제2 기준 좌표들의 위치를 보정하여 생성되는 보정 이미지를 상기 출력 이미지로서 생성하고,
    상기 출력 이미지에 대한 상기 줌 계수가 상기 제2 기준 값을 초과하는 경우, 상기 이미지 처리 장치는 상기 제2 이미지를 기반으로 상기 출력 이미지를 생성하는 이미지 처리 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 처리 장치는 보정 계수 값을 이용하여, 상기 제1 이미지의 상기 제1 기준 좌표들을 기반으로 상기 제2 이미지의 제2 기준 좌표들의 위치를 보정하고, 상기 줌 계수가 상기 제1 기준 값에서 상기 제2 기준 값으로 가까워지는 경우, 상기 보정 계수 값이 감소하는 이미지 처리 시스템.
  3. 제 1 항에 있어서,
    상기 제1 이미지의 상기 제1 기준 좌표들은 상기 제1 이미지에 포함되는 픽셀들의 좌표들을 기반으로 설정되고,
    상기 제2 이미지의 상기 제2 기준 좌표들은 상기 제2 이미지에 포함되는 픽셀들의 좌표들을 기반으로 설정되는 이미지 처리 시스템.
  4. 제 1 항에 있어서,
    상기 출력 이미지에 대한 줌 계수가 제1 기준 값을 초과하고 상기 제2 기준 값 이하인 경우, 제1 전력을 소모하는 이미지 처리 시스템.
  5. 제 4 항에 있어서,
    상기 출력 이미지에 대한 상기 줌 계수가 상기 제2 기준 값을 초과하는 경우, 상기 제1 전력보다 작은 제2 전력을 소모하는 이미지 처리 시스템.
  6. 피사체에 대한 제1 이미지 데이터를 획득하도록 구성되는 제1 이미지 센서;
    상기 피사체의 일부 또는 전체를 촬영하여 제2 이미지 데이터를 획득하도록 구성되는 제2 이미지 센서; 및
    상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 각각 처리하여 제1 이미지 및 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 기반으로 출력 이미지를 생성하도록 구성되는 이미지 처리 장치를 포함하되,
    상기 이미지 처리 장치는 상기 제1 이미지 데이터가 수신되지 않는 경우, 제1 시간 동안 상기 제1 이미지의 제1 기준 좌표들을 기반으로 상기 제2 이미지의 제2 기준 좌표들의 위치를 보정하여 생성되는 보정 이미지를 기반으로 상기 출력 이미지로서 생성하고,
    상기 제1 시간 이후, 상기 제2 이미지를 기반으로 상기 출력 이미지를 생성하는 전자 장치.
  7. 제 6 항에 있어서,
    상기 보정 이미지를 상기 출력 이미지로서 생성하는 상기 제1 시간 동안 제1 전력을 소모하고, 상기 제1 시간 이후 상기 제2 이미지를 기반으로 상기 이미지를 생성하는 동안 상기 제1 전력과 다른 제2 전력을 소모하는 전자 장치.
  8. 제 6 항에 있어서,
    상기 피사체의 일부 또는 전체를 촬영하여 제3 이미지 데이터를 획득하도록 구성되는 제3 이미지 센서를 더 포함하고,
    상기 이미지 처리 장치는 상기 제3 이미지 데이터를 처리하여 제3 이미지를 생성하는 전자 장치.
  9. 제 8 항에 있어서,
    상기 이미지 처리 장치는 상기 제1 이미지, 상기 제1 이미지의 상기 제1 기준 좌표들을 기반으로 상기 제2 이미지의 상기 제2 기준 좌표들의 위치를 보정하여 생성되는 제1 보정 이미지, 및 상기 제1 이미지의 제1 기준 좌표들을 기반으로 상기 제3 이미지의 제3 기준 좌표들의 위치를 보정하여 생성되는 제2 보정 이미지를 기반으로 상기 출력 이미지로서 생성하고,
    상기 제1 이미지 데이터 및 상기 제2 이미지 데이터가 상기 이미지 처리 장치로 수신되지 않는 경우, 제2 시간 동안 상기 상기 제1 이미지의 제1 기준 좌표들을 기반으로 상기 제3 이미지의 제3 기준 좌표들의 위치를 보정하여 상기 출력 이미지로서 생성하고,
    상기 제2 시간 이후, 상기 제3 이미지를 기반으로 상기 출력 이미지를 생성하는 전자 장치.
  10. 제 9 항에 있어서,
    상기 제1 이미지, 상기 제1 보정 이미지 및 상기 제2 보정 이미지를 기반으로 상기 출력 이미지를 생성하는 동안 제1 전력을 소모하고,
    상기 제1 이미지 데이터를 기반으로 제3 이미지 데이터를 보정하여 상기 이미지로서 생성하는 상기 제2 시간 동안 제2 전력을 소모하고,
    상기 제2 시간 이후 상기 제3 이미지 데이터를 기반으로 상기 이미지를 생성하는 동안 제3 전력을 소모하는 전자 장치.

KR1020160128474A 2016-10-05 2016-10-05 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치 KR102560780B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160128474A KR102560780B1 (ko) 2016-10-05 2016-10-05 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US15/692,159 US10652471B2 (en) 2016-10-05 2017-08-31 Image processing systems for correcting processed images using image sensors
CN201710850634.XA CN107920199B (zh) 2016-10-05 2017-09-20 图像处理系统及包括所述图像处理系统的电子装置
CN202010411806.5A CN111614898B (zh) 2016-10-05 2017-09-20 图像处理系统
US16/840,805 US11190700B2 (en) 2016-10-05 2020-04-06 Image processing systems for correcting processed images using image sensors
US17/537,068 US11962906B2 (en) 2016-10-05 2021-11-29 Image processing systems for correcting processed images using image sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160128474A KR102560780B1 (ko) 2016-10-05 2016-10-05 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20180038111A true KR20180038111A (ko) 2018-04-16
KR102560780B1 KR102560780B1 (ko) 2023-07-28

Family

ID=61758549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160128474A KR102560780B1 (ko) 2016-10-05 2016-10-05 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치

Country Status (3)

Country Link
US (3) US10652471B2 (ko)
KR (1) KR102560780B1 (ko)
CN (2) CN111614898B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US10488371B1 (en) 2018-05-04 2019-11-26 United Technologies Corporation Nondestructive inspection using thermoacoustic imagery and method therefor
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10473593B1 (en) 2018-05-04 2019-11-12 United Technologies Corporation System and method for damage detection by cast shadows
US10958843B2 (en) * 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10928362B2 (en) * 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
CN110381252A (zh) * 2019-07-18 2019-10-25 湖南宏动光电有限公司 一种图形处理系统
CN113194242B (zh) * 2020-01-14 2022-09-20 荣耀终端有限公司 一种长焦场景下的拍摄方法及移动终端
US11405563B2 (en) * 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss
CN115967846A (zh) * 2021-10-09 2023-04-14 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
US20160050374A1 (en) * 2013-06-13 2016-02-18 Corephotonics Ltd. Dual aperture zoom digital camera
US20170122771A1 (en) * 2015-10-30 2017-05-04 Invensense, Inc. Sensor output configuration

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594676A (en) 1994-12-22 1997-01-14 Genesis Microchip Inc. Digital image warping system
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
JP2005215160A (ja) * 2004-01-28 2005-08-11 Ftc:Kk 撮影レンズモジュールおよびカメラ
US7236306B2 (en) * 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US8059185B2 (en) * 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7742624B2 (en) 2006-04-25 2010-06-22 Motorola, Inc. Perspective improvement for image and video applications
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP4614373B2 (ja) * 2009-03-17 2011-01-19 エンパイア テクノロジー ディベロップメント エルエルシー 画像表示システム、画像表示装置、画像提供装置およびその方法
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
US8982246B2 (en) * 2010-10-22 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and camera body having optical zoom function and digital zoom function
JP5645704B2 (ja) * 2011-02-18 2014-12-24 キヤノン株式会社 画像処理装置、及びその制御方法
US8649558B2 (en) 2011-05-31 2014-02-11 Wisconsin Alumni Research Foundation Video processing with region-based warping
GB2496393B (en) * 2011-11-09 2016-08-24 Canon Kk Method and device for generating a super-resolution image portion
GB2497119B (en) 2011-12-01 2013-12-25 Sony Corp Image processing system and method
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JP2013225019A (ja) * 2012-04-20 2013-10-31 Tamron Co Ltd 赤外線ズームレンズ
US9232139B2 (en) * 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
TWI456985B (zh) * 2012-10-17 2014-10-11 Vivotek Inc 多攝影機的整合處理系統及其方法
CN103973963B (zh) * 2013-02-06 2017-11-21 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
JP6153354B2 (ja) * 2013-03-15 2017-06-28 オリンパス株式会社 撮影機器及び撮影方法
CN104104919B (zh) * 2014-07-24 2017-09-29 山东神戎电子股份有限公司 一种监视仪的镜头同轴矫正方法
CN105389774B (zh) * 2014-09-05 2019-03-01 华为技术有限公司 对齐图像的方法和装置
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
CN105657237B (zh) * 2014-11-13 2019-02-19 聚晶半导体股份有限公司 图像获取装置及其数字变焦方法
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
CN204206364U (zh) * 2014-11-21 2015-03-11 冠捷显示科技（厦门）有限公司 一种基于双目摄像头的影像预处理装置
US9998663B1 (en) * 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
CN105812653B (zh) * 2015-01-16 2019-05-10 奥林巴斯株式会社 摄像装置和摄像方法
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
CN105527702B (zh) * 2015-08-11 2018-10-16 浙江舜宇光学有限公司 组合式变焦镜头

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
US20160050374A1 (en) * 2013-06-13 2016-02-18 Corephotonics Ltd. Dual aperture zoom digital camera
US20170122771A1 (en) * 2015-10-30 2017-05-04 Invensense, Inc. Sensor output configuration

Also Published As

Publication number Publication date
US11962906B2 (en) 2024-04-16
CN107920199A (zh) 2018-04-17
US20180098000A1 (en) 2018-04-05
US20200236286A1 (en) 2020-07-23
CN111614898A (zh) 2020-09-01
US11190700B2 (en) 2021-11-30
US20220086354A1 (en) 2022-03-17
CN107920199B (zh) 2021-08-17
KR102560780B1 (ko) 2023-07-28
US10652471B2 (en) 2020-05-12
CN111614898B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
KR102560780B1 (ko) 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
TWI526068B (zh) 圖像擷取裝置及影像處理方法
JP2016114946A (ja) カメラモジュール
JP2015079162A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US9407842B2 (en) Image pickup apparatus and image pickup method for preventing degradation of image quality
JP2011217103A (ja) 複眼撮影方法および装置
JP2013031010A (ja) 撮像装置、撮像方法およびプログラム
US8681245B2 (en) Digital photographing apparatus, and method for providing bokeh effects
CN105210362B (zh) 图像调整设备、图像调整方法和图像捕获设备
US9357133B2 (en) Digital photographing apparatus, auto-focusing method, and computer-readable storage medium for executing the auto-focusing method
JP2016187121A (ja) 撮像装置及びその制御方法並びにプログラム
US10944899B2 (en) Image processing device and image processing method
JP2015095857A (ja) 撮像装置
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2017063340A (ja) 像ブレ補正装置、撮像装置および制御方法
JP2020053960A (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
WO2017208991A1 (ja) 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
JP5967504B1 (ja) 全方位カメラシステム
KR20110068747A (ko) 화상 처리 장치, 방법, 및 상기 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
KR20120004092A (ko) 카메라 모듈 및 그의 노출 제어 방법
JP6539114B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP6575926B2 (ja) 撮影装置
JP2017135521A (ja) 撮影装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant