KR20160012743A - 촬영 장치 및 그 촬영 방법 - Google Patents

촬영 장치 및 그 촬영 방법 Download PDF

Info

Publication number
KR20160012743A
KR20160012743A KR1020140094830A KR20140094830A KR20160012743A KR 20160012743 A KR20160012743 A KR 20160012743A KR 1020140094830 A KR1020140094830 A KR 1020140094830A KR 20140094830 A KR20140094830 A KR 20140094830A KR 20160012743 A KR20160012743 A KR 20160012743A
Authority
KR
South Korea
Prior art keywords
image
photographing
images
magnification
color
Prior art date
Application number
KR1020140094830A
Other languages
English (en)
Other versions
KR102157675B1 (ko
Inventor
이태희
김재곤
스테판 튤리아코브
이성호
전승룡
김경영
홍현석
한희철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140094830A priority Critical patent/KR102157675B1/ko
Priority to US14/806,871 priority patent/US9813615B2/en
Priority to EP15824546.4A priority patent/EP3172894B1/en
Priority to CN201580045345.1A priority patent/CN106576143B/zh
Priority to PCT/KR2015/007727 priority patent/WO2016013902A1/en
Publication of KR20160012743A publication Critical patent/KR20160012743A/ko
Application granted granted Critical
Publication of KR102157675B1 publication Critical patent/KR102157675B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

촬영 장치가 개시된다. 촬영 장치는 초점 거리가 서로 다른 렌즈를 각각 구비하여 서로 다른 해상도의 이미지를 촬영하는 복수의 촬영부, 복수의 촬영부에서 촬영되는 복수의 이미지를 저장하는 저장부, 복수의 이미지의 속성을 서로 대응되도록 조정하는 이미지 처리부, 촬영 배율을 변경하기 위한 변경 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여, 변경된 촬영 배율에 대응되는 합성 이미지를 생성하도록 이미지 처리부를 제어하는 제어부 및 합성 이미지를 디스플레이하는 디스플레이부를 포함한다. 이에 따라, 복수의 촬영부를 통해 획득된 복수의 이미지를 합성하여 이미지 퀄리티가 유지되면서 확대된 배율의 이미지를 생성할 수 있다.

Description

촬영 장치 및 그 촬영 방법{IMAGE PHOTOGRAPHING APPARATUS AND METHODS FOR PHOTOGRAPHING IMAGE THEREOF}
본 발명은 촬영 장치 및 그 촬영 방법에 관한 것으로서, 보다 상세하게는 복수의 촬영부를 통해 획득된 복수의 이미지로부터 합성 이미지를 생성하는 촬영 장치 및 그 촬영 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 촬영 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
촬영 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
특히, 근래에 개발되는 스마트폰이나 태블릿 PC는 복수의 카메라를 구비하고 있는 경우가 많다. 이들 디바이스는 전면과 후면에 카메라를 구비하여 셀프 촬영을 하거나 화상 대화를 하는 경우 편의성을 제공한다.
다만, 현재 스마트폰이나 태블릿 PC의 휴대성 및 무게 등을 고려하여 단 초점 렌즈를 사용하는데, 사용자가 촬영 시 줌 기능을 사용하면 단 초점 렌즈의 광학적 한계로 디지털 줌을 구현하는데 그치고 있다.
이러한 디지털 줌을 사용하여 배율을 확대할 경우 노이즈가 발생하여 이미지 퀄리티가 떨어지는 문제가 발생한다.
이에 따라, 복수의 카메라를 사용하여 이미지 퀄리티가 좋으면서 확대된 배율의 이미지를 얻고자 하는 필요성이 증대되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 복수의 촬영부를 사용하여 줌 기능을 실현하는데 있어서, 복수의 이미지로부터 합성 이미지를 생성하는 촬영 장치 및 그 촬영 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 촬영 장치는 초점 거리가 서로 다른 렌즈를 각각 구비하여 서로 다른 해상도의 이미지를 촬영하는 복수의 촬영부, 상기 복수의 촬영부에서 촬영되는 복수의 이미지를 저장하는 저장부, 상기 복수의 이미지의 속성을 서로 대응되도록 조정하는 이미지 처리부, 배율 변경 명령이 입력되면, 상기 속성이 조정된 복수의 이미지를 합성하여, 상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성하도록 상기 이미지 처리부를 제어하는 제어부 및 상기 합성 이미지를 디스플레이하는 디스플레이부를 포함한다.
여기서, 상기 제어부는, 상기 복수의 이미지로부터 상기 변경된 촬영 배율에 대응되는 크기의 로컬 영역을 각각 검출한 후 합성하여 상기 합성 이미지를 생성하도록 상기 이미지 처리부를 제어한다.
또한, 상기 제어부는, 상기 복수의 촬영부에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여, 상기 복수의 촬영부의 촬영 타이밍을 동기화한다.
또한, 상기 제어부는, 상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화한다.
또한, 상기 제어부는, 상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면, 상기 복수의 촬영부의 각 촬영 타이밍을 동기화한다.
또한, 상기 제어부는, 상기 복수의 이미지에 공통적으로 포함되는 공통 영역 내의 피사체의 움직임 정도에 기초하여, 상기 복수의 이미지 각각의 합성 비율을 조정한다.
한편, 상기 이미지의 속성은 컬러 및 화이트 밸런스를 포함하며, 상기 제어부는, 상기 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정한다.
또한, 상기 복수의 촬영부는 광각 렌즈를 구비한 제1 촬영부 및 망원 렌즈를 구비한 적어도 하나의 제2 촬영부를 포함하며, 상기 제어부는, 상기 제1 촬영부로부터 획득된 제1 이미지의 컬러 및 화이트 밸런스를 기준으로 상기 적어도 하나의 제2 촬영부로부터 획득된 적어도 하나의 제2 이미지의 컬러 및 화이트 밸런스를 조정한다.
한편, 상기 복수의 촬영부에 구비된 각각의 이미지 센서는 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하며, 상기 제어부는, 상기 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하는 이미지 센서 각각으로부터 획득된 복수의 컬러 스펙트럼 정보에 기초하여, 피사체의 물성(physical property)을 표현하는 상기 합성 이미지를 생성한다.
또한, 상기 적어도 하나의 이미지 센서는 상기 피사체의 뎁스 정보를 검출하는 픽셀을 더 포함하며, 상기 제어부는, 상기 검출된 뎁스 정보에 기초하여 상기 변경된 촬영 배율의 3D 이미지를 생성한다.
또한, 상기 제어부는, 상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 상기 인디케이터에 대한 사용자 명령이 입력되면, 상기 복수의 영역 각각에 대응되는 상기 복수의 이미지 중 적어도 하나를 디스플레이한다.
또한, 복수의 촬영부에 구비된 렌즈 각각은 서로 다른 방향을 향하며, 상기 이미지 처리부는, 상기 각 렌즈의 서로 다른 방향에 의해 생성되는 차이를 보상(calibration/rectification)하여, 상기 복수의 이미지를 상기 각 렌즈가 동일한 방향을 향하는 경우 촬영되는 이미지로 각각 변형하고, 상기 제어부는, 상기 변형된 이미지를 서로 연결하고 합성하여 하나의 전체 이미지를 생성하도록 상기 이미지 처리부를 제어한다.
본 발명의 일 실시 예에 따른 초점 거리가 서로 다른 렌즈를 이용하는 복수의 촬영부를 포함하는 촬영 장치의 촬영 방법은 상기 복수의 촬영부에서 촬영되는 서로 다른 해상도의 복수의 이미지를 저장하는 단계, 상기 복수의 이미지의 속성을 서로 대응되도록 조정하는 단계, 배율 변경 명령이 입력되면, 상기 속성이 조정된 복수의 이미지를 합성하여, 상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성하는 단계 및 상기 합성 이미지를 디스플레이하는 단계를 포함한다.
여기서, 상기 합성 이미지를 생성하는 단계는, 상기 복수의 이미지로부터 상기 변경된 촬영 배율에 대응되는 크기의 로컬 영역을 각각 검출한 후 합성하여 상기 합성 이미지를 생성한다.
한편, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은 상기 복수의 촬영부에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여, 상기 복수의 촬영부의 촬영 타이밍을 동기화하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은 상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은 상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면, 상기 복수의 촬영부의 각 촬영 타이밍을 동기화하는 단계를 더 포함한다.
여기서, 상기 합성 이미지를 생성하는 단계는, 상기 복수의 이미지에 공통적으로 포함되는 공통 영역 내의 피사체의 움직임 정도에 기초하여, 상기 복수의 이미지 각각의 합성 비율을 조정한다.
한편, 상기 이미지의 속성은 컬러 및 화이트 밸런스를 포함하며, 상기 조정하는 단계는, 상기 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정한다.
또한, 상기 복수의 촬영부는 광각 렌즈를 구비한 제1 촬영부 및 망원 렌즈를 구비한 적어도 하나의 제2 촬영부를 포함하며, 상기 조정하는 단계는, 상기 제1 촬영부로부터 획득된 제1 이미지의 컬러 및 화이트 밸런스를 기준으로 상기 적어도 하나의 제2 촬영부로부터 획득된 적어도 하나의 제2 이미지의 컬러 및 화이트 밸런스를 조정한다.
또한, 상기 복수의 촬영부에 구비된 각각의 이미지 센서는 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하며, 상기 합성 이미지를 생성하는 단계는, 상기 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하는 이미지 센서 각각으로부터 획득된 복수의 컬러 스펙트럼 정보에 기초하여, 피사체의 물성(physical property)을 표현하는 상기 합성 이미지를 생성한다.
한편, 상기 적어도 하나의 이미지 센서는 상기 피사체의 뎁스 정보를 검출하는 픽셀을 더 포함하며, 상기 합성 이미지를 생성하는 단계는, 상기 검출된 뎁스 정보에 기초하여 상기 변경된 촬영 배율의 3D 이미지를 생성한다.
한편, 본 발명의 일 실시 예에 따른 촬영 방법은 상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 상기 인디케이터에 대한 사용자 명령이 입력되면, 상기 복수의 영역 각각에 대응되는 상기 복수의 이미지 중 적어도 하나를 디스플레이하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 방법은 상기 복수의 촬영부에 구비된 렌즈 각각은 서로 다른 방향을 향하며, 상기 각 렌즈의 서로 다른 방향에 의해 생성되는 차이를 보상(calibration/rectification)하여, 상기 복수의 이미지를 상기 각 렌즈가 동일한 방향을 향하는 경우 촬영되는 이미지로 각각 변형하는 단계 및 상기 변형된 이미지를 서로 연결하고 합성하여 하나의 전체 이미지를 생성하는 단계를 더 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 복수의 촬영부를 통해 획득된 복수의 이미지를 합성하여 이미지 퀄리티가 유지되면서 확대된 배율의 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 촬영 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 촬영 장치의 구성을 나타낸 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성하는 과정에 대한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 합성 이미지의 효과를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 복수의 촬영부의 촬영 타이밍을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 복수의 이미지 간의 동기 여부를 판단하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 비동기 상태의 이미지들을 동기화하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 합성 비율을 나타낸 그래프를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 제어부의 상세한 구성을 도시한 블럭도이다.
도 10은 본 발명의 일 실시 예에 다른 이미지의 속성을 처리하기 위한 촬영 장치의 구성을 나타낸 블럭도이다.
도 11은 본 발명의 일 실시 예에 따른 서로 다른 패턴의 컬러 픽셀을 도시한 도면이다.
도 12 및 도 13은 본 발명의 일 실시 예에 따른 뎁스 센서를 포함하는 이미지 센서를 도시한 도면이다.
도 14 내지 16은 본 발명의 일 실시 예에 따른 유저 인터페이스를 도시한 도면이다.
도 17은 본 발명의 기반이 되는 촬영 장치의 회로 구성을 도시한 블럭도이다.
도 18 내지 25는 본 발명의 다양한 실시 예에 따른 촬영 장치의 구조 및 결합 구조를 도시한 도면이다.
도 26은 본 발명의 일 실시 예에 따른 초점 거리가 서로 다른 렌즈를 이용하는 복수의 촬영부를 구비한 촬영 장치의 촬영 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 촬영 장치를 나타낸 도면이다.
도 1을 참조하면, 촬영 장치(100)는 배면에 2 개의 촬영부(111, 112)를 포함하고 있다. 이에 따라, 촬영 장치(100)는 동일한 피사체에 대하여 2 개의 촬영부(111, 112)를 통해 촬영을 수행함으로써 2 개의 이미지를 획득할 수 있으며, 획득된 2 개의 이미지를 처리하여 합성 이미지를 생성할 수 있다.
한편, 도 1은 2 개의 촬영부(111, 112)를 포함하고 있으나 더 많은 수의 촬영부를 포함할 수 있으며, 촬영 장치의 구조도 이에 한정되지 아니하고 다양한 구조를 가질 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 촬영 장치의 구성을 나타낸 블럭도이다.
도 2를 참조하면, 촬영 장치(100)는 복수의 촬영부(110), 저장부(120), 이미지 처리부(130), 제어부(140) 및 디스플레이부(150)를 포함한다. 여기서, 촬영 장치(100)는 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
복수의 촬영부(110)는 초점 거리가 서로 다른 렌즈를 각각 구비하여 서로 다른 해상도의 이미지를 촬영한다. 초점 거리가 짧을수록 조리개 값이 낮아지며 이에 따라 입사되는 광량이 증가하여 밝은 화질의 이미지를 획득할 수 있고, 초점 거리가 길어질수록 조리개 값이 높아지며 이에 따라 입사되는 광량이 감소하여 어두운 화질의 이미지를 획득할 수 있게 된다.
초점 거리가 짧은 렌즈를 광각 렌즈라고 하고 초점 거리가 긴 렌즈를 망원 렌즈라고 한다. 여기서, 광각 렌즈로부터 획득되는 이미지를 wide 이미지, 망원 렌즈로부터 획득되는 이미지를 tele 이미지라고 정의하기로 한다. 또한, 초점 거리가 서로 다른 렌즈를 통해 획득되는 이미지 각각은 서로 다른 해상도를 갖는다.
구체적으로, 복수의 촬영부(110)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator) 및 이미지 센서를 포함할 수 있다. 셔터는 피사체에 반사된 빛이 이미지 센서로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다. 각 구성의 자세한 설명은 후술하기로 한다.
저장부(120)는 복수의 촬영부(110)에서 촬영되는 복수의 이미지를 저장한다. 이러한 저장부는 비휘발성 메모리(가령, 플래시 메모리, EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다. 그리고 저장부(120)는 저장된 복수의 이미지를 이미지 처리부(130)로 제공할 수 있다.
이미지 처리부(130)는 복수의 이미지의 속성을 서로 대응되도록 조정한다. 구체적으로, 이미지 처리부(130)는 복수의 촬영부(110)에 의해 촬영된 로우 이미지 데이터를 처리하여 YCbCr 데이터로 만들 수 있다. 또한, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정한다. 그 외에도 이미지 처리부(130)는 화이트 밸런스를 조정하고, 감마 보정, 색보간, 색보정, 해상도 변환을 수행한다. 특히, 이미지 처리부(130)는 복수의 촬영부(110)에 의해 촬영된 복수의 이미지에 대하여 색보정, 화이트 밸런스 등을 조정하여 복수의 이미지의 속성이 서로 동일하게 되도록 조정할 수 있다.
제어부(140)는 촬영 장치(100)의 동작 전반을 제어한다. 제어부(140)는 복수의 촬영부(110)를 제어하여 로우 이미지 데이터를 획득하고, 이미지 처리부(130)를 제어하여 라이브 뷰 이미지를 디스플레이부(150)에 디스플레이시킨다. 셔터가 눌러지는 등 촬영 명령이 수신되면, 제어부(140)는 로우 데이터를 이미지 처리하여 정지 이미지를 생성하거나, 동영상 촬영 모드일 경우에는 동영상 이미지를 생성하도록 이미지 처리부(130)를 제어한다.
특히, 제어부(140)는 배율 변경 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여, 변경된 배율 명령에 의해 변경된 배율의 합성 이미지를 생성하도록 이미지 처리부(130)를 제어할 수 있다. 여기서, 배율은 촬영하는 경우 촬영 배율의 의미를 포함할 수도 있고, 촬영된 이미지가 디스플레이부(150)를 통해 디스플레이되는 경우 디스플레이되는 이미지를 확대 또는 축소하는 배율의 의미를 포함할 수도 있다. 또한, 촬영 배율은 곧 촬영 시 디스플레이부(150)를 통해 디스플레이되는 라이브 뷰 이미지의 배율을 의미한다.
구체적으로, 제어부(140)는 라이브 뷰 이미지를 디스플레이부(150)에 디스플레이시키는 동안 배율 변경 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여, 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성하여 디스플레이할 수도 있고, 디스플레이부(150)를 통해 디스플레이되는 촬영된 이미지를 확대 또는 축소 즉, 이미지를 재생 중 배율을 변경하기 위한 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여 변경된 촬영 배율에 대응되는 합성 이미지를 생성하여 디스플레이할 수도 있다.
디스플레이부(150)는 합성 이미지를 디스플레이할 수 있다. 이를 위해, 디스플레이부(120)는 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정에 대한 도면이다.
도 3을 참고하면, 복수의 촬영부(110)가 각각 1x 배율을 갖는 렌즈와 5x 배율을 갖는 렌즈를 구비하고 있다고 상정한 경우 각각의 촬영부로부터 획득된 이미지로부터 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정을 나타내고 있다.
제어부(140)는 복수의 이미지로부터 변경된 촬영 배율에 대응되는 크기의 로컬 영역을 각각 검출한 후 합성하여 합성 이미지를 생성하도록 이미지 처리부(130)를 제어할 수 있다.
예를 들어, 1x 배율을 갖는 렌즈가 구비된 촬영부에서 획득되는 1x 배율의 이미지를 wide view(310) 이미지라고 하고, 5x 배율을 갖는 렌즈가 구비된 촬영부에서 획득되는 5x 배율의 이미지를 tele view(320) 이미지라고 하면, 제어부(140)는 1x 배율의 wide view(310) 이미지로부터 2x, 3x, 4x 배율의 크기에 대응되는 영역을 검출하도록 이미지 처리부(130)를 제어한다.
구체적으로, 제어부(140)는 wide view(310) 이미지로부터 2x 배율의 크기에 대응되는 영역(311)을 검출한다. 2x 배율의 이미지는 1x 배율의 이미지에 비해 확대되는 이미지이므로, 2x 배율의 크기에 대응되는 영역(311)은 wide view(310) 이미지의 크기에 비해 작을 수밖에 없다. 그리고, 제어부(140)는 검출된 2x 배율의 크기에 대응되는 영역(311)을 1x 배율의 이미지 크기로 확대하여 전체 화면에 디스플레이하도록 이미지 처리부(130)를 제어한다.
그리고, 제어부(140)는 5x 배율의 tele view(320) 이미지를 2x 배율의 이미지(321)로 다운 사이징하도록 이미지 처리부(130)를 제어할 수 있다. 또한, 제어부(140)는 wide view(310) 이미지로부터 검출된 2x 배율의 크기에 대응되는 영역(311)을 1x 배율로 확대한 이미지와 5x 배율의 tele view(320) 이미지를 다운 사이징하여 생성된 2x 배율의 이미지(321)를 합성하여 2x 배율의 합성 이미지(330)를 생성하도록 이미지 처리부(130)를 제어할 수 있다.
마찬가지로, 제어부(140)는 wide view(310) 이미지로부터 3x 배율의 크기에 대응되는 영역(312)을 검출하고, 검출된 3x 배율의 크기에 대응되는 영역(312)을 1x 배율의 이미지 크기로 확대하여 전체 화면에 디스플레이하도록 이미지 처리부(130)를 제어한다. 그리고, 제어부(140)는 5x 배율의 tele view(320) 이미지를 3x 배율의 이미지(322)로 다운 사이징하도록 이미지 처리부(130)를 제어할 수 있다. 또한, 제어부(140)는 wide view(310) 이미지로부터 검출된 3x 배율의 크기에 대응되는 영역(312)을 1x 배율로 확대한 이미지와 5x 배율의 tele view(320) 이미지를 다운 사이징하여 생성된 3x 배율의 이미지(322)를 합성하여 3x 배율의 합성 이미지(330)를 생성하도록 이미지 처리부(130)를 제어할 수 있다.
또한, 제어부(140)는 wide view(310) 이미지로부터 4x 배율의 크기에 대응되는 영역(313)을 검출하고, 검출된 4x 배율의 크기에 대응되는 영역(313)을 1x 배율의 이미지 크기로 확대하여 전체 화면에 디스플레이하도록 이미지 처리부(130)를 제어한다. 그리고, 제어부(140)는 5x 배율의 tele view(320) 이미지를 4x 배율의 이미지(322)로 다운 사이징하도록 이미지 처리부(130)를 제어할 수 있다. 또한, 제어부(140)는 wide view(310) 이미지로부터 검출된 4x 배율의 크기에 대응되는 영역(313)을 1x 배율로 확대한 이미지와 5x 배율의 tele view(320) 이미지를 다운 사이징하여 생성된 4x 배율의 이미지(323)를 합성하여 4x 배율의 합성 이미지(330)를 생성하도록 이미지 처리부(130)를 제어할 수 있다.
여기서, wide view(310) 이미지에서 검출된 2x, 3x, 4x 배율의 크기에 대응되는 영역(311, 312, 313)을 확대한 1x 배율의 이미지와 tele view(320) 이미지를 다운 사이징하여 생성된 2x, 3x, 4x 배율의 이미지(321, 322, 323)는 서로 다른 해상도를 가지고 있다. 구체적으로, tele view(320) 이미지를 다운 사이징하여 생성된 2x, 3x, 4x 배율의 이미지(321, 322, 323)가 5x 배율의 이미지를 축소한 것이기 때문에, wide view(310) 이미지에서 검출된 2x, 3x, 4x 배율의 크기에 대응되는 영역(311, 312, 313)을 확대한 1x 배율의 이미지에 비해 상대적으로 해상도가 더 높다.
따라서, 합성된 2x, 3x, 4x 배율의 합성 이미지(330)는 서로 다른 해상도를 가지는 영역 즉, wide view(310) 이미지에서 검출된 2x, 3x, 4x 배율의 크기에 대응되는 영역(311, 312, 313)을 확대한 1x 배율의 이미지와 tele view(320) 이미지를 다운 사이징하여 생성된 2x, 3x, 4x 배율의 이미지(321, 322, 323)를 모두 포함하게 된다.
이에 따라, 사용자는 tele view(320) 이미지를 다운 사이징하여 생성된 2x, 3x, 4x 배율의 이미지(321, 322, 323)에 대해 줌 인을 하거나 확대할 경우 5x 배율까지 높은 해상도를 유지하면서 확대가 가능하게 된다.
이러한 서로 다른 해상도를 가지는 영역을 포함하는 합성 이미지(330)를 생성하고 디스플레이하는 동작은 상술한 바와 같이 라이브 뷰 이미지를 디스플레이하는 동안 촬영 배율을 변경하기 위한 변경 명령이 입력되는 경우 및 촬영된 이미지를 확대 또는 축소 즉, 이미지를 재생 중 배율을 변경하기 위한 명령이 입력되는 경우에 모두 적용될 수 있다.
이에 따라, 사용자는 고정된 배율의 렌즈를 구비한 하나의 촬영부를 사용하여 디지털 줌을 실행하여 촬영하거나 재생하는 경우보다 더 높은 해상도의 이미지를 획득할 수 있게 된다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 합성 이미지의 효과를 설명하기 위한 도면이다.
도 4a를 참조하면, 망원 렌즈와 광각 렌즈를 각각 구비한 복수의 촬영부(110)로부터 획득된 망원 렌즈 이미지(41)와 광각 렌즈 이미지(42)를 합성하여 아웃 포커싱 효과를 나타내는 합성 이미지(43)를 생성하게 된다.
구체적으로, 광각 렌즈를 이용하여 피사체를 촬영시, 초점 거리가 짧아 화각이 넓고, 피사계 심도가 깊어 이미지 전체에 초점을 맞춘 듯한 팬 포커스 효과가 나타나게 된다. 즉, 광각 렌즈를 통해 획득된 이미지는 이미지 전체의 해상도가 일정하다.
이에 비해, 망원 렌즈를 이용하여 피사체를 촬영시, 초점 거리가 길어 화각이 좁고, 피사계 심도가 얕아 초점을 맞춘 피사체는 해상도가 높은 반면, 피사체를 제외한 배경은 흐릿하게 번지는 블러링(blurring) 효과를 표현하는 아웃 포커스 효과가 나타나게 된다. 즉, 망원 렌즈를 통해 획득된 이미지는 피사체와 피사체를 제외한 배경의 해상도가 서로 다르다.
예를 들어, 도 4a와 같이, 제어부(140)가 팬 포커스 효과를 나타내는 광각 렌즈 이미지(42)를 기준으로 아웃 포커스 효과를 나타내는 망원 렌즈 이미지(41)를 합성하게 되면, 광각 렌즈 이미지(42)에 포함된 피사체의 주변부를 블러링시키면서 아웃 포커스 효과를 나타내는 합성 이미지(43)가 생성되게 된다.
합성 이미지(43)의 사각형 영역(43-1)은 광각 렌즈 이미지(42)에 망원 렌즈 이미지(41)가 합성된 영역으로서, 망원 렌즈 이미지(41)의 더 높은 해상도를 가지는 피사체의 영역과 망원 렌즈 이미지(41)의 피사체의 주변부가 블러링된 영역이 사각형 영역(43-1)에 합성되면서 아웃 포커스 효과가 나타나게 된다.
여기서, 망원 렌즈 이미지(41)가 존재하는 사각형 영역은 사각형 외의 다양한 모양이 될 수 있으며, 망원 렌즈 이미지(41)와 광각 렌즈 이미지(42)의 자연스러운 합성을 위해 피사체의 주요 엣지(edge) 성분을 피하여 임의의 톱니바퀴와 같은 다각형의 모양이 될 수도 있다.
그리고, 합성된 망원 렌즈 이미지(41)의 해상도는 광각 렌즈 이미지(42)에 비해 높으므로 합성 이미지(43)의 사각형 영역(43-1)에 대하여 촬영 또는 재생시 배율이 확대되더라도 높은 해상도를 유지한 채로 디스플레이될 수 있다. 다만, 블러링된 영역은 아웃 포커스 효과를 위해 의도적으로 번짐 효과를 나타낸 것이므로 해상도가 떨어지고, 초점을 맞춘 피사체에 대한 해상도가 증가한다.
또한, 도 4b와 같이, 제어부(140)가 아웃 포커스 효과를 나타내는 망원 렌즈 이미지(44)를 기준으로 팬 포커스 효과를 나타내는 광각 렌즈 이미지(45)를 합성하게 되면, 망원 렌즈 이미지(41)에 포함된 블러링된 피사체의 주변부의 해상도가 증가하게 되는 팬 포커스 효과를 나타내는 합성 이미지(46)가 생성되게 된다.
그리고, 합성 이미지(46)의 사각형 영역(46-1)은 망원 렌즈 이미지(44)에 광각 렌즈 이미지(45)가 합성된 영역으로서, 광각 렌즈 이미지(45)의 피사체의 주변부가 블러링되지 않은 영역이 사각형 영역(46-1)에 합성되면서, 망원 렌즈 이미지(44)의 피사체 주변부의 블러링된 영역의 해상도가 증가하게 됨으로써, 팬 포커스 효과가 나타나게 된다.
합성된 망원 렌즈 이미지(44)의 해상도는 광각 렌즈 이미지(45)에 비해 높으므로, 망원 렌즈 이미지(44)의 블러링된 영역의 해상도까지 광각 렌즈 이미지(45)에 의해 높아지게 되면 망원 렌즈 이미지(44)의 전체적인 해상도가 증가하게 되며, 촬영 또는 재생시 배율이 확대되더라도 높은 해상도를 유지한 채로 디스플레이될 수 있다.
그리고, 사용자는 복수의 촬영부(110)를 구비한 촬영 장치(100)를 사용하여 피사체를 촬영시, 제어부(140)는 라이브 뷰 이미지를 통하여 사용자로 하여금 아웃 포커스 효과 또는 팬 포커스 효과를 선택하도록 하여 선택된 결과에 따라 합성 이미지를 생성하여 사용자로 하여금 확인이 가능하도록 할 수도 있고, 또한, 촬영된 이미지를 재생하는 경우에는 촬영된 복수의 이미지를 합성하여 아웃 포커스 효과를 나타내는 이미지 또는 팬 포커스 효과를 나타내는 이미지를 모두 재생하도록 할 수도 있다.
도 5는 본 발명의 일 실시 예에 따른 복수의 촬영부의 촬영 타이밍을 설명하기 위한 도면이다.
도 5를 참조하면, 복수의 촬영부(111, 112)가 2x 배율의 망원 렌즈와 1x 배율의 광각 렌즈를 포함하고 있다고 가정하면, 2x 배율의 망원 렌즈를 통해 획득되는 tele 2x image(410)는 t1 시간에 촬영되어 획득되고, 1x 배율의 광각 렌즈를 통해 획득되는 wide 1x image(420)는 t2 시간에 촬영되어 획득된다. 즉, 2x 배율의 망원 렌즈와 1x 배율의 광각 렌즈를 통해 이미지가 촬영되어 획득되는 타이밍이 서로 다를 수 있다. 특히, 피사체가 움직이거나 복수의 촬영부(111, 112)를 포함하고 있는 촬영 장치(100)가 움직이는 경우 2x 배율의 망원 렌즈와 1x 배율의 광각 렌즈를 통해 획득되는 이미지는 서로 다른 타이밍의 영상이 되어 서로 다른 영상을 획득할 수밖에 없게 된다.
이렇게 서로 다른 영상을 합성하여 합성 이미지를 생성할 경우 사용자는 서로 다른 두 이미지가 합성되어 불분명한 이미지를 볼 수밖에 없는 문제가 있다. 이에 따라, 복수의 촬영부(111, 112)에서 각각 획득되는 이미지를 합성하는데 있어서, 동일한 피사체를 촬영한 동일한 이미지를 검출하여 합성하는 기술이 요구된다.
제어부(140)는 복수의 촬영부(110)를 포함하고 있는 촬영 장치(100)가 움직이는 경우나 피사체가 움직이는 경우 획득되는 복수의 이미지의 합성을 중단하고, 획득된 복수의 이미지 중 하나만을 디스플레이할 수 있다. 여기서, 디스플레이되는 이미지는 사용자의 선택에 따라 설정될 수 있다.
또한, 제어부(140)는 복수의 촬영부(110)에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여, 복수의 촬영부(110)의 촬영 타이밍을 동기화할 수 있다.
구체적으로, 제어부(140)가 복수의 촬영부(110)에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하게 되면 이미지 센서가 빛을 받아들이는 시간 즉, 노광(light exposure) 시간이 동일하게 된다. 복수의 촬영부(110)에 각각 구비된 이미지 센서에 빛이 들어오기 시작하는 시간과 빛을 차단하는 시간이 일치하게 되면, 복수의 촬영부(110)를 통해 획득되는 이미지는 서로 동일하여 제어부(140)는 복수의 촬영부(110)를 통해 동기화된 복수의 이미지를 획득할 수 있게 된다. 여기서, 획득되는 이미지가 서로 동일하다는 의미는 동일한 피사체를 촬영한 동일한 이미지라는 것으로 배율의 차이를 배제한 것이다.
즉, 피사체가 움직이거나 복수의 촬영부(110)를 포함하는 촬영 장치(100)가 움직이는 경우라도 노광 시간이 동일하게 되면, 움직이는 피사체로부터 반사되는 빛이 동일한 시간대에 각각의 이미지 센서로 들어오게 되므로, 복수의 촬영부(110)를 통해 획득되는 복수의 이미지는 서로 동일한 피사체에 관한 이미지이다. 이에 따라, 제어부(140)는 별도의 동기화 작업을 수행하지 않고 획득된 복수의 이미지를 합성하여 합성 이미지를 생성할 수 있다.
한편, 이미지 센서의 노광 시간 제어는 전자 셔터의 경우 제어부(140)가 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여 이루어질 수도 있으나, 전자선막셔터(electronic first curtain shutter)를 사용하는 메카 셔터의 경우 전자선막을 제어하는 신호 후에 입력되는 EFS(Electronic Front Shutter) 신호의 타이밍을 동기화하여 이루어질 수도 있다.
상술한 바와 같이 이미지 센서의 노광 시간을 직접적으로 제어하지 않는 경우에는 제어부(140)는 획득되는 이미지 간의 동기 여부를 판단하여야 하는데, 구체적으로, 제어부(140)는 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 복수의 이미지 간의 동기 여부를 판단할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 복수의 이미지 간의 동기 여부를 판단하는 과정을 도시한 도면이다.
도 6을 참조하면, 제어부(140)는 복수의 촬영부(110)로부터 획득된 복수의 이미지(10-1, 20-1, 30-1)로부터 공통적으로 포함되는 공통 영역(510)을 중심으로 ROI zone(520)을 설정한다. 여기서, ROI zone(520)은 동기 여부를 판단하기 위하여 설정된 관심 영역이며, 크기와 개수는 변경될 수 있다.
그리고, 제어부(140)는 ROI zone(520)을 구성하는 픽셀들의 시간에 따른 정보 변화를 SAD(Sum of Absolute Difference) 등의 기법을 사용하여 동기 여부를 판단할 수 있으며, 이러한 SAD 기법을 사용하는 경우 일시적인 SAD의 값이 0에 근접할 때 각 입력 영상들이 동일하다고 판단하여 동기화되었다고 판단할 수 있다.
여기서, SAD 기법은 디지털 이미지를 처리하는 기법으로서, 복수의 이미지 간의 유사도를 측정하는 알고리즘 기법이며, 각 이미지를 구성하는 픽셀 중 대응되는 각각의 픽셀의 정보에 기초하여 각 픽셀 간의 차이를 수치화하여 합산함으로써, 복수의 이미지 간의 유사도를 측정할 수 있게 된다.
도 6에서는 모두 3 개의 촬영부로부터 시간 순으로 획득된 이미지들(10, 20, 30)이 나열되어 있는데, 3 개의 촬영부의 촬영 타이밍이 서로 다르며, 이에 따라, 제어부(140)는 각 이미지들(10-1, 20-1, 30-1) 간에 설정된 공통 영역(510) 중 ROI zone(520)에 기초하여 측정된 SAD의 값이 0이 되는 시점(530)에서 각 이미지는 동기화되었다고 판단할 수 있다. 따라서, 제어부(140)는 동기화되었다고 판단되는 시점에 해당되는 복수의 이미지들은 따로 동기화 처리를 수행할 필요없이 바로 합성하여 합성 이미지를 생성하여 디스플레이할 수 있다.
그러나, 제어부(140)는 SAD의 값이 0이 되는 시점(530)을 제외한 나머지 시간 영역에서는 3 개의 촬영부로부터 획득된 이미지들(10, 20, 30)의 SAD의 값이 0에 가까운 값이 아니고, 서로 동일하지 않으므로, 각 시간 별로 복수의 이미지가 비동기 상태라고 판단하게 된다. 각 시간 별로 복수의 이미지가 비동기 상태라고 판단되는 경우 제어부(140)는 각 시간 별로 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 비동기 상태의 이미지들을 동기화하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 1 초에 30 프레임을 촬영하는 촬영부 1로부터 획득되는 복수의 이미지들과 1초에 15 프레임을 촬영하는 촬영부 2로부터 획득되는 복수의 이미지들 및 1 초에 가변적으로 7 프레임에서 15 프레임을 촬영하는 촬영부 3으로부터 획득되는 복수의 이미지들이 도시되어 있다.
제어부(140)는 각 촬영부 1, 2, 3으로부터 획득되는 복수의 이미지가 동기화된 것으로 판단되는 경우(620)에는 각각의 이미지를 합성하여 합성 이미지를 생성하여 디스플레이하면 되지만, 동기화된 것으로 판단되지 않는 경우에는 그대로 합성하여 합성 이미지를 생성할 경우 서로 다른 이미지들을 합성하여 불분명한 이미지를 생성하게 된다.
이에 따라, 제어부(140)는 입력되는 이미지들의 상호 간의 촬영 시점의 상대적인 지연 시간(delay time)을 판별하고, 상대적으로 빠른 촬영 타이밍에서 촬영되는 이미지 프레임을 딜레이 처리하여 동기화시킬 수 있다. 예를 들어, 도 6에서는 촬영부 1과 촬영부 2에서 획득되는 이미지는 서로 타이밍이 동일하나, 촬영부 3에서 획득되는 이미지는 가변적인 타이밍에 기초하여 획득되는 이미지여서 촬영 타이밍이 빠른 경우도 있고 느린 경우도 있다.
제어부(140)는 촬영부 1 또는 2에 기초하여 촬영부 3과의 촬영 타이밍의 지연 시간(610)을 판별하고, 촬영부 3에서 획득되는 상대적으로 빠른 촬영 타이밍에서 촬영되는 이미지 프레임을 판별된 지연 시간(610)만큼 딜레이 처리하여 촬영부 1 또는 2에서 획득되는 이미지와 동기화하여 합성할 수 있다.
한편, 제어부(140)는 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 복수의 이미지 간의 동기 여부를 판단하고, 복수의 이미지가 비동기 상태이면, 복수의 촬영부의 각 촬영 타이밍을 동기화할 수도 있다.
구체적으로, 제어부(140)는 도 6에서 설명한 바와 같이, 복수의 촬영부(110)로부터 획득된 복수의 이미지에서 공통적으로 포함되는 공통 영역(510)을 중심으로 설정된 ROI zone(520)에 기초하여 동기 여부를 판단 결과 도 7에서 설명한 이미지 프레임을 딜레이 처리하는 것으로도 복수의 이미지들을 동기화하는 것이 어려울 경우에는 복수의 촬영부(110) 각각으로 촬영 타이밍 제어 신호를 전송하여 촬영 타이밍 신호를 동일하게 맞출 수 있다.
한편, 제어부(140)는 복수의 이미지에 공통적으로 포함되는 공통 영역 내의 피사체의 움직임 정도에 기초하여 복수의 이미지 각각의 합성 비율을 조정할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 합성 비율을 나타낸 그래프를 도시한 도면이다.
도 8을 참조하면, 가로 축이 피사체 또는 복수의 촬영부(110)를 구비한 촬영 장치(100)의 움직임 크기를 나타내고, 세로 축은 복수의 촬영부(110)를 통해 획득된 복수의 이미지 간의 합성 비율을 나타낸다. 그리고, 움직임 크기와 합성 비율 간의 관계를 도시한 그래프(710, 720)이 도시되어 있으며, 각 그래프는 동일한 움직임의 크기에 대하여 서로 다른 합성 비율을 나타내고 있다.
예를 들어, 움직임의 크기가 10인 경우 제1 그래프(710)에 따르면 합성 비율은 0.6이 되며, 이에 따라, 제어부(140)는 복수의 촬영부(110)를 통해 획득된 이미지 중 하나의 이미지의 합성 비율을 0.6으로 하고, 나머지 이미지의 합성 비율을 0.4로 조정하여 합성할 수 있다.
또한, 움직임의 크기가 10인 경우 제2 그래프(720)에 따르면 합성 비율은 0.1이 되며, 이에 따라, 제어부(140)는 복수의 촬영부(110)를 통해 획득된 이미지 중 하나의 이미지의 합성 비율을 0.1로 하고, 나머지 이미지의 합성 비율을 0.9로 조정하여 합성할 수 있다.
즉, 제어부(140)는 복수의 촬영부(110)를 통해 획득되는 복수의 이미지 각각의 합성 비율을 조정하여 피사체의 움직임이나 촬영 장치(100)의 움직임이 있는 경우라도 왜곡이 없는 이미지를 합성하여 디스플레이할 수 있게 된다.
한편, 제어부(140)는 복수의 촬영부(110)를 포함하고 있는 촬영 장치(100)가 움직이는 경우나 피사체가 움직이는 경우 획득되는 복수의 이미지의 합성을 중단하고, 획득된 복수의 이미지 중 하나만을 디스플레이하는 예를 설명하였는데, 이러한 실시 예는 도 8을 참조할 때, 움직임의 크기가 아주 큰 경우 합성 비율을 1로 보아, 제어부(140)는 복수의 촬영부(110)를 통해 획득된 이미지 중 하나의 이미지의 합성 비율을 1로 하고, 나머지 이미지의 합성 비율을 0으로 조정하여 합성한 것이다.
상술한 바와 같이, 피사체나 촬영 장치(100)의 움직임 크기의 정도에 따라 제어부(140)는 복수의 이미지 간의 합성 비율을 조정하여 사용자에게 왜곡이 없는 합성 이미지를 생성하여 제공할 수 있게 된다. 여기서, 움직임 크기는 복수의 이미지 간의 차 영상이나 SAD의 값 등을 통하여 산출될 수 있고, 촬영 장치(100)에 구비된 자이로 센서(미도시)와 같은 별도의 움직임 검출부를 통해 산출될 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 제어부의 상세한 구성을 도시한 블럭도이다.
도 9를 참조하면, 제어부(140)는 영상 동기 판별부(141), 영상 동기 제어부(142), Frame delay 제어부(143), 제어신호 출력부(144), 영상 출력부(145) 및 영상 동기 정보 출력부(146)을 포함할 수 있다.
구체적으로, 영상 동기 판별부(141)는 복수의 촬영부(111, 112)로부터 입력되는 복수의 이미지 간의 동기 여부를 판단한다. 도 6에서 설명한 바와 같이, 영상 동기 판별부(141)는 복수의 촬영부(111, 112)로부터 획득된 복수의 이미지로부터 공통적으로 포함되는 공통 영역(510)을 중심으로 ROI zone(520)을 설정하고, 설정된 ROI zone(520)을 구성하는 픽셀들의 시간에 따른 정보 변화를 SAD(Sum of Absolute Difference) 등의 기법을 사용하여 동기 여부를 판단할 수 있는데, 이러한 SAD 기법을 사용하는 경우 일시적인 SAD의 변화량이 각 입력 영상에서 동일하다고 판단될 때 동기화되었다고 판단할 수 있다. 여기서, SAD 기법은 디지털 이미지를 처리하는 기법으로서, 복수의 이미지 간의 유사도를 측정하는 알고리즘 기법이며, 각 이미지를 구성하는 픽셀 중 대응되는 각각의 픽셀의 정보에 기초하여 각 픽셀 간의 차이를 수치화하여 합산함으로써, 복수의 이미지 간의 유사도를 측정할 수 있게 된다.
그리고, 영상 동기 판별부(141)는 측정된 복수의 이미지 간의 유사도에 기초하여 동기 여부를 판별하고, 판별된 동기 결과를 영상 동기 제어부(142)로 제공한다.
영상 동기 제어부(142)는 동기화되었다고 판단되는 시점에 해당되는 복수의 이미지들은 따로 동기화 처리를 수행하지 않고, 영상 출력부(145)를 통해 복수의 이미지들을 바로 합성하여 합성 이미지를 생성하여 디스플레이한다.
그러나, 영상 동기 판별부(141)에서 측정된 복수의 이미지 간의 유사도에 기초하여 동기 여부를 판별한 결과 비동기 상태인 경우 즉, SAD의 변화량이 서로 다른 경우에는 영상 동기 제어부(142)는 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화하도록 Frame delay 제어부(143)를 제어할 수 있다.
구체적으로, Frame delay 제어부(143)는 입력되는 이미지들의 상호 간의 촬영 시점의 상대적인 지연 시간을 판별하고, 상대적으로 빠른 타이밍에서 촬영되는 이미지 프레임을 딜레이 처리하여 동기화시킬 수 있다.
예를 들어, 도 6에서 설명한 바와 같이, Frame delay 제어부(143)는 복수의 촬영부(111, 112)로부터 획득되는 이미지의 촬영 타이밍이 서로 다른 경우, Frame delay 제어부(143)는 각 촬영부(111, 112) 간의 촬영 타이밍의 지연 시간을 판별하고, 촬영부(112)가 촬영부(111)에 비해 상대적으로 빠른 촬영 타이밍을 갖는 경우라면, 촬영부(112)에서 획득되는 이미지 프레임을 판별된 지연 시간만큼 딜레이 처리하여 촬영부(111)에서 획득되는 이미지와 동기화하여 합성할 수 있다.
또한, 영상 동기 판별부(141)에서 측정된 복수의 이미지 간의 유사도에 기초하여 동기 여부를 판별한 결과 비동기 상태인 경우 즉, SAD의 변화량이 서로 다른 경우에는 영상 동기 제어부(142)는 복수의 촬영부(111, 112)의 각 촬영 타이밍을 동기화하기 위한 제어 신호를 생성하도록 제어신호 출력부(144)를 제어할 수 있다.
구체적으로, 도 7에서 설명한 바와 같이, 이미지 프레임을 딜레이 처리하는 것만으로는 복수의 이미지들을 동기화하는 것이 어려운 경우 영상 동기 제어부(142)는 제어신호 출력부(144)를 제어하여 복수의 촬영부(111, 112) 각각으로 촬영 타이밍 제어 신호를 전송하여 촬영 타이밍 신호를 동일하게 맞출 수 있다.
또한, 영상 동기 정보 출력부(146)는 복수의 이미지 간의 동기 정보에 관한 정보를 합성 이미지와 함께 출력할 수 있다.
한편, 복수의 촬영부(110)로부터 획득된 복수의 이미지를 합성하는데 있어서, 각 이미지 간의 속성이 동일해야 합성하더라도 합성된 이미지가 하나의 속성을 갖는 하나의 이미지로 디스플레이될 수 있다. 이에 따라, 획득된 복수의 이미지의 속성을 조정하는 것에 관하여 설명하기로 한다.
본 발명의 일 실시 예에 따른 이미지의 속성은 컬러 및 화이트 밸런스를 포함하나, 이미지의 속성은 이에 한정되지 않으며 선예도, 콘트라스트, ISO 등도 포함할 수 있다.
제어부(140)는 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정할 수 있다.
일반적으로, 컬러 및 화이트 밸런스를 조정하기 위해서는 촬영된 이미지를 분석하여 광원의 색온도를 예측하게 되는데, 여기서, 제어부(140)는 이미지 신호에서 GRAY 색상으로 판단되는 영역들의 값을 추출하여 Red(R), Green(G), Blue(B)의 각 컬러 채널의 게인(gain) 값들을 조정하는 과정을 통하여 컬러 및 화이트 밸런스를 조정하게 된다. 다만, 이러한 경우, 복수의 이미지들 간의 정확한 정합 위치를 찾기 힘들어 정확한 색복원이 어렵고, 컬러 노이즈가 발생하게 된다.
이에 따라, 본 발명의 일 실시 예에 따른 제어부(140)는 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정하는데, 구체적으로 광각 렌즈를 통해 획득된 이미지의 속성에 기초하여 나머지 이미지의 속성을 조정하게 된다. 구체적인 설명은 다음과 같다.
복수의 촬영부는 광각 렌즈를 구비한 제1 촬영부 및 망원 렌즈를 구비한 적어도 하나의 제2 촬영부를 포함하며, 제어부(140)는 제1 촬영부로부터 획득된 제1 이미지의 컬러 및 화이트 밸런스를 기준으로 적어도 하나의 제2 촬영부로부터 획득된 적어도 하나의 제2 이미지의 컬러 및 화이트 밸런스를 조정할 수 있다.
한편, 상술한 도 9의 각 구성 요소들은 소프트웨어로 구현될 수 있으며, 구현된 소프트웨어는 메모리부에 저장되거나 중앙 처리 장치(CPU)에 저장되어 상술한 각 구성 요소들의 처리 과정을 동일하게 수행할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 이미지의 속성을 처리하기 위한 촬영 장치의 구성을 나타낸 블럭도이다.
도 10을 참조하면, 촬영 장치(100)는 제1 촬영부(111), 제2 촬영부(112), 저장부(120), 이미지 처리부(130), 제어부(140) 및 디스플레이부(150)를 포함할 수 있다. 여기서, 저장부(120), 이미지 처리부(130) 및 디스플레이부(150)에 대해서는 미리 설명하였으므로 자세한 설명은 생략하기로 한다.
제1 촬영부(111)는 광각 렌즈를 구비한 촬영부이고, 제2 촬영부(112)는 망원렌즈를 구비한 촬영부이며, 도 10에서는 제2 촬영부(112)를 하나만 도시하였으나 촬영 장치(100)는 서로 다른 배율의 망원 렌즈를 구비하는 복수 개의 제2 촬영부(112)를 포함할 수 있다.
그리고, 제어부(140)는 광각 렌즈를 구비한 제1 촬영부(111)를 통해 획득된 광각 이미지에서 gray 측정 정보를 검출하고, 해당 정보를 다른 촬영부 즉, 제2 촬영부(112)에 전송하여 모든 촬영부들의 컬러 및 화이트 밸런스를 맞추게 된다. 즉, 광각 렌즈는 초점 거리가 짧고 화각이 넓으며 밝은 화질의 이미지를 획득할 수 있어, 제어부(140)는 광각 렌즈를 통해 획득된 이미지의 속성 정보에 기초하여 망원 렌즈를 구비한 촬영부들의 컬러 및 화이트 밸런스를 조정한다.
한편, 이러한 이미지들의 속성을 조정하는 동작은 상술한 바와 같이 라이브 뷰 이미지를 디스플레이하는 동안 복수의 촬영부(110)를 통해 획득되는 이미지의 속성을 조정하여 합성된 이미지를 디스플레이하는데 적용될 수도 있고, 촬영된 이미지를 합성하여 합성된 이미지를 디스플레이하는데 적용될 수도 있다.
또한, 상술한 예에서는 이미지의 속성 중 컬러 및 화이트 밸런스를 조정하는 예에 대해서만 설명하였으나, 제어부(140)는 선예도, 콘트라스트, ISO 등과 같은 이미지의 속성에 대해서도 조정할 수 있으며, 선예도, 콘트라스트와 같은 경우 광각 렌즈로부터 획득되는 이미지의 속성에 기초하여 망원 렌즈로부터 획득되는 이미지의 속성을 조정하는 것뿐만 아니라, 광각 렌즈로부터 획득되는 이미지 및 망원 렌즈로부터 획득되는 이미지를 비교하여 더 좋은 선예도, 콘트라스트를 갖는 이미지를 선택하고, 선택된 이미지에 기초하여 다른 이미지의 선예도, 콘트라스트를 조정할 수도 있다.
한편, 복수의 촬영부에 구비된 각각의 이미지 센서는 서로 동일한 패턴의 컬러 픽셀을 포함할 수도 있으나, 서로 다른 패턴의 컬러 픽셀을 포함할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 서로 다른 패턴의 컬러 픽셀을 도시한 도면이다.
도 11을 참조하면, CMY Bayer Pattern(1110)과 RGB Bayer Pattern(1120)이 도시되어 있다.
구체적으로 Bayer Pattern은 이미지 센서에 배열되는 컬러 픽셀들의 배치 패턴에 관한 것으로, 디지털 카메라, 캠코더 및 스캐너와 같은 컬러 이미지를 생성하기 위한 장치들에 주로 사용된다.
특히, CMY Bayer Pattern(1110)는 시안(cyan), 마젠타(magenta), 옐로우(yellow)의 컬러 픽셀들의 배치 패턴에 관한 것이고, RGB Bayer Pattern(1120)은 Red, Green, Blue의 컬러 픽셀들의 배치 패턴에 관한 것이다. 여기서, CMY Bayer Pattern(1110)의 C는 시안(cyan)의 컬러 픽셀, M은 마젠타(magenta)의 컬러 픽셀, Y는 옐로우(yellow)의 컬러 픽셀을 나타낸다. 또한, RGB Bayer Pattern(1120)의 R은 Red의 컬러 픽셀, G는 Green의 컬러 픽셀, B는 Blue의 컬러 픽셀을 나타낸다.
도 10을 예로 들어 설명하면, 광각 렌즈를 구비한 제1 촬영부(111)의 이미지 센서는 CMY Bayer Pattern(1110)에 따라 컬러 픽셀이 구성되어 있고, 망원 렌즈를 구비한 제2 촬영부(112)의 이미지 센서는 RGB Bayer Pattern(1120)에 따라 컬러 픽셀이 구성되어 있다고 상정할 수 있다.
그리고, 제어부(140)는 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하는 이미지 센서 각각으로부터 획득된 복수의 컬러 스펙트럼 정보에 기초하여, 피사체의 물성(physical property)을 표현하는 합성 이미지를 생성할 수 있다.
즉, 제어부(140)는 CMY Bayer Pattern(1110)에 따라 컬러 픽셀이 구성된 제1 촬영부(111)의 이미지 센서와 RGB Bayer Pattern(1120)에 따라 컬러 픽셀이 구성된 제2 촬영부(112)의 이미지 센서를 통해 동일한 피사체에 대한 서로 다른 컬러 스펙트럼 정보를 획득할 수 있고, 이에 기초하여 하이퍼 스펙트럴(Hyper-spectral Imaging) 기술 등을 통해 피사체의 물성을 표현하는 합성 이미지를 생성할 수 있다. 이러한 서로 다른 컬러 스펙트럼 정보에 기초하여 피사체의 물성을 표현하는 이미지를 생성하는 기술을 Hyper-spectral Imaging 기술이라고 하며, 이미 공지된 기술이므로 자세한 설명은 생략하기로 한다.
또한, 여기서, 서로 다른 패턴의 컬러 픽셀은 RGB Bayer Pattern, CMY Bayer Pattern에 한정되지 아니하며, 이미지 센서 각각은 다양한 패턴의 컬러 픽셀을 포함할 수 있다.
이에 따라, 제어부(140)는 피사체의 윤곽 및 컬러만을 표현하는 이미지를 디스플레이하는 것이 아닌, 피사체의 물성까지 표현하는 이미지를 디스플레이할 수 있게 된다.
도 12 및 도 13은 본 발명의 일 실시 예에 따른 뎁스 센서를 포함하는 이미지 센서를 도시한 도면이다.
도 12를 참조하면, 이미지 센서(1200)는 복수의 서로 다른 패턴(1110, 1120) 중 하나의 패턴에 따라 배열되는 컬러 픽셀을 포함할 뿐만 아니라, 피사체의 뎁스 정보를 검출하는 픽셀(1210)을 더 포함할 수 있다. 여기서, 뎁스 정보를 검출하는 픽셀(1210)을 뎁스 센서라고 정의하기로 한다.
여기서, 뎁스 정보를 검출하는 픽셀(1210)이 이미지 센서 상에서 일정한 간격으로 이격되어 분포하는 이산형 구조로 구현되는 경우에는, 입력되는 영상 정보 전체의 3D 뎁스도 구할 수 있고, 영상 전체의 이미지도 구할 수 있다.
또한, 뎁스 정보를 검출하는 픽셀(1210)은 이미지 센서 상에서 일정 영역에 모여 있는 구조로 구현되는 경우에는, 입력되는 영상 정보 전체 중 특정 영역의 3D 뎁스를 구할 수 있으며, 이러한 경우에는 뎁스 정보를 검출하는 픽셀(1210)이 모여있는 일정 영역의 이미지는 다른 카메라의 영상을 통하여 획득할 수 있다.
또한, 도 12에서는 이미지 센서(1200)의 가장 자리에 뎁스 센서(1210)가 배치되는 것을 예로 들었으나, 이에 한정되는 것은 아니다.
그리고, 제어부(140)는 검출된 뎁스 정보에 기초하여 배율 변경 명령에 의해 변경된 배율의 3D 이미지를 생성할 수 있다.
구체적으로, 도 13을 참조하면, 복수의 촬영부(110) 중 광각 렌즈를 구비한 촬영부의 이미지 센서는 뎁스 센서를 구비하지 않고, 망원 렌즈를 구비한 촬영부의 이미지 센서는 컬러 픽셀(1110) 및 피사체의 뎁스 정보를 검출하는 픽셀인 뎁스 센서(1210)를 포함하고 있다.
제어부(140)는 복수의 촬영부(110) 중 광각 렌즈를 구비한 촬영부의 이미지 센서로부터 wide 영상(1310)을 획득할 수 있고, 망원 렌즈를 구비한 촬영부의 이미지 센서로부터 tele 영상(1320)을 획득할 수 있는데, 여기서 tele 영상(1320)은 이미지에 관한 정보뿐만 아니라, 피사체들 간의 뎁스 정보를 포함하고 있으며, 이에 따라, 제어부(140)는 뎁스 정보를 포함하는 tele 영상(1320)으로부터 뎁스 정보를 검출하고, 검출된 뎁스 정보를 매핑한 뎁스 맵(1330)을 생성할 수 있다. 그리고, 제어부(140)는 생성된 뎁스 맵(1330)에 기초하여 wide 영상(1310)과 tele 영상(1320)을 합성하여 변경된 촬영 배율의 3D 이미지(1340)를 생성할 수 있게 된다.
이러한 뎁스 정보를 사용하여 3D 이미지를 생성하는 동작은 미리 설명한 바와 같이 라이브 뷰 이미지를 디스플레이하는 동안 촬영 배율을 변경하기 위한 변경 명령이 입력되는 경우 및 촬영된 이미지를 확대 또는 축소 즉, 이미지를 재생 중 배율을 변경하기 위한 명령이 입력되는 경우에 모두 적용될 수 있다.
이에 따라, 제어부(140)는 3D 이미지로 구현되는 라이브 뷰 이미지를 디스플레이하여 사용자로 하여금 촬영을 위해 디스플레이부(150)를 통해 라이브 뷰 이미지를 보는 동안 생동감을 증진시킬 수 있으며, 라이브 뷰 이미지를 디스플레이하는 동안 촬영 배율을 변경하기 위한 변경 명령이 입력되면, 3D 이미지 상태를 유지한 채로 촬영 배율에 대응되는 합성 이미지를 디스플레이할 수도 있다.
또한, 제어부(140)는 촬영된 이미지를 재생하는 동안 2D 이미지로 재생할 수도 있으나, 뎁스 정보에 기초하여 3D 이미지로 변환하여 재생할 수도 있으며, 3D 이미지로 변환하여 재생하는 동안 촬영 배율을 변경하기 위한 변경 명령이 입력되면, 3D 이미지 상태를 유지한 채로 촬영 배율에 대응되는 합성 이미지를 디스플레이할 수도 있다.
한편, 도 14 내지 16은 본 발명의 일 실시 예에 따른 유저 인터페이스를 도시한 도면이다.
제어부(140)는 변경된 촬영 배율에 대응되는 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 인이케이터에 대한 사용자 명령이 입력되면, 복수의 영역 각각에 대응되는 복수의 이미지 중 적어도 하나를 디스플레이할 수 있다.
도 14를 참조하면, 제어부(140)는 wide 이미지와 tele 이미지를 합성한 합성 이미지에 tele 이미지가 포함된 영역을 표시하는 인디케이터(1410)를 디스플레이함으로써, 촬영 장치(100)의 디스플레이부(150)에 디스플레이되는 합성 이미지 중 인디케이터(1410)에 대해 배율을 확대하는 사용자 명령이 입력되면, 사용자 명령에 대응하여 tele 이미지를 디스플레이할 수 있다.
이렇게 tele 이미지가 포함된 영역에 대하여 사용자가 배율을 확대하는 명령을 입력할 경우, 제어부(140)는 높은 해상도를 유지하면서 사용자가 입력한 확대된 배율에 대응되는 tele 이미지를 제공할 수 있게 되어 사용자는 해상도가 높은 확대 영상을 볼 수 있게 된다.
또한, 도 15를 참조하면, 제어부(140)는 복수의 tele 이미지를 제공하는 복수의 촬영부를 구비하는 촬영 장치(100)의 경우에는 각각의 tele 이미지(1510, 1520, 1530)를 모두 포함하는 wide 이미지(1540)를 제공할 수 있으며, 합성된 wide 이미지(1540)에 tele 이미지가 포함된 서로 다른 영역을 표시하는 인디케이터를 디스플레이할 수 있다.
또한, tele 이미지가 포함된 서로 다른 영역에 대하여 사용자가 각각 배율을 확대하는 명령을 입력할 경우, 제어부(140)는 높은 해상도를 유지하면서 사용자가 입력한 확대된 배율에 대응되는 서로 다른 tele 이미지(1510, 1520, 1530)를 각각 디스플레이할 수 있다.
한편, 도 14 및 15에서 설명한 wide 이미지와 tele 이미지를 합성한 합성 이미지에 tele 이미지가 포함된 영역을 표시하는 인디케이터를 디스플레이하는 동작 및 tele 이미지가 포함된 영역에 대하여 사용자가 배율을 확대하는 명령을 입력할 경우, 높은 해상도를 유지하면서 사용자가 입력한 확대된 배율에 대응되는 tele 이미지를 제공하는 동작은 라이브 뷰 이미지를 디스플레이하는 경우 및 촬영된 이미지를 확대 또는 축소 즉, 이미지를 재생하는 경우에 모두 적용될 수 있다.
또한, 도 16을 참조하면, 제어부(140)는 라이브 뷰 이미지를 디스플레이하는 동안 wide 이미지(1620)와 변경된 촬영 배율에 대응되는 합성 이미지(1610)를 함께 디스플레이할 수 있다.
그리고, 제어부(140)는 wide 이미지(1620) 상에서 변경된 촬영 배율에 대응되는 합성 이미지(1610)가 어디에 위치하는지를 표시하는 인디케이터(1630)도 함께 표시하여 사용자로 하여금 변경된 촬영 배율을 유지하면서 원하는 화각을 편하게 선택하도록 할 수 있다.
한편, 도 16에서는 라이브 뷰 이미지를 디스플레이하는 경우에 대해서만 설명하였으나, 촬영된 이미지를 확대 또는 축소 즉, 이미지를 재생 중 배율을 변경하기 위한 명령이 입력되는 경우에도 wide 이미지 및 변경된 배율에 대응되는 합성 이미지를 동시에 디스플레이할 수도 있다.
도 17은 본 발명의 기반이 되는 촬영 장치의 회로 구성을 도시한 블럭도이다.
도 17을 참조하면, 촬영 장치(100)는 렌즈(111), 고체 촬상소자(112), TG(Timing Generator)(114), AFE(Analog Front End)(113), 모터 드라이버(115), 결합부(120), 입력부(125), 이미지 처리부(130), 통신부(135), 제어부(140), 디스플레이부(150), SDRAM 모듈(160), 메모리 카드(170), USB 모듈(190)을 포함한다.
렌즈(111)는, 피사체에 반사된 광이 입사하는 구성으로, 단 초점 렌즈를 포함하며, 도면에 도시되지는 않았으나, 본 발명의 일 실시 예에 따른 촬영 장치(100)는 복수 개의 렌즈를 구비할 수 있다. 또한, 도면에 도시되지는 않았으나, 촬영 장치(100)는 조리개(미도시)를 더 구비할 수 있다.
조리개는 렌즈(111)를 통과하여 이미지 센서로 입사되는 광의 양을 조절하는 구성이다. 조리개는 입사되는 광량을 조정할 수 있도록 개구부의 크기를 점진적으로 증가 또는 감소시킬 수 있는 기계적인 구조를 갖는다. 이러한 조리개는 F 수치로 불리는 조리개 수치로 개방 정도를 표시하며, 조리개 값이 작을수록 개방 크기가 넓어지므로, 입사광의 양이 많아져 밝은 이미지를 생성할 수 있다. 다만, 본 발명의 일 실시 예에 따른 렌즈는 단 초점 렌즈를 상정한 것으로서 조리개 값이 변경되는 경우는 드물다고 볼 수 있으나, 본 발명의 일 실시 예에 따른 이미지 동기화 및 속성 처리 동작이 단 초점 렌즈만을 상정하여 적용된다고 한정할 수는 없고, 줌 렌즈를 사용하는 경우에도 적용될 수 있으므로, 줌 렌즈를 사용하는 경우에는 상술한 바와 같이 조리개의 값을 조절하여 입사되는 광량을 조절할 수도 있다.
고체 촬상 소자(112)는 렌즈(111)를 통과한 피사체의 상이 결상되는 구성이다. 고체 촬상 소자(112)는 매트릭스 형태로 배치된 복수의 픽셀을 포함한다. 복수의 픽셀 각각은 입사광에 따른 광전하를 축적하고, 광전하에 의한 상을 전기 신호로 출력한다. 고체 촬상 소자(112)는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS) 또는 전하 결합 소자(Charge Coupled Device: CCD)로 구성될 수 있다. 이러한 고체 촬상 소자(112)는 렌즈의 개수에 따라 개수가 변경될 수 있다.
또한, 고체 촬상 소자(112)는 포토 다이오드(PD). 전송 트랜지스터(TX), 리셋 트렌지스터(RX), 플로우팅 확산 노드(FD)를 포함할 수 있다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적한다. 전송 트랜지스터(TX)는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전하를 플로우팅 확산 노드(FD)로 전송한다. 리셋 트랜지스터는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출한다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, CDS 이미지 센서의 경우 CDS(Correlated Double Sampling) 처리를 수행한다. 그리고, ADC가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다.
TG(Timing Generator 114)는, 고체 촬상 소자(112)의 픽셀 데이터를 리드아웃(readout)하기 위한 타이밍 신호를 출력한다. TG(114)는 제어부(140)에 의해 제어된다.
AFE(Analog Front End, 113)는, 고체 촬상 소자(112)로부터 출력된 피사체 상의 전기 신호를 샘플링하여 디지털화한다. AFE(Analog Front End, 113)는, 제어부(140)에 의해 제어된다.
다만, 상기와 같이 AFE(113)와 TG(114)를 대체할 수 있는 다른 구성으로 설계될 수도 있다. 특히, 고체 촬상 소자(112)가 CMOS 형으로 구현되는 경우, 이러한 구성을 불필요할 수 있다.
모터 드라이버(115)는, 위상차 픽셀을 리드아웃하여 계산된 정보에 기초하여 포커싱 렌즈를 구동하여 포커스를 맞춘다. 다만, 제1 이미지 촬영 장치(100)가 스마트폰이나 셀룰러폰으로 구현되는 경우 포커싱을 위한 렌즈를 구동하지 않고 소프트웨어적으로 처리할 수 있으므로 모터 드라이버(115)가 구비되지 않을 수 있다.
이미지 처리부(130)는, 제어부(140)의 제어에 의해 로우 이미지 데이터(RAW IMAGE DATA)를 이미지 처리하고, SDRAM(160)에 기록한다. 그리고, SDRAM(160)의 영상 처리된 데이터를 디스플레이부(150)에 전달한다.
위상차를 이용한 오토 포커싱을 하는 경우, 이미지 처리부(130)는 고체 촬상 소자(112)에서 출력되어 AFE(113)에 의해 샘플링된 신호 중에서 이미지를 생성하기 위한 신호(일반 픽셀로부터 리드아웃된 신호)와 위상차를 계산하기 위한 신호(위상차 픽셀로부터 리드아웃된 신호)를 분리한다. 이는 위상차를 계산하기 위한 신호를 이용하여 위상차를 빠르게 계산하면서 병렬적으로 라이브 뷰와 같은 이미지를 생성하여 빠르게 오토 포커싱을 수행하기 위함이다.
이미지 처리부(130)는, 로우 이미지 데이터를 처리하며, YCbCr 데이터로 만든다. 로우 이미지 데이터는 우선, 보정회로(미도시)에 의해 픽셀 결함이 보정된다. 보정회로는 보정 테이블을 참조하여, 픽셀 결함을 보정하는데, 보정테이블은 결함이 있는 픽셀의 어드레스가 등록되어 있다. 이 어드레스와 일치하는 픽셀에 대해서 주위의 픽셀로부터 보정을 수행한다.
이미지 처리부(130)는 이미지의 블랙 레벨을 결정하는 OB 클램프 회로(미도시)를 포함한다. 고체 촬상 소자(112)는 OB(Optical Black) 영역이 있으며, OB영역의 신호 평균값을 검출하여 각 픽셀값의 차이를 통해 블랙 레벨을 결정한다.
또한, 이미지 처리부(130)는 감도비 조정 회로(미도시)를 이용하여 색상별로 상이한 감도비 조정을 수행한다. 감도비 조정 회로는 표준 광원 하에서 R,G,B색의 감도를 조정한다. 통상적으로 G의 게인값을 1로 고정하고 R, B의 감도를 이에 맞춘다.
정지 이미지를 출력하는 경우 감도비 조정 후에 이미지 데이터를 출력버퍼를 통해 출력한다. 이 경우 인터레시스(interlace)방식으로 이미지를 생성하므로, 곧바로 후처리를 할 수 없는 반면, 라이브 뷰 이미지를 출력하는 경우에는 프로그래시브(progressive)방식으로 이미지를 생성하기 때문에 바로 후처리가 가능하다.
또한, 이미지 처리부(130)는 수평 스킵 리드아웃 회로(미도시)를 이용하여 일부 픽셀 라인은 리드아웃하고 나머지 픽셀 라인은 스킵하는 스킵 리드아웃을 수행하므로, 로우 이미지의 픽셀 수가 감소된다. 특히, 촬영 장치(100)는 화각 간섭이 발생하는 라이브 뷰 이미지를 빠르게 디스플레이 할 필요가 있는데, 이 경우 스킵 리드 아웃 방식을 통해 실시간 촬영 이미지를 디스플레이 할 수 있다.
이미지 처리부(130)는 WB조정회로(미도시)를 이용하여 이미지 데이터에 대한 화이트 밸런스(WB : White Balance)를 조정한다. 촬영 환경에 따라 조명광의 분광 분포가 다르므로 흰 피사체를 촬영해도 희게 표시되지 않을 수 있다. R,G,B 픽셀마다 상이한 게인값을 주어 신호 레벨을 맞춘다. 통상적으로 G의 게인값을 1로 고정하고 R, B의 신호 레벨을 이에 맞춘다.
또한, 이미지 처리부(130)는 이미지 데이터에 대한 감마 보정을 수행한다. 감마 보정을 통해 디스플레이부(150)의 출력에 맞는 계조 변환이 이루어진다.
또한, 이미지 처리부(130)는 색보간 회로(미도시)를 이용하여 1픽셀당 1색의 베이어 신호에서 1픽셀당 3색으로 이루어진 통상의 컬러 이미지 신호를 생성한다.
또한, 색변환/색보정 회로(미도시)를 이용하여 출력에 맞는 색공간 변환을 하고, 색보정을 한다. 필요에 따라 LUT(Look Up Table)을 이용할 수 있다. 색변환/색보정 후에 이미지 데이터는 YCbCr 데이터가 된다.
이미지 처리부(130)는 해상도 변환 회로(미도시)를 이용하여 해상도를 변환하여 사이즈를 맞춘다.
이미지 처리부(130)는 공간 필터 회로(미도시)를 이용하여 이미지 데이터에 대한 공간 필터를 처리한다. Y신호의 엣지 강조가 이루어지고, Cb/CR 신호의 LPF(Low Pass Filter)처리를 수행한다.
또한, 이미지 처리부(130)는 CbCr스킵 리드아웃 회로(미도시)를 이용하여 Cb/Cr신호에 대해 스킵 리드아웃을 수행하여 YCbCr4:2:2의 이미지 데이터로 변환한다. 이미지 데이터는 출력버퍼를 통해 출력되고, 버스를 통해 SDRAM(160)에 기록된다.
정지 이미지의 경우, 인터레이스 방식으로 리드아웃이 수행될 수 있는데, 이 경우, 인접하는 픽셀 라인이 존재하지 않으므로 직접 색 보간을 처리할 수 없다. 따라서, 전처리가 끝난 후, 일단 출력버퍼를 통해 SDRAM(160)에 픽셀 라인 순서를 조정하여 프로그래시브 형태로 저장한다. 이러한 이미지 데이터를 다시 읽어서 입력버퍼를 통해 이미지 처리부(130)에 입력한다.
다만, 본 발명의 실시 예가 정지 이미지의 경우 인터레이스 방식에 한정하는 것은 아니며, 프로그래시브 방식으로 리드아웃하도록 구현될 수도 있다.
한편, 정지 이미지의 경우, 촬영 후에 조그맣게 보여주는 프리뷰 이미지나, 썸네일 이미지를 생성할 필요가 있다. 이는 스킵 리드아웃처럼 일부 픽셀의 데이터를 생략하여 작성한다.
이미지 처리부(130)는 AF신호 보간 회로(미도시)를 이용하여 위상차 픽셀 부분을 일반 픽셀값으로 보간한다. 위상차 픽셀이 일반 픽셀 사이에 위치하므로, 이 부분을 그대로 사용하면, 해상도 열화가 발생할 수 있다. 따라서, 주변의 일반 픽셀을 이용하여 보간을 수행한다.
상술한 이미지 처리부(130)의 처리 과정에 따라, 이미지 처리부(130)는 제어부(140)의 제어 하에 복수의 촬영부(110)를 통해 획득되는 복수의 이미지 중 하나의 이미지의 속성에 기초하여 나머지 이미지의 속성을 동일하게 조정할 수 있다.
한편, 분리 회로(미도시)에서 분리된 위상차 픽셀의 신호는 일단 제1버스를 통해 SDRAM(160)에 기록된다. 복수의 픽셀 전부에 대해 리드아웃이 이루어지고, 분리가 이루어지므로, 짧은 기간 동안 각 위상차 픽셀 신호는 SDRAM(160)에 축적된다.
저장된 위상차 픽셀 신호는 제1버스를 통해 위상차 연산회로(미도시)로 입력된다. 위상차 연산 회로는, 위상차 픽셀 간의 위상차를 연산하고, 포커스 렌즈의 이동 방향과 이동량을 계산한다. 계산된 이동량은 위상차 연산회로 내의 레지스터에 일시적으로 기록되며, 제어부(140 즉, CPU)가 독출한다.
제어부(140)는, 포커스 렌즈의 계산된 이동량을 읽어와서, 제어 명령을 생성한다. 생성된 제어 명령을 모터 드라이버(115)에 전달하여 포커스 렌즈를 구동한다. 다만, 전술한 것처럼 촬영 장치(100)는 모터 드라이버(115)를 구비하지 않을 수도 있다.
JPEG 코덱은, YCbCr 데이터를 압축한다. 그리고, 압축된 이미지 데이터는 SDRAM(160)에 기록된다. 제어부(140)가 SDRAM(160)에 기록된 압축 이미지 데이터를 읽어와 메모리 카드(170)에 기록함으로써, 이미지 생성 절차가 종료된다.
통신부(135)는 다른 장치와 통신을 수행하기 위한 구성이다. 통신부(135)는 다양한 무선 통신 기술로 구현될 수 있다. 주로 통신부(135)는 디바이스간 중계 장치 없이 직접 통신을 수행하는 근거리 통신 모듈을 포함할 수 있다. 통신부(135)가 유선 통신 모듈로 구현되는 경우는 결합부(120)의 일부 구성으로 포함될 수 있다.
결합부(120)는 다른 장치와 결합하여 고정되기 위하여 사용될 수 있으며, 결합부(120)를 통해 유선 통신을 수행할 수도 있게 된다. 다른 장치와 결합하여 사용되는 경우에 대해서는 후술하기로 한다.
통신부(135)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
다른 통신 기술 수단의 적용을 배제하는 것은 아니다. 예를 들어, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 어느 하나를 포함할 수 있다.
USB 모듈(190)은 외부 장치와의 인터페이스를 제공한다. USB모듈(190)은 USB케이블을 통해 PC나 기타 외부 장치와 연결된 경우, 이미지 데이터의 송수신을 처리한다. 또한, 펌웨어 업그레이드를 수행하기 위한 펌웨어 송수신을 처리한다.
입력부(125)는 사용자 입력을 수신하기 위한 구성이다. 입력부(125)는 적어도 하나의 버튼을 포함할 수 있다. 또한, 입력부(125)는 디스플레이부(150)에 위치하는 터치 스크린을 포함할 수 있다. 즉, 입력부(125)는 영상을 촬영 또는 영상을 캡쳐하기 위한 터치 입력을 수신할 수 있다.
촬영 명령 또는 영상 캡쳐 명령뿐만 아니라, 입력부(125)는 촬영 영상의 배율을 조정하기 위한 사용자 명령을 입력받을 수 있다.
촬영 배율 조정 명령은 촬영 장치(100)에 포함된 버튼을 누르는 사용자 명령일 수 있다. 예를 들면, 입력부(125)가 상 버튼 및 하 버튼을 포함하는 경우, 라이브뷰가 디스플레이되는 동안, 상 버튼을 누르는 사용자 명령이 입력되면, 라이브 뷰 영상이 확대될 수 있다. 또는, 라이브뷰가 디스플레이되는 동안, 하 버튼을 누르는 사용자 명령이 입력되면, 라이브 뷰 영상이 축소될 수 있다.
또한, 입력부(125)는 터치 스크린으로 구현되어, 디스플레이부(150)를 통해, 촬영 영상의 배율을 조정하는 사용자 명령을 입력받을 수도 있다.
SDRAM(Synchronous Dynamic RAM 180) 은, 이미지를 저장하거나 CPU에 의한 이미지 작업에 이용된다. 본 발명의 일 실시 예에서, 시스템 클록의 상승단과 하강단 모두에서 출력이 나오도록 하여 상승단에서만 출력이 나오는 것에 비해 출력을 2배 향상시킬 수 있는 DDR SDRAM이 사용될 수 있다.
메모리 카드(170)는 플래시 메모리를 포함하여 구성될 수 있으며, 촬영 장치에 착탈이 가능한 카드 형태로 구현될 수 있다. 그리고, 메모리 카드(170)는 촬영된 이미지 파일을 저장할 수 있다. 도 1에서 상술한 저장부(120)는 이러한 메모리 카드(170)에 포함될 수 있다.
이상과 같은 실시 예들에서는, 복수의 촬영부(110)가 촬영 장치(100) 내에서 정해진 위치에 고정적으로 설치된 형태를 기준으로 설명하였으나, 복수의 촬영부(110) 중 적어도 하나는 촬영 장치(100)에서 이동 가능한 형태로 배치될 수도 있고, 별도의 독립적인 장치로 구현되어 촬영 장치(100)에 연결 가능한 형태로 사용될 수도 있다. 이하에서는, 본 발명의 다양한 실시 예에 따른 촬영 장치(100)의 촬영부 구성을 구체적으로 설명한다.
도 18 내지 25는 본 발명의 일 실시 예에 따른 촬영 장치의 촬영부 구조를 설명하기 위한 도면이다.
도 18에 따르면, 복수의 촬영부(111, 112) 중 제1 촬영부(111)는 고정된 위치에 배치되어 있고, 제2 촬영부(112)는 이동 가능한 형태로 제작된다. 제2 촬영부(112)가 촬영 장치(100)로부터 연결 가능하도록 하기 위해서는, 다양한 연결 구조가 사용될 수 있다. 일 예로, 촬영 장치(100)의 일 면에는 홈 또는 레일이 형성될 수 있다. 이 경우, 제2 촬영부(112)에는 그 홈이나 레일 내로 삽입되는 돌출 구조에 의해 촬영 장치(100)와 결합되어, 홈 또는 레일을 따라 이동 가능할 수 있다.
이에 따라, 사용자는 제2 촬영부(112)의 위치를 조정하면서, 원하는 화각 및 원하는 피사체를 촬영할 수 있으며, 라이브 뷰 이미지를 통해 이를 확인할 수도 있다.
또한, 상술한 바와 같이, 제1 촬영부(111) 및 제2 촬영부(112)는 종류, 촬영 배율, 화각(Field of view) 등과 같은 촬영부의 스펙이 상이하게 설계될 수 있으며, 예를 들면, 제1 촬영부(111)는 광각 렌즈를 포함하고, 제2 촬영부(112)는 망원 렌즈를 포함할 수 있다.
또한, 상술한 이미지 처리부(130) 및 제어부(140)의 이미지 처리 과정 및 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정은 도 18의 촬영 장치의 구조에 대해서도 동일하게 적용될 수 있다.
또는, 도 19에 도시된 바와 같이, 촬영 장치(100)는 외부의 촬영부(110)와 연결되어, 촬영을 수행할 수도 있다. 이 경우, 촬영 기능을 갖지 않은 TV나 랩탑 PC 등과 같은 촬영 장치가 상술한 바와 같은 촬영 장치(100)로 동작할 수 있다.
복수의 촬영부(110)가 촬영 장치(100)에 구비된 채 사용자가 촬영 장치(100)를 직접 사용하여 촬영을 수행할 수도 있으나, 복수의 촬영부(110)를 각각 촬영 장치(100)에 연결하여 촬영을 수행하는 경우에도 상술한 이미지 처리부(130) 및 제어부(140)의 이미지 처리 과정 및 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정은 동일하게 적용될 수 있다.
예를 들어, 도 19는 촬영 장치(100)로서 TV를 도시하고 있는데, TV의 제어부(140)는 TV에 연결된 제1 촬영부(111) 및 제2 촬영부(112)를 통해 획득된 각각의 이미지의 속성을 서로 대응되도록 조정하고, 리모컨(미도시)이나 디스플레이부(150)에 구비된 터치 스크린을 통해 촬영 배율을 변경하기 위한 변경 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여 변경된 촬영 배율에 대응되는 합성 이미지를 생성하여 TV의 디스플레이부(150)에 디스플레이할 수 있다.
또한, 도 19는 TV와 제1 촬영부(111) 및 제2 촬영부(112)가 유선으로 연결되는 경우를 설명하고 있으나, 도 17에서 상술한 통신부(135)를 통해 무선 통신 방식을 사용하여 통신할 수도 있다.
상술한 도 19의 예에 따라, 사용자는 복수의 촬영부(110)가 일체형으로 구비된 촬영 장치(100)가 아닌 경우라도, 독립적인 복수의 촬영부(110)를 촬영 장치(100)와 유선 또는 무선으로 연결함으로써, 촬영 장치(100)를 통해 원하는 촬영 배율을 입력하면, 촬영 장치(100)의 제어부(140)는 복수의 촬영부(110)에서 촬영되는 복수의 이미지의 속성을 서로 대응되도록 조정하고, 조정된 복수의 이미지를 합성하여 변경된 촬영 배율에 대응되는 합성 이미지를 생성하여 라이브 뷰 이미지로 디스플레이할 수도 있고, 촬영된 이미지를 재생하면서 사용자가 원하는 재생 배율을 입력하면, 촬영 장치(100)의 제어부(140)는 조정된 복수의 이미지를 합성하여 변경된 재생 배율에 대응되는 합성 이미지를 생성하여 디스플레이할 수도 있다.
도 20을 참조하면, 도 19와 마찬가지로 복수의 촬영부(110)가 촬영 장치(100)에 구비되지 않고 독립적으로 존재하면서 촬영 장치(100)에 연결된 경우를 도시한 것으로서, 도 20은 촬영 장치(100)로서 스마트 폰을 도시한 것이다.
마찬가지로, 도 19에서 설명한 바와 같이, 사용자는 복수의 촬영부(110)가 일체형으로 구비된 스마트 폰(100)이 아닌 경우라도, 독립적인 복수의 촬영부(110)를 스마트 폰(100)과 유선 또는 무선으로 연결함으로써, 스마트 폰(100)을 통해 원하는 촬영 배율을 입력하면, 스마트 폰(100)의 제어부(140)는 복수의 촬영부(110)에서 촬영되는 복수의 이미지의 속성을 서로 대응되도록 조정하고, 조정된 복수의 이미지를 합성하여 변경된 촬영 배율에 대응되는 합성 이미지를 생성하여 라이브 뷰 이미지로 디스플레이할 수도 있고, 촬영된 이미지를 재생하면서 사용자가 원하는 재생 배율을 입력하면, 스마트 폰(100)의 제어부(140)는 조정된 복수의 이미지를 합성하여 변경된 재생 배율에 대응되는 합성 이미지를 생성하여 디스플레이할 수도 있다.
한편, 하나의 촬영 장치(100)에 복수의 촬영부(110)가 구비되거나 연결된 경우뿐만 아니라, 촬영부(100-1, 200-1)를 각각 포함하는 촬영 장치(100, 200)에 대해서도 상술한 이미지 처리부(130) 및 제어부(140)의 이미지 처리 과정 및 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정은 동일하게 적용될 수 있다.
도 21은 촬영 장치(100, 200)가 스마트 폰으로 구현된 경우를 도시하고 있으며, 사용자는 이러한 복수의 촬영 장치(100, 200)을 도 21과 같이 겹쳐서 촬영을 수행할 수도 있다. 이 경우, 복수의 촬영 장치(100, 200)에 상호 연결을 위한 연결 구조(예를 들어, 요철 구조, 연결 고리 등)이 마련되어 있다면, 사용자는 연결 구조를 이용하여 복수의 촬영 장치(100, 200)를 서로 고정적으로 연결할 수 있으며, 또한 별다른 연결 구조가 없는 경우에는 사용자가 직접 자신의 손으로 복수의 촬영 장치(100, 200)을 한꺼번에 파지한 상태에서 촬영을 수행할 수도 있다.
사용자는 복수의 촬영 장치(100, 100)를 함께 이용하여 촬영하기 위하여, 두 촬영 장치(100, 100) 사이를 유선 또는 무선 통신 인터페이스를 통해 연결시킬 수도 있다.
이러한 상태에서, 촬영 명령이 입력되면, 복수의 촬영 장치(100, 200)의 촬영부 각각(100-1, 200-1)에서는 촬영이 이루어지게 되고, 촬영된 복수의 이미지들은 복수의 촬영 장치(100, 200) 각각의 저장부에 저장되며, 복수의 촬영 장치(100, 200) 각각의 제어부는 촬영된 복수의 이미지의 속성을 조정하고, 속성이 조정된 복수의 이미지를 합성하여 합성 이미지를 생성할 수 있다.
또한, 촬영 시, 사용자로부터 촬영 배율을 변경하기 위한 변경 명령이 입력되면, 복수의 촬영 장치(100, 200) 각각의 제어부는 변경된 촬영 배율에 대응되는 합성 이미지를 디스플레이할 수 있다.
또한, 복수의 촬영부(100-1, 200-1) 각각의 시점이나 화각 등이 서로 다르므로, 복수의 촬영 장치(100, 200) 각각의 제어부는 이를 조합하여 다양한 형태의 촬영 이미지를 생성할 수 있다. 가령, 제어부는 좌측에 위치한 촬영 장치에서 촬영한 영상은 좌안 영상으로 하고, 우측에 위치한 촬영 장치에서 촬영한 영상은 우안 영상으로 하는 3D 컨텐츠를 생성할 수 있다. 또는, 제어부는 광각 렌즈를 사용하는 촬영 장치에서 촬영한 영상 내의 일부 영역을 망원 렌즈를 사용하는 촬영 장치에서 촬영한 영상 중 적어도 일부로 대체한 합성 이미지를 생성할 수도 있다. 또는, 제어부는 제1 촬영부(100-1)에서는 동영상을 촬영하도록 하고, 제2 촬영부(200-1)는 정지 영상을 촬영하게 하거나, 제1 촬영부(100-1)에서는 정지 영상을 촬영하도록 하고, 제2 촬영부(200-1)에서는 동영상을 촬영하도록 하여, 동영상 및 정지 영상이 결합된 합성 이미지를 생성할 수도 있다.
한편, 복수의 촬영 장치(100, 200) 간의 통신 연결은 자동으로 이루어질 수도 있다. 예를 들어, 복수의 촬영 장치 중 제1 촬영 장치(100)에서, 공동 촬영 명령이 입력되면, 그 촬영 장치(100)는 블루투스 또는 NFC와 같은 근거리 통신을 이용하여, 기설정된 거리 내에 위치하는 다른 촬영 장치를 검색할 수 있다. 검색 결과, 제2 촬영 장치(200)가 발견되면, 검색된 제2 촬영 장치(200)와 통신을 연결할 수 있다. 또는, 복수의 촬영 장치(100, 200) 사이에서 태깅(tagging)이 이루어지면, 근거리 무선 통신 방식에 따라 통신을 자동으로 연결할 수도 있다.
통신이 연결되면, 사용자는 각 촬영 장치를 이용하여 일괄적으로 영상을 촬영할 수 있고, 제어부는 각 촬영 장치 중 하나의 촬영 장치에 구비된 디스플레이부를 통해 라이브 뷰 또는 촬영 영상을 디스플레이할 수 있다. 또한, 사용자는 각 촬영 장치 중 하나를 통해서 캡쳐 명령이나 촬영 배율 변경 명령, 저장 명령 등과 같은 각종 사용자 명령을 입력할 수도 있다.
한편, 도 21에서는 각 촬영 장치(100, 200)가 촬영부(100-1, 200-1)를 각각 포함하는 스마트 폰으로 구현된 경우를 예를 들어 설명하였다. 그러나 이는 일 실시 예에 불과할 뿐, 촬영 장치(100)는 카메라부를 포함하는 태블릿 PC, 디지털 카메라, 캠코더, PDA, MP3와 같은 다양한 전자 장치로 구현될 수 있다.
도 22를 참조하면, 서로 다른 이종의 촬영 장치(100, 2200)를 포함하는 촬영 장치의 결합 구조를 나타내고 있음을 알 수 있다.
도 22에 따르면, 사용자는 휴대폰으로 구현된 제1 촬영 장치(100)와 카메라로 구현된 제2 촬영 장치(2200)를 서로 연결하여 촬영 시스템을 만들 수 있다. 도 22의 제2 촬영 장치(2200)는 제1 촬영 장치(100)와 물리적으로 결합 가능한 구조로 제작될 수 있다. 도 22에서는 제1 촬영 장치(100) 내에서 촬영부(100-1)가 배치된 면 방향으로 제2 촬영 장치(2200)가 연결된 상태를 나타낸다. 이 경우, 제1 촬영 장치(100)의 후면의 배터리 커버를 벗겨내고, 그 배터리 커버와 본체 사이의 연결구조를 이용하여, 제2 촬영 장치(2200)를 연결하도록 복수의 촬영 장치 각각이 제작될 수도 있다. 설명의 편의를 위해서, 이러한 형태의 촬영 장치를 커버형 촬영 장치라 한다. 커버형 촬영 장치에 대해 도 23 및 24를 참조하여 자세히 설명하기로 한다.
도 23은 제1 촬영 장치(100)의 배터리 커버를 제거한 상태를 도시한 것으로서, 배터리 커버는 제1 촬영 장치(100)의 본체의 뒷면에 형성된 각종 홈에 삽입 가능한 다수의 돌기를 포함할 수 있다. 사용자는 돌기 및 홈을 이용하여 배터리 커버를 탈부착시킬 수 있으며, 배터리 커버에 의해 패키징 되는 촬영 장치(100)의 뒷면에는 배터리뿐만 아니라, 인터페이스부(2300)가 포함될 수 있다. 즉, 촬영 장치(100)로부터 배터리 커버가 제거되면, 인터페이스부(2300)가 드러날 수 있다.
또한, 도 24는 제1 촬영 장치(100)와 결합하기 위한 제2 촬영 장치(2200)의 외관 후면을 나타낸 것으로, 제2 촬영 장치(2200)는 제1 촬영 장치(100)로부터 배터리 커버를 벗겨 낸 표면에 배터리 커버를 대체하여 연결가능한 케이스 형태로 구현될 수 있다.
제2 촬영 장치(2200)는 제1 촬영 장치(100)와 결합하기 위한 인터페이스부(2300-1), 촬영부(2200-1) 및 셔터 버튼(2200-2)를 포함할 수 있다.
제2 촬영 장치(2200)는 제1 촬영 장치(100)의 홈에 결합하여 고정되기 위한 결합부를 포함할 수 있으며, 제1 촬영 장치(100)의 일면을 덮기 위한 커버가 제거되면, 제2 촬영 장치(2200)는 커버가 제거된 위치에 결합될 수 있다.
또한, 제2 촬영 장치(2200)는 제1 촬영 장치(100)의 촬영부(100-1)를 가리지 않기 위하여, 제1 촬영 장치(100)의 촬영부(100-1)에 대응되는 위치에 개구 영역(235)를 포함할 수 있으며, 이에 따라, 제1 촬영 장치(100) 및 제2 촬영 장치(2200)가 결합되면, 개구 영역(235) 내에 제1 촬영 장치(100)의 촬영부(100-1)가 위치할 수 있게 된다.
그리고, 제2 촬영 장치(2200)의 인터페이스부(2300-1)는 제2 촬영 장치(100)의 인터페이스부(2300)와 맞닿도록 위치할 수 있다.
이상과 같은 방식으로 연결되면, 제2 촬영 장치(2200)의 촬영부(2200-1)는 제1 촬영 장치(100)의 촬영부(100-1)와 별도로 촬영을 수행할 수 있으며, 특히, 제2 촬영 장치(2200)의 촬영부(2200-1)는 제1 촬영 장치(100)의 촬영부(100-1)와 상이한 화각을 가지는 렌즈를 포함할 수 있다. 예를 들면, 제1 촬영 장치(100)의 촬영부(100-1)가 광각렌즈를 포함하고, 제2 촬영 장치(2200)의 촬영부(2200-1)는 망원렌즈를 포함할 수 있다.
한편, 제2 촬영 장치(2200)는 입력부를 포함할 수 있다. 입력부는 적어도 하나의 버튼을 포함할 수 있다. 즉, 버튼은 푸쉬형 혹은 터치형으로 형성될 수 있으며, 전원/잠금 버튼, 셔터 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다. 특히, 제2 촬영 장치(2200)는 이미지를 캡쳐하기 위한 셔터 버튼(2200-1)을 포함할 수 있다.
셔터 버튼(2200-1)를 통해 이미지 캡쳐 명령이 입력되면, 제2 촬영 장치(2200)는 촬영부(2200-1)를 통해 촬영되는 이미지를 캡쳐하고, 인터페이스부(2300-1)를 통해 제1 촬영 장치(100)로 이미지 캡쳐 명령을 전달할 수 있다.
또는, 셔터 버튼(2200-1)를 통해 이미지 캡쳐 명령이 입력되면, 제2 촬영 장치(2200)는 인터페이스부(2300-1)를 통해 이미지 캡쳐 명령을 제1 촬영 장치(100)로 전달할 수 있다. 그리고 제1 촬영 장치(100)가 제1 촬영 장치(100) 및 제2 촬영 장치(2200)에서 촬영되는 이미지를 동시에 캡쳐할 수도 있다.
따라서, 셔터 버튼(2200-1)을 통해 이미지 캡쳐 명령이 입력되면, 제1 촬영 장치(100) 및 제2 촬영 장치(2200)의 촬영부(100-1, 2200-1)를 통해 촬영되는 이미지를 동시에 캡쳐할 수 있게 된다.
그리고, 제1 촬영 장치(100)의 제어부(140)는 제1 촬영 장치(100) 및 제2 촬영 장치(2200)의 촬영부(100-1, 2200-1)를 통해 획득되는 이미지의 속성을 서로 대응되도록 조정하고, 촬영 배율을 변경하기 위한 변경 명령이 입력된 경우, 속성이 조정된 복수의 이미지를 합성하여 변경된 촬영 배율에 대응되는 합성 이미지를 생성하여 디스플레이할 수 있다.
한편, 도 25를 참조하면, 제2 촬영 장치(2200)는 렌즈(2500)가 탈착 가능한 형태가 될 수 있음을 나타내고 있다. 즉, 도 25는 탈착 가능한 렌즈(2500)를 이용하는 제2 촬영 장치(2200)와 제1 촬영 장치(100)가 연결된 구조를 도시하였다.
사용자는 촬영 영상의 종류, 촬영 배율 등에 따라 다양한 종류의 렌즈(2500)로 변경하여 제2 촬영 장치(2200)에 부착할 수 있다. 예를 들어, 망원 렌즈를 제2 촬영 장치(2200)에 부착할 수도 있다. 따라서, 제1 촬영 장치(100)와 함께 이용되는 제2 촬영 장치(2200)의 성능을 다양하게 변경시켜, 다양한 촬영 효과를 구현할 수 있다.
한편, 상술한 도 25의 실시 예의 경우, 단 초점 렌즈뿐만 아니라, 줌 렌즈를 탈부착하는 경우도 포함될 수 있다. 즉, 본 발명의 일 실시 예에 따르면, 1x 배율의 렌즈와 5x 배율의 렌즈를 사용하여 2x, 3x, 4x 배율의 합성 이미지를 생성하는 경우를 설명하였으나, 1x 배율의 렌즈와 10x 배율의 줌 렌즈를 사용하여, 2x, 3x, 4x 배율의 합성 이미지를 생성할 수도 있으며, 단 초점 렌즈와 줌 렌즈를 통해 획득되는 복수의 이미지에 대해서도 상술한 이미지 처리부(130) 및 제어부(140)의 이미지 처리 과정 및 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정은 동일하게 적용될 수 있다.
마찬가지로, 도 21 내지 도 25와 같은 복수의 촬영 장치 간의 다양한 결합 구조에 대해서도 미리 설명한 이미지 처리부(130) 및 제어부(140)의 이미지 처리 과정 및 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 과정은 동일하게 적용될 수 있다.
한편, 본 발명의 일 실시 예에 따른 복수의 촬영부(110)에 구비된 렌즈 각각은 서로 다른 방향을 향하며, 이때 이미지 처리부(130)는 각 렌즈의 서로 다른 방향에 의해 생성되는 차이를 보상(calibration/rectification)하여, 복수의 이미지를 각 렌즈가 동일한 방향을 향하는 경우 촬영되는 이미지로 각각 변형하고, 제어부(140)는 변형된 이미지를 서로 연결하고 합성하여 하나의 전체 이미지를 생성하도록 이미지 처리부(130)를 제어할 수 있다.
구체적으로, 복수의 촬영부(110)에 구비된 렌즈 각각이 향하는 방향이 서로 다른 경우, 복수의 촬영부(110)를 통해 촬영되는 이미지는 서로 다르며, 이에 따라, 이미지 처리부(130)는 복수의 촬여부(110)를 통해 촬영되는 서로 다른 이미지를 보정하여 동일한 방향을 향하는 렌즈를 통해 촬영된 것처럼 변형할 수 있고, 제어부(140)는 변형된 이미지를 연결하여 하나의 전체 이미지를 생성하도록 이미지 처리부(130)를 제어할 수 있다. 여기서, 하나의 전체 이미지는 일 예로 파노라마 이미지가 될 수 있다.
또한, 복수의 촬영부(110)에 구비된 렌즈 각각이 향하는 방향이 서로 다르지 않더라도 즉, 같은 방향을 향하고 있더라도 복수의 촬영부(110) 간의 거리가 서로 멀어질 경우에도 복수의 촬영부(110)를 통해 촬영되는 이미지는 서로 다르며, 이러한 경우에도 제어부(140)는 복수의 촬영부(110)를 통해 촬영되는 서로 다른 이미지를 연결하여 하나의 전체 이미지를 생성하도록 이미지 처리부(130)를 제어할 수 있다. 예를 들면, 도 1에서 각각의 촬영부(111, 112)가 서로 움직일 수 있도록 구현되어, 각각의 촬영부(111, 112) 간의 거리가 변경될 수 있다.
한편, 제어부(140)는 복수의 촬영부(110)를 통해 촬영되는 서로 다른 이미지들에 기초하여 Feature Matching을 수행하도록 이미지 처리부(130)를 제어할 수 있다. 즉, 제어부(140)는 서로 다른 이미지 각각으로부터 기준이 되는 특징점을 추출하고, 추출된 특징점을 서로 비교하도록 이미지 처리부(130)를 제어할 수 있다.
특히, 복수의 촬영부(110)를 통해 촬영되는 서로 다른 이미지 간에 중첩되는 영역이 존재하는 경우, 제어부(140)는 중첩되는 영역에 기초하여 Feature Matching을 수행하도록 이미지 처리부(130)를 제어할 수도 있다.
그리고, 제어부(140)는 이미지 처리부(130)로 하여금 추출된 특징점을 서로 비교한 결과에 기초하여 서로 다른 이미지들이 자연스럽게 연결되도록 배열하게 한다.
또한, 제어부(140)는 서로 다른 이미지들이 자연스럽게 연결되도록 배열된 상태에서 각 픽셀들마다 가중치를 두어 합성(blending)하도록 이미지 처리부(13)를 제어할 수 있다. 여기서, 합성(blending)하는 방법으로는 Alpha blending, Laplacian blending, Gradient domain blending 등이 있다.
이렇게 합성된 이미지는 하나의 전체 이미지를 나타내게 되며, 주로 파노라마 이미지로 구현될 수 있다.
또한, 이러한 하나의 전체 이미지는 복수의 촬영부(110)에 구비된 렌즈 각각의 화각, 렌즈 간의 거리, 렌즈 각각의 배율 등에 따라서도 다양하게 변경될 수 있다.
도 26은 본 발명의 일 실시 예에 따른 초점 거리가 서로 다른 렌즈를 이용하는 복수의 촬영부를 포함하는 촬영 장치의 촬영 방법을 설명하기 위한 흐름도이다.
도 26에 도시된 방법에 따르면, 복수의 촬영부에서 촬영되는 서로 다른 해상도의 복수의 이미지를 저장한다(S2610).
그리고, 복수의 이미지의 속성을 서로 대응되도록 조정한다(S2620).
여기서, 이미지의 속성은 컬러 및 화이트 밸런스를 포함하며, 조정하는 단계는 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정한다.
또한, 복수의 촬영부는 광각 렌즈를 구비한 제1 촬영부 및 망원 렌즈를 구비한 적어도 하나의 제2 촬영부를 포함하며, 조정하는 단계는, 제1 촬영부로부터 획득된 제1 이미지의 컬러 및 화이트 밸런스를 기준으로 적어도 하나의 제2 촬영부로부터 획득된 적어도 하나의 제2 이미지의 컬러 및 화이트 밸런스를 조정한다.
이후, 배율 변경 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여, 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성한다(S2630).
여기서, 합성 이미지를 생성하는 단계는, 복수의 이미지로부터 변경된 촬영 배율에 대응되는 크기의 로컬 영역을 각각 검출한 후 합성하여 합성 이미지를 생성한다.
또한, 합성 이미지를 생성하는 단계는, 복수의 이미지에 공통적으로 포함되는 공통 영역 내의 피사체의 움직임 정도에 기초하여, 복수의 이미지 각각의 합성 비율을 조정한다.
또한, 복수의 촬영부에 구비된 각각의 이미지 센서는 서로 다른 패턴의 컬러 픽셀을 포함하며, 합성 이미지를 생성하는 단계는, 서로 다른 패턴의 컬러 픽셀로부터 획득된 서로 다른 복수의 컬러 스펙트럼 정보에 기초하여, 피사체의 물성(physical property)을 표현하는 합성 이미지를 생성한다.
또한, 적어도 하나의 이미지 센서는 피사체의 뎁스 정보를 검출하는 픽셀을 더 포함하며, 합성 이미지를 생성하는 단계는, 검출된 뎁스 정보에 기초하여 배율 변경 명령에 의해 변경된 배율의 3D 이미지를 생성한다.
그리고, 합성 이미지를 디스플레이한다(S2640).
한편, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은, 복수의 촬영부에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여 복수의 촬영부의 촬영 타이밍을 동기화하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은, 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 복수의 이미지 간의 동기 여부를 판단하고, 복수의 이미지가 비동기 상태이면 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은, 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 복수의 이미지 간의 동기 여부를 판단하고, 복수의 이미지가 비동기 상태이면, 복수의 촬영부의 각 촬영 타이밍을 동기화하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은, 배율 변경 명령에 의해 변경된 배율의 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 인디케이터에 대한 사용자 명령이 입력되면, 복수의 영역 각각에 대응되는 복수의 이미지 중 적어도 하나를 디스플레이하는 단계를 더 포함한다.
또한, 본 발명의 일 실시 예에 따른 촬영 장치의 촬영 방법은, 복수의 촬영부에 구비된 렌즈 각각은 서로 다른 방향을 향하며, 각 렌즈의 서로 다른 방향에 의해 생성되는 차이를 보상(calibration/rectification)하여 복수의 이미지를 각 렌즈가 동일한 방향을 향하는 경우 촬영되는 이미지로 각각 변형하는 단계 및 변형된 이미지를 서로 연결하고 합성하여 하나의 전체 이미지를 생성하는 단계를 더 포함한다.
한편, 본 발명에 따른 촬영 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
일 예로, 초점 거리가 서로 다른 렌즈를 각각 구비하여 서로 다른 해상도의 이미지를 촬영하는 복수의 촬영부에서 촬영되는 복수의 이미지를 저장하는 단계, 복수의 이미지의 속성을 서로 대응되도록 조정하는 단계 및 촬영 배율을 변경하기 위한 변경 명령이 입력되면, 속성이 조정된 복수의 이미지를 합성하여, 변경된 촬영 배율에 대응되는 합성 이미지를 생성하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또한, 일 예로, 복수의 촬영부에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여, 복수의 촬영부의 촬영 타이밍을 동기화하는 단계, 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 복수의 이미지 간의 동기 여부를 판단하고, 복수의 이미지가 비동기 상태이면 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화하는 단계, 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 복수의 이미지 간의 동기 여부를 판단하고, 복수의 이미지가 비동기 상태이면 복수의 촬영부의 각 촬영 타이밍을 동기화하는 단계 및 변경된 촬영 배율에 대응되는 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 인디케이터에 대한 사용자 명령이 입력되면, 복수의 영역 각각에 대응되는 복수의 이미지 중 적어도 하나를 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 촬영 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 촬영 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 촬영 장치 110: 복수의 촬영부
120: 저장부 130: 이미지 처리부
140: 제어부 150: 디스플레이부

Claims (24)

  1. 초점 거리가 서로 다른 렌즈를 각각 구비하여 서로 다른 해상도의 이미지를 촬영하는 복수의 촬영부;
    상기 복수의 촬영부에서 촬영되는 복수의 이미지를 저장하는 저장부;
    상기 복수의 이미지의 속성을 서로 대응되도록 조정하는 이미지 처리부;
    배율 변경 명령이 입력되면, 상기 속성이 조정된 복수의 이미지를 합성하여, 상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성하도록 상기 이미지 처리부를 제어하는 제어부; 및
    상기 합성 이미지를 디스플레이하는 디스플레이부;를 포함하는 촬영 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 이미지로부터 상기 변경된 촬영 배율에 대응되는 크기의 로컬 영역을 각각 검출한 후 합성하여 상기 합성 이미지를 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 촬영 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 촬영부에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여, 상기 복수의 촬영부의 촬영 타이밍을 동기화하는 것을 특징으로 하는 촬영 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화하는 것을 특징으로 하는 촬영 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면, 상기 복수의 촬영부의 각 촬영 타이밍을 동기화하는 것을 특징으로 하는 촬영 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 이미지에 공통적으로 포함되는 공통 영역 내의 피사체의 움직임 정도에 기초하여, 상기 복수의 이미지 각각의 합성 비율을 조정하는 것을 특징으로 하는 촬영 장치.
  7. 제1항에 있어서,
    상기 이미지의 속성은 컬러 및 화이트 밸런스를 포함하며,
    상기 제어부는,
    상기 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정하는 것을 특징으로 하는 촬영 장치.
  8. 제7항에 있어서,
    상기 복수의 촬영부는 광각 렌즈를 구비한 제1 촬영부 및 망원 렌즈를 구비한 적어도 하나의 제2 촬영부를 포함하며,
    상기 제어부는,
    상기 제1 촬영부로부터 획득된 제1 이미지의 컬러 및 화이트 밸런스를 기준으로 상기 적어도 하나의 제2 촬영부로부터 획득된 적어도 하나의 제2 이미지의 컬러 및 화이트 밸런스를 조정하는 것을 특징으로 하는 촬영 장치.
  9. 제1항에 있어서,
    상기 복수의 촬영부에 구비된 각각의 이미지 센서는 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하며,
    상기 제어부는,
    상기 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하는 이미지 센서 각각으로부터 획득된 복수의 컬러 스펙트럼 정보에 기초하여, 피사체의 물성(physical property)을 표현하는 상기 합성 이미지를 생성하는 것을 특징으로 하는 촬영 장치.
  10. 제9항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 피사체의 뎁스 정보를 검출하는 픽셀을 더 포함하며,
    상기 제어부는,
    상기 검출된 뎁스 정보에 기초하여 상기 변경된 촬영 배율의 3D 이미지를 생성하는 것을 특징으로 하는 촬영 장치.
  11. 제2항에 있어서,
    상기 제어부는,
    상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 상기 인디케이터에 대한 사용자 명령이 입력되면, 상기 복수의 영역 각각에 대응되는 상기 복수의 이미지 중 적어도 하나를 디스플레이하는 것을 특징으로 하는 촬영 장치.
  12. 제1항에 있어서,
    상기 복수의 촬영부에 구비된 렌즈 각각은 서로 다른 방향을 향하며,
    상기 이미지 처리부는,
    상기 각 렌즈의 서로 다른 방향에 의해 생성되는 차이를 보상(calibration/rectification)하여, 상기 복수의 이미지를 상기 각 렌즈가 동일한 방향을 향하는 경우 촬영되는 이미지로 각각 변형하고,
    상기 제어부는,
    상기 변형된 이미지를 서로 연결하고 합성하여 하나의 전체 이미지를 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 촬영 장치.
  13. 초점 거리가 서로 다른 렌즈를 이용하는 복수의 촬영부를 포함하는 촬영 장치의 촬영 방법에 있어서,
    상기 복수의 촬영부에서 촬영되는 서로 다른 해상도의 복수의 이미지를 저장하는 단계;
    상기 복수의 이미지의 속성을 서로 대응되도록 조정하는 단계;
    배율 변경 명령이 입력되면, 상기 속성이 조정된 복수의 이미지를 합성하여, 상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지를 생성하는 단계; 및
    상기 합성 이미지를 디스플레이하는 단계;를 포함하는 촬영 장치의 촬영 방법.
  14. 제13항에 있어서,
    상기 합성 이미지를 생성하는 단계는,
    상기 복수의 이미지로부터 상기 변경된 촬영 배율에 대응되는 크기의 로컬 영역을 각각 검출한 후 합성하여 상기 합성 이미지를 생성하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  15. 제13항에 있어서,
    상기 복수의 촬영부에 구비된 각각의 이미지 센서로 제공하는 리셋 신호의 제공 타이밍을 동기화하여, 상기 복수의 촬영부의 촬영 타이밍을 동기화하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  16. 제13항에 있어서,
    상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면 적어도 하나의 이미지 프레임을 딜레이 처리하여 동기화하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  17. 제13항에 있어서,
    상기 복수의 이미지에 공통적으로 포함되는 공통 영역에 기초하여 상기 복수의 이미지 간의 동기 여부를 판단하고, 상기 복수의 이미지가 비동기 상태이면, 상기 복수의 촬영부의 각 촬영 타이밍을 동기화하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  18. 제13항에 있어서,
    상기 합성 이미지를 생성하는 단계는,
    상기 복수의 이미지에 공통적으로 포함되는 공통 영역 내의 피사체의 움직임 정도에 기초하여, 상기 복수의 이미지 각각의 합성 비율을 조정하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  19. 제13항에 있어서,
    상기 이미지의 속성은 컬러 및 화이트 밸런스를 포함하며,
    상기 조정하는 단계는,
    상기 복수의 이미지 중 하나의 이미지의 컬러 및 화이트 밸런스를 기준으로 나머지 이미지의 컬러 및 화이트 밸런스를 동일하게 조정하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  20. 제19항에 있어서,
    상기 복수의 촬영부는 광각 렌즈를 구비한 제1 촬영부 및 망원 렌즈를 구비한 적어도 하나의 제2 촬영부를 포함하며,
    상기 조정하는 단계는,
    상기 제1 촬영부로부터 획득된 제1 이미지의 컬러 및 화이트 밸런스를 기준으로 상기 적어도 하나의 제2 촬영부로부터 획득된 적어도 하나의 제2 이미지의 컬러 및 화이트 밸런스를 조정하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  21. 제13항에 있어서,
    상기 복수의 촬영부에 구비된 각각의 이미지 센서는 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하며,
    상기 합성 이미지를 생성하는 단계는,
    상기 서로 동일한 패턴 또는 서로 다른 패턴의 컬러 픽셀을 포함하는 이미지 센서 각각으로부터 획득된 복수의 컬러 스펙트럼 정보에 기초하여, 피사체의 물성(physical property)을 표현하는 상기 합성 이미지를 생성하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  22. 제21항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 피사체의 뎁스 정보를 검출하는 픽셀을 더 포함하며,
    상기 합성 이미지를 생성하는 단계는,
    상기 검출된 뎁스 정보에 기초하여 상기 배율 변경 명령에 의해 변경된 배율의 3D 이미지를 생성하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  23. 제14항에 있어서,
    상기 배율 변경 명령에 의해 변경된 배율의 합성 이미지에 포함된 서로 다른 해상도를 갖는 복수의 영역을 표시하는 인디케이터를 표시하고, 상기 인디케이터에 대한 사용자 명령이 입력되면, 상기 복수의 영역 각각에 대응되는 상기 복수의 이미지 중 적어도 하나를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
  24. 제13항에 있어서,
    상기 복수의 촬영부에 구비된 렌즈 각각은 서로 다른 방향을 향하며,
    상기 각 렌즈의 서로 다른 방향에 의해 생성되는 차이를 보상(calibation/rectification)하여, 상기 복수의 이미지를 상기 각 렌즈가 동일한 방향을 향하는 경우 촬영되는 이미지로 각각 변형하는 단계; 및
    상기 변형된 이미지를 서로 연결하고 합성하여 하나의 전체 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 장치의 촬영 방법.
KR1020140094830A 2014-07-25 2014-07-25 촬영 장치 및 그 촬영 방법 KR102157675B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140094830A KR102157675B1 (ko) 2014-07-25 2014-07-25 촬영 장치 및 그 촬영 방법
US14/806,871 US9813615B2 (en) 2014-07-25 2015-07-23 Image photographing apparatus and image photographing method for generating a synthesis image from a plurality of images
EP15824546.4A EP3172894B1 (en) 2014-07-25 2015-07-24 Image photographing apparatus and image photographing method
CN201580045345.1A CN106576143B (zh) 2014-07-25 2015-07-24 图像拍摄装置和图像拍摄方法
PCT/KR2015/007727 WO2016013902A1 (en) 2014-07-25 2015-07-24 Image photographing apparatus and image photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140094830A KR102157675B1 (ko) 2014-07-25 2014-07-25 촬영 장치 및 그 촬영 방법

Publications (2)

Publication Number Publication Date
KR20160012743A true KR20160012743A (ko) 2016-02-03
KR102157675B1 KR102157675B1 (ko) 2020-09-18

Family

ID=55163358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140094830A KR102157675B1 (ko) 2014-07-25 2014-07-25 촬영 장치 및 그 촬영 방법

Country Status (5)

Country Link
US (1) US9813615B2 (ko)
EP (1) EP3172894B1 (ko)
KR (1) KR102157675B1 (ko)
CN (1) CN106576143B (ko)
WO (1) WO2016013902A1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180027183A (ko) * 2016-09-06 2018-03-14 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
KR20190000591A (ko) * 2017-06-23 2019-01-03 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
KR20190030946A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
KR20190032061A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
KR20190041586A (ko) * 2017-10-13 2019-04-23 삼성전자주식회사 복수의 이미지들을 합성하는 전자장치 및 방법
KR20190052031A (ko) * 2016-09-07 2019-05-15 멀티미디어 이미지 솔루션 리미티드 선명하고 정확한 주밍 메커니즘 구현을 위한 광각 이미지 캡쳐링 요소 및 장초점 이미지 캡쳐링 요소의 활용방법
WO2020130217A1 (ko) * 2018-12-18 2020-06-25 전자부품연구원 관심 객체 처리 장치 및 그 방법
KR20200101207A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US20210075975A1 (en) 2019-09-10 2021-03-11 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing based on multiple camera modules, electronic device, and storage medium
WO2022035267A1 (ko) * 2020-08-14 2022-02-17 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치
CN115866394A (zh) * 2018-10-12 2023-03-28 三星电子株式会社 用于在第一镜头和第二镜头之间切换的方法和电子设备
US11750928B2 (en) 2021-06-03 2023-09-05 Samsung Electronics Co., Ltd. Method and electronic device for rectifying an image
US11877072B2 (en) 2020-05-15 2024-01-16 Samsung Electronics Co., Ltd. Image capturing method using plurality of cameras, and electronic device
US11956527B2 (en) 2017-08-16 2024-04-09 Qualcomm Incorporated Multi-camera post-capture image processing
US12003849B2 (en) 2019-02-19 2024-06-04 Samsung Electronics Co., Ltd. Electronic device and method for changing magnification of image using multiple cameras

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
US10178414B2 (en) * 2015-10-14 2019-01-08 International Business Machines Corporation Aggregated region-based reduced bandwidth video streaming
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9967457B1 (en) * 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
CN109639954B (zh) * 2016-06-19 2020-10-23 核心光电有限公司 双孔径摄影机中的帧同步系统和方法
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
US10768345B2 (en) * 2016-09-13 2020-09-08 Lg Innotek Co., Ltd. Dual camera module, optical device, camera module, and method for operating camera module
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN109937568B (zh) * 2016-11-17 2021-03-09 索尼公司 图像处理装置和图像处理方法
CN106791377B (zh) * 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
EP3337153A1 (en) * 2016-12-16 2018-06-20 Vestel Elektronik Sanayi ve Ticaret A.S. Camera system and method
TWI626620B (zh) * 2016-12-20 2018-06-11 廣東歐珀移動通訊有限公司 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質
CN106791400B (zh) * 2016-12-23 2019-08-20 维沃移动通信有限公司 一种图像显示方法及移动终端
US20180270445A1 (en) * 2017-03-20 2018-09-20 Samsung Electronics Co., Ltd. Methods and apparatus for generating video content
JP2018170657A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、カメラモジュール、撮像システム、および、撮像装置の制御方法
CN110622499B (zh) * 2017-05-16 2021-02-05 富士胶片株式会社 图像生成装置、图像生成系统、图像生成方法及记录介质
KR102204596B1 (ko) 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US10687119B2 (en) 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
KR102328539B1 (ko) * 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
TW201915940A (zh) * 2017-10-06 2019-04-16 廣達電腦股份有限公司 雙鏡頭影像處理裝置及方法
JP6971767B2 (ja) * 2017-10-16 2021-11-24 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN107800961A (zh) * 2017-10-17 2018-03-13 珠海市魅族科技有限公司 一种无损放大图片方法及装置、终端及可读存储介质
KR102383134B1 (ko) * 2017-11-03 2022-04-06 삼성전자주식회사 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
KR102438201B1 (ko) * 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
CN108156434B (zh) * 2017-12-25 2019-07-05 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108012135B (zh) * 2017-12-25 2019-09-06 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108012134B (zh) * 2017-12-25 2019-08-02 Oppo广东移动通信有限公司 拍摄方法及装置、计算机可读存储介质和计算机设备
CN108307114B (zh) * 2018-01-31 2020-01-14 Oppo广东移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
WO2019207464A2 (en) 2018-04-23 2019-10-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
CN108616691B (zh) * 2018-04-28 2020-07-10 北京小米移动软件有限公司 基于自动白平衡的拍照方法、装置、服务器及存储介质
US10817996B2 (en) * 2018-07-16 2020-10-27 Samsung Electronics Co., Ltd. Devices for and methods of combining content from multiple frames
EP3766040A4 (en) 2018-07-20 2021-04-28 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR RECOMMENDING AN IMAGE CAPTURE MODE
US11653097B2 (en) 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
WO2020107186A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Systems and methods for taking telephoto-like images
JP2020113974A (ja) * 2019-01-11 2020-07-27 株式会社リコー 撮像装置、方法およびプログラム
CN111565284B (zh) * 2019-02-13 2022-05-31 佳能株式会社 摄像装置、透镜装置、照相机系统及摄像装置的控制方法
CN113924517B (zh) * 2019-06-06 2024-03-22 应用材料公司 生成复合影像的成像系统及方法
CN110381272B (zh) * 2019-08-22 2022-05-13 睿镞科技(北京)有限责任公司 图像传感器组合系统及产生单一和复合视野图像的装置
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN111541845B (zh) * 2020-04-30 2022-06-24 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
WO2021243554A1 (en) * 2020-06-02 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
CN113840075B (zh) * 2020-06-24 2022-08-16 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN113873177A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 多视角拍摄方法、装置、电子设备及存储介质
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
CN112104841B (zh) * 2020-11-05 2021-12-07 乐荣时代智能安防技术(深圳)有限公司 一种用于移动目标监测的多摄像头智能监控方法
CN112422833A (zh) * 2020-11-20 2021-02-26 季速漫 一种图像处理装置
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
CN113840098B (zh) * 2021-11-23 2022-12-16 深圳比特微电子科技有限公司 用于在全景拼接中同步画面的方法和全景拼接设备
CN117546475A (zh) * 2022-05-20 2024-02-09 北京小米移动软件有限公司 拍摄装置以及对焦控制程序
US11769311B1 (en) * 2023-02-23 2023-09-26 Illuscio, Inc. Systems and methods for editing three-dimensional image data with realistic camera and lens effects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270387A1 (en) * 2004-05-25 2005-12-08 Fuji Photo Film Co., Ltd. Photographing system and photographing method
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US20140132735A1 (en) * 2012-11-15 2014-05-15 Jeehong Lee Array camera, mobile terminal, and methods for operating the same
WO2017220598A1 (de) * 2016-06-20 2017-12-28 Cognex Corporation Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP2007043248A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
CN101668115A (zh) * 2008-09-03 2010-03-10 中国科学院自动化研究所 一种多镜头多分辨率摄像机
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
JP2012521673A (ja) * 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US9001227B2 (en) * 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
TW201200959A (en) * 2010-06-29 2012-01-01 Fujifilm Corp One-eyed stereo photographic device
JP5578442B2 (ja) * 2011-04-07 2014-08-27 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
JP5779959B2 (ja) * 2011-04-21 2015-09-16 株式会社リコー 撮像装置
KR101373856B1 (ko) 2011-04-29 2014-03-11 휴앤에스(주) 어레이형 카메라 장치 및 어레이 영상획득방법
WO2014083489A1 (en) * 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270387A1 (en) * 2004-05-25 2005-12-08 Fuji Photo Film Co., Ltd. Photographing system and photographing method
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US20140132735A1 (en) * 2012-11-15 2014-05-15 Jeehong Lee Array camera, mobile terminal, and methods for operating the same
WO2017220598A1 (de) * 2016-06-20 2017-12-28 Cognex Corporation Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180027183A (ko) * 2016-09-06 2018-03-14 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
WO2018048177A1 (ko) * 2016-09-06 2018-03-15 삼성전자 주식회사 전자 장치 및 복수의 영상을 처리하는 방법
US11138707B2 (en) 2016-09-06 2021-10-05 Samsung Electronics Co., Ltd Electronic device and method for processing multiple images
KR20190052031A (ko) * 2016-09-07 2019-05-15 멀티미디어 이미지 솔루션 리미티드 선명하고 정확한 주밍 메커니즘 구현을 위한 광각 이미지 캡쳐링 요소 및 장초점 이미지 캡쳐링 요소의 활용방법
KR20190000591A (ko) * 2017-06-23 2019-01-03 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US11228748B2 (en) 2017-06-23 2022-01-18 Samsung Electronics Co., Ltd. Application processor for disparity compensation between images of two cameras in digital photographing apparatus
US11956527B2 (en) 2017-08-16 2024-04-09 Qualcomm Incorporated Multi-camera post-capture image processing
KR20190030946A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
US11190682B2 (en) 2017-09-15 2021-11-30 Samsung Electronics Co., Ltd Electronic device and method for controlling plurality of image sensors
KR20190032061A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
KR20190041586A (ko) * 2017-10-13 2019-04-23 삼성전자주식회사 복수의 이미지들을 합성하는 전자장치 및 방법
CN115866394A (zh) * 2018-10-12 2023-03-28 三星电子株式会社 用于在第一镜头和第二镜头之间切换的方法和电子设备
WO2020130217A1 (ko) * 2018-12-18 2020-06-25 전자부품연구원 관심 객체 처리 장치 및 그 방법
KR20200101207A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US12003849B2 (en) 2019-02-19 2024-06-04 Samsung Electronics Co., Ltd. Electronic device and method for changing magnification of image using multiple cameras
KR20210032922A (ko) * 2019-09-10 2021-03-25 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 다중 카메라 모듈 기반의 이미지 처리 방법, 장치, 기기 및 매체
US11070744B2 (en) 2019-09-10 2021-07-20 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing based on multiple camera modules, electronic device, and storage medium
US20210075975A1 (en) 2019-09-10 2021-03-11 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing based on multiple camera modules, electronic device, and storage medium
US11877072B2 (en) 2020-05-15 2024-01-16 Samsung Electronics Co., Ltd. Image capturing method using plurality of cameras, and electronic device
WO2022035267A1 (ko) * 2020-08-14 2022-02-17 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치
US11750928B2 (en) 2021-06-03 2023-09-05 Samsung Electronics Co., Ltd. Method and electronic device for rectifying an image

Also Published As

Publication number Publication date
EP3172894B1 (en) 2022-08-31
KR102157675B1 (ko) 2020-09-18
EP3172894A1 (en) 2017-05-31
US9813615B2 (en) 2017-11-07
CN106576143A (zh) 2017-04-19
WO2016013902A1 (en) 2016-01-28
EP3172894A4 (en) 2018-04-11
US20160028949A1 (en) 2016-01-28
CN106576143B (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
KR102157675B1 (ko) 촬영 장치 및 그 촬영 방법
US8633998B2 (en) Imaging apparatus and display apparatus
US8212890B2 (en) Imaging device and imaging method
KR101913837B1 (ko) 파노라마 영상 생성 방법 및 이를 적용한 영상기기
JP6157242B2 (ja) 画像処理装置及び画像処理方法
US20110234881A1 (en) Display apparatus
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
US20140168463A1 (en) Image-processing device and imaging apparatus
US20110018970A1 (en) Compound-eye imaging apparatus
US8284294B2 (en) Compound-eye image pickup apparatus
US9684988B2 (en) Imaging device, image processing method, and recording medium
KR20120040611A (ko) 영상 처리 방법 및 이를 적용한 영상 촬영 장치
JP2005086499A (ja) 撮像装置
US20170132790A1 (en) Image photographing apparatus and method for controlling the same
CN112991245B (zh) 双摄虚化处理方法、装置、电子设备和可读存储介质
JP2010147786A (ja) 撮像装置及び画像処理方法
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
KR20150096224A (ko) 고체 촬상 소자, 전자기기 및 오토 포커싱 방법
JP2012098594A (ja) 撮像装置および撮像方法
US20160165135A1 (en) Image photographing apparatus, method of photographing image and non-transitory recordable medium
US9088712B2 (en) Method of providing reference image and image capturing device to which the method is applied
JP5146015B2 (ja) 撮像装置及び撮像方法
KR20160011533A (ko) 이미지 촬영 장치, 이미지 촬영 방법 및 비일시적 기록매체
JP2006121165A (ja) 撮像装置、画像形成方法
KR102339662B1 (ko) 촬영 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant