KR102025935B1 - 이미지 생성 장치 및 이미지 생성 방법 - Google Patents

이미지 생성 장치 및 이미지 생성 방법 Download PDF

Info

Publication number
KR102025935B1
KR102025935B1 KR1020130071815A KR20130071815A KR102025935B1 KR 102025935 B1 KR102025935 B1 KR 102025935B1 KR 1020130071815 A KR1020130071815 A KR 1020130071815A KR 20130071815 A KR20130071815 A KR 20130071815A KR 102025935 B1 KR102025935 B1 KR 102025935B1
Authority
KR
South Korea
Prior art keywords
live view
frame data
data
image
current frame
Prior art date
Application number
KR1020130071815A
Other languages
English (en)
Other versions
KR20150000072A (ko
Inventor
장재영
슈이치 시모카와
김승식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130071815A priority Critical patent/KR102025935B1/ko
Priority to US14/281,937 priority patent/US9350920B2/en
Publication of KR20150000072A publication Critical patent/KR20150000072A/ko
Application granted granted Critical
Publication of KR102025935B1 publication Critical patent/KR102025935B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 생성 방법을 개시한다. 본 발명의 일 실시 예에 따른 이미지 생성 방법은,촬상 장치의 이미지 생성 방법에 있어서, 상기 촬상 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계와, 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 단계와, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 단계와, 상기 가산된 상기 라이브 뷰의 다음 프레임 데이터를 리드아웃(readout)하여 스틸 이미지를 생성하는 단계를 포함한다.

Description

이미지 생성 장치 및 이미지 생성 방법{IMAGE GENERATING APPARATUS AND IMAGE GENERATING METHOD}
본 발명은 이미지 생성 장치에 관한 것으로, 좀더 상세하게는 라이브 뷰로부터 스틸 이미지를 생성하는 경우 노이즈를 저감시킬 수 있는 이미지 생성 장치 및 이미지 생성 방법에 관한 것이다.
최근에 개발되는 대부분의 디지털 카메라나 스마트 폰은 피사체와 촬영 이미지를 육안으로 확인하기 위한 전자 뷰 파인더(Electrical view finder)를 제공한다. 이미지 촬영시 전자 뷰 파인더는 이미지 센서에 감지되는 이미지 정보를 처리하여 라이브 뷰를 디스플레이한다. 사용자가 셔터를 조작하면, 전자 기기는 셔터 조작이 있는 시점의 라이브 뷰 이미지에 대응되는 스틸 이미지를 생성한다.
일부 전자기기는 기 설정된 시간 단위로 피사체를 연속 촬영하여 복수 장의 스틸 이미지를 획득할 수 있는 연속 촬영 기능을 제공한다. 연속 촬영 기능은 많은 양의 데이터 처리가 필요하므로 연속 촬영에 의해 출력되는 일련의 스틸 이미지를 처리하는 동안 라이브 뷰를 디스플레이 하기 위해서는 일정 이상의 시스템 성능이 요구된다.
이를 해결하기 위한 한가지 방법으로 이미지 센서의 일부만을 이용하여 라이브 뷰를 생성하고, 연속 촬영을 하는 경우 상기 이미지 센서의 일부와 이미지 센서의 나머지 부분을 조합하여 스틸 이미지를 생성하는 기술이 제안되었다. 도 1은 이러한 기법을 도시한다.
즉, 도 1은 연속 촬영을 위해 이미지 센서를 분할하는 기술을 도시한 모식도이다.
도 1에 도시된 것처럼 이미지 센서는 복수의 픽셀로 구성되며, 복수의 픽셀은 라이 뷰 이미지를 생성하기 위한 제1 픽셀군(11)과, 스틸 이미지를 생성하기 위한 제2 픽셀군(12)으로 나뉜다. 제2 픽셀군(12)은 전체 픽셀(10) 중에서 제1 픽셀군(11)을 제외한 나머지로 이루어진다. 예를 들어, 도 1에 도시된 것처럼 제1 픽셀군(11)은 좌표(0,0)의 R픽셀, 좌표 (0,3)의 Gr픽셀, 좌표(3,0)의 Gb픽셀, 좌표(3,3)의 B픽셀을 포함할 수 있고, 제2 픽셀군(12)은 상기 제1 픽셀군(11)을 제외한 나머지 픽셀들로 이루어질 수 있다.
제1 픽셀군(11)의 데이터를 처리하여 라이브 뷰 디스플레이가 수행된다. 연속 촬영 명령이 있는 경우 제1 픽셀군(11)과 제2 픽셀군(12)을 조합하여 완전한 해상도를 갖는 스틸 이미지가 생성된다. 만일 셔터 스피드가 라이브 뷰의 프레임 레이트보다 느리다면, 셔터 스피드에 상응하는 라이브 뷰의 프레임을 가산하여 상기 과정을 수행한다. 예를 들어, 셔터 스피드가 라이브 뷰 프레임 레이트의 1/2인 경우 연속하는 두 장의 라이브 뷰 프레임의 제2 픽셀군(12)이 상기 스틸 이미지 생성에 이용된다.
상기 기술은 이미지 센서의 일부 픽셀값만을 이용하여 지속적으로 라이브 뷰를 제공하면서 독립적으로 스틸 이미지를 생성할 수 있으므로, 사용자 편의를 도모할 수 있는 이점이 있다.
다만, 상기와 같이 셔터 스피드가 라이브 뷰 프레임 레이트보다 느린 경우 한 장의 스틸 이미지 생성을 위해 이미지 센서의 노광 데이터를 복수 회 리드 아웃해야 하는 바, 리드 아웃 과정에서 발생하는 노이즈가 증가하는 문제가 발생하였다. 따라서, 상기 기술에서 리드 아웃 노이즈를 저감시킬 수 있는 방안이 요구되었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 셔터 스피드와 라이브 뷰의 프레임 레이트가 상이한 경우 스틸 이미지 생성을 위해 이미지 센서의 노광 데이터를 복수 회 리드 아웃하는 과정에서 발생되는 노이즈를 최소화할 수 있는 이미지 생성 장치 및 이미지 생성 방법을 제공하기 위함이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계, 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 단계를 포함한다. 그리고, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 단계를 포함한다.
상술한 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계, 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 단계를 포함한다. 그리고, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터에 바이어스 전압을 인가하여 포토 다이오드 방향의 전위를 형성하는 단계와, 상기 포토 다이오드를 통해 상기 라이브 뷰의 현재 프레임 데이터가 가산된 다음 프레임 데이터를 생성하는 단계를 포함한다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계, 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 이미지 센서의 제1 픽셀군으로부터 제1 데이터를 출력하여 저장하는 단계를 포함한다. 이 경우 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하고 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산한다. 그리고, 라이브 뷰 이미지의 현재 프레임 데이터가 가산된 라이브 뷰 이미지의 다음 프레임 데이터를 리드 아웃한다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계, 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 이 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하고, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산한다. 그리고, 상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터에서 상기 라이브 뷰의 현재 프레임 데이터를 감산함으로써, 상기 라이브 뷰의 다음 이미지 프레임을 생성한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 생성 장치는,
라이브 뷰를 디스플레이 하는 디스플레이부와, 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 프레임 레이트 비교부와, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하고, 상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터를 리드아웃(readout)하여 스틸 이미지를 생성하도록 제어하는 제어부를 포함한다.
또한, 상기 제어부는, 상기 라이브 뷰의 현재 프레임 데이터를 리셋하지 않고 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산할 수 있다.
또한, 상기 제어부는, 상기 라이브 뷰의 현재 프레임 데이터에 바이어스 전압을 인가하여 포토 다이오드 방향의 전위를 형성하고, 상기 포토 다이오드를 통해 상기 라이브 뷰의 현재 프레임 데이터가 가산된 다음 프레임 데이터를 생성 할 수 있다.
상기 제어부는, 상기 라이브 뷰를 디스플레이 하는 중에 상기 스틸 이미지 촬상 명령이 수신되면, 이미지 센서의 제1 픽셀군으로부터 제1 데이터를 출력하여 저장하고, 상기 라이브 뷰의 프레임 데이터는 상기 이미지 센서에서 상기 제1 픽셀군을 제외한 제2 픽셀군으로부터 출력된 데이터에 기초 할 수 있다.
또한, 상기 제어부는, 상기 저장된 제1 데이터와 상기 리드 아웃된 라이브 뷰의 다음 프레임 데이터를 조합하여 최종적인 스틸 이미지를 생성 할 수 있다.
상기 제어부는, 상기 비교 결과 상기 수신된 스틸 이미지 촬상 명령의 프레임 레이트가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터에서 상기 라이브 뷰의 현재 프레임 데이터를 감산함으로써, 상기 라이브 뷰의 다음 이미지 프레임을 생성 할 수 있다.
상기 제어부는, 상기 생성된 라이브 뷰의 다음 이미지 프레임을 디스플레이 하도록 제어 할 수 있다.
상기 제어부는, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 크거나 같으면, 상기 라이브 뷰의 현재 프레임 데이터에 기초하여 스틸 이미지를 생성 할 수 있다.
상기 이미지 생성 장치는, 스마트 폰, 디지털 카메라, 태블릿 PC, 스마트 안경 및 스마트 워치 중 적어도 하나일 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 셔터 스피드와 라이브 뷰의 프레임 레이트가 상이한 경우 스틸 이미지 생성을 위해 이미지 센서의 노광 데이터를 복수 회 리드 아웃하는 과정에서 발생되는 노이즈를 최소화할 수 있는 이미지 생성 장치 및 이미지 생성 방법을 제공한다.
도 1은 연속 촬영을 위해 이미지 센서를 분할하는 기술을 도시한 모식도,
도 2는 본 발명의 일 실시 예에 따른, 이미지 생성 장치의 구성을 도시한 블록도,
도 3은 본 발명에 따른 이미지 생성 장치의 스틸 이미지 생성 방법을 나타낸 모식도,
도 4는 이미지 센서 회로도,
도 5a는 도 4의 이미지 센서 회로 구성의 타이밍도,
도 5b는 도 4의 이미지 센서 회로 구성의 포텐셜도,
도 6은 본 발명의 일 실시 예에 따른 이미지 센서 회로도,
도 7a는 도 6의 이미지 센서 회로 구성의 타이밍도,
도 7b는 도 6의 이미지 센서 회로 구성의 포텐셜도,
도 8 및 9는 전술한 본 발명의 이미지 생성 장치의 동작을 도시한 개념도, 그리고,
도 10 내지 13은 본 발명의 다양한 실시 예에 따른 이미지 생성 방법의 흐름도이다.
이하에서는 도면을 참조하여, 본 발명에 대해 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른, 이미지 생성 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른, 이미지 생성 장치(100)는 디스플레이부(110), 프레임 레이트 비교부(120), 제어부(130)를 포함한다.
본 발명에 따른 이미지 생성 장치(100)는 이미지 촬상 기능을 구비한 다양한 전자 기기가 될 수 있다. 예를 들어, 디지털 카메라, 스마트 폰, 셀룰러 폰, MP3, PMP, 태블릿 PC, 랩탑 컴퓨터, 스마트 안경, 스마트 워치 중 어느 하나로 구현 가능하다.
디스플레이부(110)는 라이브 뷰를 디스플레이하거나 촬상된 스틸 이미지를 디스플레이하는 구성이다. 디스플레이부(110)는 이미지 생성 장치(100)의 전자 뷰 파인더 기능을 수행할 수 있다.
이미지 생성 장치(100)가 촬상 모드에 진입하면, 디스플레이부(110)는 피사체를 촬상하여 실시 간으로 처리된 촬상된 이미지를 라이브 뷰로 디스플레이한다. 전술한 바와 같이 이미지 센서의 기 설정된 일부 픽셀을 이용하여 라이브 뷰를 생성할 수 있다. 그리고, 셔터 조작이 있는 경우도 계속하여 라이브 뷰를 디스플레이한다. 이러한 기술에 대해서는 뒤에서 자세히 설명한다.
디스플레이부(110)는 다양한 기술로 구현될 수 있다. 예를 들어, 디스플레이부(110)는 유기발광 다이오드 OLED(Organic Light Emitting Diodes), 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display)등 다양한 디스플레이 기술로 구현될 수 있다.
또한, 디스플레이부(110)는 터치 스크린을 포함할 수 있다. 이러한 경우 디스플레이부(110)는 다양한 사용자 인터페이스를 디스플레이 한다. 디스플레이된 사용자 인터페이스에 대한 사용자의 터치 입력이 있으면, 대응되는 제어 명령을 생성하여 이미지 생성 장치(100)를 동작시킨다. 스틸 이미지 생성을 위한 셔터 역시 디스플레이 된 사용자 인터페이스로 제공될 수 있으며, 이 경우 사용자는 디스플레이된 셔터를 터치 함으로써, 셔터 조작(누름) 명령을 이미지 생성 장치(100)에 입력할 수 있다.
이미지 생성 장치(100)는 프레임 레이트 비교부(120)를 포함한다. 프레임 레이트 비교부(120)는, 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있는 경우, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 구성이다.
프레임 레이트 비교부(120)는 운영체제 또는 애플리케이션의 형태로 메모리에 적재되어 상기 동작을 수행할 수 있다. 이와 달리 임베디드 칩 형태로 하드웨어 칩으로 제공될 수도 있다.
제어부(130)는 이미지 생성 장치(100)의 동작 전반을 제어한다. 특히, 제어부(130)는 상기 비교 결과 셔터 스피드가 라이브 뷰의 프레임 레이트보다 작으면, 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산한다. 그리고 제어부(130)는 상기 라이브 뷰의 현재 프레임 데이터가 가산된 라이브 뷰의 다음 프레임 데이터를 리드아웃(readout)하여 스틸 이미지를 생성하도록 제어한다.
제어부(130)는, 이미지 생성 장치의 동작 전반을 제어한다. 제어부는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 전술한 또는 후술하는 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다. 아울러, 제어부(130)는 후술하는 실시 예의 회로 구성을 포함할 수 있다.
이하에서는 상술한 본 발명의 실시 예를 좀더 상세하게 설명한다.
도 3은 본 발명에 따른 이미지 생성 장치(100)의 스틸 이미지 생성 방법을 나타낸 모식도이다.
이미지 생성 장치(100)의 촬영부(미도시)는 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal?Oxide?Semiconductor) 이미지 센서를 포함한다. 셔터와 조리개는 노광하는 빛의 양을 조절하며, CCD 또는 CMOS 이미지 센서의 픽셀 어레이(115)의 포토 다이오드(PD)를 통해 광을 축적하고 축적된 광량에 따라 전기 신호를 출력한다. 이때, 컬러 영상을 얻기 위해 CFA(Color filter array) 필터를 사용할 수 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. 렌즈부는 피사체의 크기를 확대 또는 축소시킬 수 있는 줌렌즈, 피사체의 초점을 조절하는 포커스 렌즈를 포함한다.
출력되는 전기 신호는 아날로그 디지털 컨버터(110: 이하 ADC라 함)를 통해 디지털 신호로 변환된다. 그리고, 스틸 이미지와 라이브 뷰에 대해 독립적인 처리가 수행된다.
도 4는 이미지 센서 회로도이고, 도 5a는 이미지 센서 회로 구성의 타이밍도이며, 도 5b는 이미지 센서 회로 구성의 포텐셜도를 나타낸 것이다.
도 4 내지 도 5b를 참조하여 전술한 과정을 좀더 상세하게 설명한다.
도 4에 도시된 바와 같이 이미지 센서 회로는 포토 다이오드(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로우팅 확산 노드(FD)를 포함한다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적한다. 전송 트랜지스터(TX)는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전화를 플로우팅 확산 노드(FD)로 전송한다. 리셋 트랜지스터는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출한다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, CDS 이미지 센서의 경우 CDS(Correlated Double Sampling) 처리를 수행한다. 그리고, ADC(110)가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다.
도 5a 및 5b를 참조하면, 전송 트랜지스터의 전송이 이루어지지 않는 구간에서 포토 다이오드에 노광이 이루어진다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성한다. 1 단계에서는 리셋 트랜지스터가 리셋을 수행하는 중이므로 도 5b에 도시된 것처럼 플로우팅 확산 노드(FD)와 VDD_pix 사이에 전위 장벽이 거의 없다. 반면, 1 단계에서는 전송 트랜지스터가 전하 이동을 허용하지 않으므로 포토 다이오드(PD)와 플로우팅 확산 노드(FD) 사이에는 전위 장벽이 존재한다.
2 단계에서 전하의 이동도 리셋도 이루어지지 않게 되고, 포토 다이오드(PD)의 전하 축적이 계속된다. 1단계와 달리 리셋이 이루어지지 않으므로 플로우팅 확산 노드(FD)와 VDD_pix 사이에 전위 장벽이 존재한다.
3 단계는 전하 이동이 이루어지는 단계이다. 즉, 전송 트랜지스터(TX) 는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전화를 플로우팅 확산 노드(FD)로 이동시키고, 플로우팅 확산 노드(FD)는 전하를 저장한다.
4 단계에서 전송 트랜지스터는 전송을 중단하고, 플로우팅 확산 노드(FD)에 저장된 전하가 출력된다(리드아웃). CDS 이미지 센서의 경우 CDS(Correlated Double Sampling) 처리를 수행한다. 그리고, ADC(110)가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다. 이 단계의 다음 단계에서 리셋이 이루어진다(=1단계).
상술한 1 단계 내지 4 단계를 통해 축적된 광전하를 리드 아웃함으로써 이미지 생성을 위한 로우(RAW) 데이터가 획득된다. 본 발명에서 스틸 이미지와 라이브 뷰는 상이한 이미지 픽셀을 리드 아웃하여 생성한다. 즉, 이미지 픽셀들 중 제1 픽셀군(310)에 대한 리드아웃 데이터(이하 제1 데이터라 함)를 이용하여 라이브 뷰 데이터를 생성하고, 상기 제1 픽셀군(310)을 제외한 제2 픽셀군(320)에 대한 리드아웃 데이터(제2 데이터)와 상기 제1 픽셀군(310)에 대한 리드 아웃 데이터(제1 데이터)를 조합하여 스틸 이미지를 생성한다. 결국 스틸 이미지생성은 풀사이즈의 픽셀 데이터가 이용된다.
이때, 라이브 뷰 이미지를 생성하기 위해, 전체 픽셀 중 하나 픽셀은 리드(Read)하고, 두 픽셀을 스킵(Skip)하는 방식을 1R2S 방식이라고 한다. 이와 유사하게 2R2S 방식, 1R4S 방식, 2R4S 방식으로도 제1 픽셀군(310)의 데이터를 리드아웃할 수 있다.
제1 데이터, 제2 데이터는 각각 센서 인터페이스(SSIF : Sensor Interface 155, 120)를 통해 출력된다. 그리고, 영상처리부(미도시)는 출력된 이미지 데이터에 대해 이미지 처리를 수행한다(160, 125). 예를 들어, 온도변화에 민감한 CCD 이미지 센서 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행할 수 있다. 영상 처리부는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행할 수 있다. 영상 처리부는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다.
제1 데이터는 동영상 처리를 위한 IPC-M이 수행되어 라이브 뷰로 출력된다(165). 제2 데이터는 정지 영상 처리를 위한 IPC-S가 수행되어(130) 메모리에 저장된다(140). 스틸 이미지 생성 명령이 있는 경우 버퍼에 저장된 제1 데이터(145)를 제2 데이터와 조합하여 전술한 영상 처리를 수행한다.
스틸 이미지 촬상을 위해 사용자가 셔터를 조작한 경우를 고려하자. 만일, 셔터 스피드가 라이브 뷰 프레임 레이트와 같거나 그 보다 빠르다면, 라이브 뷰 생성을 위한 제1 데이터와 동일 시간에 리드아웃된 제2 데이터를 조합하여 스틸 이미지 데이터를 생성할 수 있다. 이러한 실시 예에서 포토 다이오드의 노광 개시 시간은 스틸 이미지 생성과 라이브 뷰 이미지 생성 사이에 동기화가 전제된다. 이하에서 설명하는 실시 예에서도 같다.
예를 들어, 라이브 뷰 프레임 속도가 1/60 초이며, 셔터 스피드가 1/60 초인 경우를 가정하자. 시간 t0에서 연속 촬영 명령이 입력되면, 제어부(130)는 t0로부터 1/60초 동안 제1 픽셀군(310) 및 제2 픽셀군(320)을 빛에 노출시켜 한 프레임의 제1 데이터 및 한 프레임의 제2 데이터를 리드아웃하고, 리드아웃된 제1 데이터 및 제2 데이터를 신호처리하여 한 프레임의 스틸 이미지를 생성한다. 이 경우에는 라이브 뷰 디스플레이에 비해 스틸 이미지 생성을 위한 리드 아웃 횟수가 차이가 없다.
그러나, 셔터 스피드가 라이브 뷰 프레임 속도 미만인 경우에는 좀 달라진다. 제어부(130)는 제2 데이터를 획득하기 위한 제2 픽셀군(320)의 노출 시간과 동일한 시간에 획득된 복수의 프레임의 제1 데이터를 더하여 스틸 이미지 데이터를 생성해야 한다.
상기와 같이 라이브 뷰 프레임 속도가 1/60 초이며, 셔터 스피드가 1/30 초인 경우, 시간 t0에서 연속 촬영 명령이 입력되면, 제어부(160)는 t0부터 1/30 초 동안 제2 픽셀군을 빛에 노출시켜 한 프레임의 제2 데이터를 리드 아웃한다. 그리고, t0부터 1/60초 동안 제1 픽셀군을 빛에 노출시켜 획득한 프레임의 제1 데이터(제1-1 데이터라고 한다)에 그 다음 1/60초 동안 제1 픽셀군을 빛에 노출시켜 획득한 프레임의 제1 데이터(제1-2 데이터라고 한다)를 가산한 데이터와 전술한 제2 데이터를 조합해야 한다.
그런데, 전술한 것처럼 플로우팅 확산 노드(FD)에 저장된 전하를 리드아웃하는 과정에서 노이즈가 발생된다. 셔터 스피드가 라이브 뷰 프레임의 프레임 레이트보다 느린 경우 전술한 것처럼 제1 데이터를 두 번 읽어와야 하므로 노이즈의 양이 증가한다. 따라서, 노이즈를 줄이기 위해서는 리드 아웃 횟수를 줄일 필요가 있다.
전술한 것처럼 본 발명은 이러한 경우 리드 아웃 횟수를 줄이는 방법을 제시한다. 즉, 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 프레임 레이트 비교부(120)가 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교한다. 그리고, 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작다고 판단되면, 제어부(130)는 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하고, 상기 라이브 뷰의 현재 프레임 데이터가 가산된 다음 프레임 데이터를 이용하여 스틸 이미지를 생성한다. 이하에서 이러한 동작을 좀더 상세하게 설명한다.
도 6은 본 발명의 일 실시 예에 따른 이미지 센서 회로도이고, 도 7a는 도 6의 이미지 센서 회로 구성의 타이밍도이며, 도 7b는 도 6의 이미지 센서 회로 구성의 포텐셜도를 나타낸 것이다.
도 6에 도시된 본 발명의 일 실시 예에 따른 이미지 센서 회로는 기본적으로 도 4의 이미지 센서 회로와 유사한 구성을 갖는다. 즉, 포토 다이오드(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로우팅 확산 노드(FD)를 포함한다. 다만, 도 6의 이미지 센서 회로는 포토 다이오드(PD)와 플로우팅 확산 노드(FD) 사이에 역방향 전위를 형성할 수 있는 회로 구성을 더 포함한다. 일 실시 예로 도 6과 같은 바이어스 전압을 인가하는 구성이 될 수 있다. 즉, 바이어스 전압이 외부로부터 인가됨으로써(또는 인가되지 않음으로써), 전송 트랜지스터(TX)가 전송을 중단한 경우에도 포토 다이오드(PD)와 플로우팅 확산 노드(FD) 사이의 전위 장벽이 해소될 수 있고, 역방향 전위가 형성될 수 있다.
도 7a 및 7b를 참조하여 전술한 프레임 레이트 비교부(120)가 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작다고 판단한 경우의 회로 동작을 설명한다.
전술한 도 5a 내지 5b와 마찬가지로 전송 트랜지스터의 전송이 이루어지지 않는 구간에서 포토 다이오드에 노광이 이루어진다. 후술하는 각 단계는 라이브 뷰의 프레임 레이트를 기준으로 설정된다. 즉, 4 단계까지는 라이브 뷰를 구성하는 하나의 이미지 프레임을 생성하기 위한 제1 데이터가 리드 아웃 되는 주기와 동일하다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성한다. 1 단계에서는 리셋 트랜지스터가 리셋을 수행하는 중이므로 도 7b에 도시된 것처럼 플로우팅 확산 노드(FD)와 VDD_pix 사이에 전위 장벽이 거의 없다. 반면, 1 단계에서는 전송 트랜지스터가 전하 전송을 수행하지 않으므로 포토 다이오드(PD)와 플로우팅 확산 노드(FD) 사이에는 전위 장벽이 존재한다. 이 단계에서 바이어스 전압이 인가되고 있으나 전위 장벽은 그대로 존재함을 알 수 있다. 즉, 상기 실시 예에서는 바이어스 전압이 공급되면 전위 장벽을 유지하고, 바이어스 전압이 차단되면 전위 장벽이 허물어지므로 역방향 바이어스로 판단할 수 있다.
2 단계에서 전하의 전송도 리셋도 이루어지지 않게 되고, 포토 다이오드(PD)의 전하 축적이 계속된다. 1단계와 달리 리셋이 이루어지지 않으므로 플로우팅 확산 노드(FD)와 VDD_pix 사이에 전위 장벽이 존재한다.
3 단계는 전하 전송이 수행되는 단계이다. 즉, 전송 트랜지스터(TX) 는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전하를 플로우팅 확산 노드(FD)로 전송하고, 플로우팅 확산 노드(FD)는 전하를 저장한다.
4 단계에서 전송 트랜지스터는 전송을 중단하고, 플로우팅 확산 노드(FD)에 저장된 전하가 출력된다(제1 데이터의 리드아웃). 출력된 전하는 라이브 뷰 이미지 생성에 사용된다. 그러나, 스틸 이미지 생성 입력이 있는 경우 상기 리드 아웃된 제1 데이터는 스틸 이미지 생성을 위해 사용되지 않는다. 스틸 이미지 생성을 위한 데이터 리드 아웃을 위해 5단계 이후의 과정을 수행한다. 또한, 이때 리셋 트랜지스터는 플로우팅 확산 노드(FD)에 저장된 전하를 리셋시키지 않는다.
5 단계에서 바이어스 전압으로 인해(순방향 바이어스 또는 역방향 바이어스일 수 있다.) 포토 다이오드(PD)와 플로우팅 확산 노드(FD) 사이의 전위 장벽이 허물어진다. 다만, 6단계에서 전송 트랜지스터(TX)가 전하 전송 통로를 생성한 후에 비로소 전하 이동이 이루어진다. 포토 다이오드(PD)는 축적 중인 광전하에 플로우팅 확산 노드(FD)로부터 이동한 광전하를 가산한다(7단계).
7 단계 이후 스틸 이미지 생성을 위한 제2 데이터 리드 아웃 타이밍이 도래하기 전에 전송 트랜지스터(TX)는 가산된 광전하를 플로우팅 확산 노드(FD)로 이동시키고, 제2 데이터 리드 아웃 타이밍이 도래하면 스틸 이미지 생성을 위해 리드아웃이 수행된다. 전술한 5 단계에서 7 단계는 셔터 스피드와 라이브 뷰의 프레임 레이트 사이에 상대적인 속도 차이에 따라 각 단계의 수행 시간이 결정될 수 있다. 최종적으로 스틸 이미지 생성을 위한 셔터 스피드와 동일하도록 제1 데이터 및 제2 데이터에 대해 한 번의 리드아웃만 수행된다.
상술한 방법에 따라 스틸 이미지를 생성하는 경우 셔터 스피드가 느린 경우도 라이브 뷰 생성을 위한 제1 데이터를 복수회 리드 아웃할 필요가 없게 되어 노이즈가 저감되게 된다.
한편, 상기와 같은 경우도 라이브 뷰 생성을 위한 제1 데이터는 복수 회 읽어야 한다. 예를 들어, 셔터 스피드가 1/30초이고, 라이브 뷰의 프레임 레이트가 1/60초인 경우 전술한 4 단계에서 라이브 뷰를 위한 제1 데이터를 리드아웃하고, 스틸 이미지를 위한 제1 데이터를 리드아웃하는 단계에서 라이브 뷰를 위한 제1 데이터를 다시 리드아웃한다. 뒤에 리드 아웃한 제1 데이터는 라이브 뷰의 다음 프레임 데이터가 된다. 그런데, 두번째 리드아웃된 제1 데이터는 전 단계의 이미지 프레임을 위한 제1 데이터가 가산된 데이터인 바, 이러한 경우 피사체가 블러링(blurring)되어 라이브 뷰가 디스플레이되는 문제가 발생한다.
이를 해결하기 위해 이미지 센서 회로는 감산기(미도시)를 더 포함할 수 있다. 감산기(미도시)는 라이브 뷰의 첫 번째 리드 아웃된 제1 데이터가 가산된 상기 라이브 뷰의 연속되는 두번 째 리드 아웃된 제1 데이터에서 라이브 뷰의 첫 번째 리드 아웃된 제1 데이터를 감산한다. 그리고, 첫 번째 리드 아웃된 제1 데이터가 감산된 상기 두번 째 리드 아웃된 제1 데이터를 읽어 라이브 뷰 이미지를 생성한다.
도 8 및 9는 전술한 본 발명의 이미지 생성 장치의 동작을 도시한 개념도이다.
전술한 것처럼 셔터 스피드가 1/30초이고 라이브 뷰의 프레임 레이트가 1/60초인 경우를 가정한다.
도 8의 실시 예는 도 4 내지 5b의 실시 예를 개념적으로 도시한다. 라이브 뷰의 제1 프레임과 제2 프레임을 생성하기 위해 전술한 제1 단계 내지 제4 단계의 과정을 두 번 수행한다. 그리고, 라이브 뷰의 각 프레임을 생성하기 위해 전체 이미지 픽셀 중 일부로부터 광전하 데이터를 독출한다. 이렇게 일부만 독출하는 경우 라이브 뷰 처리의 부하를 줄이게 되므로 독립적으로 스틸 이미지 처리가 수월해 진다. 스틸 이미지의 경우는 상기 전체 이미지 픽셀 중 일부를 제외한 나머지 픽셀로부터 광전하 데이터를 독출하고 상기 라이브 뷰 생성을 위한 광전하 데이터와 조합하여 전체 이미지를 생성한다. 전술한 것처럼 라이브 뷰의 프레임 레이트가 셔터 스피드에 비해 2 배 빠르므로, 라이브 뷰의 각 프레임을 생성하기 위해 독출된 전체 이미지 픽셀 중 일부는 두 번 출력되어 가산된다.
도 9의 실시 예는 도 6 내지 7b의 실시 예를 개념적으로 도시한다. 이러한 실시예에서 라이브 뷰의 제1 프레임을 생성하기 위해 전술한 제1 단계 내지 제4 단계의 과정을 수행하며, 제2 프레임을 생성하기 위해서는 전술한 제5 단계 내지 제7 단계의 과정을 수행한다. 마찬가지로 라이브 뷰의 각 프레임을 생성하기 위해 전체 이미지 픽셀 중 일부로부터 광전하 데이터를 독출한다. 스틸 이미지의 경우는 상기 전체 이미지 픽셀 중 일부를 제외한 나머지 픽셀로부터 광전하 데이터를 독출하고 상기 라이브 뷰 생성을 위한 광전하 데이터와 조합하여 전체 이미지를 생성한다. 전술한 실시 예와 다르게 제1 단계 내지 제4 단계를 수행한 후에도 플로우팅 확산 노드(FD)의 광전하 데이터를 리셋하지 않고 전위 장벽을 허물어서 저장된 광전하를 포토 다이오드의 광전하에 가산시킨다. 그리고, 제7 단계를 수행한 후 스틸 이미지 생성을 위한 라이브 뷰의 광전하 데이터를 1회 독출한다. 한편, 라이브 뷰에 대해서는 제7 단계가 종료된 후 저장된 광전하에서 제1 프레임을 생성하기 위해 저장된 광전하 데이터를 감산한 광전하 데이터를 이용한다.
한편, 도면에는 도시되지 않았지만, 전술한 이미지 생성 장치(100)는 일반적인 전자 계산 장치가 갖는 필수적인 구성을 포함한다. 즉, 충분한 제어 및 연산 능력을 갖는 CPU, 캐쉬 메모리, 램 메모리, 하드 디스크나 블루레이 디스크와 같은 대용량 보조 기억 장치, 근거리 통신 모듈, HDMI를 포함하는 다양한 유무선 통신 모듈, 데이터 버스 등 하드웨어 구성을 포함하며, 전술한 제어부(130)의 기능을 수행할 수 있는 애플리케이션, 프레임워크, 운영체제를 포함한다.
특히, 저장부(미도시)는 촬영 이미지를 저장하는 구성이다. 즉, 저장부는 라이브 뷰(Live View Image)를 구성하는 이미지 프레임을 저장하거나, 스틸 이미지를 저장한다. 이 경우 저장부는 상기 촬영 이미지를 저장에 효율적일 수 있는 형태로 변환하여 저장할 수 있다. 저장부는 다양한 기술로 구현 가능한데, 예를 들어, 메모리, HDD(Hard Disk Drive), BD(Blur-ray Disk) 등을 포함할 수 있다. 특히, EEROM(Electrically Erasable and Programmable ROM)과 같은 불휘발성 메모리는 촬영 이미지의 처리를 위해 촬영 이미지를 저장하는데 사용될 수 있다.
이하에서는 본 발명의 다양한 실시 예에 따른 이미지 생성 방법을 설명한다.
도 10 내지 13은 본 발명의 다양한 실시 예에 따른 이미지 생성 방법의 흐름도이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계(S1010), 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면(S1020-Y), 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 단계(S1030)를 포함한다. 그리고, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면(S1040-Y), 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 단계(S1050)를 포함한다.
도 11을 참조하면, 본 발명의 다른 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계(S1110), 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면(S1120-Y), 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 단계(S1130)를 포함한다. 그리고, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면(S1140-Y), 상기 라이브 뷰의 현재 프레임 데이터에 바이어스 전압을 인가하여 포토 다이오드 방향의 전위를 형성하는 단계(S1150)와, 상기 포토 다이오드를 통해 상기 라이브 뷰의 현재 프레임 데이터가 가산된 다음 프레임 데이터를 생성하는 단계(S1160)를 포함한다.
도 12를 참조하면, 본 발명의 또 다른 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계(S1210), 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면(S1220-Y), 이미지 센서의 제1 픽셀군으로부터 제1 데이터를 출력하여 저장하는 단계(S1230)를 포함한다. 이 경우 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하고(S1240)를 포함하고, 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면(S1250-Y), 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산한다(S1260). 그리고, 라이브 뷰 이미지의 현재 프레임 데이터가 가산된 라이브 뷰 이미지의 다음 프레임 데이터를 리드 아웃한다(S1270).
도 13을 참조하면, 본 발명의 또 다른 실시 예에 따른 이미지 생성 방법은, 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계(S1310), 상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면(S1320-Y), 이 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하고(S1330), 상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면(S1340-Y), 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산한다(S1350). 그리고, 상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터에서 상기 라이브 뷰의 현재 프레임 데이터를 감산함으로써, 상기 라이브 뷰의 다음 이미지 프레임을 생성한다(S1360).
한편, 전술한 이상과 같은 다양한 실시 예에 따른 이미지 생성 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 전술한 이미지 생성 방법은 임베디드 소프트웨어 형태로 하드웨어 IC칩에 내장되거나 펌웨어 형태로 제공될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 이미지 생성 장치
110 : 디스플레이부
120 : 프레임 레이트 비교부
130 : 제어부

Claims (17)

  1. 이미지 생성 방법에 있어서,
    이미지 센서를 포함하는 이미지 생성 장치의 스크린 상에 라이브 뷰를 디스플레이 하는 단계;
    상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 단계;
    상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 단계; 및
    상기 가산된 상기 라이브 뷰의 다음 프레임 데이터를 상기 이미지 센서로부터 리드아웃(readout)하여 스틸 이미지를 생성하는 단계;를 포함하는 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 단계는,
    상기 라이브 뷰의 현재 프레임 데이터를 리셋하지 않고 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 것을 특징으로 하는 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 단계는,
    상기 라이브 뷰의 현재 프레임 데이터에 바이어스 전압을 인가하여 포토 다이오드 방향의 전위를 형성하는 단계; 및
    상기 포토 다이오드를 통해 상기 라이브 뷰의 현재 프레임 데이터가 가산된 다음 프레임 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 라이브 뷰를 디스플레이 하는 중에 상기 스틸 이미지 촬상 명령이 수신되면, 이미지 센서의 제1 픽셀군으로부터 제1 데이터를 출력하여 저장하는 단계;를 더 포함하고,
    상기 라이브 뷰의 프레임 데이터는 상기 이미지 센서에서 상기 제1 픽셀군을 제외한 제2 픽셀군으로부터 출력된 데이터에 기초하는 것을 특징으로 하는 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 스틸 이미지를 생성하는 단계는,
    상기 저장된 제1 데이터와 상기 리드 아웃된 라이브 뷰의 다음 프레임 데이터를 조합하여 최종적인 스틸 이미지를 생성하는 것을 특징으로 하는 이미지 생성 방법.
  6. 제4항에 있어서,
    상기 비교 결과 상기 수신된 스틸 이미지 촬상 명령의 프레임 레이트가 상기 라이브 뷰의 프레임 레이트보다 작으면,
    상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터에서 상기 라이브 뷰의 현재 프레임 데이터를 감산함으로써, 상기 라이브 뷰의 다음 이미지 프레임을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 생성된 라이브 뷰의 다음 이미지 프레임을 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  8. 제1항에 있어서,
    상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 크거나 같으면,
    상기 라이브 뷰의 현재 프레임 데이터에 기초하여 스틸 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  9. 이미지 생성 장치에 있어서,
    이미지 센서;
    라이브 뷰를 디스플레이 하는 디스플레이부;
    상기 라이브 뷰를 디스플레이하는 중에 스틸 이미지 촬상을 위한 셔터 조작이 있으면, 셔터 스피드와 상기 라이브 뷰의 프레임 레이트를 비교하는 프레임 레이트 비교부; 및
    상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 작으면, 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하고, 상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터를 상기 이미지 센서로부터 리드아웃(readout)하여 스틸 이미지를 생성하도록 제어하는 제어부;를 포함하는 이미지 생성 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 라이브 뷰의 현재 프레임 데이터를 리셋하지 않고 상기 라이브 뷰의 현재 프레임 데이터를 상기 라이브 뷰의 다음 프레임 데이터에 가산하는 것을 특징으로 하는 이미지 생성 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 라이브 뷰의 현재 프레임 데이터에 바이어스 전압을 인가하여 포토 다이오드 방향의 전위를 형성하고, 상기 포토 다이오드를 통해 상기 라이브 뷰의 현재 프레임 데이터가 가산된 다음 프레임 데이터를 생성하는 것을 특징으로 하는 이미지 생성 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 라이브 뷰를 디스플레이 하는 중에 상기 스틸 이미지 촬상 명령이 수신되면, 이미지 센서의 제1 픽셀군으로부터 제1 데이터를 출력하여 저장하고,
    상기 라이브 뷰의 프레임 데이터는 상기 이미지 센서에서 상기 제1 픽셀군을 제외한 제2 픽셀군으로부터 출력된 데이터에 기초하는 것을 특징으로 하는 이미지 생성 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 저장된 제1 데이터와 상기 리드 아웃된 라이브 뷰의 다음 프레임 데이터를 조합하여 최종적인 스틸 이미지를 생성하는 것을 특징으로 하는 이미지 생성 장치.
  14. 제12항에 있어서,
    상기 제어부는,
    상기 비교 결과 상기 수신된 스틸 이미지 촬상 명령의 프레임 레이트가 상기 라이브 뷰의 프레임 레이트보다 작으면,
    상기 라이브 뷰의 현재 프레임 데이터가 가산된 상기 라이브 뷰의 다음 프레임 데이터에서 상기 라이브 뷰의 현재 프레임 데이터를 감산함으로써, 상기 라이브 뷰의 다음 이미지 프레임을 생성하는 것을 특징으로 하는 이미지 생성 장치.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 생성된 라이브 뷰의 다음 이미지 프레임을 디스플레이 하도록 제어하는 것을 특징으로 하는 이미지 생성 장치.
  16. 제9항에 있어서,
    상기 제어부는,
    상기 비교 결과 상기 셔터 스피드가 상기 라이브 뷰의 프레임 레이트보다 크거나 같으면,
    상기 라이브 뷰의 현재 프레임 데이터에 기초하여 스틸 이미지를 생성하는 것을 특징으로 하는 이미지 생성 장치.
  17. 제 9항에 있어서,
    상기 이미지 생성 장치는, 스마트 폰, 디지털 카메라, 태블릿 PC, 스마트 안경 및 스마트 워치 중 적어도 하나인 것을 특징으로 하는 이미지 생성 장치.
KR1020130071815A 2013-06-21 2013-06-21 이미지 생성 장치 및 이미지 생성 방법 KR102025935B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130071815A KR102025935B1 (ko) 2013-06-21 2013-06-21 이미지 생성 장치 및 이미지 생성 방법
US14/281,937 US9350920B2 (en) 2013-06-21 2014-05-20 Image generating apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130071815A KR102025935B1 (ko) 2013-06-21 2013-06-21 이미지 생성 장치 및 이미지 생성 방법

Publications (2)

Publication Number Publication Date
KR20150000072A KR20150000072A (ko) 2015-01-02
KR102025935B1 true KR102025935B1 (ko) 2019-09-26

Family

ID=52110627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130071815A KR102025935B1 (ko) 2013-06-21 2013-06-21 이미지 생성 장치 및 이미지 생성 방법

Country Status (2)

Country Link
US (1) US9350920B2 (ko)
KR (1) KR102025935B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274788B2 (ja) * 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
JP6218799B2 (ja) * 2015-01-05 2017-10-25 キヤノン株式会社 撮像素子及び撮像装置
KR20160102814A (ko) * 2015-02-23 2016-08-31 삼성전자주식회사 이미지 센서 이를 포함하는 이미지 처리 시스템, 및 상기 이미지 센서를 포함하는 모바일 컴퓨팅 장치
KR102437567B1 (ko) * 2015-10-16 2022-08-29 삼성전자주식회사 애플리케이션 프로세서의 동작 방법 및 디스플레이 시스템
US11190653B2 (en) * 2016-07-26 2021-11-30 Adobe Inc. Techniques for capturing an image within the context of a document
CN106331503A (zh) * 2016-09-28 2017-01-11 维沃移动通信有限公司 一种动态照片的生成方法及移动终端
CN106331506A (zh) * 2016-09-30 2017-01-11 维沃移动通信有限公司 一种动态照片的生成方法及移动终端
JP7148265B2 (ja) * 2018-04-26 2022-10-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129065A (ja) * 2004-10-28 2006-05-18 Fuji Photo Film Co Ltd 撮影装置及びその制御方法
US20090040364A1 (en) 2005-08-08 2009-02-12 Joseph Rubner Adaptive Exposure Control
WO2011065000A1 (ja) * 2009-11-26 2011-06-03 株式会社ニコン 電子カメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826173B1 (en) * 1999-12-30 2004-11-30 At&T Corp. Enhanced subscriber IP alerting
JP5277752B2 (ja) * 2007-08-03 2013-08-28 株式会社ニコン 撮像装置
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US9040892B2 (en) * 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129065A (ja) * 2004-10-28 2006-05-18 Fuji Photo Film Co Ltd 撮影装置及びその制御方法
US20090040364A1 (en) 2005-08-08 2009-02-12 Joseph Rubner Adaptive Exposure Control
WO2011065000A1 (ja) * 2009-11-26 2011-06-03 株式会社ニコン 電子カメラ

Also Published As

Publication number Publication date
KR20150000072A (ko) 2015-01-02
US20140375861A1 (en) 2014-12-25
US9350920B2 (en) 2016-05-24

Similar Documents

Publication Publication Date Title
KR102025935B1 (ko) 이미지 생성 장치 및 이미지 생성 방법
US10110827B2 (en) Imaging apparatus, signal processing method, and program
JP6267348B2 (ja) 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法
US9654681B2 (en) Electronic apparatus and method of controlling the same
JP6614133B2 (ja) 撮像素子、制御方法、並びに、撮像装置
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
JP2008131407A (ja) 固体撮像素子およびそれを用いた撮像装置
KR102229152B1 (ko) 이미지 촬영 장치
KR20150145537A (ko) 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
CN109997352B (zh) 摄像装置、相机以及摄像方法
JP2007028339A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2014207631A (ja) 固体撮像装置およびその信号処理方法、並びに電子機器
US20170257591A1 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
KR20210114290A (ko) 이미지 센서 및 이를 포함하는 촬영 장치
WO2011043045A1 (ja) 撮像装置、固体撮像素子、画像生成方法、およびプログラム
US20110037882A1 (en) Solid-state imaging device, method of driving solid-state imaging device, and electronic apparatus
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
US20240080410A1 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
US9277120B2 (en) Image capturing apparatus provided with a peaking function, control method therefor, and storage medium
JP6992753B2 (ja) 撮像制御装置および撮像制御方法、並びに撮像素子
CN114128251B (zh) 成像装置及其控制方法
WO2021014867A1 (ja) 撮像装置およびその制御方法
JP2008187614A (ja) 撮影装置
US9979919B2 (en) Solid-state imaging device and imaging system
JP6463159B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right