KR20110073159A - 촬상장치 및 방법 - Google Patents

촬상장치 및 방법 Download PDF

Info

Publication number
KR20110073159A
KR20110073159A KR1020100017920A KR20100017920A KR20110073159A KR 20110073159 A KR20110073159 A KR 20110073159A KR 1020100017920 A KR1020100017920 A KR 1020100017920A KR 20100017920 A KR20100017920 A KR 20100017920A KR 20110073159 A KR20110073159 A KR 20110073159A
Authority
KR
South Korea
Prior art keywords
pixels
photoelectric conversion
pixel
image
mode
Prior art date
Application number
KR1020100017920A
Other languages
English (en)
Other versions
KR101691551B1 (ko
Inventor
모리모토 야수히로
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/976,918 priority Critical patent/US8558915B2/en
Publication of KR20110073159A publication Critical patent/KR20110073159A/ko
Application granted granted Critical
Publication of KR101691551B1 publication Critical patent/KR101691551B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures

Abstract

마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 것의 이점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성하기 위해 촬상소자로부터 데이터를 독출할 수 있는 촬상장치를 제공하는 것으로, 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비하고, 광전 변환부는 광전 변환 영역에 포함되는 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 구비한 촬상장치가 제공된다.

Description

촬상장치 및 방법{Photographing apparatus and method}
본 발명은 촬상장치 및 방법에 관한 것이다.
종래의 일반적인 디지털 스틸 카메라는 포커스 렌즈에서 집광한 광을 CCD이미지 센서나 CMOS 이미지 센서 등 기타 촬상소자에 조사함으로써 컬러 화상 신호를 생성하였다. 그러나 최근에는 렌즈와 촬상소자 사이에 단일 평면상에 배열된 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 촬상장치가 제안되었다. 이러한 촬상장치는 플레놉틱(Plenoptic) 타입의 촬상장치라고 불린다.
이러한 플레놉틱 촬상장치를 이용하여, 광학계에 의해 얻어진 화상을 재구성함으로써 피사계 심도를 자유롭게 결정하는 기술들 및 시차를 이용한 측거나 3D 화상에 대한 응용, 해상도를 향상시키는 기술들이 공지되어 있다.
전술한 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 촬상장치에서는 통상 촬상소자의 출력을 전부 메모리에 일시적으로 저장하고 필요한 화상 데이터를 선택적으로 처리함으로써 화상을 재구성하였다. 그러나 실제로 렌즈 어레이를 구비한 광학계를 구비한 촬상장치의 사용 환경을 고려하면 광학계에서 결상된 화상을 실시간으로 확인하기 위한 라이브 뷰 화상을 생성할 필요가 있다. 따라서 촬상소자의 출력을 전부 메모리에 일시적으로 저장하면 라이브 뷰 화상의 작성 처리에 시간이 걸리고 일정 프레임에서 라이브 뷰 영상이 출력되지 않는 현상이 생기는 문제가 있다.
본 발명은 상기 문제를 감안하여 이루어진 것으로서, 본 발명의 일 실시 예는 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 장점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성하기 위해 촬상소자에서 데이터를 독출할 수 있는 촬상장치 및 방법을 제공하는 것이다.
상기 과제를 해결하기 위해 본 발명의 한 관점에 의하면, 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 상기 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비하고, 상기 광전 변환부는 상기 광전 변환 영역에 포함된 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 구비한 촬상장치가 제공된다.
상기 구성에 의하면, 렌즈 어레이는 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열되어 있고, 광전 변환부는 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비하고 있다. 그리고 광전 변환부는 여러 개의 모드에 의해 화소로부터 데이터를 독출할 수 있고, 그 중 하나 이상의 제2 모드에서는 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출할 수 있다. 그 결과, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 장점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성할 수 있다.
상기 제2 모드에서 선택 후의 화소 배열은 베이어 배열일 수 있다. 그 결과, 제2 모드에서 선택된 화소로부터 컬러 화상을 생성할 수 있다.
상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 홀수인 경우에 상기 광전 변환부는, 상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 홀수 수의 화소로 이루어진 영역에서 데이터를 독출할 수 있다. 그 결과, 컬러 화상의 생성이 가능해지도록 화소를 각 광전 변환 영역에서 선택할 수 있다.
상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 짝수인 경우에 상기 광전 변환부는 상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 짝수 수의 화소로 이루어진 영역에서 데이터를 독출해도 좋다. 그 결과, 컬러 화상의 생성이 가능해지도록 화소를 각 광전 변환 영역에서 선택할 수 있다.
상기 제2 모드에 의해 상기 광전 변환부로부터 독출한 데이터를 사용하여 생성된 화상을 소정의 주기로 바꾸어 표시하는 표시부를 더 구비해도 좋다. 그 결과, 제2 모드에 의해 광전 변환부로부터 독출한 데이터를 사용하여 생성된 화상을 표시할 수 있다.
상기 광전 변환부의 각 화소로부터는 데이터를 그대로 독출하여 상기 표시부에 표시하는 화상의 생성에 사용해도 좋다. 또 상기 광전 변환부의 각 화소에서의 적,녹,청의 대표값을 사용하여 상기 표시부에 표시하는 화상을 생성하도록 해도 좋다. 대표값을 사용함으로써 독출한 데이터를 사용한 컬러 화상 생성시의 연산량을 줄일 수 있다.
상기 광전 변환부의 내부에서 사전에 각 상기 대표값을 연산해도 좋다. 또 상기 광전 변환부로부터 데이터를 독출한 후 각 상기 대표값을 연산하는 연산부를 더 구비해도 좋다. 그 결과, 독출한 데이터를 사용한 컬러 화상 생성시의 연산량을 줄일 수 있다.
상기 제2 모드에 의해 상기 광전 변환부로부터 데이터를 독출할 때에는 상기 렌즈 어레이의 모든 렌즈에 대응하는 상기 광전 변환 영역을 대상으로 해도 좋다. 또 상기 제2 모드에 의해 상기 광전 변환부로부터 데이터를 독출할 때에는 상기 렌즈 어레이의 일부 렌즈에 대응하는 상기 광전 변환 영역을 대상으로 해도 좋다. 그 결과 독출한 데이터를 사용한 컬러 화상 생성시의 연산량을 줄일 수 있다.
상기 촬상장치는 상기 광전 변환부의 주변부로 감에 따라 상기 광전 변환부에 대해 수직으로 광을 조사하는 방향으로 상기 렌즈 어레이의 광축을 쉬프트시켜도 좋다. 광전 변환부에 대해 수직으로 광이 조사되는 방향으로 렌즈 어레이의 광축을 쉬프트함으로써 광량을 확보하여 주변부의 화질을 향상시킬 수 있다.
또 상기 과제를 해결하기 위해 본 발명의 다른 관점에 의하면, 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 상기 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비한 촬상장치의 촬상 방법에 있어서, 상기 광전 변환부는 상기 광전 변환 영역에 포함된 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 가진 데이터 독출 단계를 구비한 촬상방법이 제공된다.
본 발명의 일 실시 예에 따른 촬상장치 및 방법은 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계가 갖는 장점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성할 수 있다.
도 1은 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 설명하기 위한 도면이다.
도 2는 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 촬상장치(100)의 개략도이다.
도 4은 도 3에 도시된 촬상장치(100)에서 독출 모드의 전환 처리를 설명하기 위한 흐름도이다.
도 5는 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리를 설명하기 위한 도면이다.
도 6은 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리를 설명하기 위한 도면이다.
도 7은 CMOS센서로부터의 화소의 독출 순서를 설명하기 위한 도면이다.
이하 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.
우선, 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기 전에 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 구성에 대해서 설명하고, 그 후에 상기 렌즈 어레이를 구비한 촬상장치의 구성에 대해서 설명하기로 한다.
도 1 및 도 2는, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 설명하기 위한 도면이다. 도 1은, 피사체로부터의 광을 집광하는 렌즈와 촬상소자 사이에 렌즈 어레이를 구비한 것을 측면 방향에서 본 경우에 대해서 도시한 도면이고, 도 2는, 렌즈 어레이의 배치 상태를 개념적으로 도시한 도면이다.
도 1에 도시된 것처럼, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계에서는 주 렌즈(11)를 통과한 피사체로부터의 광이 렌즈 어레이(12)의 각 마이크로 렌즈(12a)에 합초되도록 투영된다. 그리고 촬상센서(13)에는 마이크로 렌즈(12a)를 투과한 광이 조사된다.
촬상센서(13)에는 인접한 마이크로 렌즈(12a)로부터의 광이 겹치지 않도록 주 렌즈(11)의 조리개(14)를 설정한다. 도 1에 도시한 광학계에서 얻어진 화상을 재구성함으로써 피사계 심도를 자유자재로 결정할 수 있다. 따라서 이와 같은 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계는 시차를 이용한 측거나 삼차원 화상으로의 응용, 해상도의 향상 처리에 이용된다.
그러나 상술한 것처럼 도 1 및 도 2에 도시한 마이크로 렌즈(12a)로 이루어진 렌즈 어레이(12)를 구비한 광학계를 가진 촬상장치의 사용 환경을 생각하면 광학계에서 결상된 화상을 실시간으로 확인하기 위한 라이브 뷰 화상을 생성할 필요가 있다. 따라서 촬상소자의 출력을 전부 메모리에 일시적으로 저장하면 라이브 뷰 화상의 작성 처리에 시간이 걸려 라이브 뷰 화상이 코마 드롭이 된다는 문제가 있다. 그래서 본 실시 예에서는 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 이점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성할 수 있는 촬상장치에 대해서 설명하기로 한다.
이상, 도 1 및 도 2를 사용하여 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 구성에 대해서 설명하였다. 다음으로 상기 광학계를 가진 촬상장치의 구성에 대해서 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 촬상장치(100)의 개략도이다. 이하, 도 3을 사용하여 본 발명의 일 실시 예에 따른 촬상장치(100)의 구성에 대해서 설명하기로 한다.
도 3에 도시된 것처럼, 본 발명의 일 실시 예에 따른 촬상장치(100)는 주 렌즈(102)와, 마이크로 렌즈 어레이(104)와, 촬상센서(106)와, CPU(108)와, 메모리(110)와, 아날로그 프론트 엔드(AFE)부 및 A/D변환부(112)와, 화상 입력부(114)와, 컬러 화소 생성부(116)과, 화상 재구성부(118)과, 디지털 백 엔드(DBE)부(120)와, 화상 압축부(122)와, 메모리 카드 드라이버(124)와, 표시 화상 생성부(126)와, 표시 드라이버(128)와, 타이밍 제너레이터(TG)(130)와, 모터 드라이버(132)와, 포커스 렌즈 모터(134)와, LCD(Liquid Crystal Display)(136)를 포함하여 구성된다.
주렌즈(102)는 피사체에 초점을 맞추기 위한 렌즈인 포커스 렌즈나, 초점 거리를 변화시키는 줌렌즈 등을 포함하여 구성된다. 포커스 렌즈 모터(134)의 구동에 의해 주렌즈(102)에 포함되는 포커스 렌즈의 위치를 이동시킴으로써 촬상장치(100)는 피사체에 초점을 맞출 수 있다.
마이크로 렌즈 어레이(104)는 여러 개의 마이크로 렌즈 군으로 구성된 렌즈 어레이이다. 마이크로 렌즈 어레이(104)는 마이크로 렌즈(104a)가 단일 평면상에 규칙적으로 배열됨으로써 구성된다. 주렌즈(102)를 통과한 광은 마이크로 렌즈 어레이(104)의 각 마이크로 렌즈를 통과하여 촬상센서(106)에 조사된다.
촬상센서(106)는 마이크로 렌즈 어레이(104)를 구성하는 각 마이크로 렌즈(104a)를 통과한 광으로부터 화상 신호를 생성하는 것이다.
CPU(108)는 촬상장치(100)의 각 부의 동작을 제어하는 것이다. CPU(108)는 촬상장치(100)의 내부에 저장된 컴퓨터 프로그램을 차례대로 실행함으로써 촬상장치(100)의 각 부의 동작을 제어할 수 있다. 또 메모리(110)는 촬상장치(100)의 동작시에 필요한 정보나 데이터가 저장되는 것이다.
아날로그 프론트 엔드부 및 A/D변환부(112)는 촬상센서(106)에서 광전 변환된 아날로그의 신호를 받아 디지털 신호로 변환하여 출력하는 것이다. 아날로그 프론트 엔드부 및 A/D변환부(112)에 디지털 신호로 변환된 신호는 화상 입력부(114)에 보내진다.
화상 입력부(114)는 아날로그 프론트 엔드부 및 A/D변환부(112)에서 생성된 디지털 신호를 받아 메모리(110)에 저장하는 것이다. 아날로그 프론트 엔드부 및 A/D변환부(112)에서 생성된 디지털 신호가 메모리(110)에 저장됨으로써 촬상장치(100)는 디지털 신호에 대한 각종 신호 처리를 실행할 수 있다.
컬러 화소 생성부(116)는 촬상센서(106)가 수광한 광에서 생성된 화상 신호에 대해 색 데이터를 생성하는 신호 처리를 실행하는 것이다.
화상 재구성부(118)는 마이크로 렌즈 어레이(104)를 통과시켜 촬상된 화상을 재구성하는 것이다. 화상 재구성부(118)은, 예를 들면 마이크로 렌즈 어레이(104)를 통하여 촬상된 화상의 재구성에 의해 피사계 심도를 변경하여 합초시키는 피사체를 변화시킬 수 있다. 또 화상 재구성부(118)는 노이즈의 제거나 색의 보정 등에 의한 해상도 향상 처리를 실행해도 좋다.
디지털 백 엔드부(120)는 마이크로 렌즈 어레이(104)를 통해 촬상되고 컬러 화소 생성부(116)에서 컬러화된 화상에 대한 화상 처리를 실행하는 것으로서, 예를 들면 채도를 강조하는 처리를 실행하거나 화상 사이즈를 변환하는 처리를 실행하는 것이다.
화상 압축부(122)는, 화상 데이터를 적절한 형식으로 압축하는 것이다. 화상의 압축 형식은 가역 형식이어도 좋고 비가역 형식이어도 좋다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG2000형식으로 변환해도 좋다. 메모리 카드 드라이버(124)는 화상 압축부(122)에서 압축된 후 화상 데이터의 메모리 카드(미도시)로의 기록, 및 메모리 카드에 기록된 화상 데이터의 메모리 카드로부터의 독출을 실행하는 것이다.
표시 화상 생성부(126)는 촬영 화상이나 촬상장치(100)의 각종 설정 화면을 표시하는 LCD(136)에 표시하는 화상(표시 화상)을 생성하는 것이다. 예를 들면, 촬영 화상을 표시부에 표시시킬 경우에는 표시 화상 생성부(126)는 표시부의 해상도나 화면 사이즈에 맞춰 화상 데이터를 변환하여 표시 화상을 생성한다. 표시 드라이버(128)는 표시 화상 생성부(126)가 생성한 표시 화상을 LCD(136)에 표시시키는 처리를 실행하는 것이다.
타이밍 제너레이터(130)는 촬상센서(106)에 타이밍 신호를 입력한다. 타이밍 제너레이터(130)로부터의 타이밍 신호에 의해 셔터 속도가 결정된다. 즉, 타이밍 제너레이터(130)로부터의 타이밍 신호에 의해 촬상센서(106)의 구동이 제어되고 셔터에 동기하여 피사체로부터의 광을 노광하고 그 후 독출 구동을 함으로써 화상 데이터의 기초가 되는 전기 신호가 생성된다.
모터 드라이버(132)는 CPU(108)의 제어에 기초하여 포커스 렌즈 모터(134)를 구동시키는 것이다. 포커스 렌즈 모터(134)는 모터에 의해 주렌즈(102)의 위치를 제어하는 것이다. 모터 드라이버(132) 및 포커스 렌즈 모터(134)를 통해 주렌즈(102)의 위치를 제어함으로써 피사체의 핀트를 조절할 수 있다.
LCD(136)는, 예를 들면 LCD패널로 이루어져 이른바 라이브 뷰 화상의 표시나 촬영 화상의 표시, 메모리 카드(미도시)에 기록된 화상 등이 표시된다.
아울러 도 3에는 도시되지 않았으나, 촬상장치(100)에는 조리개, 해당 조리개를 조절하기 위한 모터, 및 해당 모터를 구동시키기 위한 모터 드라이버를 구비해도 좋다. 또 도 3에는 도시되지 않았으나, 촬상장치(100)에는 촬영 동작을 개시하기 위한 셔터 버튼, 조리개나 셔터 속도, 감도 등의 촬영 정보를 설정하기 위한 조작 버튼 등을 구비해도 좋다.
이상 본 발명의 일 실시 예에 따른 촬상장치(100)의 구성에 대해서 설명하였다. 이와 같은 구성을 가진 촬상장치(100)에서는, 라이브 뷰 화상을 LCD(136)에 표시시킴에 따른 파인더 기능 탑재가 필수이다. 그때 장치의 사이즈나 비용면을 고려하면, 마이크로 렌즈 어레이(104)를 통해 촬상센서(106)에서 광전 변환된 화소 데이터를 사용한 파인더 기능을 탑재하는 것이 바람직하다.
촬상센서(106)를 사용하여 라이브 뷰 화상을 생성하려면 처리 시간의 단축이나 처리 부하를 줄여야하기 때문에 촬상센서(106)에 라이브 뷰 화상을 생성하기 위한 독출 모드를 갖도록 하는 것이 바람직하다. 구체적으로는 모든 화소로부터 데이터를 독출하는 것이 아니라 화소를 솎아내어 화소 데이터를 독출하는 독출 모드를 촬상센서(106)에 구비하고 있는 것이 바람직하다. 또 촬상센서(106)를 사용하여 라이브 뷰 화상을 생성하려면 라이브 뷰 화상을 생성하기 위한 독출 모드에서 화소 데이터를 독출한 경우라 해도 컬러 화상을 생성할 수 있는 필터 배치가 촬상센서(106)에 이루어져 있는 것이 바람직하다.
그래서 본 실시 예에서는 라이브 뷰 화상의 효율적인 생성을 위해 화소를 솎아내어 화소 데이터를 독출하는 독출 모드를 구비하면서, 솎아내어 독출된 화소 데이터를 사용하여 컬러 화상을 생성할 수 있는 촬상센서(106)를 구비한 촬상장치(100)에 대해서 설명하기로 한다. 아울러 이하에서는 화소를 솎아내어 화소 데이터를 독출하는 독출 모드를 "제2 모드"라고 하고, 이에 대해 이하에서는 모든 화소로부터 화소 데이터를 독출하는 독출 모드를 "제1 모드" 라고 한다.
이하의 설명에서는 우선 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 대해서 나타내고, 해당 전환 처리에 의해 선택되는 제2 모드에 의한 화소 데이터의 독출 처리에 대해서 설명하기로 한다.
도 4는, 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 대해서 도시한 흐름도이다. 이하, 도 4를 사용하여 본 발명의 일 실시 예에 관한 촬상장치(100)에서의, 촬상센서(106)의 독출 모드의 전환 처리에 대해서 설명하기로 한다.
우선 촬상센서(106)로부터 어느 모드에서 화소 데이터를 독출할지가 CPU(108)에서 판단된다(단계S101). 여기에서는 촬상센서(106)로부터 제1 모드와 제2 모드 중 어느 모드에서 화소 데이터를 독출해야 하는지 CPU(108)에서 판단된다.
제1 모드와 제2 모드 중 어느 모드에서 화소 데이터를 독출해야 하는지에 대해서는 촬상장치(100)의 동작 상태에 의해 판단해도 좋다. 예를 들면, 촬상장치(100)가 라이브 뷰 화상을 LCD(136)에 표시한 상태에서는 CPU(108)는 촬상센서(106)로부터는 제2 모드에서 화소 데이터를 독출해야 한다고 판단할 수 있다. 또 촬상장치(100)의 셔터 버튼이 사용자에 의해 눌려 촬상장치(100)이 촬영 동작을 실행하는 상태에서는 CPU(108)는 촬상센서(106)로부터는 제1 모드에서 화소 데이터를 독출해야 한다고 판단할 수 있다.
상기 단계S101에서의 판단 결과, 촬상센서(106)로부터 제1 모드에서 화소 데이터를 독출해야 한다고 CPU(108)가 판단하면, CPU(108)는 타이밍 제너레이터(130)에 대해 촬상센서(106)의 모든 화소로부터 화소 데이터를 독출하기 위한 타이밍 신호의 생성을 요구한다. 그리고 타이밍 제너레이터(130)가 생성한 타이밍 신호에 기초하여 촬상센서(106)의 모든 화소로부터 화소 데이터가 독출된다(단계S102).
한편, 상기 단계S101에서의 판단 결과, 촬상센서(106)로부터 제2 모드에서 화소 데이터를 독출해야 한다고 CPU(108)가 판단하면, CPU(108)는 타이밍 제너레이터(130)에 대해 촬상센서(106)의 일부의 화소로부터 화소 데이터를 독출하기 위한 타이밍 신호의 생성을 요구한다. 그리고 타이밍 제너레이터(130)가 생성한 타이밍 신호에 기초하여 촬상센서(106)의 일부의 화소로부터 화소 데이터가 독출된다(단계S103).
상기 단계S102 또는 단계S103에서, 촬상센서(106)의 전부 또는 일부에서 화소 데이터를 독출하면 촬상센서(106)에서 독출한 화소 데이터를 메모리(110)에 기억한다(단계S104). 이와 같이 촬상센서에서 독출한 화소 데이터를 메모리(110)에 기억함으로써 기억한 화소 데이터를 사용하여 화상 데이터나 라이브 뷰 화상을 생성할 수 있다.
이상, 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 대해서 설명하였다. 다음으로 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 의해 선택되는 제2 모드에 의한, 촬상센서(106)에서의 화소 데이터의 독출 처리에 대해서 설명하기로 한다.
우선 하나의 마이크로 렌즈(104a)에 대응되는 화소의 한 변의 수가 홀수인 경우에 대해서 설명하기로 한다. 도 5는, 하나의 마이크로 렌즈(104a)에 대응되는 화소의 한 변의 수가 5개인 경우의, 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리 개요를 도시한 설명도이다. 이하, 도 5를 사용하여 촬상센서(106)에서의 제2 모드에 의한 화소 데이터의 독출 처리 개요에 대해서 설명하기로 한다.
도 5에 도시한 각각의 원은 마이크로 렌즈(104a)에 의해 투영되는 영역을 나타내고 있다. 도 5에 도시한 각각의 원으로 둘러싸여 있는 영역이 마이크로 렌즈(104a)로부터의 광이 투영되는 영역에 상당한다. 또 도 5에 도시한 것처럼 촬상센서(106)는 R,G,B의 각 화소로 이루어진 베이어배열을 가지고 있다.
본 실시형태에서는 제2 모드에 의해 촬상센서(106)로부터 화소 데이터를 독출할 때에는 하나의 마이크로 렌즈(104a)에 할당되어 있는 25개의 화소 중 하나의 화소를 선택하고 해당 선택한 화소의 화소 데이터를 독출한다. 또 화소 데이터를 독출하는 화소의 위치가, 각 마이크로 렌즈에 대응하는 화소 영역에서 전부 상대적으로 일치하도록 촬상센서(106)로부터 화소 데이터를 독출한다. 이와 같이 화소 데이터를 독출하는 화소를 선택하고 화소 데이터를 해당 화소로부터 독출함으로써 화소 데이터가 독출된 화소도 촬상센서(106)와 동일하게 베이어배열을 가질 수 있다. 그리고 솎아내어 선택된 화소가 베이어배열을 가짐으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.
도 5에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역 중앙의 화소가 화소 데이터를 독출하는 화소로서 선택된다. 이 25화소로 이루어진 영역 중앙의 화소를 나열하면 이들 화소도 촬상센서(106)와 동일하게 베이어배열을 가질 수 있다. 따라서 도 5와 같이 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소로 이루어진 25화소 중 하나의 화소를 선택하고 또 해당 화소는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 선택됨으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.
아울러 도 5에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역 중앙의 화소를 화소 데이터를 독출하는 화소로서 선택하는데, 본 발명은 상기 예로 한정되지 않는다는 것은 말할 것도 없다. 해당 영역의 사이이고 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하는 것이라면, 제2 모드에서 도 5에 도시한 위치와 다른 위치의 화소를 선택할 수 있다. 또 본 실시형태에서는 촬상센서(106)의 화소 배열은 베이어배열이지만, 본 발명은 상기 예로 한정되지 않는다. 따라서 선택 후의 화소 배열에 대해서도 베이어배열로 한정되지 않는다.
예를 들어 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역 중앙의 화소의 모임을 제(0,0)필드로 정의하고, 해당 중앙 화소에서 오른쪽으로 m화소, 아래로 n화소 쉬프트한 화소의 모임을 제(m,n)필드로 정의하면, 도 5에 도시한 예에서는 m은 -2∼2 사이의 임의의 정수값을 채용할 수 있고, n도 -2∼2 사이의 임의의 정수값을 채용할 수 있다. 아울러 제2 모드에서의 풀컬러 화상을 생성하기 위해서는 m 및 n의 값은 마이크로 렌즈(104a)에 의해 투영되는 영역에 포함되도록 결정하는 것이 바람직하다.
또 도 5에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역에서 선택하는 화소의 수는 하나였지만, 본 발명은 상기 예로 한정되지 않는다. 예를 들면 촬상센서(106)에서 제2 모드 모드에서 화소 데이터를 독출할 때에는 해당 25화소로 이루어진 영역에서 종3화소, 횡3화소 합계 9화소를 선택하여 선택한 화소로부터 화소 데이터를 독출하도록 해도 좋다.
이상, 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 홀수인 경우에 대해서 설명하였다. 계속해서 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 짝수인 경우에 대해서 설명하기로 한다. 도 6은, 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 6개인 경우의, 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리 개요를 도시한 설명도이다. 이하, 도 6을 사용하여 촬상센서(106)에서의 제2 모드에 의한 화소 데이터의 독출 처리 개요에 대해서 설명하기로 한다.
도 6에 도시한 각각의 원은 마이크로 렌즈(104a)에 의해 투영되는 영역을 나타내고 있다. 도 6에 도시한 각각의 원으로 둘러싸여 있는 영역이, 마이크로 렌즈(104a)로부터의 광이 투영되는 영역에 상당한다. 또 도 6에 도시한 것처럼, 촬상센서(106)는 R,G,B의 각 화소로 이루어진 베이어배열을 가지고 있다.
본 실시형태에서는 제2 모드에 의해 촬상센서(106)로부터 화소 데이터를 독출할 때에는 하나의 마이크로 렌즈(104a)에 할당되어 있는 36개의 화소 중 종2화소, 횡2화소로 이루어진 합계 4개의 화소를 선택하고 해당 선택한 4개의 화소의 화소 데이터를 독출한다. 또 화소 데이터를 독출하는 화소의 위치가 각 마이크로 렌즈에 대응하는 화소 영역에서 전부 상대적으로 일치하도록 촬상센서(106)로부터 화소 데이터를 독출한다. 이와 같이 화소 데이터를 독출하는 화소를 선택하고 화소 데이터를 해당 화소로부터 독출함으로써 화소 데이터가 독출된 화소도 촬상센서(106)와 동일하게 베이어배열을 가질 수 있다. 그리고 솎아내어 선택된 화소가 베이어배열을 가짐으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.
도 6에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소 합계 4개의 화소가 화소 데이터를 독출하는 화소로서 선택되었다. 이 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소의 합계 4개의 화소를 나열하면 이들 화소도 촬상센서(106)와 마찬가지로 베이어배열을 가질 수 있다. 따라서 도 6과 같이 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소로 이루어진 36화소 중 4개의 화소를 선택하고, 또 해당 화소는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 선택됨으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.
아울러 도 6에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소의 합계 4개의 화소를 화소 데이터를 독출하는 화소로서 선택하였는데, 본 발명은 상기 예로 한정되지 않는다는 것은 말할 것도 없다. 해당 영역 사이이고 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하는 것이라면 제2 모드에서 도 6에 도시한 위치와 다른 위치의 화소를 선택할 수 있다.
예를 들어 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소의 합계 4개의 화소의 모임을 제(0,0)필드로 정의하고, 해당 중앙 부분에서 오른쪽으로 m화소, 아래로 n화소 쉬프트한 화소의 모임을 제(m,n)필드로 정의하면, 도 6에 도시한 예에서는 m은 -2∼2 사이의 임의의 정수값을 채용할 수 있고, n도 -2∼2 사이의 임의의 정수값을 채용할 수 있다. 아울러 제2 모드에서의 풀컬러 화상을 생성하기 위해서는 m 및 n의 값은 마이크로 렌즈(104a)에 의해 투영되는 영역에 포함되도록 결정하는 것이 바람직하다.
또 도 6에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역에서 선택하는 화소의 수는 4개였으나, 본 발명은 상기 예로 한정되지 않는다. 예를 들면 촬상센서(106)에서 제2 모드 모드에서 화소 데이터를 독출할 때에는 해당 36화소로 이루어진 영역에서 종4화소, 횡4화소의 합계 16화소를 선택하여 선택한 화소로부터 화소 데이터를 독출해도 좋다.
이상 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 짝수인 경우에 대해서 설명하였다. 계속해서 촬상센서(106)로서 4채널 판독의 CMOS센서를 예로 들어 CMOS센서로부터의 화소의 독출 순서에 대해서 설명하기로 한다.
도 7은, 촬상센서(106)로서 4채널의 출력을 가진 CMOS센서를 사용하고, 마이크로 렌즈의 배치가 도 6에 도시한 것과 같은 경우의, CMOS센서로부터의 화소의 독출 순서에 대해서 도시한 설명도이다. 4개의 출력 채널로부터는 인접한 4화소(Gr,Gb,R,B)가 동시에 출력된다. 도 7에 도시한 구성으로는, 최초의 클럭에서 B11, R22, Gb12, Gr21의 4화소가 출력되고 다음 클럭에서 B15, R26, Gb16, Gr25의 4화소가 동시에 출력되고 차례대로 최초의 1라인이 출력된 후 2라인, 3라인으로 출력된다.
여기에서는 4채널 출력의 CMOS센서에서 설명하였으나, 1채널 출력이나 2채널 출력의 CMOS센서에서도 대응 가능하다. 예를 들면 2채널 출력의 CMOS센서를 사용한 경우에는 최초의 클럭에서 B11, Gr21이 출력되고, 다음 클럭에서 Gb12, R22가 출력되고 차례대로 출력이 계속된다.
이상 설명한 것처럼 본 발명의 일 실시 예에 의하면, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 촬상장치(100)에서 촬상센서(106)는 모든 화소에서 화소 데이터를 독출하는 제1 모드와, 일부 화소에서 화소 데이터를 독출하는 제2 모드를 가진다. 그리고 제2 모드에서 촬상센서(106)로부터 화소 데이터를 독출할 때에는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 화소 데이터를 독출하는 화소를 선택한다. 이와 같이 화소 데이터를 독출하는 화소를 선택함으로써 제2 모드의 경우라 해도 컬러 필터의 배열이 촬상센서(106)에서의 본래의 배열 상태를 유지한 상태를 유지할 수 있다.
이상 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들어 상기 실시형태에서는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 화소 데이터를 독출하는 화소를 선택하였으나, 본 발명은 상기 예로 한정되지 않는다. 예를 들면, 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B 각각의 화소의 대표값을 구해도 좋고 이와 같이 구한 R,G,B 각각의 화소의 대표값을 사용하여 라이브 뷰 화상을 생성해도 좋다. 이 대표값은, 예를 들면 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B의 각 화소값의 가산 평균값이어도 좋다. 그리고 R,G,B 각각의 화소의 대표값을 촬상센서(106)에서 사전에 연산하여 구한 후에 촬상센서(106)에서 독출하도록 해도 좋고, 촬상센서(106)에서 화소 데이터를 독출한 후 R,G,B 각각의 화소의 대표값을 연산하도록 해도 좋다.
예를 들어 상기 실시형태에서는 모든 마이크로 렌즈를 대상으로 하였으나, 본 발명은 상기 예로 한정되지 않는다. 예를 들면 대상이 되는 마이크로 렌즈를 솎아내어 선택하고, 선택된 마이크로 렌즈의 조사 범위로부터 화소를 선택하고, 해당 화소에서 화소 데이터를 독출하도록 해도 좋다. 마이크로 렌즈를 솎아내어 선택하는 경우라 해도 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B 각각의 화소의 대표값을 구해도 좋고, 이와 같이 구한 R,G,B 각각의 화소의 대표값을 사용하여 라이브 뷰 화상을 생성해도 좋다. 이 대표값은, 예를 들면 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B의 각 화소값의 가산 평균값이어도 좋다. 그리고 R,G,B 각각의 화소의 대표값을 촬상센서(106)에 사전에 연산하여 구한 후에 촬상센서(106)로부터 독출하도록 해도 좋고, 촬상센서(106)로부터 화소 데이터를 독출한 후 R,G,B 각각의 화소의 대표값을 연산하도록 해도 좋다.
또 상술한 실시형태의 설명에서는 마이크로 렌즈의 대략 중심의 화소를 선택한다고 하였으나, 실제 촬상센서에서는 주변부로 감에 따라 광이 비스듬히 입사된다. 따라서 입사에 대한 보정을 하기 위해 촬상센서의 주변부로 감에 따라 촬상센서에 대해 광을 수직으로 조사하는 방향으로 마이크로 렌즈를 쉬프트하도록 해도 좋다. 이와 같이 마이크로 렌즈를 쉬프트하여 광량을 확보함으로써 촬상센서 주변부의 화질도 향상시킬 수 있게 된다.
100 촬상장치
102 주렌즈
104 마이크로 렌즈 어레이
104a 마이크로 렌즈
106 촬상센서
108 CPU
110 메모리
112 아날로그 프론트 엔드부 및 A/D변환부
114 화상 입력부
116 컬러 화소 생성부
118 화상 재구성부
120 디지털 백 엔드부
122 화상 압축부
124 메모리 카드 드라이버
126 표시 화상 생성부
128 표시 드라이버
130 타이밍 제너레이터
132 모터 드라이버
134 포커스 렌즈 모터
136 LCD

Claims (8)

  1. 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이 및 상기 렌즈 어레이의 각 렌즈로부터의 투과 광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비하고,
    상기 광전 변환부는,
    상기 광전 변환 영역에 포함된 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와,
    상기 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능하며, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 구비한 촬상장치.
  2. 제 1 항에 있어서,
    상기 제2 모드에서의 선택 후의 화소 배열은 베이어 배열인 것을 특징으로 하는 촬상장치.
  3. 제 1 항에 있어서,
    상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 홀수인 경우에,
    상기 광전 변환부는,
    상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 홀수 수의 화소로 이루어진 영역에서 데이터를 독출하는 것을 특징으로 하는 촬상장치.
  4. 제 1 항에 있어서,
    상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 짝수인 경우에,
    상기 광전 변환부는,
    상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 짝수 수의 화소로 이루어진 영역에서 데이터를 독출하는 것을 특징으로 하는 촬상장치.
  5. 제 1 항에 있어서,
    상기 제2 모드에 의해 상기 광전 변환부로부터 독출한 데이터를 사용하여 생성된 화상을 소정의 주기로 바꾸어 표시하는 표시부를 더 포함하는 것을 특징으로 하는 촬상장치.
  6. 제 5 항에 있어서,
    상기 광전 변환부의 각 화소로부터는 데이터를 그대로 독출하여 상기 표시부에 표시하는 화상의 생성에 사용하거나, 상기 광전 변환부의 각 화소에서의 적, 녹, 청의 대표값을 사용하여 상기 표시부에 표시하는 화상을 생성하는 것을 특징으로 하는 촬상장치.
  7. 제 1 항에 있어서,
    상기 광전 변환부의 주변부로 감에 따라 상기 광전 변환부에 대해 수직으로 광을 조사하는 방향으로 상기 렌즈 어레이의 광축을 이동시키는 것을 특징으로 하는 촬상장치.
  8. 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이 및 상기 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비한 촬상장치의 촬상 방법에 있어서,
    상기 광전 변환부는 상기 광전 변환 영역에 포함되는 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 가진 데이터 독출 단계를 구비한 촬상방법.
KR1020100017920A 2009-12-22 2010-02-26 촬상장치 및 방법 KR101691551B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/976,918 US8558915B2 (en) 2009-12-22 2010-12-22 Photographing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009290773A JP5490514B2 (ja) 2009-12-22 2009-12-22 撮像装置及び撮像方法
JPJP-P-2009-290773 2009-12-22

Publications (2)

Publication Number Publication Date
KR20110073159A true KR20110073159A (ko) 2011-06-29
KR101691551B1 KR101691551B1 (ko) 2016-12-30

Family

ID=44347472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017920A KR101691551B1 (ko) 2009-12-22 2010-02-26 촬상장치 및 방법

Country Status (2)

Country Link
JP (1) JP5490514B2 (ko)
KR (1) KR101691551B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US10778889B2 (en) 2017-03-15 2020-09-15 Sony Corporation Image pickup apparatus, video signal processing apparatus, and video signal processing method
US11039067B2 (en) 2017-03-15 2021-06-15 Sony Corporation Image pickup apparatus, video signal processing apparatus, and video signal processing method

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
WO2011081187A1 (ja) * 2009-12-28 2011-07-07 株式会社ニコン 撮像素子、および、撮像装置
JP6019568B2 (ja) * 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP5267708B2 (ja) * 2011-12-27 2013-08-21 カシオ計算機株式会社 画像処理装置、撮像装置、画像生成方法、及びプログラム
US8941750B2 (en) 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP5947548B2 (ja) * 2012-01-13 2016-07-06 キヤノン株式会社 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム
US9392260B2 (en) 2012-01-27 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Array optical element, imaging member, imaging element, imaging device, and distance measurement device
JP6168794B2 (ja) * 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
JP6046922B2 (ja) * 2012-06-07 2016-12-21 キヤノン株式会社 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10110869B2 (en) * 2017-03-08 2018-10-23 Ricoh Company, Ltd. Real-time color preview generation for plenoptic imaging systems
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2007019967A (ja) * 2005-07-08 2007-01-25 Fujifilm Holdings Corp 固体撮像素子の検査装置および検査方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2007019967A (ja) * 2005-07-08 2007-01-25 Fujifilm Holdings Corp 固体撮像素子の検査装置および検査方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US10778889B2 (en) 2017-03-15 2020-09-15 Sony Corporation Image pickup apparatus, video signal processing apparatus, and video signal processing method
US11039067B2 (en) 2017-03-15 2021-06-15 Sony Corporation Image pickup apparatus, video signal processing apparatus, and video signal processing method

Also Published As

Publication number Publication date
KR101691551B1 (ko) 2016-12-30
JP5490514B2 (ja) 2014-05-14
JP2011135170A (ja) 2011-07-07

Similar Documents

Publication Publication Date Title
KR101691551B1 (ko) 촬상장치 및 방법
US8558915B2 (en) Photographing apparatus and method
JP5854984B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US9661210B2 (en) Image pickup device and image pickup apparatus
US8773549B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
CN103563359B (zh) 图像处理装置及图像处理方法以及数码相机
US20130010086A1 (en) Three-dimensional imaging device and viewpoint image restoration method
JP2010271670A (ja) 撮像装置
JP6351231B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP3854754B2 (ja) 撮像装置、画像処理装置及びその方法、並びにメモリ媒体
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN102934024B (zh) 摄像装置及摄像方法
JP6917803B2 (ja) 撮像装置、制御方法、及びプログラム
JP5871535B2 (ja) 撮像装置及び撮像装置の制御方法
JP6752942B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP3738654B2 (ja) デジタルカメラ
JP6138222B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6720037B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2016100868A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP7175704B2 (ja) 撮像装置およびその制御方法
JP2018182622A (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP6234097B2 (ja) 撮像装置およびその制御方法
JP2006324985A (ja) 撮像装置
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant