KR101626894B1 - 롤링 셔터를 이용하여 촬상하는 촬상 장치 - Google Patents

롤링 셔터를 이용하여 촬상하는 촬상 장치 Download PDF

Info

Publication number
KR101626894B1
KR101626894B1 KR1020100057657A KR20100057657A KR101626894B1 KR 101626894 B1 KR101626894 B1 KR 101626894B1 KR 1020100057657 A KR1020100057657 A KR 1020100057657A KR 20100057657 A KR20100057657 A KR 20100057657A KR 101626894 B1 KR101626894 B1 KR 101626894B1
Authority
KR
South Korea
Prior art keywords
image
image data
difference
sensor
threshold value
Prior art date
Application number
KR1020100057657A
Other languages
English (en)
Other versions
KR20100135683A (ko
Inventor
야스히로 야마모토
Original Assignee
리코 이메징 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리코 이메징 가부시키가이샤 filed Critical 리코 이메징 가부시키가이샤
Publication of KR20100135683A publication Critical patent/KR20100135683A/ko
Application granted granted Critical
Publication of KR101626894B1 publication Critical patent/KR101626894B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Abstract

촬상 센서, 비교기 및 합성기를 가진 촬상 장치가 제공된다. 촬상 센서는 축적된 전하를 정방향 또는 부방향으로 독출하고, 독출된 전하로부터 생성되는 화상 데이터를 출력한다. 비교기는 상기 촬상 센서에 의해 출력된 제1 화상 데이터와 상기 제1 화상 데이터가 출력된 직후에 상기 촬상 센서에 의해 출력된 제2 화상 데이터의 차이를 산출하고, 상기 차이가 제1 임계값보다 큰지의 여부를 판단한다. 합성기는 상기 촬상 센서에 의해 출력된 2개의 화상 데이터로부터 합성 화상 데이터를 생성한다. 상기 비교기가 상기 차이가 제1 임계값보다 크다고 판단하는 경우, 상기 합성기는 상기 제2 화상 데이터와 상기 제2 화상 데이터의 주사 방향과 역방향인 부방향으로 제2 화상을 주사하여 얻어지는 부방향 주사 화상 데이터로부터 합성 화상 데이터를 생성한다.

Description

롤링 셔터를 이용하여 촬상하는 촬상 장치{IMAGER THAT PHOTOGRAPHS AN IMAGE USING A ROLLING SHUTTER}
본 발명은 롤링 셔터를 이용하여 촬상하는 촬상 센서를 구비한 촬상 장치에 관한 것이다．
2차원 평면에 배열된 포토다이오드를 구비하여, 촬상에 사용되는 촬상 센서가 알려져 있다． 촬상 장치는 이 촬상 센서로부터 표시 장치로 출력된 화상 데이터를 연속적으로 표시한다. 화상은 표시 장치를 바라보는 유저에 의해 보여질 수 있고, 스루 화상(through image)으로 인지될 수 있다. 미국 특허출원공개 2006-0157760 A1호는 촬상 장치에 사용되는 촬상 센서로서의 CMOS 촬상 센서를 개시하고 있다.
하지만, CMOS 촬상 센서는 롤링 셔터를 이용하여 촬상하기 때문에, CMOS 촬상 센서에 구비된 각각의 포토다이오드의 노광 순간이 수직방향에 있어 다르다. 그 때문에, 시간의 경과와 함께 피사체의 위치, 크기 등이 변하는 경우, 표시되는 화상 및 동화상이 왜곡되고 보기에 곤란하게 된다.
본 발명의 목적은 변화가 큰 동적 피사체를 촬상하는 경우에 최소의 왜곡으로 화상을 표시 장치에 표시할 수 있는 촬상 장치를 제공하는 데 있다.
촬상 센서, 비교기 및 합성기를 가진 촬상 장치가 제공된다. 촬상 센서는 축적된 전하를 정방향 또는 부방향으로 독출하고, 독출된 전하로부터 생성되는 화상 데이터를 출력한다. 비교기는 상기 촬상 센서에 의해 출력된 제1 화상 데이터와 상기 제1 화상 데이터가 출력된 직후에 상기 촬상 센서에 의해 출력된 제2 화상 데이터의 차이를 산출하고, 상기 차이가 제1 임계값보다 큰지의 여부를 판단한다. 합성기는 상기 촬상 센서에 의해 출력된 2개의 화상 데이터로부터 합성 화상 데이터를 생성한다. 상기 비교기가 상기 차이가 제1 임계값보다 크다고 판단하는 경우, 상기 합성기는 상기 제2 화상 데이터와 상기 제2 화상 데이터의 주사 방향과 역방향인 부방향으로 제2 화상을 주사하여 얻어지는 부방향 주사 화상 데이터로부터 합성 화상 데이터를 생성한다.
본 발명에 의하면, 변화가 큰 동적 피사체를 촬상하는 경우에 최소의 왜곡으로 화상을 표시 장치에 표시할 수 있는 촬상 장치를 성취할 수 있다.
본 발명의 목적 및 장점들은 여기에 간단히 설명되는 첨부도면을 참조한 실시 형태의 설명으로부터 보다 명백히 이해될 것이다.
도 1은 본 발명의 실시 형태에 따른 촬상 장치의 배면측에서 본 사시도이다.
도 2는 촬상 장치의 블록 다이어그램이다.
도 3은 최소의 왜곡을 가지는 피사체를 도시한 도면이다.
도 4는 상부에서 바닥부로 주사하는 경우에 있어서의 롤링 셔터를 사용함으로써 야기되는 왜곡을 도시한 도면이다.
도 5는 바닥부로부터 상부로 주사하는 경우에 있어서의 롤링 셔터를 사용함으로써 야기되는 왜곡을 도시한 도면이다.
도 6은 제1 왜곡 경감 처리에 의해 얻어지는 화상을 도시한 도면이다.
도 7은 제1 왜곡 경감 처리의 플로차트이다.
도 8은 제2 왜곡 경감 처리의 플로차트이다.
이하, 도면에 도시한 실시 형태를 참조하여 본 발명을 설명한다.
도 1 및 도 2는 본 실시 형태에 따른 촬상 장치인 디지털 카메라(100)를 도시하고 있다. 예컨대, 디지털 카메라(100)는 컴팩트 카메라이다.
카메라에는, 주전원을 작동 및 작동정지시키는 주전원 스위치(111), 릴리스 버튼(112), LCD 모니터(114), 카드 슬롯(116), 및 디지털 카메라의 전면으로부터 돌출한 촬상 렌즈(121)가 설치된다. 주전원 스위치(111) 및 릴리스 버튼(112)으로 조작 스위치(110)가 이루어진다.
주전원 스위치(111)는 디지털 카메라(100)의 배면으로부터 돌출한 모멘터리 스위치이다. 유저가 주전원 스위치(111)를 누르면, 디지털 카메라(100)에 전원이 들어온다. 디지털 카메라(100)에 전원이 넣어지고 있는 동안에 유저가 주전원 스위치(111)를 누르는 경우에는, 디지털 카메라(100)에 전원이 단절된다.
릴리스 버튼(112)은 2단식의 모멘터리 스위치이고, 디지털 카메라(100)의 정상면에 구비된다. 유저가 릴리스 버튼(112)을 반정도 누르는 경우, 디지털 카메라는 측광 및 측거 및 초점맞춤 처리를 실행한다. 유저가 릴리스 버튼(112)을 완전히 누르는 경우, 디지털 카메라는 촬상한다.
LCD 모니터(114)는 촬영 화상과 동일한 3:4의 종횡비를 가지는 직사각형이다. 도 1에 도시된 바와 같이, LCD 모니터는 장변이 디지털 카메라(100)의 길이방향으로 연장되어 있고, 디지털 카메라(100)의 배면의 중앙 근처에 구비된다. LCD 모니터는 스루 화상(through image), 촬상 렌즈(121)를 통해 얻어지는 화상, 촬영된 화상, 및 디지털 카메라(100)의 설정을 표시한다.
디지털 카메라에 구비되는 구성요소들을 도 2를 참조하여 설명한다. 디지털 카메라(100)는 디지털 카메라(100)의 동작을 제어하는 DSP(131), 디지털 카메라(100)를 조작하기 위해 사용되는 조작 스위치(110), 피사체 상을 디지털 화상 신호로 변환시키는 촬상 유닛(120), DSP(131)로부터 송신되는 데이터를 기억하는 메모리(132), 촬영된 화상을 기록하는 SD 카드(133), 및 LCD 모니터(114)로 주로 구성된다. 촬상 유닛(120)은 CMOS 촬상 센서(124), AFE(Analog Front End)(125), 및 타이밍 제너레이터(123)로 주로 구성된다.
촬상 렌즈(121)는 피사체 상을 CMOS 촬상 센서(124)의 촬상 에리어에 초점맞춤시킨다. CMOS 촬상 센서(124)는 입사한 피사체 상이 아날로그 화상 신호로 변환되는 촬상 에리어를 가진다. 촬상 에리어는 직사각형이고, 촬상 에리어의 장변이 도 1의 우측에서 좌측으로의 방향과 일치하고, 단변이 도 1의 상부에서 바닥부로의 방향과 일치하도록 디지털 카메라(100)에 구비된다. 촬상 에리어에는, 복수의 포토다이오드가 배열된다. 이하, 장방향으로 배열된 포토다이오드를 1행, 단방향으로 배열된 포토다이오드를 1열이라 하기로 한다.
CMOS 촬상 센서(124)는 촬상 에리어에 형성된 피사체 상을 아날로그 화상 신호로 변환하여, 아날로그 화상 신호를 AFE(125)에 송신한다. AFE(125)는 아날로그 화상 신호의 게인을 조정한 후에 아날로그 화상 신호를 디지털 화상 신호로 변환하여, 디지털 화상 신호를 DSP(131)에 송신한다.
CMOS 촬상 센서(124)는 롤링 셔터를 이용하여 아날로그 화상 신호를 출력한다. 롤링 셔터는 CMOS 촬상 센서(124)의 각 행마다, 즉 장방향으로 배열된 포토다이오드의 그룹마다 아날로그 화상 신호를 출력하는 신호 독출 방식이다. 본 실시 형태에 의한 CMOS 촬상 센서(124)는 촬상 에리어의 상부에서 바닥부로 진행되는 주사 방향으로 아날로그 화상 신호를 출력하고, 다음으로 촬상 에리어의 바닥부에서 상부로 진행되는 주사 방향으로 아날로그 화상 신호를 출력한다. 그런 후에, CMOS 촬상 센서(124)는 촬상 에리어의 상부로부터 바닥부로 진행되는 주사 방향으로 아날로그 화상 신호를 출력한다. 즉, CMOS 촬상 센서(124)는 상부에서 바닥부로의 주사와 바닥부에서 상부로의 주사를 교대로 하여 신호를 출력한다. 이하, 촬상 에리어의 상부에서 바닥부로 진행되는 주사 방향을 정방향(positive direction)이라 하고, 촬상 에리어의 바닥부에서 상부로 진행하는 주사 방향을 부방향(negative direction)이라 한다.
타이밍 제너레이터(123)는 DSP(131)로부터의 신호에 기초하여 CMOS 촬상 센서(124) 및 AFE(125)에 타이밍 신호를 송신한다. CMOS 촬상 센서(124) 및 AFE(125)는 타이밍 신호에 따라 동작한다.
촬상전에, DSP(131)는 디지털 화상 신호에 포함되는 피사체 상의 광량을 이용하여 피사체에 대한 측광 과정을 실행한다. DSP는 측광치로부터 노광치를 연산하고, 촬영에 사용되는 셔터 스피드 및 조리개 값을 연산한다. 그 후에, 연산된 셔터 스피드 및 조리개 값에 기초하여 촬상이 행해진다. DSP(131)는 수신한 디지털 화상 신호를 이용하여 촬상 렌즈(121)를 제어하고, 피사체 상은 CMOS 촬상 센서(124)의 촬상 에리어상에서 초점맞춤된다.
AFE(125)로부터 디지털 화상 신호를 수신한 후, DSP(131)는 디지털 화상 신호를 처리하여 스루 화상으로서 LCD 모니터(114)에 송신한다.
DSP(131)는 수신한 디지털 화상 신호를 처리하여 촬영시의 1프레임의 화상의 데이터를 담은 화상 데이터를 생성한다. 화상 데이터는 SD 카드(133)에 저장되고 LCD 모니터(114)에 표시된다. 메모리(132)는 DSP(131)가 연산 및 화상 처리를 실행하는 동안 중간 데이터가 일시적으로 저장되는 작업 메모리로서 사용된다.
SD 카드(133)는 디지털 카메라(100)의 측면에 구비된 카드 슬롯(116)에 탈착가능하게 격납된다. 유저는 디지털 카메라(100)의 외부에서 SD 카드(133)에 액세스하여 SD 카드(133)를 교환할 수 있다.
시간의 경과와 함께 상태가 변하는 피사체를 촬상하는 경우, 모든 행 또는 열의 포토다이오드에 축적된 전하가 출력되는 동안 피사체의 상태가 변할 수 있다. CMOS 촬상 센서(124)는 롤링 셔터를 이용하여 아날로그 화상 신호를 출력하고 있기 때문에, 각각의 포토다이오드에 전하를 축적하는 순간이 각 행마다 다르다. 따라서, CMOS 촬상 센서(124)에 의해 출력된 화상이 왜곡될 수 있다.
이하, 도 3을 참조하여 출력 화상의 왜곡에 대해 상세히 설명한다. 도 3은 디지털 카메라(100)에 의해 촬상되는 피사체로서의 메트로놈을 도시하고 있다. 메트로놈은 수직축을 중심으로 짧은 주기로 전후 진동하는 진자를 가지고 있다.
도 4는 CMOS 촬상 센서(124)가 정방향으로 주사한 후에 아날로그 화상 신호를 출력하는 경우에 얻어지는 화상을 도시하고 있다. 설명을 위해, 화상의 왜곡이 과장되게 도시되었다. CMOS 촬상 센서(124)가 진자의 첨단을 촬상하는 순간부터 CMOS 촬상 센서(124)가 진자의 축을 촬상하는 순간까지 진자가 이동한다. 그 때문에, 진자의 직선 암이 메트로놈의 상부쪽으로 볼록한 곡선을 가지는 것처럼 촬상된다.
도 5는 CMOS 촬상 센서(124)가 부방향으로 주사한 후에 아날로그 화상 신호를 출력하는 경우에 얻어지는 화상을 도시하고 있다. 설명을 위해, 화상의 왜곡이 과장되게 도시되었다. CMOS 촬상 센서(124)가 진자의 축을 촬상하는 순간부터 CMOS 촬상 센서(124)가 진자의 첨단을 촬상하는 순간까지 진자가 이동한다. 그 때문에, 진자의 직선 암이 메트로놈의 바닥부쪽으로 볼록한 곡선을 가지는 것처럼 촬상된다.
왜곡을 방지하기 위해, 제1 왜곡 경감 처리가 실행된다. 제1 왜곡 경감 처리에서는, 피사체의 움직임이 임계값보다 큰 경우, 정방향으로 주사한 후 CMOS 촬상 센서(124)에 의해 출력되는 화상 신호와 부방향으로 주사한 후 CMOS 촬상 센서(124)에 의해 출력되는 화상 신호를 함께 평균하여, 최소의 왜곡을 가지는 화상이 얻어진다. 이 처리의 결과로서, 도 6에 도시된 화상이 얻어진다.
제1 왜곡 경감 처리에 관하여 도 7을 참조하여 설명한다. LCD 모니터(114)에 스루 화상이 표시될 때 또는 동화상이 촬상될 때, 제1 왜곡 경감 처리가 실행된다. DSP(131)는 제1 왜곡 경감 처리를 실행하기 직전에 CMOS 촬상 센서(124)로부터 독출된 프레임 화상을 메모리(132)에 기억시키고 있다.
스텝 S701에서는, CMOS 촬상 센서(124)로부터 DSP(131)가 1개의 프레임 화상을 독출한다. 이하, 이 프레임 화상을 프레임 화상(N)이라고 한다.
스텝 S702에서는, DSP(131)는 프레임 화상(N)과 직전에 CMOS 촬상 센서(124)로부터 독출되어 메모리(132)에 기억되어 있는 프레임 화상(N-1) 사이의 차분(S)을 산출한다. 프레임 화상(N-1)은 프레임 화상(N)의 주사 방향과 역방향으로 주사한 후 CMOS 촬상 센서(124)에 의해 취득되어 출력되는 화상 신호로 구성된다.
차분(S)은 이하의 식에 의해 산출된다.
Figure 112010039049314-pat00001
여기에서, Pn(x,y)는, 프레임 화상(N)이 가지는 화소(x,y)의 색 신호이다. 프레임 화상(N)에 있어서의 화소(x,y)의 색 신호와 프레임 화상(N-1)에 있어서의 화소(x,y)의 색 신호의 차이를 모든 화소에 대해 합계한 것이 차분 S이다. 모든 적색, 녹색, 청색의 색 신호에 대해 차분(S)이 산출된다. 차분(S)의 산출에 의해, 색 변이가 방지된다.
스텝 S703에서는, 차분(S)이 소정치를 초과하는지의 여부가 판단된다. 소정치는 롤링 셔터를 이용하여 촬영된 화상이 왜곡되지 않는 실험치이다. 차분(S)이 소정치보다 큰 경우, 처리는 스텝 S704로 진행된다. 차분(S)이 소정치 이하인 경우, 처리는 스텝 S704를 실행하지 않고 스텝 S705로 진행된다.
스텝 S704에서는, 프레임 화상(N)과 프레임 화상(N-1)에 대한 평균이 산출된다. 프레임 화상(N)에 대한 평균은 프레임 화상(N)에 있어서의 각 화소 중의 평균 색 신호를 연산하는 것에 의해 산출된다. 프레임 화상(N-1)에 대한 평균도 동일한 방식으로 산출된다.
스텝 S705에서는, 주사 방향이 변경 즉 역전된다. 이것에 의해, 다음의 프레임 화상을 독출하기 위한 준비가 완료된다. 그리고, 처리가 종료된다.
본 실시 형태에 의하면, 촬상 장치(100)는 변화가 큰 동적인 피사체를 촬상하는 경우에도 최소의 왜곡을 가지는 화상을 LCD 모니터(114)에 표시할 수 있다.
다음에, 도 8을 참조하여 제2 실시 형태에 관하여 설명한다. 제1 실시 형태와 동일한 제2 실시 형태의 구성에는 동일한 도면부호를 적용하고 설명을 생략한다. 제2 실시 형태에 의한 CMOS 촬상 센서(124)는 촬상 에리어의 상부에서 바닥부로 진행되는 주사 방향으로 아날로그 화상 신호를 출력한다. 제2 실시 형태에서는, 주사 방향은 통상적으로 상부에서 바닥부로의 방향이다.
DSP(131)는 왜곡 경감 처리를 실행한다. 제2 왜곡 경감 처리에 관하여 도 8을 참조하여 설명한다. LCD 모니터(114)에 스루 화상이 표시될 때 또는 동화상이 촬상되는 경우에, 제2 왜곡 경감 처리가 실행된다. DSP(131)는 왜곡 경감 처리를 실행하기 직전에 CMOS 촬상 센서(124)로부터 독출된 프레임 화상을 메모리(132)에 기억시키고 있다.
스텝 S801에서는, CMOS 촬상 센서(124)로부터 DSP(131)가 1개의 프레임 화상을 독출한다. 이하, 이 프레임 화상을 프레임 화상(N)이라고 한다.
스텝 S802에서는, DSP(131)는 프레임 화상(N)과 직전에 CMOS 촬상 센서(124)로부터 독출되어 메모리(132)에 기억되어 있는 프레임 화상(N-1) 사이의 차분(S)을 산출한다. 프레임 화상(N-1)은 프레임 화상(N)의 주사 방향과 동일한 방향으로 주사하는 것에 의해 생성되어 CMOS 촬상 센서(124)에 의해 출력되는 화상 신호로 구성된다.
스텝 S803에서는, 차분(S)이 소정치를 초과하는지의 여부가 판단된다. 소정치는 롤링 셔터를 이용하여 촬영된 화상이 왜곡되지 않는 실험치이다. 차분(S)이 소정치보다 큰 경우, 처리는 스텝 S804로 진행된다. 차분(S)이 소정치 이하인 경우, 처리는 종료된다.
스텝 S804에서는, 주사 방향이 변경 즉 역전된다. 이것에 의해, 다음의 프레임 화상을 독출하기 위한 준비가 완료된다.
스텝 S805에서는, CMOS 촬상 센서(124)로부터 DSP(131)가 프레임 화상을 독출한다. 이하, 이 프레임 화상을 프레임 화상(N+1)이라고 한다.
스텝 S806에서는, 프레임 화상(N)과 프레임 화상(N+1)에 대한 평균이 산출된다. 프레임 화상(N)에 대한 평균은 프레임 화상(N)에 있어서의 각 화소 중의 평균 색 신호를 연산하는 것에 의해 산출된다. 프레임 화상(N+1)에 대한 평균도 동일한 방식으로 산출된다.
스텝 S807에서는, 주사 방향이 변경 즉 역전된다. 이것에 의해, 다음의 프레임 화상을 독출하기 위한 준비가 완료된다. 그리고, 처리가 종료된다.
본 실시 형태에 의하면, CMOS 촬상 센서(124)가 상부에서 바닥부로의 주사와 바닥부에서 상부로의 주사를 교대로 하는 것이 항상 가능하지 않은 경우라도, 촬상 장치(100)는 동적인 피사체가 촬상될 때에만 교대로 주사하는 것에 의해 최소의 왜곡을 가지는 화상을 LCD 모니터(114)에 표시할 수 있다.
롤링 셔터는 CMOS 촬상 센서(124)의 각 열마다, 즉 단방향으로 정렬된 각 포토다이오드마다 아날로그 화상 신호를 출력할 수도 있다는 것에 유의하여야 한다. CMOS 촬상 센서(124)는 촬상 에리어의 왼쪽에서 오른쪽으로 아날로그 화상 신호를 출력하고, 다음으로 촬상 에리어의 오른쪽에서 왼쪽으로 아날로그 화상 신호를 출력한다. 그 후에, CMOS 촬상 센서(124)는 촬영 에리어의 왼쪽에서 오른쪽으로 아날로그 화상 신호를 출력한다. 즉, CMOS 촬상 센서(124)는 왼쪽에서 오른쪽으로의 출력과 그리고 오른쪽에서 왼쪽으로의 출력을 교대로 실행할 수도 있다.
DSP는 프레임 화상(N)에 있어 주사가 완료된 행에 대해, 또는 주사가 완료된 행과 주사가 완료된 행에 근접한 행에 대해 차분(S)을 산출할 수도 있다. 이는, 차분이 가장 큰 영역에 대하여 차분(S)이 산출되기 때문에, 피사체의 움직임이 보다 효율적으로 검출되는 것을 가능하게 해준다.
차분(S)은 모든 3개의 색 신호에 대해 산출되지 않을 수도 있고, 그 대신 1개 또는 2개의 색 신호에 대해서만 산출될 수도 있다. 또한, 차분(S)은 색 신호에 대해서는 전혀 산출되지 않고, 그 대신 휘도에 대해 산출될 수도 있다.
도 4에 도시된 바와 같이, 촬상 에리어를 복수의 블록으로 분할하고, 각 블록의 신호의 평균을 산출하고, 프레임 화상(N)에서 산출된 모든 블록에 대한 평균과 프레임 화상(N-1)에서 산출된 모든 블록에 대한 평균 사이의 차이의 합계를 연산함으로써 차분(S)을 구할 수도 있다.
모든 화소에 대한 차이의 합계가 연산될 수 없는 경우에는, 소정의 간격으로 연산되는 차이의 합계가 대신 사용될 수도 있다는 것에 유의하여야 한다. 이러한 변형은 연산 시간을 단축시킬 것이다.
촬상 에리어의 중앙 부근에 위치한 복수의 화소들 사이의 차이를 합계할 수도 있다. 촬상 에리어의 중앙 부근에 피사체 상이 위치할 가능성이 높기 때문에, 피사체의 움직임이 정확하게 검지될 수 있다.
또한, 스텝 S703에 있어, 프레임 화상(N)에 있어서 주사가 개시되는 행 또는 열과 프레임 화상(N)에 있어서 주사가 완료되는 행 또는 열 사이의 차분이 소정치 이하일 때는, 스텝 S704는 실행되지 않을 수 있다. 이 차분이 소정치 이하일 경우에는, 디지털 카메라가 패닝하고 있고 피사체의 상태는 변하지 않는다고 판단되기 때문에, 이와 같은 경우에 프레임 화상을 평균화는 적당하지 않다. 그러므로, 디지털 카메라(100)가 패닝하고 있는 경우에도 최소의 왜곡을 가지는 화상이 얻어질 수 있다.
본 발명의 실시 형태를 첨부도면을 참조하여 설명하였지만, 본 발명의 범위를 벗어나지 않으면서 수많은 수정 및 변경이 당업자에 의해 이루어질 수 있다는 것은 명백하다.
100 디지털 카메라
110 조작 스위치
111 주전원 스위치
112 릴리스 버튼
114 LCD 모니터
116 카드 슬롯
120 촬상 유닛
121 촬상 렌즈
123 타이밍 제너레이터
124 CMOS 촬상 센서
125 AFE
131 DSP
132 메모리
133 SD 카드

Claims (13)

  1. 촬상 장치로서,
    축적된 전하를 정방향 또는 부방향으로 독출하고, 독출된 전하로부터 생성되는 화상 데이터를 출력하는 촬상 센서;
    상기 촬상 센서에 의해 출력된 제1 화상 데이터와 상기 제1 화상 데이터가 출력된 직후에 상기 촬상 센서에 의해 출력된 제2 화상 데이터의 차이를 산출하고, 상기 차이가 제1 임계값보다 큰지의 여부를 판단하는 비교기; 및
    상기 촬상 센서에 의해 출력된 2개의 화상 데이터로부터 합성 화상 데이터를 생성하는 합성기;를 포함하고 있고,
    상기 촬상 센서는 통상적으로 축적된 전하를 정방향으로 독출하고,
    상기 비교기가 상기 차이가 상기 제1 임계값보다 크다고 판단했을 때, 상기 촬상 센서는 부방향으로 주사함으로써 부방향 주사 화상 데이터를 출력하고, 상기 합성기는 상기 제2 화상 데이터와 상기 부방향 주사 화상 데이터로부터 합성 화상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  2. 제 1 항에 있어서, 상기 비교기는 각각의 대응하는 화소에 대한 상기 제1 화상 데이터와 상기 제2 화상 데이터의 신호값들 사이의 차이의 합계를 산출하고, 상기 합계가 제1 임계값보다 클 경우, 상기 합성기가 합성 화상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  3. 제 1 항에 있어서, 상기 비교기는 각각의 대응하는 화소에 대한 상기 제1 화상 데이터와 상기 제2 화상 데이터의 신호값들 사이의 차이 중 임의의 개수의 차이의 합계를 산출하고, 상기 합계가 제1 임계값보다 클 경우, 상기 합성기가 합성 화상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  4. 제 1 항에 있어서, 상기 촬상 센서는 촬상 에리어의 중앙에 중앙 에리어를 가지고, 상기 비교기는 각각의 대응하는 화소에 대한 상기 제1 화상 데이터와 상기 제2 화상 데이터의 상기 중앙 에리어에 있어서의 신호값들 사이의 차이의 합계를 산출하고, 상기 합계가 제1 임계값보다 클 경우, 상기 합성기가 합성 화상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  5. 제 1 항에 있어서, 상기 촬상 센서는 촬상 에리어를 분할하여 얻어지는 복수의 검지 에리어를 가지고, 상기 비교기는 각각의 검지 에리어의 화소의 평균 신호값을 산출하고, 각각의 대응하는 검지 에리어에 대한 상기 제1 화상 데이터와 상기 제2 화상 데이터에 있어서의 산출된 평균값들 사이의 차이의 합계를 산출하고, 상기 합계가 제1 임계값보다 큰지의 여부를 판단하는 것을 특징으로 하는 촬상 장치.
  6. 제 1 항에 있어서, 상기 촬상 센서는 촬상 에리어를 분할하여 얻어지는 복수의 검지 에리어를 가지고,
    최초로 주사가 행해지는 화소를 가진 검지 에리어는 초기 주사 에리어이고,
    최후로 주사가 행해지는 화소를 가진 검지 에리어는 말기 주사 에리어이고,
    상기 제1 화상 데이터 중 상기 초기 주사 에리어에 있어서의 화소의 신호값과 상기 제2 화상 데이터 중 상기 초기 주사 에리어에 있어서의 화소의 신호값 사이의 차이가 상기 제1 임계값보다 크고, 상기 제1 화상 데이터 중 상기 말기 주사 에리어에 있어서의 화소의 신호값과 상기 제2 화상 데이터 중 상기 말기 주사 에리어에 있어서의 화소의 신호값 사이의 차이가 상기 제1 임계값보다 큰 경우, 상기 합성기는 합성 화상 데이터를 생성하지 않는 것을 특징으로 하는 촬상 장치.
  7. 제 1 항에 있어서, 상기 비교기가 상기 제1 화상 데이터와 상기 제2 화상 데이터 사이의 차이를 산출하여, 상기 차이가 상기 제1 임계값보다 크지 않다고 판단하는 경우, 상기 합성기는 합성 화상 데이터를 생성하지 않는 것을 특징으로 하는 촬상 장치.
  8. 제 1 항에 있어서, 상기 비교기는 상기 제1 화상 데이터 및 제2 화상 데이터의 화소의 모든 색 신호들 사이의 차이를 산출하고, 상기 차이가 상기 제1 임계값보다 큰지의 여부를 판단하는 것을 특징으로 하는 촬상 장치.
  9. 제 1 항에 있어서, 상기 합성기는 상기 촬상 센서에 의해 출력된 2개의 화상 데이터에 포함된 화상 신호값의 평균을 산출하여, 산출된 화상 신호값의 평균으로부터 합성 화상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  10. 제 1 항에 있어서, 상기 촬상 센서는 수직방향으로 행마다 전하를 독출하게 해주는 롤링 셔터를 이용하여 화상 신호를 출력하는 것을 특징으로 하는 촬상 장치.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020100057657A 2009-06-17 2010-06-17 롤링 셔터를 이용하여 촬상하는 촬상 장치 KR101626894B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009144423A JP5272916B2 (ja) 2009-06-17 2009-06-17 撮像装置
JPJP-P-2009-144423 2009-06-17

Publications (2)

Publication Number Publication Date
KR20100135683A KR20100135683A (ko) 2010-12-27
KR101626894B1 true KR101626894B1 (ko) 2016-06-02

Family

ID=43353993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100057657A KR101626894B1 (ko) 2009-06-17 2010-06-17 롤링 셔터를 이용하여 촬상하는 촬상 장치

Country Status (4)

Country Link
US (1) US8294774B2 (ko)
JP (1) JP5272916B2 (ko)
KR (1) KR101626894B1 (ko)
CN (1) CN101931743B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5406768B2 (ja) * 2010-03-24 2014-02-05 富士フイルム株式会社 撮像装置およびその制御方法
JP5640509B2 (ja) * 2010-07-09 2014-12-17 ソニー株式会社 固体撮像素子およびカメラシステム
JP5696525B2 (ja) * 2011-02-22 2015-04-08 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
WO2013005316A1 (ja) * 2011-07-06 2013-01-10 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム
JP5919924B2 (ja) * 2012-03-19 2016-05-18 株式会社ニコン 撮像装置
JP6131556B2 (ja) 2012-09-28 2017-05-24 富士通株式会社 撮像信号処理装置及び撮像信号処理方法
JP2014187550A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 撮像制御装置、撮像制御方法及びプログラム
CN104717418A (zh) * 2013-12-16 2015-06-17 腾讯科技（深圳）有限公司 对焦方法、装置及电子设备
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device
CN105100604B (zh) * 2014-07-18 2019-03-01 小米科技有限责任公司 拍摄方法及装置
KR102020095B1 (ko) 2015-05-21 2019-09-10 국민대학교산학협력단 Ｌｅｄ와 롤링셔터카메라 기반의 주파수분할변조(ｆｄｍ) 방식의 광학카메라통신 방법
KR101952994B1 (ko) 2015-05-20 2019-02-27 국민대학교산학협력단 Ｌｅｄ와 롤링셔터카메라를 이용한 광학 카메라 통신 방법
KR101651584B1 (ko) 2015-10-06 2016-09-05 국민대학교산학협력단 다중 주파수 편이 변조를 이용한 ｌｅｄ와 롤링 셔터 카메라 간 이미지 센서 통신 시스템
JP7058983B2 (ja) 2017-11-20 2022-04-25 富士通コンポーネント株式会社 長さ計測器、コード及びコード変換方法
JP7118748B2 (ja) 2018-06-01 2022-08-16 富士通コンポーネント株式会社 計測器および光学読取器
US11333480B2 (en) 2019-12-12 2022-05-17 Fujitsu Component Limited Measuring instrument and measure
WO2022093657A1 (en) 2020-10-28 2022-05-05 Gigajot Technology, Inc. Dual-progression pixel readout

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065074A (ja) 2003-08-19 2005-03-10 Univ Shizuoka 高速撮像装置
JP2006148861A (ja) 2004-10-21 2006-06-08 Matsushita Electric Ind Co Ltd 撮像信号処理装置及び方法
JP2008235958A (ja) 2007-03-16 2008-10-02 Matsushita Electric Ind Co Ltd 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3754390B2 (ja) * 2002-04-22 2006-03-08 三洋電機株式会社 カメラ
JP2004173151A (ja) * 2002-11-22 2004-06-17 Minolta Co Ltd デジタルカメラ
JP4325557B2 (ja) * 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP4509925B2 (ja) * 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
JP4340915B2 (ja) * 2006-02-01 2009-10-07 ソニー株式会社 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置
CN101216973B (zh) * 2007-12-27 2011-08-17 北京中星微电子有限公司 一种自动柜员机监控方法、系统与监控装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065074A (ja) 2003-08-19 2005-03-10 Univ Shizuoka 高速撮像装置
JP2006148861A (ja) 2004-10-21 2006-06-08 Matsushita Electric Ind Co Ltd 撮像信号処理装置及び方法
JP2008235958A (ja) 2007-03-16 2008-10-02 Matsushita Electric Ind Co Ltd 撮像装置

Also Published As

Publication number Publication date
CN101931743B (zh) 2015-05-13
JP2011004068A (ja) 2011-01-06
KR20100135683A (ko) 2010-12-27
JP5272916B2 (ja) 2013-08-28
US20100321517A1 (en) 2010-12-23
CN101931743A (zh) 2010-12-29
US8294774B2 (en) 2012-10-23

Similar Documents

Publication Publication Date Title
KR101626894B1 (ko) 롤링 셔터를 이용하여 촬상하는 촬상 장치
US8885090B2 (en) Imaging apparatus and autofocus control method thereof
JP5850680B2 (ja) 撮像装置及びその制御方法
EP2323376B1 (en) Image sensor with shaking compensation
US8405761B2 (en) Image sensing apparatus having pupil-divided pixels and plural readout modes
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
JP6175748B2 (ja) 撮像装置
JP5263023B2 (ja) 撮像装置
JP5354879B2 (ja) カメラ
JP5387341B2 (ja) 撮像装置
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
JP2011087050A (ja) デジタルカメラ
CN111131667B (zh) 进行闪烁检测的摄像设备及其控制方法和存储介质
JP6728005B2 (ja) 撮像装置、撮像方法およびプログラム
JP3956284B2 (ja) 撮像装置
JP4337281B2 (ja) 撮像装置及び３次元形状計測装置
JP5482444B2 (ja) 撮像装置
JP6968650B2 (ja) 撮像装置およびその制御方法
JP2692535B2 (ja) ストロボ画像を取り込むための固体撮像装置
JP2005333491A (ja) 撮像装置
JP2020048135A (ja) 撮像装置及びその制御方法
JP2022185619A (ja) 撮像装置
JP5899707B2 (ja) 撮像装置
JP2013072988A (ja) 複眼カメラおよびこれを用いた連続自動合焦制御方法、制御プログラム、可読記憶媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee