KR101062582B1 - 카메라의 이미지 캡쳐 방법, 카메라용 모듈, 카메라 및 이동 전화기 - Google Patents

카메라의 이미지 캡쳐 방법, 카메라용 모듈, 카메라 및 이동 전화기 Download PDF

Info

Publication number
KR101062582B1
KR101062582B1 KR1020097011858A KR20097011858A KR101062582B1 KR 101062582 B1 KR101062582 B1 KR 101062582B1 KR 1020097011858 A KR1020097011858 A KR 1020097011858A KR 20097011858 A KR20097011858 A KR 20097011858A KR 101062582 B1 KR101062582 B1 KR 101062582B1
Authority
KR
South Korea
Prior art keywords
image
capture
capture button
row image
focusing
Prior art date
Application number
KR1020097011858A
Other languages
English (en)
Other versions
KR20090089380A (ko
Inventor
야노 니카넨
비탈리 사모도로브
오시 칼레보
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20090089380A publication Critical patent/KR20090089380A/ko
Application granted granted Critical
Publication of KR101062582B1 publication Critical patent/KR101062582B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Abstract

2단계 캡쳐 버튼 또는 3단계 캡쳐 버튼을 갖는 AF 카메라에서, 타이밍 제어 모듈 또는 알고리즘이, 사용자가 캡쳐 버튼을 누르고 릴리스한 후에 얻을 수 있는 이미지의 타입을 제어하는데 사용된다. 타이밍 제어는, 자동 포커싱 알고리즘이 그 포커싱 기능을 실행할 때 사용자가 뷰파인더에 표시되는 대로 장면의 이미지를 실제로 캡쳐하거나, 또는 포커싱 기능이 완료된 후에 재형성된 장면의 이미지를 캡쳐하도록 한다. 자동 포커싱 알고리즘이 그 포커싱 기능을 완료하기 전에 사용자가 캡쳐 버튼을 릴리스하면, 과초점 거리에서 포커싱된 이미지가 얻어진다.

Description

카메라의 이미지 캡쳐 방법, 카메라용 모듈, 카메라 및 이동 전화기{IMAGE CAPTURE IN AUTO-FOCUS DIGITAL CAMERAS}
본 출원은 2006년 11월 10에 제출된 미국특허출원 제11/598,219호로부터 우선권을 주장한다.
본 발명은 디지털 카메라에 관한 것이며, 더 자세하게는, 오토포커스 특징을 갖는 디지털 카메라에 관한 것이다.
오토포커스(AF) 카메라 모듈은 디지털 카메라 및 이미징 능력을 갖는 이동 단말에 통상적으로 사용된다. 또한 자동 포커싱 알고리즘 역시 이미지 캡쳐를 위한 이들 카메라 모듈에 통상적으로 사용된다. 많은 기존 자동 포커싱 알고리즘은 이미지 캡쳐시에 과초점 거리 포커싱(hyperfocal distance focusing)에 의존한다. 사진기술에서, 피사계 심도(depth-of-field, DOF)는 초점이 맞추어질 것으로 보이는 대상물의 앞과 뒤의 거리로 정의된다. 과초점 거리는, 카메라가 그 거리로 포커싱되면, 포커싱된 거리의 절반으로부터 무한대까지의 모든 것이 DOF 내로 되는 거리이다.
일반적으로, 이동 화상 전화의 DOF는 카메라 모듈의 작은 물리적 크기와 작은 렌즈 개구 때문에 매우 크다. 일반적인 이동 AF 카메라 모듈에서는, 과초점 거리는 대략 2m(80인치)이다. 따라서, 카메라가 2m에 포커싱되는 경우, 1m로부터 무한대까지의 모든 것이 포커싱되는 것으로 보인다. 이런 이유로, 과초점 거리에서의 포커싱은 대부분의 이미지 캡쳐 상태를 처리할 수 있다.
그럼에도 불구하고, 자동 포커싱 알고리즘을 갖는 AF 카메라에는 몇가지 문제가 있다. 또한 이들 문제는 카메라가 2단계 캡쳐 버튼을 사용하는지 또는 3단계 캡쳐 버튼을 사용하는지에 따라서도 다르다. 3단계 캡쳐 버튼을 사용하는 카메라에서, 제 1 단계는 캡쳐 버튼이 눌리지 않은 것이고, 제 2 단계는 캡쳐 버튼이 포커싱 목적으로 절반 눌린 것이며, 제 3 단계는 이미지 캡쳐를 위해 캡쳐 버튼이 완전히 눌린 것이다. 2단계 캡쳐 버튼을 사용하는 카메라에서, 하나의 단계는 캡쳐 버튼이 눌리지 않은 것이고, 다른 단계는 이미지 캡쳐를 위해 캡쳐 버튼이 눌린 것이다.
AF 카메라에서 자동 포커싱 알고리즘과 관련된 하나의 문제는 긴 셔터랙(shutter lag)이다. 사용자는 이미지를 캡쳐하기 전에 자동 포커싱 알고리즘이 완료하기를 기다릴 필요가 있다. 그 기다림 때문에 캡쳐하려고 의도한 순간을 놓칠 수 있다. 이 문제에 대한 기존의 해결책은, 최적의 포커스 거리를 탐색하는 AF 알고리즘이 완료되기 전에 캡쳐 버튼이 완전히 눌리면, 이미지가 현재의 포커스 거리로 캡쳐되거나, 포커스가 과초점 거리로 이동하여 이미지가 캡쳐되는 것이다.
또 다른 문제는 이미지를 캡쳐하기 위해 3단계 캡쳐 버튼이 완전히 눌릴 때 카메라가 흔들리는 것이다. 노출 시간이 충분히 길어야 하는 실내 및 다른 빛이 적은 상태에서 사진을 찍을 때, 카메라 흔들림은 종종 이미지가 흐려지게 한다. 일반적인 AF 카메라에서, 하나 또는 그 이상의 프레임은 캡쳐 버튼이 완전히 눌린 후에 캡쳐되고, 캡쳐 버튼이 눌린 후에 다수의 프레임 중에 카메라가 흔들릴 수도 있다. 모션 블러(motion-blur)는 캡쳐 버튼이 완전히 눌린 후에 즉시 캡쳐된 이미지에서 가장 발생하기 쉽다. 3단계 버튼을 누를 때는 2단계보다 더 세게 누를 필요가 있기 때문에 카메라는 더 쉽게 흔들린다. 이 문제에 대한 해결책으로, 캡쳐 버튼을 누를 때에도, 카메라를 빛이 적은 상태로 안정적으로 유지할 것이 사용자에게 권고된다.
또한, 어떤 이미징 제품에서는, 2단계 캡쳐 버튼만이 사용된다. 문제는 이런 종류의 캡쳐 버튼으로 어떻게 AF 및 화상 캡쳐를 제어하느냐 하는 것이다. 일반적으로, 2단계 캡쳐 버튼이 눌리면, 자동 포커싱 알고리즘은 즉시 초기화되지만, 자동 포커싱 알고리즘이 초점을 찾을 때까지 이미지는 캡쳐되지 않는다. 그래서 사용자는 자동 포커싱 알고리즘이 완료되기를 기다려야 한다.
움직이는 물체의 이미지를 캡쳐하기 위해, 또는 빛이 적은 상태에서 이미지를 캡쳐하기 위해, 기존의 이미지 캡쳐 방법을 사용하는 것은 바람직하지 않을 수 있다. 따라서, 상술한 문제와 관련하여 기능 및 품질을 향상시키는 이미지 캡쳐 방법을 제공하는 것은 유익하다.
2단계 캡쳐 버튼 또는 3단계 캡쳐 버튼을 갖는 AF 카메라에서, 타이밍 제어 모듈 또는 알고리즘은, 사용자가 사진을 찍기 위해 캡쳐 버튼을 누르고 릴리스(release)함으로써 얻을 수 있는 이미지의 타입을 제어하는데 사용된다. 타이밍 제어는, 자동 포커싱 알고리즘이 그 포커싱 기능을 실행할 때, 사용자가 뷰파인더에 실제로 표시되는 장면의 이미지를 캡쳐하도록, 또는 포커싱 기능이 완료된 후에 재형성된 장면의 이미지를 캡쳐하도록 허용한다. 자동 포커싱 알고리즘이 그 포커싱 기능을 완료하기 전에 사용자가 캡쳐 버튼을 릴리스하면, 얻어진 이미지는 과초점 거리에서 포커싱된 이미지이다. 본 발명에 따르면, 과초점 거리에서 포커싱된 로우 이미지(raw image)는 캡쳐 버튼이 눌린 직후에 캡쳐된다. 이 로우 이미지는, 오토포커스 기능이 완료되기 전 제 2 로우 이미지가 캡쳐되기 전에, 캡쳐 버튼이 릴리스되면, 저장되어 처리된다. 제 2 로우 이미지는, 재형성(recompose)된 장면에 대해 제 3 로우 이미지가 캡쳐되기 전에 캡쳐 버튼이 릴리스되면, 저장되어 처리된다. 이와 같이, 사용자는 과초점 거리에서 포커싱된 이미지, 노멀 AF 이미지 또는 재형성된 장면의 AF 이미지를 얻을 수 있다. 본 발명의 일 실시예에서는, 3개의 모든 로우 이미지를 저장하여 처리할 수 있다.
따라서, 본 발명의 제 1 관점은 이미지 캡쳐를 위한 캡쳐 버튼을 갖는 카메라의 이미지 캡쳐 방법이며, 상기 카메라는 캡쳐 버튼을 누름에 응답하여 포커싱 기능을 실행하는 자동 포커싱 모듈을 구비한다. 상기 방법은, 캡쳐 버튼을 누름에 응답하여 과초점 거리에서 제 1 로우 이미지를 캡쳐하는 단계와, 포커싱 기능이 완료되기 전에 적어도 제 1 로우 이미지를 유지하는 단계와, 포커싱 기능이 완료되기 전에 캡쳐 버튼이 릴리스되면 제 1 로우 이미지를 처리하는 단계, 또는 사전 결정된 기간이 만료되기 전에 캡쳐 버튼이 릴리스되면, 포커싱 기능이 완료된 후에 제 1 로우 이미지를 오버라이트하기 위해 제 2 로우 이미지를 캡쳐하고 처리하는 단계, 또는 사전 결정된 기간이 만료되기 전에 제 2 로우 이미지를 오버라이트하기 위해 제 3 로우 이미지를 캡쳐하는 단계를 포함한다.
상기 방법은 2단계 캡쳐 버튼 또는 3단계 캡쳐 버튼을 갖는 카메라에서 사용될 수 있고, 3단계 캡쳐 버튼은 절반 눌린 위치 및 완전히 눌린 위치에서 동작 가능하다.
3단계 캡쳐 버튼을 갖는 경우, 제 1 로우 이미지의 캡쳐는 캡쳐 버튼을 절반 눌린 위치로 누름에 응답하여 이루어지고, 포커싱 기능이 완료되기 전에 캡쳐 버튼이 릴리스되기 전에 캡쳐 버튼이 완전히 눌린 위치로 눌리면 제 1 로우 이미지가 처리된다.
유리하게는, 포커싱 기능이 완료된 후에 제 1 로우 이미지를 오버라이트하기 위한 제 2 로우 이미지의 캡쳐가 발생하고, 사전 결정된 기간이 만료되기 전에 캡쳐 버튼이 완전히 눌린 위치로 눌리면 제 2 로우 이미지가 처리된다.
유리하게는, 사전 결정된 기간이 만료된 후에 캡쳐 버튼이 완전히 눌린 위치로 눌리면 제 3 로우 이미지가 캡쳐된다. 본 발명의 일 실시예에서는, 사전 결정된 기간이 만료된 후, 캡쳐 버튼이 완전히 눌린 위치로 눌리고, 그 후 릴리스되면, 제 2 로우 이미지를 오버라이트하는 제 3 로우 이미지를 캡쳐한다.
본 발명의 제 2 관점은 이격 거리(separation distance)를 두고 이미지 센서 상에 이미지를 형성하기 위해 마련된 렌즈를 사용하는 자동 포커싱 카메라 모듈이다. 상기 모듈은, 이격 거리를 제어하기 위해 렌즈 및 이미지 센서 중 하나에 작동 가능하게 접속된 구동 메커니즘과, 포커싱 목적으로 이격 거리를 변화시키기 위해, 구동 메커니즘과 동작가능하게 접속되고, 포커싱 제어는 캡쳐 버튼의 눌림에 응답하여 포커싱 기능을 실행하도록 적용되는 자동 포커싱 제어와, 포커싱 제어 및 이미지 센서에 작동 가능하게 접속되고, 본 발명의 제 1 관점과 관련하여 기술된 바와 같은, 이미지 캡쳐 방법을 실행하도록 적용되는 프로세서를 구비한다.
본 발명의 제 3 관점은, 본 발명의 제 2 관점과 관련하여 기술된 바와 같은, 자동 포커싱 카메라 모듈을 갖는, 디지털 카메라, 휴대 전화와 같은 장치 또는 화상 캡쳐 능력을 갖는 임의의 장치이다.
본 발명의 제 4 관점은, 본 발명의 제 1 관점과 관련하여 기술된 바와 같은 이미지 캡쳐 방법을 실행하는 프로그램 코드를 포함하는 소프트웨어 애플리케이션을 갖는 컴퓨터 판독 가능한 매체를 포함한 소프트웨어 애플리케이션 제품이다.
본 발명은 도 1 내지 도 8과 관련한 설명을 보면 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른, 3단계 캡쳐 버튼을 이용하는 이미지 캡쳐 방법을 나타내는 도면,
도 2는 본 발명의 다른 실시예에 따른, 3단계 캡쳐 버튼을 이용하는 이미지 캡쳐 방법을 나타내는 도면,
도 3은 본 발명의 다른 실시예에 따른, 3단계 캡쳐 버튼을 이용하는 이미지 캡쳐 방법을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른, 2단계 캡쳐 버튼을 이용하는 이미지 캡쳐 방법을 나타내는 도면,
도 5는 본 발명의 다른 실시예에 따른, 2단계 캡쳐 버튼을 이용하는 이미지 캡쳐 방법을 나타내는 도면,
도 6은 또 본 발명의 다른 실시예에 따른, 2단계 캡쳐 버튼을 이용하는 이미지 캡쳐 방법을 나타내는 도면,
도 7은 본 발명에 따른, 하나 또는 그 이상의 이미지 캡쳐 방법을 실행하는 프로세서를 갖는 오토포커스 카메라 모듈을 나타내는 도면,
도 8은 본 발명에 따른, 오토포커스 모듈을 갖는, 이동 단말 등의 전자기기를 나타내는 도면이다.
본 발명은 3단계 캡쳐 버튼을 갖는 카메라를, 2단계 캡쳐 버튼을 갖는 카메라와는 달리 취급한다. 3단계 캡쳐 버튼을 갖는 카메라에 관한 3가지 사용예 및 2단계 캡쳐 버튼을 갖는 카메라에 관한 3가지 사용예가 있다.
3단계 캡쳐 버튼을 갖는 카메라에 관한 3가지 사용예의 각각에서, 이미지 캡쳐는 단계 0 내지 3으로 시작한다. 단계 0은 카메라 전원이 켜진 경우에 시작되는 초기 상태이다. 초기 상태는 뷰파인딩 기능을 실행하는 것, 및 과초점 거리로 포커싱을 설정하는 것을 포함한다. 단계 1은 캡쳐 버튼이 포커싱을 위해 절반 눌린 때로 정의된다. 단계 2에서, 이미지의 로우 프레임(raw frame)은 초기 상태에서 설정된 과초점 거리에서 캡쳐된다. 단계 3에서, 자동 포커싱 알고리즘은 그 포커싱 기능을 개시하고 뷰파인딩 기능을 계속 실행시킨다.
사용예 1로서 도 1에 도시된 본 발명의 실시예에서는, 캡쳐 버튼은 단계 4에서 완전히 눌리거나 릴리스(release)될 수 있다. 단계 5에서 로우 프레임이 처리되어 저장되고 사용예는 단계 6에서 종료한다.
사용예 2로서 도 2에 도시된 본 발명의 실시예에서는, 단계 4에서 자동 포커싱 알고리즘은 그 포커싱 기능을 완료한다. 단계 5에서 이전 캡쳐된 로우 프레임을 오버라이트하기 위해 제 2 로우 프레임이 캡쳐된다. 단계 6에서, 소리 또는 목표 표시색 변경은 사용자에게 포커스 락/실패를 표시하는데 사용된다. 단계 7에서 시간 카운터가 개시한다. 단계 8에서, 캡쳐 버튼이 완전히 눌린다. 단계 9에서, 캡쳐 버튼이 릴리스된다. 단계 10에서 제 2 로우 프레임이 처리되어 저장되고 단계 11에서 사용예가 종료한다.
사용예 3으로서 도 3에 도시된 본 발명의 실시예에서는, 단계 4에서 자동 포커싱 알고리즘은 그 포커싱 기능을 완료한다. 단계 5에서 이전에 캡쳐된 로우 프레임을 오버라이트하기 위해 제 2 로우 프레임이 캡쳐된다. 단계 6에서, 소리 또는 목표 표시색 변경은 사용자에게 포커스 락/실패를 표시하는데 사용된다. 단계 7에서, 시간 카운터가 개시한다. 단계 8에서, 시간 카운터는 사전 결정된 임계 시간, 예컨대, 0.75s에 도달한다. 단계 9에서 소리 또는 목표 표시색 변경은 사용자에게 "재형성 상태(recompose state)"를 표시하는데 사용하여, 단계 10에서 사용자가 동일한 포커싱 거리를 유지하면서 이미지 프레임을 재형성하도록 한다. 단계 11에서, 캡쳐 버튼이 완전히 눌린다. 단계 12에서, 캡쳐 버튼이 릴리스된다. 단계 13에서 제 2 로우 프레임을 오버라이트하기 위해 제 3 로우 프레임이 캡쳐된다. 단계 14에서 제 3 로우 프레임이 처리되어 저장되고, 단계 15에서 사용예는 종료한다.
사용예 1~3은 이미지 디바이스의 3가지 이미지 캡쳐 모드로서 구현되고, 사용자는 사진을 찍는 중 임의의 시간에 모드 중 하나를 선택하도록 할 수 있다. 그러나, 모든 사용예는 하나의 자동 모드로도 실행될 수 있다. 사용예 1과 같이, AF가 완료되기 전에 캡쳐 버튼이 눌리고 릴리스되면, 이미지가 캡쳐된다. 사용예 2와 같이, 사용자가 AF가 완료할 때까지 기다릴 시간이 있으면, 캡쳐 버튼이 눌리고 릴리스되고, 그 후 이미지가 캡쳐된다. 그리고 마지막으로, 사용예 3과 같이, 사용자가 AF가 완료된 후에 앞서 설명한 사전 결정된 기간 이상 기다리면, 카메라는 재형성 상태로 전환되고 이미지가 캡쳐될 것이다. 이런 종류의 자동 작동은 사용예의 시작이 이전 사용예의 시작과 항상 동일하기 때문에 가능하고, 서로 다른 사용예는 사용자가 캡쳐 버튼을 누르고 릴리스하는 순간에 의해 구별된다. 즉, 사용예 2는 사용예 1과 단계 4부터 다르고, 사용예 3은 사용예 2와 단계 8부터 다르다.
2단계의 캡쳐 버튼을 갖는 카메라와 관련한 3 가지 사용예의 각각에서는, 이미지 캡쳐를 보통 단계 0 내지 3으로 시작한다. 단계 0은 카메라 전원이 켜졌을 때 시작하는 초기 상태이다. 초기 상태는 뷰파인딩 기능을 실행하는 것 및, 과초점 거리로 포커싱을 설정하는 것을 포함한다. 단계 1은 캡쳐 버튼이 눌린 때로 정의된다. 단계 2에서, 이미지의 로우 프레임은 초기 상태에서 설정된 과초점 거리에서 캡쳐된다. 단계 3에서, 자동 포커싱 알고리즘은 그 포커싱 기능을 개시하고 뷰파인딩 기능을 계속 실행한다.
사용예 4로서 도 4에 도시된 본 발명의 실시예에서는, 단계 4에서 캡쳐 버튼이 릴리스된다. 단계 5에서 로우 프레임이 처리되어 저장되고 단계 6에서 사용예가 종료된다.
사용예 5로서 도 5에 도시된 본 발명의 실시예에서는, 단계 4에서 자동 포커싱 알고리즘이 그 포커싱 기능을 완료한다. 단계 5에서 이전에 캡쳐된 로우 프레임을 오버라이트하기 위해 제 2 로우 프레임이 캡쳐된다. 단계 6에서, 소리 또는 목표 표시색 변경은 사용자에게 포커스 락/실패를 표시하는데 사용된다. 단계 7에서, 시간 카운터가 개시한다. 단계 8에서, 캡쳐 버튼이 릴리스된다. 단계 9에서 제 2 로우 프레임이 처리되어 저장되고 단계 10에서 사용예가 종료된다.
사용예 6으로서 도 6에 도시된 본 발명의 실시예에서는, 단계 4에서 자동 포커싱 알고리즘이 그 포커싱 기능을 완료한다. 단계 5에서 이전에 캡쳐된 로우 프레임을 오버라이트하기 위해 제 2 로우 프레임이 캡쳐된다. 단계 6에서, 소리 또는 목표 표시색 변경은 사용자에게 포커스 락/실패를 표시하는 데 사용된다. 단계 7에서 시간 카운터가 개시한다. 단계 8에서, 시간 카운터는 사전 결정된 임계 시간, 예컨대 0.75s에 도달한다. 단계 9에서 소리 또는 목표 표시색 변경은 사용자에게 "재형성 상태"를 표시하는데 사용하여, 단계 10에서 사용자가 이미지 프레임을 재형성하도록 한다. 단계 11에서, 캡쳐 버튼이 릴리스된다. 단계 12에서 제 2 로우 프레임을 오버라이트하기 위해 제 3 로우 프레임이 캡쳐된다. 단계 13에서 제 3 로우 프레임이 처리되어 저장되고, 단계 14에서 사용예는 종료한다.
사용예 4~6은 이미지 디바이스의 3가지 이미지 캡쳐 모드로서 구현되고, 사용자가 사진을 찍는 중 임의의 시간에 그 모드 중 하나를 선택하도록 할 수 있다. 그러나, 상기 사용예 1~3의 3단계 버튼의 구현과 마찬가지로, 모든 사용예는 하나의 자동 모드로도 실행될 수 있다. 예컨대, AF가 완료되기 전에 사용자가 캡쳐 버튼을 완전히 누르고 릴리스하면, 사용예 4에서와 같이 저장되어 처리된 로우 프레임 1을 갖게 될 것이다. 사용자가 로우 프레임 2의 캡쳐 직후에 캡쳐 버튼을 완전히 누르고 릴리스하면, 사용예 5에서와 같이 저장되어 처리된 로우 프레임 2를 갖게 될 것이다. 사용자가 재형성 상태 후에 캡쳐 버튼을 완전히 누르고 릴리스하면, 그 결과는 사용예 6과 같이 될 것이다.
본 발명의 다른 실시예에 따르면, 사용예 3 및 사용예 6의 로우 프레임 1 및 2를 저장하여 처리하고, 처리된 프레임 1, 2 및 3을 저장하는 것이 가능하다. 그와 같이, 사용예 3 또는 사용예 6에서의 단계를 완료하는 것에 의해, 사용자는 과초점 거리에서 캡쳐된 하나의 처리된 이미지, 하나의 처리된 노멀 AF 이미지 및 하나의 재형성 AF 이미지를 얻을 수 있다.
요약하면, 본 발명의 여러가지 실시예에 따른 이미지 캡쳐 방법은, 과초점 거리를 사용함으로써, 그리고 자동 포커싱 알고리즘을 시작하기 전이라도 로우 이 미지를 캡쳐함으로써 캡쳐 지연을 감소시킨다. 이 로우 이미지는 사용예에 따라 처리 및 저장되거나 오버라이트된다. 이러한 특징에 의해, 이미지 캡쳐는 자동 포커싱의 완료까지 기다릴 필요가 없다. 따라서, 사용예 1, 2, 4, 5에서, 캡쳐 버튼이 완전히 눌리기 전이라도 이미지가 캡쳐되고, 따라서 자동 포커싱 알고리즘에 수반되는 계산과 관련된 셔터랙(shutter lag) 문제를 감소시킬 수 있다.
또한, 보통 캡쳐 버튼을 누르는 것과 관련된 카메라 흔들림 문제를 감소시킬 수 있다. 사용예 1, 2, 4 및 5에서, 캡쳐 버튼이 반 눌리면 이미지는 이미 캡쳐된다. 일반적으로 절반 누름은 완전히 누르는 것만큼 카메라 흔들림을 초래하지는 않는다. 사용예 3 및 6에서는, 캡쳐 버튼의 릴리스 후에 이미지가 캡쳐될 수 있다. 일반적으로 캡쳐 버튼의 릴리스는 캡쳐 버튼을 누르는 것만큼 카메라 흔들림을 초래하지는 않는다. 2단계 캡쳐 버튼을 갖는 오토포커스 카메라에서는, 신속한 이미지 캡쳐가 가능하다.
본 발명의 여러 가지 실시예에서, 포커스 및 재형성 기술, 프리포커싱의 일반적 특징을 유지할 수 있다. 카메라는 사용하기 쉬워서, 사용자는 좋은 이미지를 만들어내기 위해 어떤 새로운 촬영 기술을 배울 필요가 없다.
본 발명의 모든 이점에 의해, 카메라 모듈에는 하나의 로우 프레임, 즉, 제 1 또는 제 2 로우 프레임을 저장하기 위한 메모리 버퍼가 필요할 뿐이다.
도 7에 도시하는 바와 같이, 본 발명은 오토포커스 카메라 모듈로 구현될 수 있다. 도 7에 도시하는 바와 같이, 상기 모듈은 이미지 센서에 이미지를 형성하기 위한 렌즈를 포함한다. 렌즈 또는 이미지 센서는 프로세서에 의해 제어된 오토포 커스 메커니즘에 의해 구동된다. 프로세서는 도 1 내지 도 6에 도시된 바와 같은 단계의 적어도 일부를 실행하는 오토포커스 알고리즘을 포함하는 소프트웨어 애플리케이션 제품을 포함한다. 또한 상기 모듈은 로우 이미지 또는 처리된 이미지를 저장하는 메모리 및 뷰파인더로 사용될 수 있는 이미지 디스플레이를 포함한다. 프로세서는 이미지 캡쳐 처리를 초기화하는 캡쳐 버튼에 작동 가능하게 접속된다.
따라서, 본 발명의 일 실시예에 따른 자동 포커싱 카메라 모듈은, 이격 거리를 제어하기 위해 렌즈 및 이미지 센서 중 하나에 작동 가능하게 접속된 구동 메커니즘과, 포커싱 목적으로 이격 거리를 변화시키기 위해, 구동 메커니즘과 동작가능하게 접속되고, 포커싱 제어는 캡쳐 버튼의 눌림에 응답하여 포커싱 기능을 실행하도록 적용되는 자동 포커싱 제어와, 포커싱 제어 및 이미지 센서에 작동 가능하게 접속되고, 캡쳐 버튼을 누름에 응답하여 과초점 거리에서의 제 1 로우 이미지를 캡쳐하고, 포커싱 기능이 완료되기 전에 적어도 로우 이미지를 유지하도록 적용되는 프로세서를 구비할 수 있다.
또한 상기 프로세서는, 포커싱 기능이 완료한 후에 상기 로우 이미지를 오버라이트하기 위해 제 2 로우 이미지를 캡쳐하고, 사전 결정된 기간이 만료되기 전에 캡쳐 버튼이 릴리스되면 제 2 로우 이미지를 처리하도록 적용된다. 또한, 캡쳐 버튼을 릴리스함에 응답하여 사전 결정된 기간이 만료된 후에 제 2 로우 이미지를 오버라이트하기 위해 제 3 로우 이미지가 캡쳐된다.
캡쳐 버튼이 절반 눌린 위치 및 완전히 눌린 위치에서 작동 가능한 3단계 버튼이면, 제 1 로우 이미지의 캡쳐는 캡쳐 버튼을 절반 눌린 위치로 누름에 응답하 여 이루어지고, 포커싱 기능이 완료되기 전에 캡쳐 버튼이 릴리스되기 전에 제 1 로우 이미지가 완전히 눌린 위치에서 처리된다.
자동 포커싱 카메라 모듈은 포커싱 기능의 완료에 응답하여 사전 결정된 기간을 시작하는 타임키핑 모듈을 더 구비한다. 타임키핑 모듈은 타이머 또는 포커싱 기능이 완료된 후에 시간의 경과를 추적하는 소프트웨어 프로그램이다. 또한 프로세서는, 포커싱 기능이 완료된 후에 제 1 로우 이미지를 오버라이트하기 위해 제 2 로우 이미지를 캡쳐하고, 사전 결정된 기간이 만료되기 전에 캡쳐 버튼이 완전히 눌린 위치로 눌리면 제 2 로우 이미지를 처리하도록 적용된다. 또한, 사전 결정된 기간이 만료된 후에 캡쳐 버튼이 완전히 눌린 위치로 눌리면 제 3 로우 이미지가 캡쳐된다.
도 7에 도시하는 바와 같이, 소프트웨어 애플리케이션 제품 또는 AF 알고리즘은 소프트웨어 애플리케이션을 저장하는 컴퓨터 판독 가능한 매체를 포함한다. 소프트웨어 애플리케이션은 캡쳐 버튼의 눌림에 응답하여 과초점 거리에서의 제 1 로우 이미지를 캡쳐하고, 포커싱 기능이 완료되기 전에 적어도 제 1 로우 이미지를 유지하는 프로그램 코드를 포함한다. 포커싱 기능이 완료되기 전에 캡쳐 버튼이 릴리스되면, 프로그램 코드는 제 1 로우 이미지의 처리를 초기화하는데 사용된다. 또한 소프트웨어 애플리케이션은, 포커싱 기능이 완료된 후에 상기 로우 이미지를 오버라이트하기 위해 제 2 로우 이미지를 캡쳐하고, 사전 결정된 기간이 만료되기 전에 캡쳐 버튼이 릴리스되면 제 2 로우 이미지의 처리를 초기화하는 프로그램 코드도 갖는다. 사전 결정된 기간은 포커싱 기능의 완료에 응답하여 프로그램 코드에 의해 개시될 수 있다. 또한, 소프트웨어 애플리케이션은 캡쳐 버튼의 릴리스에 응답하여 사전 결정된 기간이 만료된 후에 제 2 로우 이미지를 오버라이트하기 위해 제 3 로우 이미지를 캡쳐하는 프로그램 코드도 갖는다.
도 8은 본 발명에 따른, 오토포커스 카메라 모듈을 갖는, 이동 단말 등의 전자기기를 나타낸다. 그러나, 오토포커스 카메라 모듈은 디지털 카메라 및 다른 휴대형 전자기기, 통신 기기 등에 사용될 수 있다.
따라서, 본 발명은 하나 또는 그 이상의 실시예와 관련하여 기술되었지만, 당업자는 본 발명의 정신을 벗어나지 않고 앞서 말한 것, 그 형태 및 세부사항에 있어 다른 여러가지 변경, 생략, 일탈이 이루어질 수 있음을 이해할 것이다.

Claims (38)

  1. 이미지 캡쳐를 위한 이미지 캡쳐 버튼을 갖는 카메라에서의 이미지 캡쳐 방법에 있어서,
    상기 캡쳐 버튼의 눌림에 응답하여 과초점 거리(hyperfocal distance)에서 제 1 로우 이미지(raw image)를 캡쳐하는 단계 -상기 카메라는 상기 캡쳐 버튼의 눌림에 응답하여 포커싱 기능을 실행하는 자동 포커싱 모듈을 포함함- 와,
    적어도 상기 포커싱 기능이 완료되기 전에 상기 제 1 로우 이미지를 유지하는(keeping) 단계와,
    상기 포커싱 기능이 완료되기 전에 상기 캡쳐 버튼이 릴리스되면, 상기 제 1 로우 이미지를 처리하여 처리된 이미지를 저장 매체에 저장하는 단계와,
    상기 포커싱 기능이 완료 -상기 포커싱 기능의 완료에 응답하여 사전 결정된 기간이 시작됨- 된 후에 상기 제 1 로우 이미지를 오버라이트하는 제 2 로우 이미지를 캡쳐하는 단계와,
    상기 사전 결정된 기간이 만료되기 전에 상기 캡쳐 버튼이 릴리스되면, 상기 제 2 로우 이미지를 처리하여 처리된 이미지를 상기 저장 매체에 저장하는 단계를 포함하는
    이미지 캡쳐 방법.
  2. 제 1 항에 있어서,
    상기 사전 결정된 기간이 만료된 후에 상기 캡쳐 버튼의 릴리스에 응답하여 제 3 로우 이미지를 캡쳐하는 단계를 더 포함하는
    이미지 캡쳐 방법.
  3. 제 2 항에 있어서,
    상기 제 3 로우 이미지를 캡쳐하는 단계는 상기 제 2 로우 이미지를 오버라이트하는 것인
    이미지 캡쳐 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 캡쳐 버튼은 절반 눌린 위치 및 완전히 눌린 위치에서 작동 가능한 3단계 캡쳐 버튼을 구비하고,
    상기 제 1 로우 이미지를 캡쳐하는 것은, 상기 캡쳐 버튼이 상기 절반 눌린 위치로 눌리는 것에 응답하여 이루어지는
    카메라의 이미지 캡쳐 방법.
  6. 제 1 항에 있어서,
    상기 사전 결정된 기간이 만료되기 전에 상기 캡쳐 버튼이 완전히 눌린 위치로 눌러지면 상기 제 2 로우 이미지를 처리하는 단계를 더 포함하는
    이미지 캡쳐 방법.
  7. 제 1 항에 있어서,
    상기 포커싱 기능이 완료된 후에 상기 포커싱 기능의 완료를 나타내는 단계를 더 포함하는
    이미지 캡쳐 방법.
  8. 제 1 항에 있어서,
    상기 사전 결정된 기간이 만료되면 재형성 상태(recompose state)를 나타내는 단계를 더 포함하는
    이미지 캡쳐 방법.
  9. 이격된 거리의 이미지 센서 상에 이미지를 형성하도록 배치된 렌즈와 함께 사용하기 위한 자동 포커싱 카메라 모듈에 있어서,
    상기 렌즈 및 상기 이미지 센서 중 하나에 동작가능하게 연결되어 상기 이격된 거리를 조절하는 구동 메커니즘과,
    상기 구동 메커니즘에 동작가능하게 연결되어 포커싱을 위해 상기 이격된 거리를 변경하는 자동 포커싱 제어부 -상기 자동 포커싱 제어부는 캡쳐 버튼의 눌림에 응답하여 포커싱 기능을 수행하도록 구성됨- 와,
    상기 포커싱 제어부 및 상기 이미지 센서에 동작가능하게 연결된 프로세서를 포함하되,
    상기 프로세서는
    상기 캡쳐 버튼의 눌림에 응답하여 과초점 거리에서 제 1 로우 이미지를 캡쳐하고,
    적어도 상기 포커싱 기능이 완료되기 전에 상기 제 1 로우 이미지를 유지하며,
    상기 포커싱 기능이 완료되기 전에 상기 캡쳐 버튼이 릴리스되면, 상기 제 1 로우 이미지를 처리하여 처리된 이미지를 생성하고,
    상기 자동 포커싱 기능이 완료된 후에 상기 제 1 로우 이미지를 오버라이트하는 제 2 로우 이미지를 캡쳐하도록 구성되며,
    상기 자동 포커싱 카메라 모듈은 상기 포커싱 기능의 완료에 응답하여 사전 결정된 기간을 시작하는 타임 키핑 모듈(time keeping module)을 더 포함하며,
    상기 프로세서는 또한, 상기 사전 결정된 기간이 만료되기 전에 상기 캡쳐 버튼이 릴리스되면, 상기 제 2 로우 이미지를 처리하여 처리된 이미지를 생성하도록 구성되는
    자동 포커싱 카메라 모듈.
  10. 제 9 항에 있어서,
    상기 프로세서는 또한
    상기 포커싱 기능이 완료된 후에 제 2 로우 이미지를 캡쳐하고,
    상기 사전결정된 기간이 만료된 후에 제 3 로우 이미지를 캡쳐하도록 구성되는
    자동 포커싱 카메라 모듈.
  11. 제 9 항에 있어서,
    상기 프로세서는 또한, 상기 사전 결정된 기간이 만료된 후에 상기 제 2 로우 이미지를 오버라이트하는 제 3 로우 이미지를 캡쳐하도록 구성되는
    자동 포커싱 카메라 모듈.
  12. 제 11 항에 있어서,
    상기 프로세서는 또한, 상기 캡쳐 버튼의 릴리스에 응답하여, 상기 제 3 로우 이미지를 처리하도록 구성되는
    자동 포커싱 카메라 모듈.
  13. 제 9 항에 있어서,
    상기 캡쳐 버튼은 절반 눌린 위치 및 완전히 눌린 위치에서 작동 가능한 3단계 캡쳐 버튼을 구비하고,
    상기 제 1 로우 이미지를 캡쳐하는 것은 상기 캡쳐 버튼이 상기 절반 눌린 위치로 눌린 것에 응답하여 이루어지는
    자동 포커싱 카메라 모듈.
  14. 제 13 항에 있어서,
    상기 프로세서는 또한,
    상기 포커싱 기능이 완료된 후에 상기 제 1 로우 이미지를 오버라이트하는 제 2 로우 이미지를 캡쳐하고,
    상기 사전 결정된 기간이 만료되기 전에 상기 캡쳐 버튼이 상기 완전히 눌린 위치로 눌러지면 상기 제 2 로우 이미지를 처리하여 처리된 이미지를 생성하도록 구성되는
    자동 포커싱 카메라 모듈.
  15. 이격된 거리의 이미지 센서 상에 이미지를 형성하도록 배치된 렌즈와 함께 사용하기 위한 자동 포커싱 카메라 모듈에 있어서,
    포커싱을 위해 상기 이격된 거리를 조절하는 수단과,
    캡쳐 버튼의 눌림에 응답하여 포커싱 기능을 수행하는 수단과,
    상기 캡쳐 버튼의 눌림에 응답하여 과초점 거리에서 제 1 로우 이미지를 캡쳐하고, 상기 포커싱 기능이 완료되기 전에 상기 제 1 로우 이미지를 유지하며, 상기 포커싱 기능이 완료되기 전에 상기 캡쳐 버튼이 릴리스되면 상기 제 1 로우 이미지를 처리하여 처리된 이미지를 생성하는, 캡쳐 수단과,
    상기 포커싱 기능의 완료에 응답하여 타임키핑하는 수단을 포함하되,
    상기 캡쳐 수단은 상기 포커싱 기능이 완료된 후에 상기 제 1 로우 이미지를 오버라이트하는 제 2 로우 이미지를 캡쳐하고, 사전 결정된 기간이 만료되기 전에 상기 캡쳐 버튼이 릴리스되면 상기 제 2 로우 이미지를 처리하며, 상기 사전 결정된 기간이 만료된 후에 상기 캡쳐 버튼의 릴리스에 응답하여 제 3 로우 이미지를 캡쳐하고 처리하여 처리된 이미지를 생성하도록 구성되는
    자동 포커싱 카메라 모듈.
  16. 제 13 항에 있어서,
    상기 프로세서는 또한,
    상기 사전 결정된 기간이 만료된 후 상기 캡쳐 버튼이 상기 완전히 눌린 위치로 눌러지면 제 3 로우 이미지를 캡쳐하도록 구성되는
    자동 포커싱 카메라 모듈.
  17. 삭제
  18. 삭제
  19. 청구항 9 내지 16 중 어느 한 항에 따른 자동 포커싱 카메라 모듈, 렌즈 및 이미지 센서를 구비하는 카메라.
  20. 청구항 9 내지 16 중 어느 한 항에 따른 자동 포커싱 카메라 모듈, 렌즈 및 이미지 센서를 구비하는 이동 전화기.
  21. 제 5 항에 있어서,
    상기 포커싱 기능이 완료되기 전에 상기 캡쳐 버튼이 완전히 눌러지면, 상기 제 1 로우 이미지를 처리하여 처리된 이미지를 상기 저장 매체에 저장하는 단계를 더 포함하는
    이미지 캡쳐 방법.
  22. 제 5 항에 있어서,
    상기 사전 결정된 기간이 만료된 후에 상기 캡쳐 버튼이 상기 완전히 눌린 위치로 눌러지면 상기 제 2 로우 이미지를 오버라이트하는 제 3 로우 이미지를 캡쳐하는 단계를 더 포함하는
    이미지 캡쳐 방법.
  23. 제 5 항에 있어서,
    상기 캡쳐 버튼이 상기 완전히 눌러진 위치로 눌러진 다음 상기 사전 결정된 기간이 만료된 후에 릴리스되면, 상기 제 2 로우 이미지를 오버라이트하는 제 3 로우 이미지를 캡쳐하는 단계와,
    상기 제 3 로우 이미지를 처리하는 단계를 더 포함하는
    이미지 캡쳐 방법.
  24. 제 2 항에 있어서,
    상기 캡쳐 버튼은 2 단계 캡쳐 버튼을 포함하며,
    상기 제 3 로우 이미지의 캡쳐는 상기 캡쳐 버튼의 릴리스에 응답하여 이루어지는
    이미지 캡쳐 방법.
  25. 제 13 항에 있어서,
    상기 프로세서는 또한, 상기 포커싱 기능이 완료되기 전에 상기 캡쳐 버튼이 상기 완전히 눌린 위치로 눌러지면 상기 제 1 로우 이미지를 처리하여 처리된 이미지를 생성하도록 구성되는
    자동 포커싱 카메라 모듈.
  26. 청구항 1 내지 3, 청구항 5 내지 8 및 청구항 21 내지 24 중 어느 한 항의 이미지 캡쳐 방법의 각 단계를 각각 수행하는 프로그램 코드를 포함하는 소프트웨어 애플리케이션이 기록되어 있는 컴퓨터 판독가능한 저장 매체.
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
KR1020097011858A 2006-11-10 2007-10-24 카메라의 이미지 캡쳐 방법, 카메라용 모듈, 카메라 및 이동 전화기 KR101062582B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/598,219 2006-11-10
US11/598,219 US7889266B2 (en) 2006-11-10 2006-11-10 Image capture in auto-focus digital cameras
PCT/IB2007/003190 WO2008056216A1 (en) 2006-11-10 2007-10-24 Image capture in auto-focus digital cameras

Publications (2)

Publication Number Publication Date
KR20090089380A KR20090089380A (ko) 2009-08-21
KR101062582B1 true KR101062582B1 (ko) 2011-09-06

Family

ID=39135984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097011858A KR101062582B1 (ko) 2006-11-10 2007-10-24 카메라의 이미지 캡쳐 방법, 카메라용 모듈, 카메라 및 이동 전화기

Country Status (7)

Country Link
US (1) US7889266B2 (ko)
EP (1) EP2080366B1 (ko)
JP (1) JP4757941B2 (ko)
KR (1) KR101062582B1 (ko)
CN (1) CN101536492B (ko)
AT (1) ATE509470T1 (ko)
WO (1) WO2008056216A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413065B2 (ja) * 2004-01-28 2010-02-10 健爾 西 画像表示装置および画像表示システム
JP4766105B2 (ja) * 2008-11-27 2011-09-07 ソニー株式会社 信号処理装置、カメラモジュール、携帯端末装置、及び撮像方法
TWI504251B (zh) * 2012-07-04 2015-10-11 Vivotek Inc 攝像裝置在對焦時的提示聲音之處理方法
CN105245782A (zh) * 2015-11-19 2016-01-13 上海斐讯数据通信技术有限公司 一种拍照方法及其装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183577A (ja) * 1999-10-28 2001-07-06 Hewlett Packard Co <Hp> シャッタレスディジタルカメラの焦点を自動調整する方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734913B1 (en) * 1999-10-28 2004-05-11 Hewlett-Packard Development Company, L.P. Method of automatically adjusting exposure in a shutterless digital camera
JP2003084192A (ja) * 2001-09-12 2003-03-19 Konica Corp カメラ
JP2003101853A (ja) * 2001-09-25 2003-04-04 Konica Corp デジタルカメラ
JP2003322789A (ja) * 2002-04-30 2003-11-14 Olympus Optical Co Ltd 合焦装置、カメラ、及び合焦位置検出方法
JP2004354581A (ja) 2003-05-28 2004-12-16 Minolta Co Ltd 撮像装置
JP4607448B2 (ja) * 2003-11-14 2011-01-05 富士通株式会社 電子装置、撮影制御方法、撮影制御プログラム及び集積回路
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7289151B2 (en) 2004-07-01 2007-10-30 Hewlett-Packard Develoment Company, L.P. System and method for data capture
CN100504568C (zh) * 2004-10-15 2009-06-24 奥林巴斯株式会社 具有焦点检测装置的照相机
JP4552631B2 (ja) * 2004-12-03 2010-09-29 株式会社ニコン デジタルカメラ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183577A (ja) * 1999-10-28 2001-07-06 Hewlett Packard Co <Hp> シャッタレスディジタルカメラの焦点を自動調整する方法

Also Published As

Publication number Publication date
US7889266B2 (en) 2011-02-15
EP2080366A1 (en) 2009-07-22
US20080111910A1 (en) 2008-05-15
EP2080366B1 (en) 2011-05-11
JP4757941B2 (ja) 2011-08-24
JP2010507124A (ja) 2010-03-04
CN101536492A (zh) 2009-09-16
CN101536492B (zh) 2011-12-28
ATE509470T1 (de) 2011-05-15
KR20090089380A (ko) 2009-08-21
WO2008056216A1 (en) 2008-05-15

Similar Documents

Publication Publication Date Title
US10542216B2 (en) Apparatus and method for storing moving image portions
KR100847614B1 (ko) 촬상장치 및 컴퓨터 판독 가능한 기록매체
US8934039B2 (en) External equipment storing manipulation information and operation information and camera system using such information
JP2011166397A (ja) 撮像装置および撮像装置の制御方法
JP2011141374A (ja) オートフォーカス制御方法
KR101062582B1 (ko) 카메라의 이미지 캡쳐 방법, 카메라용 모듈, 카메라 및 이동 전화기
JP2008199476A (ja) 撮像装置
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP5257969B2 (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP5159589B2 (ja) 撮像装置
JP2007316471A (ja) 撮像装置及びそのプログラム
KR101326649B1 (ko) 이동통신 단말기의 복합영상 촬영장치 및 방법
JP2007101877A (ja) 撮影装置
JP2022041590A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP5608432B2 (ja) 撮像装置およびプログラム
JP2004015450A (ja) デジタルカメラ及びその画像処理方法
JP2013165363A (ja) 撮像装置
KR20110067412A (ko) 진동부를 구비하는 이미지 형성 장치
JP2013162364A (ja) 撮像装置、その制御方法及びプログラム並びに記録媒体
JP2010220023A (ja) デジタルカメラ
JP2005094339A (ja) 撮像記録装置、撮像記録方法及びそれを用いたカメラ
JP2005159845A (ja) 撮像装置、画像取込方法および画像取込システム
JP2006058819A (ja) 撮像装置
JP2005323302A (ja) 撮像装置
JP2014086870A (ja) 撮像装置およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee