KR20060046794A - 영상 포착 장치를 위한 시스템 및 방법 - Google Patents

영상 포착 장치를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20060046794A
KR20060046794A KR1020050067933A KR20050067933A KR20060046794A KR 20060046794 A KR20060046794 A KR 20060046794A KR 1020050067933 A KR1020050067933 A KR 1020050067933A KR 20050067933 A KR20050067933 A KR 20050067933A KR 20060046794 A KR20060046794 A KR 20060046794A
Authority
KR
South Korea
Prior art keywords
image
captured
stabilization
photodetector array
lens
Prior art date
Application number
KR1020050067933A
Other languages
English (en)
Other versions
KR101093383B1 (ko
Inventor
도날드 제이. 스타벨리
마크 이. 웨인저
제임스 앤더슨
케이시 밀러
데이빗 케이 캠벨
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피 filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피
Publication of KR20060046794A publication Critical patent/KR20060046794A/ko
Application granted granted Critical
Publication of KR101093383B1 publication Critical patent/KR101093383B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

영상 포착 장치(100)의 안정화를 위한 시스템 및 방법이 개시된다. 또한, 영상 포착 장치(100)의 자동 초점맞춤을 위한 시스템 및 방법도 개시된다.
영상, 렌즈, 광검출기, 어레이, 광센서, 프로세서, 카메라, 초점, 움직임

Description

영상 포착 장치를 위한 시스템 및 방법{SYSTEM AND METHOD FOR IMAGE CAPTURE DEVICE}
도 1은 영상 포착 장치에 구현된 영상 포착 시스템의 실시예를 도시하는 블럭도.
도 2a 및 2b는 안정화 유닛의 실시예의 블럭도.
도 3a 및 3b는 안정화 및 자동 초점맞춤 유닛의 실시예의 블럭도.
도 4는 안정화 유닛(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(도 3)의 실시예에 의한 수평 방향에서의 영상 포착 장치 움직임(지터) 및/또는 관심 물체의 이동의 검출을 도시하는 도면.
도 5는 안정화 유닛(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(도 3)의 실시예에 의한 수직 방향에서의 영상 포착 장치 움직임(지터) 및/또는 관심 물체의 움직임의 검출을 도시하는 도면.
도 6은 안정화 유닛(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(도 3)의 실시예에 의한 수평 및 수직 방향에서의 영상 포착 장치 움직임(지터) 및/또는 관심 물체의 움직임의 검출을 도시하는 도면.
도 7은 자동 초점맞춤 및 안정화 시스템의 실시예의 자동 초점맞춤 부분을 도시하는 블럭도.
도 8은 자동 초점맞춤 및 안정화 시스템의 실시예에서 사용된 광검출기 어레이로부터의 정보에 각각 해당하는 두 개의 히스토그램을 도시하는 도면.
도 9는 자동 초점맞춤 및 안정화 시스템의 실시예에 의하여 벗어난 초점의 검출을 도시하는 도면.
도 10은 자동 초점맞춤 및 안정화 시스템의 대안적인 실시예의 블럭도.
도 11은 자동 초점맞춤 및 안정화 시스템의 대안적인 실시예의 블럭도.
도 12는 영상 안정화를 제공하도록 구성된 영상 포착 장치의 실시예를 도시하는 흐름도.
도 13은 영상 초점맞춤을 제공하도록 구성된 영상 포착 장치의 실시예를 도시하는 흐름도.
도 14는 영상 안정화 및 영상 초점맞춤을 제공하도록 구성된 영상 포착 장치의 실시예를 도시하는 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
100: 영상 포착 시스템 106: 메모리
108: 광센서(또는 필름) 110: 프로세서
112: 렌즈 작동기 128: 렌즈
114: 센서 유닛
본 발명은 일반적으로 영상 포착 장치에 관한 것으로서, 보다 구체적으로 일 실시예는 영상 포착 장치의 안정화를 위한 시스템 및 방법에 관한 것이다. 다른 실시예는 영상 포착 장치의 자동 초점맞춤을 위한 시스템 및 방법에 관한 것이다.
사용자가 영상을 포착하는 동안 영상 포착 장치를 안정된 위치에 유지할 수 없는 경우, 영상 포착 장치의 안정화가 요구된다. 영상 포착 장치가 안정화되지 않으면, 포착된 영상은 흐릿하거나 또는 왜곡될 수 있다. 이러한 움직임은 당업계에서 종종 "지터(jitter)"로서 지칭된다. 지터는 바람 또는 이동하는 차량으로부터의 진동 등과 같은 외부 소스로부터 생기거나, 영상 포착 장치의 사용자의 움직임으로부터 생길 수 있다. 이러한 사용자 움직임은 사용자가 이동하는 차량에 있고/있거나, 사용자가 영상 포착 장치를 고정된 위치에 유지하는 것을 방해하는 방식으로 물리적으로 영향을 받는 경우 발생할 수 있다.
일부 영상 포착 장치는 지터의 영향을 고려하기 위한 안정화 시스템을 사용한다. 일부 영상 포착 장치에서, 자이로스코프 또는 다른 물리적 센서가 지터를 검출하기 위해 사용된다. 영상 포착 장치의 한 유형은 물리적으로 영상 포착 장치 렌즈 시스템 중 하나 이상의 요소 및/또는 영상 포착 매체(필름 또는 디지털 영상 센서 어레이)를 이동시켜 보상한다. 영상 포착 장치의 다른 유형은 포착된 영상에 해당하는 디지털 데이터를 보상하여 지터를 보상한다.
영상 포착 장치의 일부 유형은 영상 포착 이전에 영상 포착 장치의 초점을 자동으로 맞추는 자동 초점맞춤 시스템을 제공한다. 그러므로, 영상 포착 장치의 사용자는 수동으로 영상 포착 장치의 초점을 맞출 필요가 없다. 디지털 자동 초점 맞춤 시스템의 한 유형은 렌즈가 그 초점 영역의 전부 또는 일부를 이동하면서 얻은 일련의 디지털적으로 포착된 영상의 전부 또는 일부를 평가하여, 초점이 맞은 것 같은 하나 이상의 영상을 식별하는 자동 초점맞춤 상관 알고리듬에 기초하여 최적의 "초점"을 선택한다. 즉, 자동 초점맞춤 상관 알고리듬은 영상 포착 장치 광센서로부터 수신된 영상 데이터의 분석에 기초하여 바람직한 "초점 값"을 판정한다. 그리고, 영상 포착 장치 렌즈 유닛은 판정된 초점 값에 해당하는 초점 설정으로 조정된다. 그러나, 복수의 영상의 포착 및 그에 관련하여 영상 포착 장치 광센서를 사용하는 자동 초점맞춤 상관 알고리듬의 실행은 영상 포착이 일어나기 이전에 알아차릴 수 있을 정도의 시간을 요구한다.
자동 초점맞춤 시스템의 다른 유형은 두 개의 렌즈 및 두 개의 해당 검출기를 이용하는데, 이들은 두 개의 검출기에 의해 입체 효과(stereoscopic effect)가 판정될 수 있는 거리만큼 떨어져 있다. 두 개의 검출기는 대상 거리가 판정되도록 공간적으로 상관된 영상 정보를 제공한다. 그리고, 영상 포착 장치 렌즈 유닛은 판정된 거리에 해당하는 대강의 초점 설정으로 조정된다.
다른 영상 포착 장치는 입체적 자동 초점맞춤 시스템 및 디지털 자동 초점맞춤 시스템 모두를 사용한다. 입체적 자동 초점맞춤 시스템은 상대적으로 빠르게 대강의 자동 초점맞춤 조정을 제공할 수 있다. 그리고, 디지털 자동 초점맞춤 시스템은 더 미세한 초점맞춤 조정을 제공한다. 이러한 복합 자동 초점맞춤 시스템은 입체적 자동 초점맞춤 시스템 및 디지털 자동 초점맞춤 시스템에 비해 상대적으로 더 빠르고 더 신뢰성이 높다. 그러나, 복합 자동 초점맞춤 시스템의 동작은 여 전히 영상 포착이 일어나기 이전에 알아차릴 수 있을 정도의 시간을 요구한다.
일실시예는 영상 포착 매체 상에 물체 영상의 초점을 맞추도록 구성된 제1 렌즈와, 물체의 일부를 연속하여 포착하도록 구성된 광검출기 어레이(photodetector array)와, 광검출기 어레이 상에 물체의 일부의 초점을 맞추도록 구성된 제2 렌즈와, 포착된 부분 또는 물체에 해당하는 데이터를 수신하고 물체의 일부의 위치 변동을 판정하고, 판정된 위치 변동에 해당하는 영상 안정화 정보를 판정하도록 구성된 프로세서를 포함할 수 있다.
다른 실시예는 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체의 일부를 포착하도록 구성된 광검출기 어레이와, 광검출기 어레이 상에 물체의 일부의 초점을 맞추도록 구성된 렌즈를 포함하고, 광검출기 어레이로부터 연속적으로 포착된 영상 데이터를 수신하는 프로세서가 연속적으로 포착된 물체의 일부들 간 위치 변동을 판정할 수 있고 프로세서가 판정된 위치 변동에 해당하는 영상 안정화 정보를 판정할 수 있다.
다른 실시예는 영상 포착 장치 렌즈에 의해 영상이 영상 포착 매체 상에서 초점이 맞을 때 영상 포착 장치 렌즈를 통해 포착될 물체의 일부의 제1 영상을 포착하도록 구성된 제1 광검출기 어레이와, 제1 광검출기 어레이 상에 물체 일부의 초점을 맞추도록 구성된 제1 렌즈와, 물체 일부의 제2 영상을 포착하도록 구성된 제2 광검출기 어레이와, 제2 광검출기 어레이 상에 물체 일부의 초점을 맞추도록 구성된 제2 렌즈를 포함하고, 동시에 포착된 제1 영상 및 제2 영상에 해당하는 데 이터를 프로세서가 수신하고, 동시에 포착된 제1 영상과 제2 영상 간에 물체 일부의 위치에서 판정된 차이에 해당하는 영상 초점맞춤 정보를 판정하여, 영상은 영상 포착 장치 렌즈에 의해 영상 포착 매체 상에서 초점이 맞춰진다.
다른 실시예에서, 물체 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 관심 물체에 해당할 때, 제1 시간에 물체의 일부의 제1 영상을 포착하는 단계와, 이후에 물체 일부의 제2 영상을 포착하는 단계와, 물체 일부의 위치 차이에 해당하는 거리를 판정하는 단계와, 판정된 위치 거리에 해당하는 초점맞춤 보상의 양을 판정하는 단계를 포함할 수 있다.
또 다른 실시예에서, 물체 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 관심 물체에 해당할 때, 제1 시간에 물체의 일부의 제1 영상을 포착하는 단계와, 동시에 물체 일부의 제2 영상을 포착하는 단계와, 물체 일부의 위치 차이에 해당하는 거리를 판정하는 단계와, 판정된 위치 거리에 해당하는 초점맞춤 보상의 양을 판정하는 단계를 포함할 수 있다.
또 다른 실시예는 물체의 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체에 해당할 때, 제1 시간에 물체의 일부의 제1 영상을 포착하는 단계와, 이후에 물체 일부의 제2 영상을 포착하는 단계와, 제1 영상과 동시에 물체 일부의 제3 영상을 포착하는 단계와, 제1 영상과 제2 영상 간에 물체 일부의 움직임에 해당하는 거리를 판정하는 단계와, 판정된 움직임 거리에 해당하는 안정화 보상을 판정하는 단계와, 제1 영상과 제3 영상 간에 물체 일부의 위치 차이에 해당하는 다른 거리를 판정하는 단계와, 판정된 위치 거리에 해당하는 초점맞춤 보 상의 양을 판정하는 단계를 포함할 수 있다.
또 다른 실시예는 물체의 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체에 해당할 때, 제1 시간에 물체의 일부의 제1 영상을 포착하고 이후에 물체 일부의 제2 영상을 포착하기 위한 제1 수단과, 제1 영상의 포착과 동시에 물체 일부의 제3 영상을 포착하기 위한 제2 수단과, 제1 영상과 제2 영상 간에 움직임에 해당하는 판정된 거리에 안정화 보상을 판정하기 위한 수단과, 제1 영상과 제3 영상 간에 위치 차이에 해당하는 판정된 차이에 기초하여 초점맞춤 보상의 양을 판정하기 위한 수단을 포함할 수 있다.
또 다른 실시예는 물체의 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체에 해당할 때, 제1 시간에 물체의 일부의 제1 영상을 포착하는 단계와, 이후 시간에 물체 일부의 제2 영상을 포착하는 단계와, 제1 영상의 포착과 동시에 물체 일부의 제3 영상을 포착하는 단계와, 제1 영상과 제2 영상 간에 움직임에 해당하는 판정된 거리에 기초하여 안정화 보상을 판정하는 단계와, 제1 영상과 제3 영상 간에 위치 차이에 해당하는 판정된 차이에 기초하여 초점맞춤 보상의 양을 판정하는 단계를 포함할 수 있다.
도면에 있는 요소들은 반드시 서로에게 상대적인 비율에 맞도록 도시된 것은 아니다. 몇 개의 도면에 걸쳐 동일한 참조번호는 동일한 요소를 지칭한다.
영상 포착 시스템(100)의 일실시예는 영상을 안정화시키기 위한 시스템 및 방법을 제공한다. 다른 실시예는 자동 초점맞춤 특징을 제공한다. 도 1은 영상 포착 장치(102) 내에 구현된 영상 포착 시스템(100)의 실시예를 도시하는 블럭도이다.
영상 포착 장치(102)의 선택된 외부 및 내부 요소는 절단선(104a, 104b)에 의해 구분된다. 절단선(104a, 104b) 사이에 도시된 내부 요소는 최소한 메모리(106), 광센서(108), 프로세서(110), 렌즈 작동기(112) 및 센서 유닛(114)을 포함한다. 일실시예에서, 메모리(106)는 포착된 영상 및 안정화 로직(118)을 저장하도록 구성된 영상 데이터 영역(116)을 더 포함한다. 다른 실시예에서는 메모리(106) 내에 초점맞춤 로직(120)을 더 포함한다. 영상 포착 장치(102)의 외부 요소는 최소한 제어 버튼(122), 영상 포착 장치 렌즈(어셈블리)(124), 영상 포착 작동 버튼(126), 렌즈(어셈블리)(128), 전원 스위치(130) 및 표시기(132)를 포함한다. 렌즈(124)는 "카메라 렌즈"로 지칭될 수 있다. 렌즈(124)는 영상 포착 매체 상에 관심 물체의 영상의 초점을 맞추기 위해 사용된다. 그러므로, 렌즈(124)는 영상 포착 매체 상에 영상의 초점을 맞추기 위해 사용된 요소를 가지는 유닛이다.
영상 포착 장치(102)의 동작은 전원 스위치(130) 또는 동일한 기능을 갖는 등가 장치의 작동에 의해 개시된다. 표시기(132)는 렌즈(124)에 의해 현재 포착되어 광센서(108)에 의해 검출된 영상의 보기- 본 명세서에서 미리보기 영상이라 지칭됨 -를 표시할 수 있다. 영상 포착 장치(102)가 미리보기 영상을 표시하고 있을 때, 본 명세서에서는 미리보기 모드로 동작중인 것으로 언급된다.
대안적으로, 미리 포착된 영상이 표시기(132) 상에서 보일 수 있다. 영상 포착 장치(102)가 미리 포착된 영상을 표시하고 있을 때, 영상 포착 장치(102)는 다시보기 모드로 동작중인 것으로 본 명세서에서 언급된다. 또한, 본 명세서에서 설명된 다양한 실시예의 특징들을 제어하기 위해서 메뉴 화면이 표시기(132) 상에 표시될 수 있다.
영상을 포착하기 전에, 영상 포착 장치(102)의 사용자는 표시기(132) 상에서 영상을 시각적으로 미리보기할 수 있다. 또는, 영상은 선택적인 보기 렌즈(미도시)를 통해 직접 볼 수도 있다. 광센서(108)는 포착될 영상이 포착을 위해 광센서(108) 상에 초점이 맞도록 렌즈(124) 뒤 적절한 위치에 배치된다. 사용자가 영상의 초점을 맞추고 초점이 맞은 영상에 만족할 때, 사용자는 영상 포착 작동 버튼(126)(또한 셔터 버튼 또는 셔터 해제 버튼으로도 지칭됨)을 작동시켜 영상 포착 장치(102)가 영상을 포착하게 한다. 이하 설명되는 자동 초점맞춤 특징을 사용하는 실시예에서, 영상은 영상 포착 이전에 영상 포착 시스템에 의해 자동으로 초점이 맞추어진다.
광센서(108)는 영상 포착 장치 렌즈(124)에 의해 촬영된 물체에 해당하는 디지털 영상 데이터를 생성한다. 초점을 맞춘 후, 광센서(108)가 영상에 해당하는 디지털 영상 데이터를 커넥션(134)을 통해 프로세서(110)로 전달할 때 영상은 "포착"된다. 이 예시적인 실시예에서, 포착된 영상에 해당하는 데이터는 커넥션(136)을 통해 메모리(106)로 전달되고 영상 데이터 영역(116) 내에 저장된다. 다른 실시예에서, 포착된 영상에 해당하는 데이터는 적절한 다른 메모리 장치(미도시)로 전달된다.
영상 포착 시스템(100)의 일부 실시예는 센서 유닛(114)으로부터 커넥션 (138)을 통해 프로세서(110)로 전달된 안정화 정보에 기초하여 움직임(영상 지터)을 자동으로 분석한다. 프로세서(110)는 영상 안정화를 판정하기 위해 안정화 로직(118)을 실행하고, 일실시예에서 커넥션(140)을 통해 렌즈 작동기(112)로, 또는 다른 실시예에서는 포착된 영상의 물리적 안정화를 제공하는 다른 요소로 영상 안정화 제어 신호를 전달한다. 따라서, 이러한 실시예는 디지털 영상 포착 장치 또는 필름 기반 영상 포착 장치에서 구현될 수 있다.
다른 실시예에서, 안정화 정보는 영상 안정화 보상을 판정하기 위해서 처리된다. 영상 데이터를 처리하는 동안, 영상 안정화 보상은 광센서(108)로부터 수신된 디지털 영상 데이터를 계산으로 보상하기 위해 사용되며, 이로써 움직임(지터)을 보상하게 된다.
자동 초점맞춤 특징을 사용하는 실시예에서, 영상의 초점 맞음은 커넥션(138)을 통해 센서 유닛(114)으로부터 프로세서(110)로 전달된 초점맞춤 정보에 기초하여 자동으로 판정된다. 프로세서(110)는 초점맞춤 정보를 판정하기 위해서 초점맞춤 로직(120)을 실행하고, 커넥션(140)을 통해 렌즈 작동기(112)로 해당 자동 초점맞춤 제어 신호를 전달한다. 렌즈 작동기(112)는 영상 포착 장치 렌즈(124)의 초점을 조정하여, 도시된 광센서(108)와 같은 영상 포착 매체 상에서 영상의 초점을 맞춘다. 대안적인 실시예에서, 영상은 필름이 영상 포착 매체인 필름 기반 영상 포착 장치 상에 초점이 맞춰진다.
도 2a는 안정화 시스템(200)의 실시예의 블럭도이다. 안정화 시스템(200)은 렌즈(128)(도 1 참조) 및 센서 유닛(202)(도 1의 센서 유닛(114)에 해당)을 포함한 다. 센서 유닛(202)은 광검출기 어레이(204) 및 안정화 유닛(206)을 포함한다. 일실시예에서, 센서 유닛(202)은 광검출기 어레이(204) 및 안정화 유닛(206)이 내부에 제작된 단일 실리콘 칩이다. 다른 실시예는 복수의 요소로서 제작될 수 있다.
광검출기 어레이(204)는 렌즈(128)를 통과하는 광이 광검출기 어레이(204) 상에 촬영되도록 렌즈(238) 뒤에 배치된다. 또한 렌즈(128)는 현재 카메라 렌즈(124)에 의해 카메라 광센서(128) 상으로 촬영되고 있는 동일한 물체 또는 최소한 동일한 물체의 일부를 광검출기 어레이(204) 상으로 촬영할 수 있도록 카메라 렌즈(124)에 상대적으로 배치된다. 일실시예에서, 광검출기 어레이(204)는 상대적으로 적은 수의 광검출기(208)를 갖는 (도 1의 광센서(108)과 비교하면) 상대적으로 작은 센서 어레이이다. 광검출기(208)는 또한 본 명세서에서 편의상 화소로서 지칭되기도 한다. 광검출기(208)는 대안적인 실시예에서 (광센서(108)에 상주하는 광검출기와 비교하면) 상대적으로 큰 센서일 수 있다. 따라서, 광검출기 어레이(204)에 상대적으로 적은 수의 광검출기(208)가 있으므로, 광검출기(208)로부터의 영상 데이터는 광검출기 어레이(204)로부터 (카메라 광센서(108)로부터 영상 데이터를 판독하는데 걸리는 시간에 비해) 신속하게 판독된다. 영상 데이터는 커넥션(210)을 통해 안정화 유닛(206)으로 전달된다. 수신된 영상 데이터는 안정화 유닛(206)에 의해 (프로세서(108)로부터 수신된 영상 데이터의 처리에 비해) 신속하게 처리되고 영상 안정화 정보는 커넥션(138)을 통해 프로세서(110)(도 1)로 전달된다.
일실시예에서, 광검출기 어레이(204)는 노출 시간에 따라 초당 30 영상 이상을 판독할 수 있는 16 대 16 화소 센서인 반면, 광센서(108)는 예를 들면 초당 5 내지 10 영상을 처리하는 상대적으로 저속으로 영상을 판독하는 광검출기 어레이일 수 있다. 대부분의 실시예에서, 어레이(204)의 광검출기(208)의 개수는 광센서(108) 상의 광검출기의 개수에 비하면 작은 비율이다. 광검출기 어레이(204)의 실시예는 영상 안정화 정보가 매우 신속하게(영상 포착 프로세스에 비해) 판정될 수 있도록 임의의 적절한 개수 및/또는 크기의 광검출기(208)를 포함할 수 있다.
본 명세서에 더 상세하게 설명되는 것처럼, 일실시예에서, 영상 데이터의 연속적으로 포착된 부분으로부터 최소한 하나의 대조점이 영상 부분의 움직임(대조점들의 위치의 변화)을 판정하기 위해 비교된다. 본 명세서에 사용되는 것처럼, 영상의 대조점은 작은 영역에 걸쳐 대조하여 충분한 변화를 표시하는 영상의 작은 영역이고, 이 영역에 대한 대조의 변화는 계산적으로 식별가능하고 미리 정의된 임계치보다 크다. 그러므로, 대조점은 전체 광센서(208)(도 2a, 2b, 3a, 3b)일 필요가 없다. 하나의 비한정적 예는 영상에 검출된 에지이다. 검출된 에지의 일부는 대조점으로 일실시예에서 식별된다. 다른 실시예에서, 식별가능 에지는 대조점으로서 사용될 수 있다. 또는, 에지가 복수의 대조점을 정의하기 위해 사용될 수 있다.
다른 실시예에서, 연속적으로 포착된 영상의 위치 차이는 상관 함수(correlation function)를 사용하여 판정될 수 있다. 제1 영상으로부터의 영상 데이터는 연속적인 영상의 영상 데이터에 대해 X 및 Y 차원에서 상관된다. 상관 함 수의 피크는 두 영상 간에 영상 움직임의 최적 추정에 해당된다. 따라서, 영상 안정화를 위해 필요한 움직임 정보가 신속하게 계산될 수 있다.
두 영상 간에 영상 데이터의 상대적 움직임을 판정하기 위한 2차원 상관 함수의 사용은 공지되어 있는바, 본 명세서에서는 간략함을 위해 상세하게 설명되지는 않는다. 예를 들면, MPEG 비디오 압축 표준은 압축률을 개선하기 위해 움직임을 추정하기 위한 연속적인 영상 간 "움직임 벡터(motion vector)"를 생성한다.
광검출기 어레이(902, 904)의 화소 개수가 작기 때문에, 카메라 움직임(지터)으로 인한 영상 데이터의 움직임이 화소 간격에 비하여 작을 수 있다. 일실시예에서, 부분 화소 해상도가 영상 안정화 정보용으로 필요하다. 검출기 어레이 해상도보다 훨씬 더 정교한 해상도로 움직임을 계산하기 위해서 보간 기술이 사용될 수 있다. 이러한 보간 기술은 공지되어 있는바, 본 명세서에서는 간략함을 위해 상세하게 설명되지는 않는다.
연속적으로 포착된 영상 데이터의 차이는 영상 움직임(지터)에 해당한다. 따라서, 연속적으로 포착된 영상 데이터 간에 차이가 식별되고, 영상 안정화 정보는 매우 신속하게 판정될 수 있다. 그 다음, 프로세서는 영상 안정화 제어 신호에 기초하여 광센서(108)로부터 수신된 영상 데이터를 보상하며, 왜곡이 감소된 영상(지터가 더 적은)이 포착될 수 있다. 다른 실시예에서, 영상 안정화 제어 신호는 프로세서(110)에 의해 생성될 수 있고 렌즈 작동기(112)(도 1) 또는 영상의 물리적 안정화를 제공하는 다른 요소로 전달될 수 있다. 광검출기 어레이의 광센서의 개수가 광센서(108) 상의 광검출기의 수에 비해 매우 적기 때문에 영상 안정화 제어 신호는 (도 1의 광센서(108)로부터 포착된 영상의 처리와 관련된 처리 시간과 비교하여) 신속하게 생성된다.
도 2a에 도시된 실시예에서, 안정화 유닛(206)은 실리콘 칩이 제작될 때 센서 유닛(202) 상에 제작된 펌웨어로서 구현될 수 있다. 도 2b에 도시된 다른 실시예에서, 프로세서(212) 및 메모리(214)는 안정화 유닛(206)의 일부로서 포함된다. 프로세서(212)는 안정화 정보를 판정하기 위해서 로직(216)을 실행한다. 프로세서(212) 및 메모리(214)는 실리콘 칩이 제작될 때 센서 유닛(202) 상에 제작된다. 그 다음, 로직(216)은 메모리(214)로 로딩된다. 그러므로, 소프트웨어는 광검출기 어레이(204)로부터 수신된 영상 데이터를 처리하는데 사용될 수 있다. 안정화 유닛(206)의 다른 실시예는 펌웨어 및 소프트웨어의 조합을 사용할 수 있다. 또한, 다른 실시예는 프로세서(212), 메모리(214) 및/또는 로직(216)을 별개의 요소로서 구비할 수 있다.
도 3a는 안정화 및 자동 초점맞춤 시스템(300)의 실시예의 블럭도이다. 안정화 및 자동 초점맞춤 유닛(300)은 입체 효과를 제공하기 위해서 일정 거리(렌즈 간 거리(DL))만큼 물리적으로 떨어진 제1 렌즈(302) 및 제2 렌즈(304)를 포함한다. 제1 렌즈(302) 및 제2 렌즈(304)는 물리적으로 단일의 유닛으로서 구현될 수 있는바, 도 1에 도시된 렌즈(128)에 해당하거나, 또는 두 개의 분리된 렌즈로서 구현될 수 있다. 안정화 및 자동 초점맞춤 시스템(300)은 센서 유닛(306)(도 1의 센서(114)에 해당)을 더 포함한다. 센서 유닛(306)은 제1 광검출기 어레이(308), 제2 광검출기 어레이(310)와 안정화 및 자동 초점맞춤 유닛(312)을 포함한다. 제1 광 검출기 어레이(308) 및 제2 광검출기 어레이(310)는 입체 효과를 제공하기 위해서 일정 거리(광센서 사이의 거리, DP)만큼 물리적으로 떨어져 있다. 일실시예에서, 센서 유닛(306)은 제1 광검출기 어레이(308), 제2 광검출기 어레이(310), 안정화 및 자동 초점맞춤 유닛(312)이 그 내부에 제작된 단일 실리콘 칩이다. 이 실시예에서, DP는 이후 설명된 것처럼 DL보다 상당히 작을 수 있다. 다른 실시예는 분리된 요소로서 제작될 수 있다.
제1 광검출기 어레이(308)는 포착될 영상의 작은 부분이 제1 광검출기 어레이(308) 상에도 투영되도록 제1 렌즈(302) 뒤에 배치된다. 마찬가지로, 제2 광검출기 어레이(310)는 포착될 영상의 근사적으로 동일한 작은 부분이 제2 광검출기 어레이(310) 상에 투영되도록 제2 렌즈(304) 뒤에 배치된다. 이하 더 상세하게 설명되는 것처럼, 광검출기 어레이(308, 310)에 의해 포착된 영상 간에 최소한 하나의 대조점의 차이가 영상 초점맞춤을 판정하기 위해 사용된다.
일실시예에서, 광검출기 어레이(308, 310)는 상대적으로 적은 개수의 검출기(208)를 갖는 (도 1의 광센서(108)와 비교하여) 상대적으로 작은 센서 어레이이다. 광검출기(208)는 대안적인 실시예에서 (광센서(108) 상에 있는 광검출기와 비교하여) 상대적으로 큰 센서일 수 있다. 광검출기 어레이(308, 310)의 실시예는 임의의 적절한 개수 및/또는 크기의 광검출기(208)를 포함할 수 있다.
상대적으로 적은 개수의 광검출기(208)가 있으므로, 광검출기(208)로부터의 영상 데이터는 광검출기 어레이(308, 310)로부터 (광센서(108)로부터의 영상 데이터를 판독하는데 필요한 시간에 비해) 신속하게 판독되고 커넥션(316)을 통해 안정 화 및 자동 초점맞춤 유닛(312)으로 전달된다. 수신된 영상 데이터는 안정화 및 자동 초점맞춤 유닛(312)에 의해 (광센서(108)로부터 수신된 영상 데이터의 처리에 비해) 신속하게 영상 안정화 및 자동 초점맞춤 정보로 처리된다. 이 정보는 커넥션(138)을 통해 프로세서(110)(도 1)로 전달된다. 안정화 및 자동 초점맞춤 유닛(312) 및/또는 광검출기 어레이(308, 310)는 상술된 안정화 유닛(206) 및/또는 상술된 광검출기 어레이(204)와 각각 유사할 수 있다.
일실시예에서, 영상 안정화 및 자동 초점맞춤 정보의 안정화 부분은 광검출기 어레이(308, 310) 중 선택된 하나에 의해 제공된 영상 데이터로부터 판정된다. 다른 실시예에서, 영상 안정화 및 자동 초점맞춤 정보의 안정화 부분은 광검출기 어레이(308, 310) 양자 모두에 의해 제공된 영상 데이터로부터 판정된다.
광검출기 어레이(308, 310)로부터의 영상 데이터는 영상 안정화 및 자동 초점맞춤 정보의 자동 초점맞춤 부분을 판정하기 위해 사용된다. 자동 초점맞춤 정보는 공지된 물리적 간격 DL에 의해 생기는 입체 효과에 기초한다.
도 3a에 도시된 실시예에서, 안정화 및 자동 초점맞춤 유닛(312)은 실리콘 칩 제작시 센서 유닛(306) 상에 제작된 펌웨어로서 구현된다. 도 3b에 도시된 다른 실시예에서, 상술된 프로세서(212) 및 메모리(214)는 안정화 및 자동 초점맞춤 유닛(312)의 일부로서 또는 그와 별도로 분리되어 포함된다. 프로세서(212)는 안정화 및 초점맞춤 정보를 판정하기 위해 로직(216)을 실행한다. 프로세서(212) 및 메모리(214)는 실리콘 칩 제작시 센서 유닛(306) 상에 제작된다. 그 다음, 로직(216)이 메모리(214)로 로딩된다. 그러므로, 소프트웨어는 광검출기 어레이(308, 310)로부터 수신된 영상 데이터를 처리하기 위해 사용될 수 있다. 안정화 및 자동 초점맞춤 유닛(312)의 다른 실시예는 펌웨어 및 소프트웨어의 조합을 사용할 수 있다.
안정화 시스템(200)(도 2)의 상술된 실시예는 렌즈(128)를 포함하고, 안정화 및 자동 초점맞춤 시스템(300)(도 3)은 렌즈(302, 304)를 포함한다. 대안적인 실시예에서, 렌즈(128, 302 및/또는 304)는 생략된다. 광검출기(208)에 의해 검출된 광은 적절한 빔분리 렌즈 시스템 등에 의해 렌즈(1124)(도 1)로부터 제공된다.
다른 실시예에서, 광검출기 어레이(204)(도 2) 또는 광검출기 어레이(308, 310)(도 3)에 의해 검출된 영상 데이터는 프로세서(110)로 (안정화 정보 및/또는 자동 초점맞춤 정보로서) 전달된다. 따라서, 안정화 유닛(206)(도 2) 및 안정화 및 자동 초점맞춤 유닛(312)은 생략된다.
도 4a 및 4b는 안정화 유닛(200)(도 2) 및/또는 안정화 및 자동 초점맞춤 시스템(300)(도 3)의 실시예에 의한 수평 방향에서의 영상 포착 장치 움직임(지터) 및/또는 영상 움직임의 검출을 도시하는 도면이다. 도 5a 및 5b는 수직 방향에서의 영상 포착 장치 움직임(지터) 및/또는 영상 움직임의 검출을 도시하는 도면이다. 도 6a 및 6b는 수평 및 수직 방향에서의 영상 포착 장치 움직임(지터) 및/또는 영상 움직임의 검출을 도시하는 도면이다. 편의상, 광검출기 어레이(400)는 4 대 4 화소 어레이로서 도시되었다. 다양한 실시예에서 광검출기 어레이(400) 내에 임의의 적절한 개수의 화소가 사용될 수 있다. 광검출기 어레이(400)는 상술된 광검출기 어레이(204, 308 및/또는 310)(도 2 및 3) 중 하나에 해당한다.
도 4a, 4b, 5a, 5b, 6a, 6b에서, 4 대 4 화소 어레이의 광검출기는 백색 또는 흑색인 물체의 일부를 검출하는 것으로 편의상 도시되었다. 그러므로, 도 4a, 4b, 5a, 5b, 6a, 6b의 단순화된 도시에서 대조(백색 대 흑색)가 최대화된다. 광검출기에 의해 검출된 임의의 적절한 정도의 대조로써 본 명세서에 설명된 것과 같은 움직임의 검출이 가능할 것이다. 즉, 화소는 회색의 변동하는 음영을 검출하겠지만, 대조로써 최소한 하나의 대조점 판정이 가능한 경우, 움직임을 검출하는데 이용되는 기본 원리는 동일할 것이다.
도 4a에서, 좌측하단 화소(402)는 흑색을 검출중이고 인접 화소(404)는 백색을 검출중이다(편의상, 광검출기 어레이(400)의 다른 화소는 백색을 검출중인 것으로 도시되었다). 따라서, 제1 시간에, 광검출기 어레이(400)는 흑색을 검출하는 하나의 화소(402)를 갖는 제1 영상(406)을 포착하였다. 이후 시간에, 도 4b에 도시된 것처럼, 광검출기 어레이(400)는 흑색을 검출하는 화소(404) 및 백색을 검출하는 화소(402)를 갖는 제2 영상을 포착하였다. 다시, 영상(406)의 흑색 부분 및 영상(408)의 흑색 부분이 동일한 물체 부분에 해당한다고 가정하면, 화소(402)(도 4a)에서 화소(404)(도 4b)로 흑색 부분의 쉬프트는 광검출기 어레이(400)에 대하여 물체의 수평 움직임을 나타낸다.
화소(402, 404)의 상대적인 위치 및 렌즈(128)의 초점 길이는 공지되어 있으므로, 이 흑색 부분의 움직임은 물리적 움직임의 수평 거리 및/또는 각도와 동일시될 수 있다. 즉, 제1 영상(406)에 해당하는 영상 데이터는 안정화 유닛(206)(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(312)(도 3)으로 전달된다. 그 다음, 제 2 영상(408)에 해당하는 영상 데이터가 안정화 유닛(206)(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(312)(도 3)으로 전달된다. 움직임 상관 프로세스가 수신된 영상 데이터 상에 수행되는바, 제1 영상(406) 및 제2 영상(408)의 영상 데이터를 분석하여 물체의 수평 움직임(화소(402, 404)에 의해 검출된 흑색으로 나타내어짐)의 크기를 판정하게 된다. 그러므로, 대조점(백색 및 흑색 화소 간)은 각 영상 상에서 판정될 수 있다. 대조점의 움직임은 연속적으로 포착된 영상이 비교될 때 판정된다. 따라서, 결과적으로 판정된 거리 및/또는 각도(물리적 움직임)에서의 수평 변화에 해당하는 안정화 정보가 프로세서(110)(도 1)에서 사용가능하다.
마찬가지로, 도 5a에서, 좌측하단 화소(502)는 흑색을 검출중이고 인접 화소(504)는 백색을 검출중이다. 편의상, 광검출기 어레이(400)의 다른 화소는 백색을 검출중인 것으로 도시된다. 따라서, 제1 시간에, 광검출기 어레이(400)는 흑색을 검출하는 하나의 화소(502)를 갖는 제1 영상(506)을 포착하였다. 이후 시간에, 도 5b에 나타낸 것처럼, 광검출기 어레이(400)는 흑색을 검출하는 화소(504) 및 백색을 검출하는 화소(502)를 갖는 제2 영상(508)을 포착하였다. 다시, 영상(506)의 흑색 부분 및 영상(508)의 흑색 부분이 동일한 물체 부분에 해당한다고 가정하면, 화소(502)(도 5a)에서 화소(504)(도 5b)로의 흑색 부분의 쉬프트는 광검출기 어레이(400)에 대하여 물체의 수직적 움직임을 나타낸다.
화소(502, 504)의 상대적인 위치 및 렌즈(128)의 초점 길이는 공지되어 있으므로, 이 흑색 부분의 움직임은 물리적 움직임의 수직 거리 및/또는 각도와 동일시될 수 있다. 즉, 제1 영상(506)에 해당하는 영상 데이터가 안정화 유닛(206)(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(312)(도 3)으로 전달된다. 그 다음, 제2 영상(508)에 해당하는 영상 데이터가 안정화 유닛(206)(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(312)(도 3)으로 전달된다. 움직임 상관 프로세스는 수신된 영상 데이터 상에 수행되는바, 제1 영상(506) 및 제2 영상(508)의 영상 데이터를 분석하여 물체의 수직 움직임(화소(502, 504)에 의해 검출된 흑색으로 나타내어짐)의 크기를 판정하게 된다. 그러므로, 대조점(백색 및 흑색 화소 간)은 각 영상 상에서 판정될 수 있고, 대조점의 움직임은 연속적으로 포착된 영상이 비교될 때 판정된다. 따라서, 결과적으로 판정된 거리 및/또는 각도(물리적 움직임)에서의 수직 변화에 해당하는 안정화 정보는 프로세서(110)(도 1)에서 사용가능하다.
도 6a에서, 좌측하단 화소(602)는 흑색을 검출중이고 인접 화소(504)는 백색을 검출중이다. 편의상, 광검출기 어레이(400)의 다른 화소는 백색을 검출중인 것으로 도시된다. 따라서, 제1 시간에, 광검출기 어레이(400)는 흑색을 검출하는 하나의 화소(602)를 갖는 제1 영상(606)을 포착하였다. 이후 시간에, 도 6b에 나타낸 것처럼, 광검출기 어레이(400)는 흑색을 검출하는 화소(604) 및 백색을 검출하는 화소(602)를 갖는 제2 영상(608)을 포착하였다. 다시, 영상(606)의 흑색 부분 및 영상(608)의 흑색 부분이 동일한 물체 부분에 해당한다고 가정하면, 화소(602)(도 6a)에서 화소(604)(도 6b)로의 흑색 부분의 쉬프트는 광검출기 어레이(400)에 대하여 물체의 수평 및 수직 움직임을 나타낸다.
화소(602, 604)의 상대적인 위치 및 렌즈(128)의 초점 길이는 공지되어 있으므로, 이 흑색 부분의 움직임은 물리적 움직임의 수평과 수직 거리 및/또는 각도와 동일시될 수 있다. 즉, 제1 영상(606)에 해당하는 영상 데이터는 안정화 유닛(206)(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(312)(도 3)으로 전달된다. 그리고, 제2 영상(608)에 해당하는 영상 데이터는 안정화 유닛(206)(도 2) 및/또는 안정화 및 자동 초점맞춤 유닛(312)(도 3)으로 전달된다. 안정화 상관 프로세스는 수신된 영상 데이터 상에 수행되는바, 제1 영상(606) 및 제2 영상(608)의 영상 데이터를 분석하여 물체의 움직임(화소(602, 604)에 의해 검출된 흑색으로 나타내어짐)의 크기를 판정하게 된다. 그러므로, 대조점(백색 및 흑색 화소 간)은 각 영상 상에서 판정될 수 있고, 대조점의 움직임은 연속적으로 포착된 영상이 비교될 때 판정된다. 따라서, 결과적으로 판정된 거리 및/또는 각도(물리적 움직임)에서의 수평 및 수직 변화에 해당하는 안정화 정보가 판정된다.
광검출기(208)로부터 수신된 영상 데이터는 안정화 상관 프로세스를 사용하여 영상 움직임을 판정하기 위해서 처리된다. 이러한 상관 기술은 광검출기로부터 수신된 데이터의 상관 기술 분야에 일반적으로 공지되어 있으므로 편의상 본 명세서에서는 상세하게 설명하지 않는다. 안정화 상관 프로세스는 실시예에 따라 안정화 유닛(206)(도 2), 안정화 및 자동 초점맞춤 유닛(312)(도 3) 또는 프로세서(110)(도 1)에 의해 수행될 수 있다.
광검출기 어레이(400)에 의해 포착된 상술된 영상은 제1 시간 및 이후 시간에 포착되었다. 광센서(108)(도 1)의 매우 많은 개수의 광검출기와 비교하면, 판독되어야 하는(광검출기에서 광 정보를 복구하는 것) 광검출기가 상대적으로 적고 데이터의 양(복구된 광 정보)이 상대적으로 작기 때문에, 더 큰 영상의 작은 부분 을 포착하는 시간 간격이 매우 짧다. 즉, 광검출기 어레이(400)가 포착한 연속적으로 포착된 영상은 매우 고속으로 처리될 수 있다. 다양한 실시예에서, 연속적으로 포착된 영상 간에 시간 간격은 초당 30에서 백 초과 프레임으로 완전한 영상 포착에 근접할 수 있다. 다른 실시예에서, 연속적으로 포착된 영상 간 시간은 상술된 시간 범위보다 크거나 작을 수 있다. 따라서, 안정화 보상은 영상 포착 매체 상의 영상 포착과 관련된 시간 프레임 내에서 판정되고 구현될 수 있다.
두 개의 연속적으로 포착된 영상 부분으로부터의 영상 데이터(광검출기(208)로부터 수신)가 처리된다. 일실시예에서, 다른 연속적으로 포착된 영상 부분으로부터의 영상 데이터(광검출기(208)로부터 수신)는 직전에 수신된 포착 영상 부분과 비교 및 상관되어, 다음 연속 시간 간격과 관련된 움직임을 판정하게 된다. 이러한 연속적으로 포착된 영상 부분의 비교 프로세스는 영상 포착 시간까지 반복된다. 그 결과, 연속적으로 포착된 영상 부분을 비교하는 것은 대조점의 움직임의 진행중 판정을 제공한다. 영상 데이터가 매우 신속하게 광검출기 어레이(400)(도 1) 및 광검출기 어레이(308, 310)(도 2)로부터 판독되므로, 대조점의 움직임은 사용자가 인지할 수 없는 시간 안에 판정된다. 그러므로, 실시예에 따라, 실제 포착된 영상의 보상은 영상 포착이 일어나기 직전, 영상 포착이 일어남과 동시, 또는 영상 포착의 시간에 상대적으로 근접한 때 판정된 안정화 정보에 기초한다. 다른 실시예에서, 광검출기(208)로부터 수신된 영상 데이터 중 선택된 두 개의 선택은 대조점의 움직임을 판정하기 위해서 비교된다.
상술된 간단한 예는 대조점을 판정하는 원리를 예시하기 위해 흑색 또는 백 색을 검출하는 것으로 광검출기(208)(화소)를 도시한다. 이 예는 다양한 실시예에 의해 수행되는 영상 안정화의 원리를 도시할 목적으로 매우 단순화되어 제시된 것이다. 광검출기(208)가 다양한 광 레벨(즉 회색 레벨)을 검출하는 경우, 개별적인 광검출기(208)의 크기보다 작은 대조점의 움직임(지터)의 거리를 판정하기 위해 안정화 상관 알고리듬에서 보간이 사용될 수 있다. 보간을 사용하는 이러한 움직임 상관 기술은 광검출기로부터 수신된 데이터를 상관하는 기술 분야에 일반적으로 공지되어 있고 간략성을 위해 본 명세서에서는 상세하게 설명되지 않는다.
또한, 상술된 하나 이상의 대조점의 검출된 움직임 변화는 센서 어레이(400)에 대한 흑색 물체 부분의 움직임에 의한 것으로 고려된다. 따라서, 상기의 검출된 움직임은 영상 포착 장치(102)(도 1)의 움직임에 의한 것으로 그리고/또는, 물체 자체의 움직임에 의한 것으로 고려될 것이다. 그러므로, 다양한 실시예가 제공한 안정화 보상은 영상 포착 장치(102) 및 물체의 움직임 양자 모두에 대해 제공된다. 움직임(지터)을 검출하기 위해 자이로스코프 또는 다른 물리적 센서를 사용하는 종래 기술의 영상 포착 장치는 영상 포착 장치 자체의 움직임을 검출하는 것으로 한정된다. 이러한 종래 기술의 영상 포착 장치는 물체의 움직임을 검출 또는 보상할 수 없다.
일실시예에서, 안정화 보상은 광센서(108)(도 1)로부터 수신된 비디오 영상 데이터에 사용된 정정의 양을 판정하여 수행된다. 안정화 보상에 해당하는 안정화 보상 신호는 프로세서(110) 또는 다른 적절한 프로세서에 의해 생성된다. 예를 들면, 영상 포착 시에 움직임이 소정의 크기인 것으로 판정되었다면, 수신된 영상 데 이터는 검출된 움직임에 해당하는 양만큼 선택적으로 보상될 수 있다. 전자 영상 안정화 보상은 영상 처리 파이프라인으로 전달되고 영상 데이터는 계산으로 보상된다. 판정된 움직임에 기초하여 비디오 프레임의 영상 데이터를 전자적으로 쉬프트하기 위한 이러한 계산 보상은 공지되어 있으므로 간략을 위해 본 명세서에서는 설명하지 않는다.
다른 실시예에서, 안정화 보상 신호는 렌즈(124)(또는 그에 관한 하나 이상의 요소)를 물리적으로 이동시키는 장치(미도시)로 전달되어, 움직임을 보상한다. 다른 실시예에서, (도 1의 광센서(108) 또는 필름 기반 카메라의 필름과 같은) 영상 포착 매체는 검출된 움직임을 보상하기 위해 이동된다. 물리적 보상을 제공하는 이러한 장치는 공지되어 있고 간략을 위해 본 명세서에서는 설명하지 않는다.
도 7은 자동 초점맞춤 및 안정화 시스템(300)의 실시예의 자동 초점맞춤 부분을 도시하는 블럭도이다. 도시된 것은 제1 렌즈(302) 및 제2 렌즈(304)와 제1 광검출기 어레이(308) 및 제2 광검출기 어레이(310)의 에지 보기이다. 편의상, 렌즈(302, 304)는 렌즈(302, 304)를 포함하는 단일 렌즈부로서 도시된다. 다른 실시예에서, 렌즈(302, 304)는 별도로 분리된다. 렌즈(302, 304)는 렌즈 제조 기술 분야의 공지된 기술을 사용하여 플라스틱, 유리 또는 다른 적절한 재료로 제작될 수 있다.
제1 광검출기 어레이(308) 및 제2 광검출기 어레이(310)는 공지된 거리(DP, 도 3a 참조)만큼 떨어져 있다. DP는 렌즈(301, 304)의 간격(도 3a에서 DL로 지칭됨)에 해당한다. 두 개의 렌즈는 영상 포착 매체 상에 포착될 관심 물체의 작은 부분에 초점이 대강 맞춰져 있다.
제1 광검출기 어레이(308) 및 제2 광검출기 어레이(310)는 동시에 각자의 포착된 영상 데이터를 처리 유닛으로 전달한다. 일실시예에서, 데이터는 프로세서(110)(도 1)로 전달된다. 다른 실시예에서, 데이터는 프로세서(212)(도 3b)로 전달된다.
도시된 것은 제1 광검출기 어레이(308)로부터 판독된 영상 데이터에 해당하는 히스토그램(702)의 그래픽 표현인데, 여기서 하나의 바는 광검출기 어레이(308)의 광센서(208)(도 3a 및 3b)에 의해 검출된 광 정보에 해당하고, 단일 바의 높이는 광의 검출된 양에 해당한다. 마찬가지로, 히스토그램(704)은 제2 광검출기 어레이(310)로부터 판독된 영상 데이터에 해당한다. 히스토그램(702, 704)은 화살표(708)로 표시된 것처럼 물체(706)의 일부로부터 검출된 광에 해당한다.
도 8은 광검출기 어레이(308, 310) 각각으로부터의 제공된 정보에 해당하는 두 개의 히스토그램(702, 704)을 도시하는 도면이다. 도시를 목적으로, 히스토그램(702)은 값(802)에서 피크를 보이고 히스토그램(704)은 값(804)에서 피크를 보인다. 이 예에서, 피크 값은 선택된 대조점에 해당할 수 있다. 값(802, 804)은 각각의 광검출기 어레이(308, 310)(도 7) 상의 특정 광검출기(208)(도 3a 및 3b)에 해당하므로, 두 광검출기 사이의 거리는 상관 거리(CD)를 판정하기 위해 사용된다. 이 간단한 도시적인 예에서, 거리 CD는 판정된 초점 값에 해당하는 자동 초점맞춤 정보를 판정하기 위해 사용된다.
편의상, 히스토그램(702)은 물체(706)가 초점이 맞지 않은 것을 판정하도록 히스토그램(704)과 다른 것으로 도시되었다. 그러므로, 당업자는 영상이 시스템(300)과 다른 거리에 있을 때 입체 효과를 알 수 있다. 이하 더 상세하게 설명되다시피, 자동 초점맞춤 제어 신호는 히스토그램(704, 706)으로부터 판정될 것이다. 자동 초점맞춤 제어 신호는 렌즈 작동기(112)(도 1)로 전달되고, 이는 물체의 초점을 맞추기 위해서 물체까지 측정된 거리에 해당하도록 영상 포착 장치 렌즈(124)(도 1)의 초점을 조정한다. 물체가 제1 렌즈(302) 및 제2 렌즈(304)에 대해 기준 거리(일실시예에서 무한대)에 있으면, (자동 초점맞춤 상관 알고리듬에 따른 공지의 지정된 허용 범위 내에서) 히스토그램(704, 706)은 동일하거나, 최소한 매우 유사할 것이다.
전술된 것처럼, 상관은 두 히스토그램(702, 704)(도 7) 간에 상관 거리(CD)를 판정하기 위해 대안적으로 사용될 수 있다. 상관 함수(805)는 상관 알고리듬을 사용하여 계산된다. 상관 함수의 피크(806)의 오프셋은 상관 함수(CD)에 해당한다.
도 9는 자동 초점맞춤 및 안정화 시스템(300)의 실시예에 의한 두 개의 동시 포착된 영상의 검출을 도시하는 도면이다. 편의상, 광검출기 어레이(902, 904)는 16 대 16 화소 어레이로서 도시되었다. 임의의 적절한 수의 화소가 광검출기 어레이(902, 904)에서 다양한 실시예에 의해 사용될 수 있다. 광검출기 어레이(902, 904)는 상술된 광검출기 어레이(308, 310)(도 7) 중 하나에 해당한다.
도 4a, 4b, 5a, 5b, 6a, 6b에 도시된 어레이와 같이, 16 대 16 화소 어레이의 광검출기(902, 904)는 편의상 백색 또는 흑색인 물체의 일부를 검출하는 것으로 도시되었다. 그러므로, 최소한 하나의 대조점이 각각의 포착된 영상 부분 상에서 판정되도록 도 9의 단순화된 도시예에서 대조(백색 대 흑색)가 최대화된다. 광검출기에 의해 검출된 임의의 적절한 정도의 대조로써 본 명세서에서 설명된 것처럼, 상관 거리(CD)가 판정될 수 있도록 동시에 포착된 영상 부분 상에서 대조점의 검출 이 가능할 것이다. 즉, 화소는 다양한 회색 음영을 검출하겠지만 초점을 검출하기 위한 기본 원리는 동일할 것이다.
도 9에서, 어레이(902)의 좌측하단 화소(906)는 흑색을 검출중이고 인접 화소(908)는 백색을 검출중이다. 어레이(904)의 좌측하단 화소(912)는 백색을 검출중이고 인접 화소(914)는 흑색을 검출중이다. (편의상, 광검출기 어레이(902, 904)의 다른 화소는 백색을 검출중인 것으로 도시되었다.) 따라서, 광검출기 어레이(902, 904)는 각각 흑색을 검출하는 하나의 화소(906, 912)를 갖는 영상을 포착한다. 어레이(902, 904) 간 간격 거리(DP)와 관련된 입체 효과에 의해 어레이(902, 904)는 상이한 영상을 검출한다.
어레이(902, 904) 간 거리 및 그에 따른 개별적인 화소 간 거리가 공지되어 있기 때문에, 어레이(902, 904)에 의해 동시에 검출된 영상의 부분에서 대조점의 위치의 상관이 수행될 수 있고, 따라서 상관 거리(CD)라 지칭되는 대조점의 위치 차이에 해당하는 거리를 판정하게 된다. 도 9의 단순화된 예시에서, 검출된 영상의 흑색 부분은 화소 하나의 폭에 해당하는 거리만큼 떨어져 있다.
어레이(902, 904)에 의해 동시에 검출된 영상으로부터의 영상 데이터는 실시예에 따라 프로세서(110)(도 1) 또는 프로세서(212)(도 2b 및 3b)로 전달된다. 수 신된 영상 데이터는 두 개의 검출된 영상 상에서 공통 대조점의 위치 차이에 해당하는 거리를 판정하기 위해 비교된다.
따라서, 결과적으로 판정된 상관 거리(CD)에 해당하는 초점맞춤 정보는 프로세서(110)(도 1)에서 사용가능하다. 상관 거리(CD)는 영상 포착 장치 렌즈(124)(도 1)의 공지의 초점 파라미터를 가지고 상관된다. 이 상관은 물체까지의 거리, 결과적으로 영상 포착 매체에 의해 검출된 영상이 초점이 맞게 되는 렌즈(124)로의 초점맞춤 조정의 양을 판정하기 위해 사용된다. 초점맞춤 조정 신호는 렌즈 작동기(112)(도 1)로 전달되고 렌즈 작동기(112)는 렌즈(124)의 초점을 조정하며, 그리하여 영상 포착 매체 상에 영상의 초점을 맞추게 된다. 초점맞춤 조정은 판정된 대조점의 위치 차이에 기초하여 판정된다. 이 프로세스는 초점맞춤 상관 프로세스라 지칭된다. 실시예에 따라, 영상은 필름 기반 영상 포착 장치의 필름 또는 디지털 영상 포착 장치의 광센서(108)(도 1) 상에 초점이 맞춰진다.
대안적인 일실시예에서, 어레이(902, 904)에 의해 검출된 동시에 포착된 영상 부분에 대해 (상대적으로) 높은 대조점의 복수의 상관에 의해 해당 개수의 상관 거리가 판정된다. 상관 거리는 시스템(300)의 배치에 따라 수직적 배치, 수평적 배치, 또는 다른 배치에서 판정될 수 있다. 예를 들면, 렌즈(302, 304) 및 센서 어레이(208)가 수직으로 거리(DL)만큼 떨어져 있으면, 상관 거리(CD)는 대조점의 수직적인 위치 차이를 측정할 것이다.
도 10은 자동 초점맞춤 및 안정화 시스템(300)의 실시예에 의해 사용된 렌즈 시스템(1000)의 실시예를 도시하는 블럭도이다. 이중 대물 렌즈부(1002)는 두 개 의 렌즈(1004, 1006)를 포함한다. 접이식 프리즘(1008)은 도시된 것처럼 렌즈(1004, 1006)로부터 광을 수신하여 광검출기 어레이(902, 904) 상으로 광을 반사하도록 구성된다. 그러므로 접이식 프리즘(1008)은 이중 렌즈(1002)로부터 수신된 광을 반사하는 복수의 반사형 표면(1010)을 포함한다.
일실시예에서, 광검출기 어레이(902, 904)는 실리콘 칩 상에 제작된다. 이중 렌즈(1002) 및 접이식 프리즘(1008)은 단일 시스템을 형성하기 위해 단일부로서 제작되고 실리콘 칩(1012)에 연결될 수 있다. 오목 소자(1014)는 렌즈 시스템(1000)의 유효 초점 길이를 증가시키기 위해 사용될 수 있다. 이 실시예에서 광센서 사이의 거리(DP)는 렌즈 사이의 거리(DL)보다 실질적으로 작을 수 있음을 주목한다.
도 11은 자동 초점맞춤 및 안정화 시스템(1100)의 대안적인 실시예의 블럭도이다. 센서 유닛(1102)은 세 개의 광검출기 어레이(1104, 1106, 1108), 세 개의 렌즈(1110, 1112, 1114)와 안정화 및 초점맞춤 유닛(1116)을 포함한다.
렌즈(1110)는 안정화 및 초점맞춤 유닛(1116)에 영상 데이터를 제공하는 제1 광검출기 어레이(1104)에 영상을 제공한다. 마찬가지로, 렌즈(1112)는 안정화 및 초점맞춤 유닛(1116)에 영상 데이터를 제공하는 제2 광검출기 어레이(1106)에 영상을 제공한다. 렌즈(1114)는 또한 안정화 및 초점맞춤 유닛(1116)에 영상 데이터를 제공하는 제3 광검출기 어레이(1108)에 영상을 제공한다.
제1 광검출기 어레이(1104) 및 제2 광검출기 어레이(1106)는 공지의 거리(DP1)만큼 떨어져 있고, DP1는 렌즈(1110, 1112) 사이의 거리(DL1)에 해당한다. 제1 광검출기 어레이(1104) 및 제3 광검출기 어레이(1108)는 공지의 거리(DP2)만큼 떨어져 있고, DP2는 렌즈(1110, 1114) 사이의 거리(DL2)에 해당한다. 상술된 것처럼, 제1 광검출기 어레이(1104) 및 제2 광검출기 어레이(1106)는 수평축을 따라 초점맞춤을 판정하기 위한 정보를 제공한다. 마찬가지 방식으로, 제1 광검출기 어레이(1104) 및 제3 광검출기 어레이(1108)는 수직축을 따라 초점맞춤을 판정하기 위한 정보를 제공한다.
도 12는 영상 안정화를 제공하도록 구성된 영상 포착 장치(100)(도 1)의 실시예를 도시하는 흐름도(1200)이다. 도 13은 영상 초점맞춤을 제공하도록 구성된 영상 포착 장치(100)(도 1)의 실시예를 도시하는 흐름도(1300)이다. 도 14는 영상 안정화 및 영상 초점맞춤을 제공하도록 구성된 영상 포착 장치(100)(도 1)의 실시예를 도시하는 흐름도(1400)이다.
도 12, 13, 14의 흐름도(1200, 1300, 1400) 각각은 상술된 로직을 구현하기 위한 실시예의 구조, 기능 및 동작을 보여 준다. 대안적인 실시예는 흐름도(1200, 1300, 1400)의 로직을 상태 머신으로 구성한 하드웨어로써 구현한다. 이러한 관점에서, 각 블럭은 지정된 논리 기능을 구현하기 위한 하나 이상의 실행가능한 명령어를 포함하는 모듈, 코드의 세그먼트 또는 일부를 나타낼 수 있다. 또한 일부 대안적인 구현예에서 블럭으로 표시된 기능은 도 12, 13, 14에 표시된 순서와 달리 일어나거나 추가적인 기능을 포함할 수 있음을 주의해야 한다. 예를 들면, 이하 더 자세히 설명되다시피 도 12, 13, 14에서 연속적으로 도시된 두 개의 블럭은 관여하는 기능에 따라 사실상 거의 동시에 실행되거나, 때때로 반대 순서로 실행될 수 있으며, 일부 블럭은 어떤 경우 실행되지 않을 수도 있다. 이러한 모든 변형예 및 변경예는 본 명세서에 포함되는 것으로 의도된다.
영상 안정화를 제공하기 위한 흐름도(1200)(도 12)의 프로세스는 블럭(1202)에서 시작한다. 블럭(1204)에서, 물체의 일부의 제1 영상이 제1 시간에 포착된다(여기에서 물체 일부란 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 관심 물체에 해당함). 블럭(1206)에서, 물체 일부의 제2 영상이 이후 시간에 포착된다. 블럭(1208)에서, 제1 영상과 제2 영상 간에 움직임에 해당하는 거리가 판정된다. 블럭(1210)에서, 판정된 움직임 거리에 해당하는 안정화 보상이 판정된다. 프로세스는 블럭(1212)에서 종료한다.
영상 초점맞춤을 제공하기 위한 흐름도(1300)(도 13)의 프로세스는 블럭(1302)에서 시작한다. 블럭(1304)에서, 물체의 일부의 제1 영상은 제1 시간에 포착된다(여기에서 물체 일부란 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 관심 물체에 해당함). 블럭(1306)에서, 물체 일부의 제2 영상이 동시에 포착된다. 블럭(1308)에서, 제1 영상과 제2 영상 간에 위치 차이에 해당하는 거리가 판정된다. 블럭(1310)에서, 판정된 위치 거리에 해당하는 초점맞춤 보상 양이 판정된다. 프로세스는 블럭(1312)에서 종료한다.
영상 안정화 및 영상 초점맞춤을 제공하기 위한 흐름도(1400)(도 14)의 프로세스는 블럭(1402)에서 시작한다. 블럭(1404)에서, 물체의 일부의 제1 영상은 제1 시간에 포착된다(여기에서 물체 일부란 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 관심 물체에 해당함). 블럭(1406)에서, 물체 일부의 제2 영상이 이후 시간에 포착된다. 블럭(1408)에서, 물체 일부의 제3 영상이 제1 영상과 동시에 포착된다. 블럭(1410)에서, 제1 영상과 제2 영상 간에 물체 일부의 움직임에 해당하는 거리가 판정된다. 블럭(1412)에서, 판정된 움직임 거리에 해당하는 안정화 보상이 판정된다. 블럭(1414)에서, 제1 영상과 제3 영상 간에 물체 일부의 위치 차이에 해당하는 또 다른 거리가 판정된다. 블럭(1416)에서, 판정된 위치 거리에 해당하는 초점맞춤 보상의 양이 판정된다. 프로세스는 블럭(1418)에서 종료한다.
메모리(106)(도 1) 또는 메모리(214)(도 2b 및 3b)에 구현된 실시예는 임의의 적절한 컴퓨터 판독가능 매체를 사용하여 구현될 수 있다. 이 명세서의 문맥에서, "컴퓨터 판독가능 매체"는 명령 실행 시스템, 장치 및/또는 소자와 관련되거나 이에 의해 사용되거나 이와 연계하여 데이터를 저장, 통신, 전파 또는 전송할 수 있는 임의의 수단일 수 있다. 컴퓨터 판독가능 매체는, 예를 들면, 이에 한정되지는 않지만, 현재 공지되거나 향후 개발될 전자적, 자기적, 광학적, 전자기적, 적외선 또는 반도체 시스템, 장치, 소자 또는 전파 매체일 수 있다.
미리보기 모드에서 동작할 때, 차례로 포착된 복수의 미리보기 영상이 사용자에게 표시될 수 있다. 영상의 초점이 맞춰지면서, 사용자는 최종적으로 초점이 맞는 미리보기 영상을 볼 수 있다. 마찬가지로, 영상이 움직임에 대해 안정화되면서, 안정화된 미리보기 영상이 보여질 수 있다.
실시예들은 정지 영상을 포착하는 디지털 영상 포착 장치 및 필름 기반 영상 포착 장치의 관계에서 설명되었다. 다른 실시예는 비디오 영상 포착 장치(디지털 또는 필름 기반)에 영상 안정화 및/또는 초점맞춤을 제공하도록 구성된다.
상술된 실시예들은 단지 구현예임이 강조되어야 한다. 많은 변경 및 변형들이 상술한 실시예들에 대해 이루어질 수 있다. 모든 이러한 변형예 및 변경예는 명세서의 본 개시의 범위 내에 포함되고 이하 특허 청구의 범위에 의해 보호되는 것으로 의도된다.
본 발명에 의해 영상 포착 장치의 안정화 보상 및 자동 초점맞춤이 신속하게 될 수 있다.

Claims (13)

  1. 영상 포착 매체 상으로 물체 영상의 초점을 맞추도록 구성된 영상 포착 장치 렌즈;
    상기 물체의 일부를 연속적으로 포착하도록 구성된 광검출기 어레이;
    상기 광검출기 어레이 상으로 상기 물체의 일부의 초점을 맞추도록 구성된 제1 렌즈; 및
    상기 물체의 상기 포착된 일부에 해당하는 데이터를 수신하고, 상기 연속적으로 포착된 물체 일부들의 각각에서 최소한 하나의 대조점에서 판정된 변화에 기초하여 상기 물체의 일부의 위치 변화를 판정하고, 상기 판정된 위치 변화에 해당하는 영상 안정화 정보를 판정하도록 구성된 프로세서
    를 포함하는 영상 포착 장치.
  2. 제1항에 있어서, 상기 프로세서는 상기 연속적으로 포착된 물체 일부들의 각각으로부터의 데이터에 상관을 수행하도록 더 구성되어, 상기 판정된 위치 변화가 상기 상관에 기초하는 영상 포착 장치.
  3. 제1항에 있어서,
    상기 물체의 일부를 포착하도록 구성된 제2 광검출기 어레이; 및
    상기 제2 광검출기 어레이 상으로 상기 물체의 일부의 초점을 맞추도록 구성 된 제2 렌즈
    를 더 포함하고,
    상기 프로세서는 상기 광검출기 어레이 및 상기 제2 광검출기 어레이에 의해 동시에 포착된 물체 일부에 해당하는 데이터를 수신하고, 상기 동시에 포착된 물체 일부의 위치 차이를 판정하고, 상기 판정된 위치 차이에 해당하는 영상 초점맞춤 정보를 판정하여 상기 영상이 상기 영상 포착 매체 상에 초점이 맞도록 구성된 영상 포착 장치.
  4. 포착된 영상 움직임을 보상하는 안정화 시스템에 있어서,
    영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체의 일부를 포착하도록 구성된 광검출기 어레이; 및
    상기 광검출기 어레이 상으로 상기 물체의 일부의 초점을 맞추도록 구성된 렌즈
    를 포함하고, 상기 광검출기 어레이로부터 연속적으로 포착된 영상 데이터를 수신하는 프로세서가 상기 연속적으로 포착된 물체 일부들의 각각에서 대조점의 판정된 변화에 기초하여 상기 연속적으로 포착된 물체 일부들 간 위치 변화를 판정하고, 상기 프로세서가 상기 판정된 위치 변화에 해당하는 영상 안정화 정보를 판정하는 안정화 시스템.
  5. 제4항에 있어서,
    상기 포착된 영상 움직임을 보상하는 다른 프로세서로 상기 영상 안정화 정보를 전달하는 상기 프로세서
    를 더 포함하고, 상기 프로세서 및 상기 광검출기 어레이는 실리콘 칩 상에 제작되는 안정화 시스템.
  6. 영상 포착 장치 렌즈의 초점을 맞추는 초점맞춤 시스템에 있어서,
    상기 영상 포착 장치 렌즈에 의해 영상 포착 매체 상으로 영상의 초점이 맞을 때 상기 영상 포착 장치 렌즈를 통해 포착될 물체의 일부의 제1 영상을 포착하도록 구성된 제1 광검출기 어레이;
    상기 제1 광검출기 어레이 상으로 상기 물체 일부의 초점을 맞추도록 구성된 제1 렌즈;
    상기 물체 일부의 제2 영상을 포착하도록 구성된 제2 광검출기 어레이; 및
    상기 제2 광검출기 어레이 상으로 상기 물체 일부의 초점을 맞추도록 구성된 제2 렌즈
    를 포함하고,
    프로세서가 상기 동시에 포착된 제1 영상 및 제2 영상에 해당하는 데이터를 수신하고, 상기 동시에 포착된 제1 영상 및 제2 영상에서 최소한 하나의 대조점에 기초하여 상기 동시에 포착된 제1 영상 및 제2 영상 간 상기 물체 일부의 판정된 위치 차이에 해당하는 영상 초점맞춤 정보를 판정하여, 상기 영상은 상기 영상 포착 장치 렌즈에 의해 상기 영상 포착 매체 상에 초점이 맞춰지는 초점맞춤 시스템.
  7. 제6항에 있어서, 상기 프로세서는 상기 동시에 포착된 제1 영상 및 제2 영상으로부터의 데이터에 상관을 수행하도록 더 구성되어 상기 판정된 위치 차이가 상기 상관에 기초하는 초점맞춤 시스템.
  8. 제6항에 있어서,
    자동 초점맞춤 제어 신호를 생성하는 다른 프로세서로 상기 영상 초점맞춤 정보를 전달하는 상기 프로세서
    를 더 포함하고, 상기 프로세서, 상기 제1 광검출기 어레이 및 상기 제2 광검출기 어레이는 실리콘 칩 상에 제작되는 초점맞춤 시스템.
  9. 영상을 포착하는 동안 움직임을 보상하기 위한 방법에 있어서,
    물체 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 관심 물체에 해당할 때, 제1 시간에 상기 물체 일부의 제1 영상을 포착하는 단계;
    상기 물체 일부의 제2 영상을 이후 시간에 포착하는 단계;
    상기 연속적으로 포착된 제1 영상과 제2 영상에서 최소한 하나의 대조점을 판정하는 단계;
    상기 제1 영상과 제2 영상 간에 움직임에 해당하는 거리를 판정하는 단계; 및
    상기 판정된 움직임 거리에 해당하는 안정화 보상을 판정하는 단계
    를 포함하는 움직임 보상 방법.
  10. 제9항에 있어서,
    상기 연속적으로 포착된 제1 영상과 제2 영상에서 복수의 대조점을 판정하는 단계;
    각각이 상기 제1 영상과 제2 영상 간 상기 대조점 각각의 움직임에 해당하는 복수의 해당 거리를 판정하는 단계;
    상기 복수의 거리를 상관시키는 단계; 및
    상기 상관된 복수의 움직임 거리에 해당하는 상기 안정화 보상을 판정하는 단계
    를 더 포함하는 움직임 보상 방법.
  11. 영상을 포착하는 동안 카메라 렌즈의 초점을 맞추기 위한 방법에 있어서,
    물체의 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체에 해당할 때, 제1 시간에 상기 물체의 일부의 제1 영상을 포착하는 단계;
    상기 물체 일부의 제2 영상을 동시에 포착하는 단계;
    상기 제1 영상과 제2 영상에서 최소한 하나의 대조점을 판정하는 단계;
    상기 물체 일부의 위치 차이에 해당하는 거리를 판정하는 단계; 및
    상기 판정된 위치 거리에 해당하는 초점맞춤 보상의 양을 판정하는 단계
    를 포함하는 초점맞춤 방법.
  12. 제11항에 있어서,
    상기 동시에 포착된 제1 영상과 제2 영상에서 복수의 대조점을 판정하는 단계;
    각각이 상기 제1 영상과 제2 영상 간 상기 대조점 각각의 위치에 해당하는 복수의 해당 거리를 판정하는 단계;
    상기 복수의 거리를 상관시키는 단계; 및
    상기 상관된 복수의 위치 거리에 해당하는 상기 초점맞춤 보상을 판정하는 단계
    를 더 포함하는 초점맞춤 방법.
  13. 영상을 포착하기 위한 방법에 있어서,
    물체의 일부가 영상 포착 장치 렌즈를 통해 영상 포착 장치에 의해 포착될 물체에 해당할 때, 제1 시간에 상기 물체의 일부의 제1 영상을 포착하는 단계;
    상기 물체 일부의 제2 영상을 이후 시간에 포착하는 단계;
    상기 물체 일부의 제3 영상을 상기 제1 영상과 동시에 포착하는 단계;
    상기 제1 영상과 제2 영상 간 상기 물체 일부의 움직임에 해당하는 거리를 판정하는 단계;
    상기 판정된 움직임 거리에 해당하는 안정화 보상을 판정하는 단계;
    상기 제1 영상과 제3 영상 간 상기 물체 일부의 위치 차이에 해당하는 다른 거리를 판정하는 단계; 및
    상기 판정된 위치 거리에 해당하는 초점맞춤 보상의 양을 판정하는 단계
    를 포함하는 영상 포착 방법.
KR1020050067933A 2004-08-09 2005-07-26 영상 포착 장치를 위한 시스템 및 방법 KR101093383B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/914,540 2004-08-09
US10/914,540 US8289399B2 (en) 2004-08-09 2004-08-09 System and method for image capture device

Publications (2)

Publication Number Publication Date
KR20060046794A true KR20060046794A (ko) 2006-05-17
KR101093383B1 KR101093383B1 (ko) 2011-12-14

Family

ID=35757513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050067933A KR101093383B1 (ko) 2004-08-09 2005-07-26 영상 포착 장치를 위한 시스템 및 방법

Country Status (4)

Country Link
US (2) US8289399B2 (ko)
KR (1) KR101093383B1 (ko)
CN (1) CN100478728C (ko)
TW (1) TW200608779A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101390196B1 (ko) * 2008-02-05 2014-04-29 삼성전자주식회사 디지털 촬영장치

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4542011B2 (ja) * 2005-09-27 2010-09-08 富士通株式会社 カメラ及び手ぶれ補正方法及び手ぶれ補正プログラム
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US7697836B2 (en) 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
JP4508257B2 (ja) 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
DE102008001451A1 (de) * 2008-04-29 2009-11-05 Robert Bosch Gmbh Kamera und Verfahren zum Steuern einer Kamera
KR101499133B1 (ko) * 2008-10-28 2015-03-11 삼성전자주식회사 휴대 단말기의 메뉴수행 장치 및 방법
KR101725888B1 (ko) * 2009-11-13 2017-04-13 삼성전자주식회사 카메라 또는 원격 제어 장치에서의 이미지 제공 방법 및 그 장치
US8472735B2 (en) 2010-09-30 2013-06-25 The Charles Stark Draper Laboratory, Inc. Attitude estimation with compressive sampling of starfield data
US8472737B2 (en) 2010-09-30 2013-06-25 The Charles Stark Draper Laboratory, Inc. Attitude estimation in compressed domain
US8472736B2 (en) * 2010-09-30 2013-06-25 The Charles Stark Draper Laboratory, Inc. Attitude estimation by reducing noise with dragback
CN102457673A (zh) * 2010-10-26 2012-05-16 宏达国际电子股份有限公司 影像撷取方法及系统
US8760567B2 (en) * 2010-12-21 2014-06-24 Samsung Electronics Co., Ltd. Photographing apparatus and method to reduce auto-focus time
JP5834410B2 (ja) * 2011-01-13 2015-12-24 株式会社リコー 撮像装置および撮像方法
WO2013001540A1 (en) * 2011-06-30 2013-01-03 Dvp Technologies Ltd. System and method for multidirectional imaging
TWI467935B (zh) * 2012-03-06 2015-01-01 Ind Tech Res Inst 可見光通訊收發器與系統
US9554042B2 (en) * 2012-09-24 2017-01-24 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
EP2733677A1 (en) * 2012-11-19 2014-05-21 Kapsch TrafficCom AB Device for tolling or telematics systems
US20140333782A1 (en) * 2013-05-07 2014-11-13 Texas Instruments Incorporated View-assisted image stabilization system and method
WO2014198245A1 (de) * 2013-06-13 2014-12-18 Leica Camera Ag Kamera mit opto-elektronischem entfernungsmesser
TWI524211B (zh) 2013-09-11 2016-03-01 萬國商業機器公司 電子裝置及其顯示角度調整方法
CN105022138B (zh) * 2014-04-30 2018-03-23 聚晶半导体股份有限公司 使用多镜头的自动对焦系统及其方法
TWI515471B (zh) * 2014-04-30 2016-01-01 聚晶半導體股份有限公司 使用多鏡頭的自動對焦系統及其方法
TWI515470B (zh) * 2014-04-30 2016-01-01 聚晶半導體股份有限公司 使用多鏡頭的自動對焦系統及其方法
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709138A (en) * 1984-02-09 1987-11-24 Canon Kabushiki Kaisha Apparatus for detecting shake of image of object
US5305294A (en) * 1988-04-04 1994-04-19 Mitsubishi Denki Kabushiki Kaisha Magneto-optical recording/reproducing system having an electromagnetic actuator
JPH03134605A (ja) 1989-10-20 1991-06-07 Fuji Photo Film Co Ltd 自動焦点検出装置
US5107103A (en) 1990-01-26 1992-04-21 Carnegie-Mellon University Integrated circuit having at least a sensor and a processor thereon
JP2687670B2 (ja) * 1990-04-19 1997-12-08 松下電器産業株式会社 動き検出回路および手ぶれ補正装置
US5142357A (en) * 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
JPH06133191A (ja) * 1992-10-16 1994-05-13 Canon Inc 撮像装置
JP3339191B2 (ja) * 1994-08-08 2002-10-28 ミノルタ株式会社 ブレ補正機能付カメラ
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
EP1102107B1 (en) * 1999-11-16 2008-01-09 Fujinon Corporation Vibration isolator
JP3969927B2 (ja) * 2000-04-06 2007-09-05 キヤノン株式会社 レンズ鏡筒、撮影装置及び観察装置
US7554578B2 (en) * 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
JP2002094862A (ja) * 2000-09-12 2002-03-29 Chinon Ind Inc 撮像装置
JP2002094869A (ja) 2000-09-14 2002-03-29 Olympus Optical Co Ltd 電子カメラ
US7583293B2 (en) * 2001-12-06 2009-09-01 Aptina Imaging Corporation Apparatus and method for generating multi-image scenes with a camera
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7391463B2 (en) * 2002-08-06 2008-06-24 Olympus Corporation Image sensing apparatus having distance measuring unit and control method thereof
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101390196B1 (ko) * 2008-02-05 2014-04-29 삼성전자주식회사 디지털 촬영장치

Also Published As

Publication number Publication date
CN1734307A (zh) 2006-02-15
US8289399B2 (en) 2012-10-16
US20060029377A1 (en) 2006-02-09
KR101093383B1 (ko) 2011-12-14
US8558943B2 (en) 2013-10-15
TW200608779A (en) 2006-03-01
US20130002940A1 (en) 2013-01-03
CN100478728C (zh) 2009-04-15

Similar Documents

Publication Publication Date Title
KR101093383B1 (ko) 영상 포착 장치를 위한 시스템 및 방법
US8482620B2 (en) Image enhancement based on multiple frames and motion estimation
US8004570B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
US7734165B2 (en) Imaging apparatus
TWI394435B (zh) 用於測定一成像裝置之移動的方法及系統
US9906708B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium storing imaging program for controlling an auto-focus scan drive
CN107864315B (zh) 摄像设备、摄像设备的控制方法和记录介质
JP2008026802A (ja) 撮像装置
US20120057034A1 (en) Imaging system and pixel signal readout method
JP2014002283A (ja) 焦点調節装置及びその制御方法
JP5868061B2 (ja) 撮像装置
US7830445B2 (en) Image-pickup apparatus and focus control method for the same
JP2002365524A (ja) オートフォーカス装置及びそれを用いた撮像装置
US9742983B2 (en) Image capturing apparatus with automatic focus adjustment and control method thereof, and storage medium
JP5183441B2 (ja) 撮像装置
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP6381206B2 (ja) 画像処理装置、その制御方法およびプログラム
US10943328B2 (en) Image capturing apparatus, method for controlling same, and storage medium
US6219492B1 (en) Camera
JP5904886B2 (ja) 撮像装置、欠陥処理方法、欠陥処理プログラムおよび電子情報機器
JP4085720B2 (ja) デジタルカメラ
JP2021158491A (ja) 撮像装置
JP6728005B2 (ja) 撮像装置、撮像方法およびプログラム
JP2012103285A (ja) 焦点検出装置およびその制御方法
JP2011087234A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161125

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 9