KR101887600B1

KR101887600B1 - 움직임 보상을 갖는 이미지 캡처 시스템

Info

Publication number: KR101887600B1
Application number: KR1020177030780A
Authority: KR
Inventors: 리처드 프랜시스 라이언
Original assignee: 구글 엘엘씨
Priority date: 2015-08-21
Filing date: 2016-08-12
Publication date: 2018-08-10
Also published as: CN107667520A; DE112016001832T5; EP3275173A1; EP3275173B1; GB2554579A; JP6346716B1; AU2016312297A1; AU2016312297B2; JP2018518898A; US9596419B1; KR20170131608A; US20170054927A1; GB201717735D0; DE202016007844U1; CN107667520B; WO2017034832A1

Abstract

예시적인 이미지 시스템(210)은, 이미지를 생성하는 렌즈(220), 이미지 센서(230), 이미지 스태빌라이저 및 제어기(310)를 포함할 수 있다. 이러한 이미지 센서(230)는 제1 에지 및 대향하는 제2 에지를 갖는다. 제1 에지는 렌즈가 멀리 떨어진 객체들에 포커싱하도록 렌즈(210)에 가깝게 배치된다. 이미지 스태빌라이저는 이미지 센서에서 이미지 모션의 시변 보상을 제공한다. 제어기(310)는, 센서(230)가 하나의 에지에서 대향하는 에지로 이미지를 점진적으로 노출시키고 판독하는 반복하는 사이클에서 이미지 캡처 시스템(210)을 작동시킨다. 제어기(310)는, 센서(230)의 제1 에지를 노출 및 판독하는 경우보다 센서(230)의 제2 에지를 노출 및 판독할 때 이미지 움직임 보상이 커지도록 시간에 따라 변하는 이미지 움직임 보상을 제공하도록 이미지 스태빌라이저를 작동시킨다.

Description

움직임 보상을 갖는 이미지 캡처 시스템

관련 출원들에 대한 상호-참조

본 출원은 그 내용이 본 명세서에 참조로서 포함된 2015년 8월 21일에 출원된 미국 특허 출원 번호 14/832,335의 계속 출원이다.

본 발명은 움직임 보상을 갖는 이미지 캡처 시스템에 관한 것이다.

낮은 밝기 레벨들에서의 짧은 노출들로 인한 디포커스 블러(defocus blur), 모션 블러 및 노이즈는 종종 모션 중에 이미지들을 캡처하는 카메라들을 제한한다. 또한 카메라들은 통상적으로 얕은 깊이들의 범위에 포커싱한다.

본 명세서의 양상들은 이미지 캡처 시스템을 제공한다. 상기 이미지 캡처 시스템은 이미지를 생성하는 렌즈와; 제1 에지 및 상기 제1 에지에 대향하는 제2 에지를 가지는 이미지 센서 - 상기 제1 에지는 상기 렌즈가 멀리 떨어진 객체들에 포커싱하도록 상기 렌즈에 가깝게 배치되며 - 와; 상기 이미지 센서에서 이미지 움직임의 시변 보상(time-varying compensation)을 제공하는 이미지 스태빌라이저(image stabilizer)와; 그리고 제어기를 포함하고, 상기 제어기는: (1) 반복하는 사이클에서 상기 이미지 캡처 시스템을 작동시키고, 각 사이클 동안 상기 제어기는 하나의 에지로부터 상기 대향하는 에지로 점진적으로 이미지를 노출 및 판독하도록 상기 센서를 작동시키며, 그리고 (2) 상기 센서의 제1 에지를 노출 및 판독하는 경우보다 상기 센서의 제2 에지를 노출 및 판독할 때 상기 이미지 움직임 보상이 커지도록 시간에 따라 변하는 이미지 움직임 보상을 제공하도록 상기 이미지 스태빌라이저를 작동시키도록 구성된다.

하나의 예에서, 상기 이미지 스태빌라이저는, 상기 이미지 움직임의 방향에 수직인 축을 중심으로 한 회전 진동(rotational oscillation)인 상기 이미지 캡처 시스템의 진동을 포함한다. 이 예에서, 상기 이미지 캡처 시스템의 회전 진동은 수직축을 중심으로 한다. 또한, 이 예에서, 상기 렌즈에 대한 상기 이미지 센서의 배치는 상기 이미지 캡처 시스템의 진동에 영향을 받지 않는다.

다른 예에서, 상기 제어기는, 또한, 상기 센서의 제1 에지를 노출 및 판독할 때 제1 거리의 객체들에 대해 그리고 상기 센서의 제2 에지를 노출 및 판독할 때 제2 거리의 객체들에 대해 상기 이미지 움직임을 보상하는 이미지 움직임 보상의 양(amount)을 제공하도록 상기 이미지 스태빌라이저를 작동시키도록 구성되고, 상기 제1 거리는 상기 제2 거리보다 크다. 이러한 예에서, 상기 제어기는, 또한, 상기 제1 에지와 상기 제2 에지 사이에서 상기 이미지 센서의 부분들을 노출 및 판독할 때 상기 제1 거리와 상기 제2 거리 사이의 객체들에 대한 이미지 움직임을 보상하는 이미지 움직임 보상의 양을 제공하기 위해 상기 이미지 스태빌라이저를 작동시키도록 구성된다.

또 다른 예에서, 상기 제어기는, 또한, 합성 이미지 내의 객체들로부터 텍스트 정보를 추출하기 위해 상기 합성 이미지를 프로세싱하도록 구성된다. 추가적인 예에서, 상기 이미지 센서는 로우(row)들이 수직으로 배향되고 판독 시간들이 뒤에서 앞으로 진행하는 롤링-셔터 이미지 센서(rolling-shutter image sensor)이다. 다른 예에서, 상기 이미지 스태빌라이저 보상은 상기 이미지 움직임의 방향에 수직인 축을 중심으로 상기 이미지 센서의 회전 진동을 포함한다. 이러한 예에서, 상기 하나 이상의 센서들의 진동은 10도 이하의 회전을 포함한다.

본 명세서의 양상들은 방법을 제공한다. 상기 방법은, 하나 이상의 제어기들을 사용하여, 복수의 이미지들을 캡처하기 위해 반복하는 사이클에서 이미지 캡처 시스템을 작동시키는 단계 - 상기 이미지 캡처 시스템은 렌즈, 이미지 센서 및 이미지 스태빌라이저를 갖고, 상기 이미지 센서는 제1 에지 및 상기 제1 에지에 대향하는 제2 에지를 가지고, 상기 제1 에지는 상기 렌즈가 멀리 떨어진 객체들에 포커싱하도록 상기 렌즈에 가깝게 배치되며 - 와; 각각의 사이클 동안, 상기 하나 이상의 제어기들을 사용하여, 하나의 에지로부터 상기 대향하는 에지로 점진적으로 이미지를 노출 및 판독하는 센서를 작동시키는 단계와; 그리고 상기 하나 이상의 제어기들을 사용하여, 상기 센서의 제1 에지를 노출 및 판독하는 경우보다 상기 센서의 제2 에지를 노출 및 판독할 때 상기 움직임 보상이 커지도록 시변 이미지 움직임 보상을 제공하기 위해 상기 이미지 스태빌라이저를 작동시키는 단계를 포함한다.

하나의 예에서, 상기 이미지 스태빌라이저는, 상기 이미지 움직임의 방향에 수직인 축을 중심으로 한 회전 진동인 상기 이미지 캡처 시스템의 진동을 포함한다. 이러한 예에서, 상기 이미지 캡처 시스템의 회전 진동은 수직축을 중심으로 한다. 또한, 이러한 예에서, 상기 이미지 센서의 각도는 상기 렌즈에 대해 고정된다.

다른 예에서, 시변 이미지 움직임 보상을 제공하기 위해 상기 이미지 스태빌라이저를 작동시키는 단계는, 또한, 상기 센서의 제1 에지를 노출 및 판독할 때 제1 거리의 객체들에 대해 그리고 상기 센서의 제2 에지를 노출 및 판독할 때 제2 거리의 객체들에 대해 상기 이미지 움직임을 보상하는 단계 - 상기 제1 거리는 상기 제2 거리보다 크며 - 와, 그리고 상기 제1 에지와 상기 제2 에지 사이에서 상기 이미지 센서의 부분들을 노출 및 판독할 때 상기 제1 거리와 상기 제2 거리 사이의 객체들에 대한 이미지 움직임을 보상하는 단계를 포함한다. 또 다른 예에서, 상기 방법은, 또한, 상기 하나 이상의 제어기들을 사용하여, 상기 이미지들 내의 객체들로부터 텍스트 정보를 추출하기 위해 상기 복수의 이미지들을 프로세싱하는 단계를 포함한다. 추가의 예에서, 상기 이미지 센서는 로우들이 수직으로 배향되고 판독 시간들이 뒤에서 앞으로 진행하는 롤링-셔터 이미지 센서이다.

본 명세서의 추가의 양상들은 하나 이상의 제어기들에 의해 실행될 때, 상기 하나 이상의 제어기들로 하여금 방법을 수행하도록 하는 명령어들이 저장되는 비-일시적인 컴퓨터 판독가능 매체를 제공한다. 상기 방법은: 복수의 이미지들을 캡처하기 위해 반복하는 사이클에서 이미지 캡처 시스템을 작동시키는 단계 - 상기 이미지 캡처 시스템은 렌즈, 이미지 센서 및 이미지 스태빌라이저를 갖고, 상기 이미지 센서는 제1 에지 및 상기 제1 에지에 대향하는 제2 에지를 가지고, 상기 제1 에지는 상기 렌즈가 멀리 떨어진 객체들에 포커싱하도록 상기 렌즈에 가깝게 배치되며 - 와; 각각의 사이클 동안, 하나의 에지로부터 상기 대향하는 에지로 점진적으로 이미지를 노출 및 판독하는 센서를 작동시키는 단계와; 그리고 상기 센서의 제1 에지를 노출 및 판독하는 경우보다 상기 센서의 제2 에지를 노출 및 판독할 때 상기 움직임 보상이 커지도록 시변 이미지 움직임 보상을 제공하기 위해 상기 이미지 스태빌라이저를 작동시키는 단계를 포함한다.

하나의 예에서, 시변 이미지 움직임 보상을 제공하기 위해 상기 이미지 스태빌라이저를 작동시키는 단계는, 상기 센서의 제1 에지를 노출 및 판독할 때 제1 거리의 객체들에 대해 그리고 상기 센서의 제2 에지를 노출 및 판독할 때 제2 거리의 객체들에 대해 상기 이미지 움직임을 보상하는 단계 - 상기 제1 거리는 상기 제2 거리보다 크며 - 와, 그리고 상기 제1 에지와 상기 제2 에지 사이에서 상기 이미지 센서의 부분들을 노출 및 판독할 때 상기 제1 거리와 상기 제2 거리 사이의 객체들에 대한 이미지 움직임을 보상하는 단계를 더 포함한다. 다른 예에서, 상기 방법은, 상기 이미지들 내의 객체들로부터 텍스트 정보를 추출하기 위해 상기 복수의 이미지들을 프로세싱하는 단계를 더 포함한다.

도 1은 본 발명의 양상들에 따른 예시적인 전통적인 이미지 캡처 시스템의 기능적 다이어그램이다.
도 2는 본 발명의 양상들에 따른 예시적인 이미지 캡처 시스템의 기능적 다이어그램이다.
도 3은 본 발명의 양상들에 따른 도 2의 이미지 캡처 시스템의 도면이다.
도 4는 본 발명의 양상들에 따른 이미지 캡처 시스템의 기능적 다이어그램이다.
도 5a는 본 발명의 양상들에 따른 이미지 캡처 시스템의 예시적인 동작을 나타내는 그래프이다.
도 5b는 본 발명의 양상들에 따른 이미지 캡처 시스템의 예시적인 동작을 나타내는 그래프이다.
도 6은 예시적인 실시예에 따른 예시적인 시스템의 기능적 다이어그램이다.
도 7은 예시적인 실시예에 따른 예시적인 시스템의 기능적 다이어그램이다.
도 8은 본 발명의 양상들에 따른 도 2의 시스템의 도면이다.
도 9는 본 발명의 양상들에 따른 예시적인 방법의 흐름도이다.

개관

본 기술은, 차량이 움직이는 동안 상이한 초점 거리들의 범위를 갖는 이미지들을 캡처할 수 있는 이미지 캡처 시스템에 관한 것이다. 이미지 캡처 시스템은 차량에 장착되거나 장착될 수 있다.

통상적인 카메라 시스템들은 렌즈의 평면에 평행하게 배향된 이미지 센서들을 이용할 수 있다. 이미지 센서들이 렌즈와 평행한 시스템들에서, 객체들이 초점을 맞추는 거리는 이미지 센서를 가로 질러 동일하다. 이들 시스템은 사용자의 손동작으로 인한 작은 움직임들 및 흔들림들을 보상하기 위해 카메라 스테빌라이저 시스템(camera stabilizer system)들, 액체 웨지 프리즘 렌즈들, 센서 시프트 또는 후-처리 조정들을 이용할 수 있다. 하지만, 차량의 움직임들에 적응하려고 시도할 때, 이러한 기술들은 잘 알려진 한계들을 가지고, 이들은 초점 흐림, 모션 블러(motion blur) 및 낮은 광 레벨들에서의 짧은 노출들로 인한 노이즈와 같은 품질 문제들을 효과적으로 처리하지 못하도록 한다. 그와 같은 이미지들이 흐릿하거나 잡음이 많은 경우, 광학 문자 인식(OCR)과 같은 기술들을 사용할 때 기호들 상의 텍스트와 같은 이미지들의 특정 기능을 인식하기가 어려울 수 있다. 결과적으로, OCR에 필요한 다양한 샷들을 캡처하기 위해 통상적인 카메라 시스템에는 다중 패스들 또는 다수의 카메라들을 요구할 수 있다.

차량이 움직이는 동안 이미지 캡처 시스템에 의해 캡처된 이미지들의 품질을 향상시키기 위해, 이미지 캡처 시스템은 렌즈에 평행하지 않고 렌즈와 관련하여 틸트상에 설치된 이미지 센서를 이용할 수 있다. 이미지 캡처 시스템의 이미지 센서는, 가까운 객체들에 가장 잘 초점을 맞추는 제1 에지 반대편의 제2 에지보다, 멀리있는 객체들에 가장 잘 초점을 맞추기 위해 렌즈에 약간 더 가까운 제1 에지를 갖는 각도로 기울어질 수 있다. 객체 거리들의 범위를 커버하기 위해 요구되는 틸트의 양은, 상호 객체 거리 : i = f + f²/o에서 대략 선형이며, 여기서 이미지 거리(i)(이미지 센서로부터 렌즈 위치까지)는 초점 거리(f)보다 객체 거리(o)의 역수에 비례하는 양만큼 더 크다. 결과적으로, 이미지 센서의 제1 에지는 이미지 센서의 제2 에지가 포커싱되는 객체들보다 카메라로부터 더 멀리 떨어진 객체들 상에 포커싱될 수 있으며, 둘 이상의 이미지에서 상이한 위치들에 나타나는 객체들이 다른 객체보다 하나의 객체에서 더 잘 초점을 맞출 수 있다.

이미지 센서는 로우(row)들이 수직으로 또는 세로 방향으로 향한 롤링-셔터 이미지 센서일 수 있으며 판독 시간들은 뒤에서 앞으로 또는 그 반대로 진행할 수 있다. 롤링 셔터는 이미지 센서의 하나의 에지에서 시작하여 반대편 에지로 진행하는 이미지를 읽음으로써 이미지의 상이한 부분들이 약간 상이한 시간들에서 판독된다. 차량 속도와 관련된 시변 이미지 안정화를 적용함으로써, 차량 움직임으로 인한 모션 블러는 이미지의 상이한 부분들에서 상이한 거리들에서의 객체들에 대해 보상될 수 있다. 이미지 안정화는, 이미지 센서를 렌즈 뒤로 이동시키거나, 전체 카메라를 회전시키거나, 액체 웨지 프리즘(liquid-wedge prism)을 사용하여 이미지를 이동시키는 것과 같은 다양한 알려진 수단에 의해 적용될 수 있다.

시스템은 차량이 이동하는 방향에 수직이고 그리고 카메라가 지시하는 방향에 수직인 축, 예를 들어, 예를 들어, 카메라가 움직이는 자동차의 측면을 볼 경우 수직축을 중심으로 차량의 움직임을 보상하기 위해 회전할 수 있다. 회전은 비틀림 진동(torsional oscillation)일 수 있으며 그리고 또한 사인 곡선 또는 다른 유형의 진동일 수 있다. 즉, 시스템은 축에서 앞뒤로 회전하여 렌즈를 이동 방향으로 스윙한 다음 이동 방향의 반대 방향으로 스윙할 수 있다. 시스템의 진동 동안, 렌즈에 대한 이미지 센서의 방향은 고정된 채로 유지될 수 있다. 이동 방향의 반대 방향으로 회전할 때, 시스템은 차량의 움직임을 보상할 수 있다. 이러한 보상은 시스템이 차량 이동으로 인해 흐릿해지는 고정된 객체들의 더 선명한 이미지를 포착할 수 있게 한다. 따라서, 고품질의 이미지들을 가장 많이 얻기 위해, 시스템이 차량 이동 방향과 반대 방향으로 회전할 때만 시스템은 이미지들을 캡처하도록 설정될 수 있다.

기울어진 이미지 센서와 회전 시스템의 조합은 시스템이 여러 초점면들의 다양한 각속도들을 보상할 수 있게 한다. 움직이는 차량으로부터 가까운 거리에 있는 것의 특성으로 인해, 차량에 가까운 객체들은 차량으로부터 멀리 떨어진 객체들보다 더 높은 각속도를 갖는다. 무한대의 객체들은 각속도가 0이다. 객체의 각속도는 객체와 시스템의 반비례 거리를 기준으로 선형으로 변한다. 경사진 이미지 센서가 회전될 때, 이미지 센서의 제1 에지의 각속도는 제2 에지의 각속도보다 더 빠를 수 있다. 이러한 구성은, 차량으로부터 상이한 거리들에서 각속도의 차이를 보상할 수 있고, 그리고 이미지의 상이한 부분들에서 상이한 거리들에 있는 객체들에 대해 초점이 잘 맞춰지고 움직임이 잘 보상되는 이미지의 부분들을 시스템으로 하여금 캡처하도록 할 수 있다.

각속도의 차이를 더 보상하기 위해, 시스템의 회전은 롤링 셔터 노출 및 판독과 동기화될 수 있으며, 그리고 회전 속도의 양은 차량 속도에 비례하도록 조정될 수 있어, 상기 이미지 센서 상의 이미지 움직임은 상기 이미지 센서의 각 영역에서 초점이 있는 객체들에 대해 대략적으로 정지된다.

시스템은, 여러 개의 연속적인 이미지들에 관심 있는 객체들이 나타나지만 이미지 내의 거리들 및 위치들에 따라 하나의 이미지 또는 다른 이미지에서 더 명확하거나 더 많은 초점이 있는 이미지를 충분히 높은 속도로 캡처할 수 있다. 기울어진 이미지 센서는 단일 이미지에 걸쳐 초점 거리의 기울기를 제공할 수 있기 때문에, 이웃하는 이미지들은 상이한 최상의 초점 거리들을 갖는 상이한 이미지 위치들에서 동일한 객체 또는 위치를 캡처할 수 있다.

캡처된 이미지들은 이미지의 객체들로부터 텍스트 정보를 추출하기 위해 프로세싱될 수 있다. 상술한 바와 같이 다양한 초점 거리들을 가지며 움직임에 대한 보상이 이루어진 이미지들로부터 생성된 종래의 기계 판독 방법이 적용될 수 있다.

예시적인 시스템들

도 1은 종래의 이미지 캡처 시스템의 기능적 다이어그램이다. 이미지 캡처 시스템(110)은 서로 평행하게 배열된 렌즈(120) 및 이미지 센서(130)를 가질 수 있다. 그 결과, 초점 평면(140)은 또한 상기 렌즈에 평행하다.

이미지 캡처 시스템은 차량이 움직이는 동안 이미지 캡처 시스템에 의해 캡처된 이미지들의 품질을 향상시키기 위해 상기 렌즈에 평행하지 않고 렌즈와 관련하여 틸트 상에 설치된 이미지 센서를 이용할 수 있다. 도 2에 도시된 바와 같이, 이미지 캡처 시스템(210)은 렌즈(220) 및 이미지 센서(230)를 가질 수 있다. 이미지 센서(230)는 제1 에지와 대향하는 제2 에지보다 멀리있는 객체들에 가장 잘 초점을 맞추기 위해, 제1 에지가 렌즈에 약간 더 가까운 각도(α)로 기울어져서 가까운 객체에 가장 잘 초점을 맞출 수 있다. 객체 거리들의 범위를 커버하기 위해 요구되는 틸트의 양은, 상호 객체 거리: i = f + f²/o에서 대략 선형이며, 여기서 이미지 거리(i)(이미지 센서로부터 렌즈 위치까지)는 초점 거리(f)보다 객체 거리(o)의 역수에 비례하는 양만큼 더 크다.

예를 들어, 렌즈(220)는 0.010m(10mm)의 초점 거리를 가질 수 있으며, 무한대의 먼 거리에서, 이미지 센서(230)의 가까운 에지는 렌즈 평면 뒤 0.010m에 위치될 수 있고; 근거리 객체 거리가 4m인 경우, 이미지 센서(230)의 대향 에지는 렌즈 평면으로부터 0.010025m 뒤에 배치될 수 있다. 하나의 에지에서 다른 에지까지 25 미크론(0.000025 m)의 약간의 틸트는, 이미지 센서 에지가 10 mm 떨어져 있으면 2.5 밀리 라디안(약 0.14도)의 각도에 해당한다. 결과적으로, 이미지 센서의 제1 에지는 이미지 센서(230)의 제2 에지가 포커싱되는 객체들보다 카메라로부터 멀리 떨어진 객체들에 포커싱될 수 있고, 둘 이상의 이미지에서 상이한 위치들에 나타나는 객체들은 다른 것보다 하나에서 더 잘 포커싱될 수 있다.

틸트의 특정 양은 이미징될 객체 거리들의 범위를 가장 잘 커버하는 것으로 결정될 수 있다. 전술한 바와 같이, 틸트의 방향은 차량이 이동하는 방향에 수직인 축, 예를 들어 수직축일 수 있지만, 임의의 다른 방향일 수도 있다.

이미지 센서(230)는 수직으로 또는 세로 방향으로 향하는 로우들을 갖는 롤링-셔터 이미지 센서일 수 있고, 판독 시간은 뒤에서 앞으로 또는 그 역으로 진행할 수 있다. 롤링 셔터는 이미지 센서의 한 에지에서 시작하여 반대편 에지로 진행하는 이미지를 판독하여, 이미지의 상이한 부분들은 약간 상이한 시간들에서 판독된다. 이미지는 또한 단일 칩 또는 복수의 칩들 상의 단일 어레이 내의 픽셀 포토센서들의 집합일 수 있다. 부가적으로 또는 대안적으로, 시스템은 렌즈 뒤에서 한 각도로 배치된 복수의 이미지 센서들을 이용할 수 있다. 렌즈의 제1 에지에서 이미지 센서는 렌즈의 제2 에지에서 이미지 센서보다 렌즈로부터 더 작은 거리일 수 있다. 복수의 이미지 센서들 각각은 전술한 바와 같이 기울어질 수 있다. 복수의 이미지 센서들은 단일 롤링-셔터 이미지 센서로서 동작하도록 구성될 수 있다; 즉, 렌즈의 하나의 에지에서 시작하여 렌즈의 반대편 에지로 진행하는 이미지들을 노출하고 판독한다. 각 이미지 센서는 롤링-셔터 이미지 센서 일 수 있지만, 반드시 그런 것은 아니다.

도 3은 도 2의 이미지 캡처 시스템의 도면이다. 렌즈(220) 및 하나 이상의 이미지 센서들(230)에 더하여, 이미지 캡처 시스템(210)은 하나 이상의 제어기들(310)을 가질 수 있다. 하나 이상의 제어기들(310)은 이미지 캡처 시스템의 동작들을 제어할 수 있다. 예를 들어, 하나 이상의 제어기들(310)은 이미지 캡처 시스템(210)으로 하여금 이미지를 이동시키거나 캡처하게 할 수 있다. 하나 이상의 제어기들은 또한 렌즈(220) 또는 이미지 센서들(230)과 같은 이미지 캡처 시스템(210)의 컴포넌트들을 개별적으로 제어할 수 있다. 일부 예들에서, 이미지 캡처 시스템은, 데이터 및 상기 시스템을 동작시키기 위해 실행될 수 있는 명령어들을 저장하는 메모리를 포함할 수 있다.

기울어진 이미지 센서를 갖는 것에 더하여, 시스템은, 차량이 이동하는 방향에 수직이고 그리고 카메라가 차량의 움직임을 보상하기 위해 지시하는 방향에 수직인 축상에서 회전하도록 구성될 수 있다. 회전은 비틀림 진동일 수 있으며 사인 곡선일 수도 있다. 즉, 시스템은 축에서 앞뒤로 회전하여 렌즈를 이동 방향으로 스윙한 다음 이동 방향의 반대 방향으로 스윙할 수 있다. 도 4에 도시된 바와 같이, 이미지 캡처 시스템(210)은 각도 거리(β)를 커버하는 축(420)을 중심으로 전후로 회전할 수 있다.

시스템의 진동 동안, 렌즈에 대한 이미지 센서의 방향은 고정된 채로 유지 될 수 있다. 즉, 이미지 센서는 렌즈와 함께 회전할 수 있다. 예를 들어, 시스템은 10도의 각도 거리 내에서 앞뒤로 회전할 수 있다. 따라서, 시스템이 이동 방향의 반대 방향으로 회전하는 시간 동안 시스템은 시스템의 변위를 보상할 수 있다. 달리 말하면, 시스템은 이미지 움직임의 방향으로 회전함으로써 센서를 가로지르는 이미지 움직임을 보상할 수 있다. 시스템은, 시스템이 변위 방향과 반대 방향으로(또는 이미지 움직임 방향으로) 회전할 때 이미지들을 캡처하고 변위를 가장 잘 보상하도록 시스템을 구성할 수 있다.

도 5a 및 도 5b는, 본 발명의 예시적인 실시예들에 따라, 무한대로부터 4m의 객체 거리들에 초점을 맞추기 위해 보정된 이미지 캡처 시스템에 대한 이미지 캡처 사이클을 통한 각속도 및 카메라 회전각 대 시간을 도시한다. 도 5a는 실선(510)으로 도시된 시간에 따른 각속도로서 이미지 캡처 시스템의 회전의 예를 그래픽으로 도시한다. 점선(512)은 라디안 단위의 회전량을 나타낸다. 라인(514)은 이미지에 대한 노출 및 판독 간격을 나타내며, 그리고 라인 세그먼트(516)는 이미지 센서의 기울기 및 시스템의 각속도에 기초하여 최상의 움직임 보상을 갖는 거리를 나타낸다. + 기호(518)는 4미터 및 8미터 거리에서의 이동 속도를 보상하기 위한 이상적인 각속도를 나타낸다. 도 5a에서, 이미지 캡처 레이트는 초당 8프레임들(8fps)이며 1/48초의 판독 및 10m/s의 차량 속도를 갖는다. 따라서, 8fps에서, 시스템은 굵은 선(520)에 의해 강조 표시된 사인곡선 움직임의 1/6 동안 이미지들을 형성하고, 여기서 시스템 회전은 4미터에서 무한대까지의 거리를 가장 잘 보상한다.

도 5b는 실선(530)으로 도시된 시간에 따른 각속도로서 이미지 캡처 시스템의 회전의 또 다른 예를 그래프로 도시한다. 점선(532)은 라디안 단위의 회전량을 나타낸다. 라인(534)은 이미지에 대한 노출 및 판독 간격을 나타내며, 그리고 라인 세그먼트(536)는 이미지 센서의 기울기 및 시스템의 각속도에 기초하여 최상의 움직임 보상을 갖는 거리를 나타낸다. + 기호(538)는 4미터 및 8미터 거리에서의 이동 속도를 보상하기 위한 이상적인 각속도를 나타낸다. 도 5b에서, 이미지 캡처 레이트는 초당 12프레임들이며 1/48초의 판독 및 10m/s의 차량 속도를 갖는다. 더 높은 프레임 레이트는 톱니형 파형에 더 가까운 움직임(12Hz 사이클의 5배 고조파까지 사용하는, 다른 하나보다 느린 램프의 한 방향)을 사용하여 얻어진다. 12 fps의 레이트에서, 시스템은 굵은 선(540)에 의해 강조 표시된, 사이클의 1/4 동안 이미지들을 형성한다.

회전에 추가하여 또는 회전의 대안으로서, 시스템은 차량이 이동하는 방향에 평행한 평면에서 병진 진동으로서 좌우로 진동할 수 있다. 또 다른 예에서, 전체 시스템을 회전시키거나 진동시키는 것보다 이미지 센서만이 이미지 움직임을 보상하기 위해 렌즈에 대해 진동될 수 있다.

기울어진 이미지 센서와 회전 시스템의 결합은, 시스템으로 하여금 다수의 초점면들의 다양한 각속도들을 보상할 수 있게 한다. 움직이는 차량으로부터 가까운 거리에 있는 것의 특성으로 인해, 차량에 가까운 객체들은 차량으로부터 멀리 떨어진 객체들보다 더 높은 각속도를 갖는다. 예를 들어, 차량 속도가 10m/s인 경우, 4m 거리에 있는 객체의 각속도는 2.5rad/s 또는 2.5mrad/ms이다. 무한대의 객체들은 각속도가 0이다. 객체의 각속도는 객체와 시스템의 반비례 거리를 기준으로 선형으로 변한다. 경사진 이미지 센서가 회전될 때, 이미지 센서의 제1 에지의 각속도는 제2 에지의 각속도보다 더 빠를 수 있다. 즉, 근거리 초점을 갖는 이미지 센서의 에지는 보다 빠른 각속도를 가질 수 있다. 이러한 구성은, 차량으로부터 상이한 거리들에서 각속도의 차이를 보상할 수 있고, 그리고 이미지의 상이한 부분들에서 상이한 거리들에 있는 객체들에 대해 초점이 잘 맞춰지고 움직임이 잘 보상되는 이미지의 부분들을 시스템으로 하여금 캡처하도록 할 수 있다.

시스템은, 여러 개의 연속적인 이미지들에 관심 있는 객체들이 나타나지만 이미지 내의 거리들 및 위치들에 따라 하나의 이미지 또는 다른 이미지에서 더 명확한 이미지들을 충분히 높은 속도로 캡처할 수 있다. 즉, 객체들은 둘 이상의 이미지 및 상이한 이미지들의 상이한 점들에 나타날 수 있다. 예를 들어, 시스템은 진동 사이클 당 하나의 샷을 캡처할 수 있으며, 각 진동은 10도 회전 이내이다. 이러한 1/6 사이클 노출 및 판독은 판독 시간의 약 6배 또는 이미지 센서의 최대 프레임 레이트의 1/6과 동일한 프레임 간격에 해당할 수 있다. 1/48초 단위로 판독할 수 있는 이미지 센서에 대하여, 총 8개의 이미지들이 초당 캡처될 수 있거나, 또는 차량이 10m/s로 이동하는 경우 매 1.25m마다 이미지가 캡처될 수 있고, 이는 (카메라의 시야각에 따라) 차량으로부터 수 미터 이상 떨어진 객체의 다수의 시점들을 포착할 수 있다.

기울어진 이미지 센서는 단일 이미지에 걸쳐 초점 거리의 기울기를 제공할 수 있기 때문에, 이웃하는 이미지들은 상이한 최상의 초점 거리들을 갖는 상이한 이미지 위치들에서 동일한 객체 또는 위치를 캡처할 수 있다. 예를 들어, 거리가 8m인 객체는 (시야에 따라) 3개 이상의 상이한 이미지들에서 나타날 수 있으며, 그 중 적어도 하나에서, 가장 좋은 초점 거리가 8m(반경 거리에 대해 무한대와 4m 에지들 사이의 중간)인 이미지의 중심 근처에 객체가 나타난다. 움직임 보상이 무한 에지에서 어떤 회전에 대해서도 조정되지 않고 그리고 다른 에지에서 4m 거리(초당 2.5 라디안의 회전)인 객체들에 대해 10m/s인 차량의 움직임을 보상하며, 이들 사이에서 대략 선형적으로 변화하면, 이후, 이미지의 중앙 근처 8m 거리에서 객체의 모션 블러를 대략적으로 취소할 것이다. 유사하게, 4m와 무한대 사이의 거리에 있는 다른 객체들은 대략 상응하는 이미지 위치들에서 초점이 잘 맞추어지고 움직임이 보상될 것이며, 이러한 다른 객체들이 여러 이미지들에서 나타나면, 적어도 하나에서 선명할 것이다.

도 6에 도시된 바와 같이, 이미지 캡처 시스템(210)은 차량(600)에 통합될 수 있다. 본 개시의 특정 양상들이 특정 유형들의 차량들과 관련하여 특히 유용하지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레크리에이션 차량들(이에 한정되지 않음) 등을 포함하는 임의의 유형의 차량일 수 있다. 상기 차량은, 하나 이상의 프로세서들(620), 메모리(630) 및 통상적으로 범용 컴퓨팅 디바이스들에 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스(610)와 같은 하나 이상의 컴퓨팅 디바이스들을 가질 수 있다. 이미지 캡처 시스템(210)은 컴퓨팅 디바이스(610)에 연결될 수 있고 그리고 차량(600)상에 장착될 수 있다. 메모리(630)는, 프로세서(620)에 의해 실행되거나 또는 다르게 사용될 수 있는 데이터(632) 및 명령어들(634)을 포함하여, 하나 이상의 프로세서들(620)에 의해 액세스 가능한 정보를 저장한다. 하나 이상의 프로세서들(620)은, 상업적으로 이용 가능한 CPU들과 같은 임의의 종래 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서들은 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다.

메모리(630)는 컴퓨팅 디바이스-판독 가능 매체, 또는 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체, 예컨대 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크뿐만 아니라 다른 기록 가능 및 판독 전용 메모리들을 포함하는, 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 시스템들 및 방법들은 전술한 것들의 상이한 조합들을 포함할 수 있으며, 이에 따라 명령어들 및 데이터의 상이한 부분들이 상이한 유형들의 매체상에 저장된다.

데이터(632)는 명령어들(634)에 따라 프로세서(620)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들어, 청구된 주제가 임의의 특정 데이터 구조에 의해 제한되지는 않지만, 데이터는, 컴퓨팅 디바이스 레지스터들, 복수의 상이한 필드들 및 레코드들, XML 문서들 또는 플랫 파일들을 갖는 테이블과 같은 관계형 데이터베이스에 저장될 수 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독가능 포맷으로 포맷될 수 있다.

명령어들(634)은, 프로세서에 의해 (머신 코드와 같이) 직접적으로 실행될 명령어들 또는 (스크립트들과 같이) 간접적으로 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, "명령어들(instructions)" 및 "프로그램들(programs)"이라는 용어들은 여기에서 상호교환적으로 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위한 오브젝트 코드 포맷으로 저장될 수 있거나, 또는 요구에 따라 해석되거나 사전 컴파일된 독립 소스 코드 모듈들의 스크립트들 또는 집합들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령어들의 기능들, 방법들 및 루틴들은 아래에서보다 자세히 설명된다.

도 6은 컴퓨팅 디바이스(610)의 프로세서, 메모리 및 다른 요소들이 동일한 블록 내에 있는 것으로 기능적으로 도시하고 있지만, 프로세서, 컴퓨팅 디바이스 또는 메모리는 실제로 동일한 물리적 하우징 내에 저장될 수도 있고 저장되지 않을 수도 있는 다수의 프로세서들, 컴퓨팅 디바이스들 또는 메모리들을 포함할 수 있음을 통상의 기술자는 이해할 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스(610)의 하우징과 상이한 하우징에 위치한 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조들은 병렬로 동작할 수도 있고 동작하지 않을 수도 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 집합에 대한 참조들을 포함하는 것으로 이해될 것이다.

컴퓨팅 디바이스(610)는 사용자 입력(650)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 가진 모니터 또는 정보를 디스플레이하도록 동작할 수 있는 임의의 다른 전기 디바이스)뿐만 아니라 상기에서 서술된 프로세서 및 메모리와 같은 컴퓨팅 디바이스와 관련하여 통상적으로 사용되는 모든 컴포넌트들을 가질 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하는 하나 이상의 스피커들(654)뿐만 아니라 내부 전자 디스플레이(652)를 포함한다. 이와 관련하여, 내부의 전자 디스플레이(652)는 차량(600)의 캐빈 내에 위치될 수 있고, 그리고 차량(600) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스(610)에 의해 사용될 수 있다.

컴퓨팅 디바이스(610)는 또한 이하에서 상세히 서술되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들과의 통신을 용이하게하기 위해 하나 이상의 무선 네트워크 접속들(654)을 포함할 수 있다. 무선 네트워크 접속들은, 블루투스, 블루투스 저 에너지(LE), 셀룰러 접속들과 같은 단거리 통신 프로토콜들과 함께, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사들이 소유한 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP 그리고 이들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다.

이미지 캡처 시스템(210)에 추가하여, 컴퓨팅 디바이스(610)는 또한 차량 (600)의 하나 이상의 차량 작동 시스템들(660)과 통신할 수 있다. 차량 작동 시스템들(660)은 감속, 가속, 조향, 시그널링, 네비게이션, 위치 확인, 검출 등 중 하나 이상의 것과 같은 차량의 작동들이 관련된 시스템을 포함할 수 있다. 비록 하나 이상의 차량 동작 시스템들(660)이 컴퓨팅 디바이스(610) 외부에 도시되어 있지만, 실제로, 시스템은 또한 컴퓨팅 디바이스(610)에 통합될 수 있다.

이미지 캡처 시스템(210)은, 또한, 캡처된 이미지들과 같은 정보를 다른 컴퓨팅 디바이스들로부터 수신하거나 다른 컴퓨팅 디바이스들로 전송할 수 있다. 도 7 및 도 8은, 각각, 네트워크(760)를 통해 연결되는 복수의 컴퓨팅 디바이스들(710, 720, 730, 740) 및 저장 시스템(750)을 포함하는 예시적인 시스템(700)의 그림 및 기능도들이다. 시스템(700)은 또한 이미지 캡처 시스템(210)을 포함한다. 단순화를 위해 단지 몇 개의 컴퓨팅 디바이스들 만이 도시되지만, 통상적인 시스템은 훨씬 더 많은 것을 포함할 수 있다. 부가적으로 또는 대안적으로, 차량(600)과 같은 하나 이상의 차량들이 시스템(700)에 포함될 수 있다.

도 8에 도시된 바와 같이, 컴퓨팅 디바이스들(710, 720, 730, 740) 각각은 하나 이상의 프로세서들, 메모리, 데이터 및 명령어들을 포함할 수 있다. 그와 같은 프로세서들, 메모리들, 데이터 및 명령어들은 컴퓨팅 디바이스(610)의 하나 이상의 프로세서들(620), 메모리(630), 데이터(632) 및 명령어들(634)과 유사하게 구성될 수 있다.

네트워크(760) 및 개재된 노드들은, 블루투스, 블루투스 LE, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사들에 독점적인 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 그리고 이전것들의 다양한 조합들이 포함될 수 있다. 그와 같은 통신은, 모뎀들 및 무선 인터페이스들과 같은 다른 컴퓨팅 디바이스들로/다른 컴퓨팅 디바이스들로부터 데이터를 전송할 수 있는 임의의 디바이스에 의해 용이하게될 수 있다.

추가로, 서버 컴퓨팅 디바이스들(710)은, 사용자, 예를 들어, 컴퓨팅 디바이스들(720, 730, 740)의 디스플레이들(724, 734, 742)과 같은 디스플레이상의 사용자(722, 732, 742)에게 정보를 전송하고 제시하기 위해 네트워크(760)를 사용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(720, 730, 740)은 클라이언트 컴퓨팅 디바이스들로 간주될 수 있다.

도 8에 도시된 것처럼, 각각의 클라이언트 컴퓨팅 디바이스(720, 730, 740)는 사용자(722, 732, 742)에 의한 사용을 의도한 개인용 컴퓨팅 디바이스일 수 있고, 그리고 하나 이상의 프로세서들(예를 들어, 중앙 처리 유닛(CPU)), 데이터 및 명령어들을 저장하는 메모리(예컨대, RAM 및 내부 하드 드라이브들), 디스플레이들(724, 734, 744)들과 같은 디스플레이(예를 들어, 스크린, 터치 스크린, 프로젝터, 텔레비전 또는 정보를 디스플레이하도록 동작할 수 있는 다른 디바이스를 갖는 모니터) 및 사용자 입력 디바이스들(726, 736, 746)(예를 들어, 마우스, 키보드, 터치 스크린 또는 마이크로폰)을 포함하는 개인용 컴퓨팅 디바이스들과 관련하여 사용되는 모든 컴포넌트들을 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 또한 비디오 스트림들을 기록하는 카메라, 스피커들, 네트워크 인터페이스 디바이스 및 이들 요소들을 다른 요소와 접속하기 위해 사용되는 모든 컴포넌트들을 포함할 수 있다.

추가로, 클라이언트 컴퓨팅 디바이스들(720 및 730)은 클라이언트 컴퓨팅 디바이스들의 위치 및 배향을 결정하기 위한 컴포넌트들(728 및 738)을 또한 포함할 수 있다. 예를 들어, 이러한 컴포넌트들은 가속도계, 자이로스코프 또는 다른 방향/속도 감지 디바이스와 함께 디바이스의 위도, 경도 및/또는 고도를 결정하는 GPS 수신기를 포함할 수 있다.

클라이언트 컴퓨팅 디바이스들(720, 730 및 740) 각각은 풀 사이즈 개인용 컴퓨팅 디바이스를 각각 포함할 수 있지만, 대안적으로 인터넷과 같은 네트워크를 통해 서버와 무선으로 데이터를 교환할 수 있는 모바일 컴퓨팅 디바이스들을 포함 할 수 있다. 단지 예로서, 클라이언트 컴퓨팅 디바이스(720)는 이동 전화일 수 있거나, 무선 가능 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스 또는 시스템과 같은 디바이스, 또는 인터넷 또는 다른 네트워크들을 통해 정보를 얻을 수 있는 넷북일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(730)는 도 7의 머리에 장착되는 컴퓨팅 시스템으로 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 예로서, 사용자는 소형 키보드, 키패드, 마이크로폰을 사용하거나, 카메라를 통해 시각 신호들을 사용하거나 또는 터치 스크린을 사용하여 정보를 입력할 수 있다.

저장 시스템(750)은, 여기에 서술된 피처들의 일부 또는 모두를 수행하기 위해, 하나 이상의 서버 컴퓨팅 디바이스들(710)과 같은 서버 컴퓨팅 디바이스에 의해 검색되거나 또는 액세스될 수 있는 다양한 유형들의 정보를 저장할 수 있다. 저장 시스템(750)은 이미지 캡처 시스템(210)에 의해 캡처되는 이미지들을 저장할 수 있다. 위치 정보 및 포즈 정보와 같은 이미지들과 관련된 정보는 이미지들과 연관되어 저장될 수 있다.

메모리(730)에서와 같이, 저장 시스템(750)은 하드-드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 쓰기 가능 메모리 및 판독 전용 메모리 등과 같은 서버 컴퓨팅 디바이스들(710)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터 저장 장치일 수 있다. 추가로, 저장 시스템(750)은, 동일하거나 상이한 지리적 위치들에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스들 상에 데이터가 저장되는 분산 저장 시스템을 포함할 수 있다. 저장 시스템(750)은 도 7에 도시된 바와 같이 네트워크(760)를 통해 컴퓨팅 디바이스들에 접속될 수 있고 그리고/또는 컴퓨팅 디바이스들(710,720,730,740), 이미지 캡처 디바이스(210) 중 임의의 것에 직접 연결되거나 또는 포함될 수 있다.

예시적인 방법들

도 9는 시스템의 하나 이상의 제어기들에 의해 수행될 수 있는 전술한 양상들 중 일부에 따른 예시적인 흐름도(900)이다. 이 예에서, 하나 이상의 이미지 센서들은 블록(910)에서 이미지 캡처 시스템의 렌즈 뒤에 일정 각도로 구성될 수 있다. 이후, 이미지 캡처 시스템은 블록(920)에서 이미지 캡처 시스템의 움직임의 방향에 기초하여 진동될 수 있다. 예를 들어, 이미지 캡처 시스템은 차량에 장착될 수 있으며, 이 경우 차량이 이동하는 방향은 이미지 캡처 시스템의 움직임 방향이 될 수 있다. 블록(930)에서, 이미지 캡처 시스템은 시스템 내의 렌즈의 제1 에지에서 시작하여 제1 에지의 대향인 렌즈의 제2 에지로 진행하는 이미지들을 노출 및 판독할 수 있다. 이러한 방식으로 이미지들을 노출 및 판독하기 위해, 이미지 캡처 시스템의 센서는 롤링-셔터 이미지 센서일 수 있다.

캡처된 이미지들은 이미지의 객체들로부터 텍스트 정보를 추출하기 위해 프로세싱될 수 있다. 전술한 바와 같이 다양한 초점 거리들을 가지며 움직임에 대한 보상이 이루어진 이미지들로부터 생성된 경우, 종래의 기계 판독 방법이 적용될 수있다. 예를 들어, OCR을 사용하여 표지판에 있는 단어를 읽을 수 있다. 캡처된 이미지들은 이미지 캡처 디바이스(210)에서 프로세싱될 수 있다. 다른 예들에서, 캡처된 이미지들은 네트워크(760)를 통해 하나 이상의 컴퓨팅 디바이스들(710, 720, 730, 740)로 전송되고 그리고 하나 이상의 컴퓨팅 디바이스들에서 프로세싱될 수 있다. 캡처된 이미지들 및/또는 추출된 정보는, 이미지 캡처 시스템(210) 또는 하나 이상의 컴퓨팅 디바이스들(710, 720, 730, 740)로부터 네트워크(760)를 통해 저장 시스템(750)으로 전송될 수 있다. 사용자 요청에 응답하여, 캡처된 이미지 또는 추출된 정보가 저장 시스템(750)으로부터 검색될 수 있다.

일부 예들에서, 합성 이미지는 이미지로부터 정보를 추출하기 위해 가장 포커싱되어 프로세싱된 캡처 이미지들의 선택 부분들을 함께 스티칭(stitching)하여 생성될 수 있다. 합성 이미지는 파노라마 이미지일 수 있다. 가장 포커싱된 캡처된 이미지들의 부분들을 선택하기 위해, 특정 위치를 캡처하는 상이한 이미지들의 부분들이 비교될 수 있다. 가장 선명한 특정 위치 또는 초점 거리에 가장 가까운 위치를 묘사하는 캡처 된 이미지의 부분은 합성 이미지에 포함되도록 선택될 수 있다. 시스템은, 특정 위치와 차량 사이의 거리를 탐지하기 위해 LIDAR를 사용할 수 있다. 검출된 거리와 일치하는 거리에 포커싱된 이미지 센서 부분에서 특정 위치가 캡처되는, 캡처된 이미지의 부분은, 합성 이미지에 포함되도록 선택될 수 있다. 이후, 생성된 합성 이미지는 이미지 내의 객체들로부터 텍스트 정보를 추출하기 위해 프로세싱될 수 있다.

위에 서술된 기능은, 자동차를 운전할 때와 같이 고속으로 이동할 때 광범위한 거리들에서 포커싱되는 이미지들을 캡처할 수 있게 한다. 기울어진 이미지 센서, 회전 또는 진동, 또는 중첩 이미지 각각은 위에서 논의된 바와 같은 일반적인 이미지 캡처 시스템에 비해 개별적인 이점들을 제공하지만, 이들의 조합은 전술한 바와 같이 합성 이미지들을 생성하기 위한 캡처된 이미지들의 최상의 소스를 제공할 수 있다. 결과적으로, 합성 이미지들은 움직이는 차량에서 촬영된 이미지에서 통상적으로 캡처된 것보다 많은 정보를 포함할 수 있다. 예를 들어, 통상적인 이미지 캡처 시스템에 의해 캡처된 경우, 판독하기에 너무 흐리거나 초점이 맞지 않는 표지들 상의 단어들과 같은 텍스트 정보를 추출하기 위해, 합성 이미지들은 사후 처리에 사용될 수 있다. 또한, 기울어진 이미지 센서와 이미지 센서의 움직임은, 이미지들이 다양한 초점 거리들 및 움직임 보상 정도들에서 캡처되는 하나의 카메라로 단일 패스에서 이미지들을 효율적으로 캡처할 수 있게 해준다. 이와 같이, 상기 개시된 피처들은 보다 넓은 조리개 및 더 느린 셔터 속도의 사용을 가능하게 하여, 이미지 캡처 시스템이 고속으로 선명한 이미지들을 생성하기에 충분한 빛을 얻을 수 있게 한다.

본 발명은 특정 실시예들을 참조하여 서술되었지만, 이들 실시예들은 단지 본 발명의 원리들 및 애플리케이션들을 나타내는 것임을 이해해야 한다. 따라서, 예시적인 실시예들에 대해 많은 수정들이 이루어질 수 있으며 그리고 첨부된 청구 범위에 의해 정의된 본 발명의 사상 및 범위를 벗어나지 않고 다른 구성이 고안될 수 있음을 이해해야 한다.

Claims

이미지 캡처 시스템으로서,
이미지를 생성하는 렌즈와;
제1 에지 및 상기 제1 에지에 대향하는 제2 에지를 가지는 이미지 센서 - 상기 렌즈가 멀리 떨어진 객체들에 포커싱하도록 상기 제1 에지는 상기 객체들보다 상기 렌즈에 가깝게 배치되며 - 와;
상기 이미지 센서에서 이미지 움직임의 시변 보상(time-varying compensation)을 제공하는 이미지 스태빌라이저(image stabilizer)와; 그리고
제어기를 포함하고,
상기 제어기는:
반복하는 사이클에서 상기 이미지 캡처 시스템을 작동시키고, 각 사이클 동안 상기 제어기는 하나의 에지로부터 대향하는 에지로 점진적으로 이미지를 노출 및 판독하도록 상기 센서를 작동시키며, 그리고
상기 센서의 제1 에지를 노출 및 판독하는 경우보다 상기 센서의 제2 에지를 노출 및 판독할 때 시간에 따라 변하는 이미지 움직임 보상이 커지게끔 상기 시간에 따라 변하는 이미지 움직임 보상을 제공하도록 상기 이미지 스태빌라이저를 작동시키는 것을 특징으로 하는
이미지 캡처 시스템.
제1항에 있어서,
상기 이미지 스태빌라이저는, 상기 이미지 움직임의 방향에 수직인 축을 중심으로 한 회전 진동(rotational oscillation)인 상기 이미지 캡처 시스템의 진동을 포함하는 것을 특징으로 하는
이미지 캡처 시스템.
제2항에 있어서,
상기 이미지 캡처 시스템의 회전 진동은 수직축을 중심으로 하는 것을 특징으로 하는
이미지 캡처 시스템.
제1항에 있어서,
상기 제어기는, 또한, 상기 센서의 제1 에지를 노출 및 판독할 때 제1 거리의 객체들에 대해 그리고 상기 센서의 제2 에지를 노출 및 판독할 때 제2 거리의 객체들에 대해 상기 이미지 움직임을 보상하는 이미지 움직임 보상의 양(amount)을 제공하도록 상기 이미지 스태빌라이저를 작동시키고, 상기 제1 거리는 상기 제2 거리보다 큰 것을 특징으로 하는
이미지 캡처 시스템.
제4항에 있어서,
상기 제어기는, 또한, 상기 제1 에지와 상기 제2 에지 사이에서 상기 이미지 센서의 부분들을 노출 및 판독할 때 상기 제1 거리와 상기 제2 거리 사이의 객체들에 대해 이미지 움직임을 보상하는 이미지 움직임 보상의 양을 제공하기 위해 상기 이미지 스태빌라이저를 작동시키는 것을 특징으로 하는
이미지 캡처 시스템.
제1항에 있어서,
상기 제어기는, 또한, 합성 이미지 내의 객체들로부터 텍스트 정보를 추출하기 위해 상기 합성 이미지를 프로세싱하는 것을 특징으로 하는
이미지 캡처 시스템.
제1항에 있어서,
상기 이미지 센서는 로우(row)들이 수직으로 배향되고 판독 시간들이 뒤에서 앞으로 진행하는 롤링-셔터 이미지 센서(rolling-shutter image sensor)인 것을 특징으로 하는
이미지 캡처 시스템.
제2항에 있어서,
상기 렌즈에 대한 상기 이미지 센서의 배치는 상기 이미지 캡처 시스템의 진동에 영향을 받지 않는 것을 특징으로 하는
이미지 캡처 시스템.
제1항에 있어서,
상기 이미지 스태빌라이저 보상은 상기 이미지 움직임의 방향에 수직인 축을 중심으로 상기 이미지 센서의 회전 진동을 포함하는 것을 특징으로 하는
이미지 캡처 시스템.
제9항에 있어서,
상기 이미지 센서의 회전 진동은 10도 이하의 회전을 포함하는 것을 특징으로 하는
이미지 캡처 시스템.
이미지를 캡처하는 방법으로서,
하나 이상의 제어기들을 사용하여, 복수의 이미지들을 캡처하기 위해 반복하는 사이클에서 이미지 캡처 시스템을 작동시키는 단계 - 상기 이미지 캡처 시스템은 렌즈, 이미지 센서 및 이미지 스태빌라이저를 갖고, 상기 이미지 센서는 제1 에지 및 상기 제1 에지에 대향하는 제2 에지를 가지고, 상기 렌즈가 멀리 떨어진 객체들에 포커싱하도록 상기 제1 에지는 상기 객체들보다 상기 렌즈에 가깝게 배치되며 - 와;
각각의 사이클 동안, 상기 하나 이상의 제어기들을 사용하여, 하나의 에지로부터 대향하는 에지로 점진적으로 이미지를 노출 및 판독하는 센서를 작동시키는 단계와; 그리고
상기 하나 이상의 제어기들을 사용하여, 상기 센서의 제1 에지를 노출 및 판독하는 경우보다 상기 센서의 제2 에지를 노출 및 판독할 때 시변 이미지 움직임 보상이 커지게끔 상기 시변 이미지 움직임 보상을 제공하도록 상기 이미지 스태빌라이저를 작동시키는 단계를 포함하는 것을 특징으로 하는
이미지를 캡처하는 방법.
제11항에 있어서,
상기 이미지 스태빌라이저는, 상기 이미지 움직임의 방향에 수직인 축을 중심으로 한 회전 진동인 상기 이미지 캡처 시스템의 진동을 포함하는 것을 특징으로 하는
이미지를 캡처하는 방법.
제12항에 있어서,
상기 이미지 캡처 시스템의 회전 진동은 수직축을 중심으로 하는 것을 특징으로 하는
이미지를 캡처하는 방법.
제11항에 있어서,
시변 이미지 움직임 보상을 제공하도록 상기 이미지 스태빌라이저를 작동시키는 단계는, 상기 센서의 제1 에지를 노출 및 판독할 때 제1 거리의 객체들에 대해 그리고 상기 센서의 제2 에지를 노출 및 판독할 때 제2 거리의 객체들에 대해 이미지 움직임을 보상하는 단계 - 상기 제1 거리는 상기 제2 거리보다 크며 - 와, 그리고 상기 제1 에지와 상기 제2 에지 사이에서 상기 이미지 센서의 부분들을 노출 및 판독할 때 상기 제1 거리와 상기 제2 거리 사이의 객체들에 대해 이미지 움직임을 보상하는 단계를 더 포함하는 것을 특징으로 하는
이미지를 캡처하는 방법.
제11항에 있어서,
상기 하나 이상의 제어기들을 사용하여, 상기 이미지들 내의 객체들로부터 텍스트 정보를 추출하기 위해 상기 복수의 이미지들을 프로세싱하는 단계를 더 포함하는 것을 특징으로 하는
이미지를 캡처하는 방법.
제11항에 있어서,
상기 이미지 센서는 로우들이 수직으로 배향되고 판독 시간들이 뒤에서 앞으로 진행하는 롤링-셔터 이미지 센서인 것을 특징으로 하는
이미지를 캡처하는 방법.
제12항에 있어서,
상기 이미지 센서의 각도는 상기 렌즈에 대해 고정되는 것을 특징으로 하는
이미지를 캡처하는 방법.
하나 이상의 제어기들에 의해 실행될 때, 상기 하나 이상의 제어기들로 하여금 이미지를 캡처하는 방법을 수행하도록 하는 명령어들이 저장되는 비-일시적인 컴퓨터 판독가능 매체로서,
상기 이미지를 캡처하는 방법은:
복수의 이미지들을 캡처하기 위해 반복하는 사이클에서 이미지 캡처 시스템을 작동시키는 단계 - 상기 이미지 캡처 시스템은 렌즈, 이미지 센서 및 이미지 스태빌라이저를 갖고, 상기 이미지 센서는 제1 에지 및 상기 제1 에지에 대향하는 제2 에지를 가지고, 상기 렌즈가 멀리 떨어진 객체들에 포커싱하도록 상기 제1 에지는 상기 객체들보다 상기 렌즈에 가깝게 배치되며 - 와;
각각의 사이클 동안, 하나의 에지로부터 대향하는 에지로 점진적으로 이미지를 노출 및 판독하는 센서를 작동시키는 단계와; 그리고
상기 센서의 제1 에지를 노출 및 판독하는 경우보다 상기 센서의 제2 에지를 노출 및 판독할 때 시변 이미지 움직임 보상이 커지게끔 상기 시변 이미지 움직임 보상을 제공하도록 상기 이미지 스태빌라이저를 작동시키는 단계를 포함하는 것을 특징으로 하는
비-일시적인 컴퓨터 판독가능 매체.
제18항에 있어서,
시변 이미지 움직임 보상을 제공하도록 상기 이미지 스태빌라이저를 작동시키는 단계는, 상기 센서의 제1 에지를 노출 및 판독할 때 제1 거리의 객체들에 대해 그리고 상기 센서의 제2 에지를 노출 및 판독할 때 제2 거리의 객체들에 대해 이미지 움직임을 보상하는 단계 - 상기 제1 거리는 상기 제2 거리보다 크며 - 와, 그리고 상기 제1 에지와 상기 제2 에지 사이에서 상기 이미지 센서의 부분들을 노출 및 판독할 때 상기 제1 거리와 상기 제2 거리 사이의 객체들에 대해 이미지 움직임을 보상하는 단계를 더 포함하는 것을 특징으로 하는
비-일시적인 컴퓨터 판독가능 매체.
제18항에 있어서,
상기 방법은, 상기 이미지들 내의 객체들로부터 텍스트 정보를 추출하기 위해 상기 복수의 이미지들을 프로세싱하는 단계를 더 포함하는
비-일시적인 컴퓨터 판독가능 매체.