KR101637621B1 - 카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치 - Google Patents

카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101637621B1
KR101637621B1 KR1020117017882A KR20117017882A KR101637621B1 KR 101637621 B1 KR101637621 B1 KR 101637621B1 KR 1020117017882 A KR1020117017882 A KR 1020117017882A KR 20117017882 A KR20117017882 A KR 20117017882A KR 101637621 B1 KR101637621 B1 KR 101637621B1
Authority
KR
South Korea
Prior art keywords
image
line
lines
horizontal
sampled
Prior art date
Application number
KR1020117017882A
Other languages
English (en)
Other versions
KR20110122819A (ko
Inventor
달라스 드와이트 힉커슨
Original Assignee
파나소닉 오토모티브 시스템즈 컴퍼니 오브 어메리카, 디비젼 오브 파나소닉 코포레이션 오브 노쓰 어메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 오토모티브 시스템즈 컴퍼니 오브 어메리카, 디비젼 오브 파나소닉 코포레이션 오브 노쓰 어메리카 filed Critical 파나소닉 오토모티브 시스템즈 컴퍼니 오브 어메리카, 디비젼 오브 파나소닉 코포레이션 오브 노쓰 어메리카
Publication of KR20110122819A publication Critical patent/KR20110122819A/ko
Application granted granted Critical
Publication of KR101637621B1 publication Critical patent/KR101637621B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

비디오 시스템을 조작하는 방법은 어안 렌즈의 사용에 의해 캡처된 이미지를 수신하는 것을 포함한다. 상기 이미지는 복수의 수평 이미지 라인들로 분할된다. 각각의 상기 수평 이미지 라인들의 각각의 프랙션이 상이한 각각의 샘플링 주파수로 샘플링된다. 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있다. 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인과 함께 증가한다.

Description

카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치{METHOD AND APPARATUS FOR CORRECTION OF AN IMAGE FROM A FISHEYE LENS IN A CAMERA}
본 발명은 어안 렌즈(fisheye lens)를 포함하는 카메라 시스템을 조작하기 위한 장치 및 방법에 관한 것이며, 특히, 어안 렌즈를 포함하는 자동차용 리어 뷰 카메라 시스템을 조작하기 위한 장치 및 방법에 관한 것이다.
자동차용 리어 뷰 카메라는 종종 광학 어안 렌즈를 사용한다. 어안 렌즈는 매우 넓은 반구상의 이미지(hemispherical image)를 생성하는 광각 렌즈의 한 유형이다. 모든 초광각 렌즈들과 같이, 어안 렌즈는, 특히 극단적으로 넓은 화각들(extremely wide angles of view)에 대하여, 원통형 왜곡(barrel distortion)을 겪고, 이로 인해 볼록한 외관(convex appearance)이 생긴다.
자동차용 리어 뷰 카메라를 통해 캡처된 왜곡된 이미지의 예가 도 1에 도시되어 있다. 어안 렌즈에 의해 생성된 왜곡을 표상하는 바와 같이, 시야(field of view)는 이미지의 하부에서보다 이미지의 상부에서 훨씬 더 넓고, 예를 들면, 약 3배 정도 더 넓다. 이러한 상이(disparity)의 이유는 이미지의 상부에 있는 물체들이 이미지의 하부에 있는 물체들보다 렌즈로부터 더 멀리 떨어져 있기 때문일 수 있다.
어안 렌즈에 의해 생성된 왜곡을 SDRAM을 갖는 비디오 디지털 신호 프로세서(DSP)를 이용하여 제거하는 것이 가능할 수 있다. 그러나, 그러한 완비된(full-blown) DSP의 사용은 고비용의 해결책일 수 있고 따라서 과잉(overkill)으로 생각될 수 있다.
따라서, 종래 기술에 비추어 예상되지도 않고 명백하지도 않은 것은 어안 렌즈의 사용에 의해 캡처된 이미지들로부터 왜곡을 제거하고, 저비용의 방법으로 그렇게 하는 옵션을 뷰어(viewer)에 제공하는 방법이다.
[발명의 개요]
본 발명은 왜곡의 양에 비례하여 이미지의 상부의 중간 부분을 "늘이는"(stretching out) 것에 의해 어안렌즈 왜곡을 정정하는 방법을 제공한다. "늘이는" 정도, 또는 늘임(stretching) 동안에 제거되는 이미지의 주변부의 폭은 이미지의 하부에서 캡처된 이미지 전체가 포함될 때까지 이미지의 상부로부터 이미지의 하부까지 끊임없이 감소할 수 있다.
하나의 실시예에서, 어안 렌즈에 의해 야기된 왜곡을 제거하기 위해 비디오 FIFO(First-In, First-Out) 메모리가 사용되고, 왜곡의 제거는 왜곡의 정도에 비례하여 FIFO 메모리의 클록을 변조하는 것에 의해 달성된다.
본 발명은, 그것의 한 형태로, 어안 렌즈의 사용에 의해 캡처된 이미지를 수신하는 것을 포함하는 비디오 시스템을 조작하는 방법을 포함한다. 상기 이미지는 복수의 수평 이미지 라인들로 분할된다. 각각의 상기 수평 이미지 라인들의 각각의 프랙션(fraction)이 상이한 각각의 샘플링 주파수로 샘플링된다. 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있다(inversely related). 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인과 함께 증가한다. 상기 샘플링된 프랙션의 사이즈(및 따라서 샘플링 주파수)는 왜곡 특성과 같은 렌즈의 특성의 함수일 수 있다.
본 발명은, 그것의 다른 형태로, 어안 렌즈의 사용에 의해 캡처된 제1 아날로그 이미지를 수신하는 것을 포함하는 비디오 시스템을 조작하는 방법을 포함한다. 상기 아날로그 이미지는 디지털 이미지 데이터로 변환된다. 상기 이미지 데이터는 복수의 이미지 라인들로 분할된다. 각각의 상기 이미지 라인들의 각각의 중간 부분이 상이한 각각의 샘플링 주파수로 샘플링된다. 각각의 샘플링 주파수는 상기 중간 부분이 차지하는 상기 각각의 이미지 라인의 프랙션과 역관계에 있다. 상기 중간 부분이 차지하는 상기 이미지 라인의 프랙션은 상기 이미지의 제1 에지로부터 상기 이미지의 제2 에지까지 진행하면서 각각의 이미지 라인과 함께 증가한다. 상기 샘플링된 디지털 이미지 라인들은 제2 아날로그 이미지로 변환된다.
본 발명은, 그것의 또 다른 형태로, 어안 렌즈의 사용에 의해 캡처된 제1 이미지를 수신하는 것을 포함하는 비디오 시스템을 조작하는 방법을 포함한다. 상기 이미지는 복수의 수평 이미지 라인들로 분할된다. 각각의 이미지 라인은 중간 부분 및 2개의 측면 부분들(lateral portions)을 갖는다. 상기 측면 부분들에 관한 상기 중간 부분의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 각각의 수평 이미지 라인과 함께 증가한다. 상기 이미지 라인들의 상기 측면 부분들은 버려진다. 각각의 상기 중간 부분들은 실질적으로 같은 수의 샘플들에 의해 표현된다. 상기 샘플들을 포함하는 제2 이미지가 형성된다.
본 발명의 이점은 어안 렌즈에 의해 생성된 이미지 왜곡이 저비용으로 정정될 수 있다는 것이다.
본 발명의 실시예들에 대한 하기의 설명을 첨부 도면들과 함께 참조함으로써 이 발명의 위에 언급된 및 다른 특징들 및 목적들, 및 그것들을 달성하는 방법은 더 명백할 것이고 본 발명 자체가 더 잘 이해될 것이다.
도 1은 종래 기술의 어안 렌즈에 의해 캡처된 예시적인 왜곡된 이미지이다.
도 2a는 본 발명의 방법의 하나의 실시예에 따라 비디오 스크린 상에 디스플레이되는 도 1의 이미지의 상부 라인 및 하부 라인의 부분들을 도시하는 도이다.
도 2b는 본 발명의 방법의 하나의 실시예에 따라 비디오 스크린 상에 이미지를 디스플레이하는 데 사용된 도 2a의 이미지의 수평 라인의 함수로서 비디오 클록 주파수를 도시하는 플롯(plot)이다.
도 3은 본 발명의 비디오 시스템의 하나의 실시예의 블록도이다.
도 4는 도 3의 비디오 시스템의 클록 변조기의 하나의 실시예의 블록도이다.
도 5는 비디오 시스템을 조작하기 위한 본 발명의 방법의 하나의 실시예의 순서도이다.
도 6은 비디오 시스템을 조작하기 위한 본 발명의 방법의 다른 실시예의 순서도이다.
이하에 개시된 실시예들은 총망라하거나 또는 본 발명을 하기의 설명에 개시된 정확한 형태들로 제한하기 위해 의도된 것이 아니다. 오히려 이 실시예들은 이 기술 분야의 숙련된 다른 사람들이 그것의 가르침을 이용할 수 있도록 선택되고 설명되었다.
하나의 실시예에서, 본 발명의 방법은 클록 변조, 즉, 스크린 또는 모니터 상의 재생을 위해 이미지가 샘플링되는 주파수의 변조를 포함한다. 하나의 특정한 실시예에서, 캡처된 이미지는 13.5 MHz에서 샘플링된, 수평 라인 주파수(Fh) = 15,734.266 Hz를 갖는 NTSC(National Television System Committee) 아날로그 텔레비전 시스템을 통해 스크린 상에 재생된다. 이 레이트에서는, 수평 블랭킹 인터벌(Horizontal Blanking Interval)을 포함하여, 비디오 스크린의 라인 전체에 걸쳐 858(즉, 13.5 MHz/15,734.266 Hz)개 샘플들이 있을 것이다. 액티브 라인, 즉, 비디오 라인의 가시 부분(visible portion) 내에, 858개 샘플들 중 720개가 있을 수 있다. 만약 클록 레이트가 증가되면, 라인마다 더 많은 샘플들이 캡처될 수 있고, 또는, 더 중요한 것은, 720개 샘플들은 주어진 라인의 보다 작은 부분 내에 캡처될 수 있다는 것이다.
예를 들면, 주어진 비디오 이미지의 상부 라인에 적용된 대략 40 MHz의 최초(initial) 최대 클록 레이트를 생각해보자. 이 레이트에서는, 수평 블랭킹 인터벌을 포함하여, 비디오 스크린의 상부 라인 전체에 걸쳐 2,542(즉, 40 MHz/15,734.266 Hz)개 샘플들이 있을 것이다. 액티브 라인, 즉, 비디오 라인의 가시 부분 내에, 2,542개 샘플들 중 2,133개가 있을 수 있다. 본 발명의 하나의 실시예에 따르면, 도 2a에 도시된 바와 같이, 상부 비디오 라인의 중간 부분, 예를 들면 중간 3분의 1(middle third)로부터 FIFO(First-In, First-Out) 메모리에 720개 샘플들, 즉, 2,133개 샘플 비디오 라인의 대략 3분의 1이 캡처될 수 있다.
아래쪽으로 각각의 후속 라인에 대하여, 클록 레이트는, 도 2b에 도시된 바와 같이, 소망의 720개 샘플들이 비디오 라인의 증가하는 비율들을 캡처하도록 감소될 수 있다. 이미지의 하부에서, 13.5 MHz의 최소 클록 주파수에 도달하고 720개 샘플들은 라인 전체를 캡처한다.
샘플 클록은 720개 클록 펄스들 내에 있지 않은 이미지의 삼각형 코너 부분들(10a, 10b) 동안에 억제될 수 있다. 이러한 샘플 클록의 억제는 이 코너 부분들(10a, 10b)이 분실되고 및/또는 버려지는 결과를 초래한다.
하나의 실시예에서, 클록은 아날로그-디지털 변환 클록으로서도 기능하고 FIFO 입력 클록으로서도 기능한다. 도 2b의 이미지의 상부에서, 클록은 적당한 때, 예를 들면, 상부 라인을 통한 도중의 약 3분의 1의 위치에 있을 때까지 억제될 수 있고, 그 후 도시된 바와 같이 이미지의 중심으로부터 높은 주파수(대략 40 MHz)에서 720개 샘플들이 캡처된다. 변환 클록 주파수는, 하부 라인에서, 그 주파수가 13.5 MHz인 때까지, 상부로부터 하부까지 각 라인에 대하여 감소한다.
FIFO 출력 클록으로서도 기능하고 디지털-아날로그 변환 클록으로서도 기능하는 또 다른 클록은 13.5 MHz의 일정한 레이트에서 가동한다. 각각의 비디오 라인은 720개 클록 펄스들을 포함하기 때문에, 40 MHz에서 캡처된, 상부 라인의 부분은, 감소하는 레이트들에서 캡처된 각각의 잇따른 라인과 마찬가지로, 비디오 스크린 전체에 걸쳐 늘여진다(stretched). 따라서, 각 라인의 샘플링된 중간 부분들은 조합되어 직사각형 스크린 상에 이미지를 형성할 수 있다.
본 발명의 비디오 시스템(12)의 하나의 실시예가 도 3에 도시되어 있다. 시스템(12)은 어안 렌즈를 갖는 카메라(14)를 포함한다. 동기결합(genlock) 클록 발생기(16)는 카메라(14)의 비디오 출력을 이용하여 마스터 클록 신호(18)와 수평 동기화 신호(H) 모두를 생성한다. 클록 변조기(20)는 FIFO 입력 클록 신호(22)를 생성하고 이 신호는 아날로그-디지털 변환기(24)와 FIFO 메모리(26) 모두에 전송된다. 마스터 클록 신호(18)는 FIFO 출력 클록 신호로서 FIFO 메모리(26)에 공급되고 디지털-아날로그 변환기(28)에 공급된다. 비록 카메라(14)는 어안 왜곡을 갖는 비디오를 출력하지만, 비디오 시스템(12), 및 특히 디지털-아날로그 변환기(28)는 어안 왜곡이 없는 비디오를 출력한다. 카메라(14)를 제외한 시스템(12) 전체가 단일의 ASIC(application-specific integrated circuit)에 포함되는 것이 가능하다.
도 4에는 마스터 클록 신호(18)와 수평 동기화 신호(H)를 수신하고 FIFO 입력 클록 신호(22)를 출력하기 위한 클록 변조기(20)의 하나의 특정한 실시예가 도시되어 있다. 디지털 라인 카운터(30)는 수신된 수평 동기화 신호(H)에 기초하여, 예를 들면, 이미지의 상부로부터 하부까지, 비디오 라인들을 카운트할 수 있다. 최대 클록 레이트는 라인 카운트에 정비례하는 값으로 나누어질 수 있다. 특히, 도 4의 실시예에서, 카운터(30)로부터의 라인 카운트에 비례하는 값 "n"이 32에서 생성된다. 마스터 클록 신호(18)는 위상 동기 루프(phase locked loop, 34)에 의해 수신된다. 위상 동기 루프(34)의 출력 신호(36)의 주파수는 마스터 클록 신호(18)의 주파수보다 대략 3배 더 클 수 있다. 주파수 분주기(frequency divider, 38)는 출력 신호(36)의 주파수를 양 n으로 나눈 주파수를 갖는 FIFO 입력 클록 신호(22)를 출력할 수 있다.
클록 변조기(20)는 또한 마스터 클록 신호(18)에 따라 마스터 클록 사이클들을 카운트하고 적당한 때까지, 샘플 클록의 시동, 즉, FIFO 입력 클록(22)의 시동을 억제하는 디지털 픽셀 카운터(40)를 포함할 수 있다. 하나의 실시예에서, "적당한 때"는 이미지의 중심 부분이 임의의 주어진 라인 내에 캡처되도록 선택된다. 예를 들면, 이미지의 상부에서, 샘플 클록은 상부 라인의 대략 중심 3분의 1이 캡처되도록 라인의 대략 3분의 1에 대하여 억제되고; 상부 라인과 하부 라인 사이의 중도의 라인에서, 샘플 클록은 라인의 대략 중심 3분의 2가 캡처되도록 라인의 대략 6분의 1에 대하여 억제되고; 이미지의 마지막 라인에서, 샘플 클록은 전혀 억제되지 않고 라인 전체가 캡처된다.
위에 설명된 샘플 클록의 억제는 주파수 분주기(38)로부터의 미가공(raw) FIFO 입력 클록 신호(44) 및 픽셀 카운터(40)로부터의 억제 신호(46)를 수신하는 클록 억제 모듈(42)에 의해 수행될 수 있다. 억제 신호(46)는 억제되어야 하는 이미지의 끝 부분들에 대응할 때는 0의 값, 및 억제되지 않아야 하는 이미지의 중간 부분에 대응할 때는 1의 값을 갖는 이진 신호일 수 있다. 클록 억제 모듈(42)은 주파수 분주기(38)로부터의 미가공 FIFO 입력 클록 신호(44)와 픽셀 카운터(40)로부터의 억제 신호(46)를 함께 논리적으로 AND 연산하여 FIFO 입력 클록 신호(22)를 생성할 수 있다.
(도시되지 않은) 하나의 실시예에서, 픽셀 카운터(40)는 라인 카운터(30)의 출력으로부터 현재 라인 정보를 수신한다. 따라서, 픽셀 카운터(40)는 라인 넘버에 따라 변하는 수의 픽셀들에 대하여 FIFO 입력 클록 신호(22)를 억제할 수 있다.
위에 개시된 실시예에서, FIFO 입력 클록 신호(22)의 주파수는 카운터(30)에 의해 생성된 라인 카운트와 특정한 관계를 갖는다. 그러나, 본 발명은 더 일반적으로 카운터(30)에 의해 생성된 라인 카운트가 증가할 때 FIFO 입력 클록 신호(22)의 주파수가 감소하는 어떠한 실시예라도 포함한다는 것을 이해해야 한다.
비디오 시스템을 조작하기 위한 본 발명의 방법(500)의 하나의 실시예가 도 5에 도시되어 있다. 제1 단계(502)에서, 어안 렌즈의 사용에 의해 캡처된 제1 이미지가 수신된다. 예를 들면, 카메라(14)는 도 1 및 2a에 도시된 이미지들을 캡처할 수 있는 어안 렌즈를 포함할 수 있다.
단계(504)에서, 이미지는 복수의 수평 이미지 라인들로 분할되고, 각각의 이미지 라인은 중간 부분 및 2개의 측면 부분들을 갖고, 측면 부분들에 관한 중간 부분의 사이즈는 이미지의 상부로부터 이미지의 하부까지 각각의 수평 이미지 라인과 함께 증가한다. 즉, 도 2a에 도시된 이미지는 평행의, 수평 이미지 라인들의 세트로 형성되거나, 분할될 수 있고, 각각의 라인은 이미지의 왼쪽 변과 오른쪽 변 사이에 연장한다. 도 2a에 도시된 바와 같이, 이미지는 2개의 측면 부분들(10a 및 10b) 및 그 사이에 배치된 사다리꼴의 중간 부분을 포함할 수 있다. 도 2a에서 알 수 있는 바와 같이, 중간 부분은 이미지의 상부에서 가장 작고 이미지의 하부에 접근하면서 측면 부분들에 관하여 차차 더 커진다.
다음 단계(506)에서, 이미지 라인들의 측면 부분들은 버려진다. 하나의 실시예에서, 클록 억제 모듈(42)은 측면 부분들(10a 및 10b)의 샘플링을 막고 이미지의 중간 부분만이 샘플링되게 한다. 따라서, 이미지 라인들의 측면 부분들은 결코 디지털화되거나, 메모리에 저장되거나, 다르게 처리되지 않으며, 따라서 사실상 분실되거나 버려진다.
다음으로, 단계(508)에서, 각각의 중간 부분들은 실질적으로 같은 수의 샘플들에 의해 표현된다. 예를 들면, 상기 실시예들에서 설명된 바와 같이, 중간 부분의 길이에 상관없이, 이미지의 수평 라인들 각각의 중간 부분으로부터 720개 샘플들이 취해진다. 이 720개 샘플들은 사실상 그것들이 취해지는 각각의 중간 부분을 표현한다. 중간 부분들의 상이한 길이들을 보상하기 위하여, 샘플링 주파수는 중간 부분의 길이에 걸쳐서 720개 클록 펄스들, 즉 720개 샘플들을 유지하도록 변할 수 있다. 중간 부분들, 즉 샘플링된 프랙션들의 사이즈는 렌즈의 왜곡 특성에 의존할 수 있다. 따라서, 샘플링 주파수도 렌즈의 왜곡 특성에 따라 변할 수 있다.
마지막 단계(510)에서, 샘플들을 포함하는 제2 이미지가 형성된다. 즉, 단계(508)에서 취해진 모든 샘플들이 함께 모아져서 무왜곡(non-distorted) 이미지를 형성할 수 있다.
비디오 시스템을 조작하기 위한 본 발명의 방법(600)의 다른 실시예가 도 6에 도시되어 있다. 제1 단계(602)에서, 어안 렌즈의 사용에 의해 캡처된 제1 아날로그 이미지가 수신된다. 예를 들면, 예를 들면, 카메라(14)는 도 1 및 2a에 도시된 이미지들을 캡처할 수 있는 어안 렌즈를 포함할 수 있다.
단계(604)에서, 아날로그 이미지는 디지털 이미지 데이터로 변환될 수 있다. 하나의 실시예에서, 아날로그-디지털 변환기(24)가 카메라(14)로부터의 아날로그 이미지를 FIFO 메모리(26)에 저장된 디지털 이미지 데이터로 변환한다.
다음 단계(606)에서, 이미지는 복수의 수평 이미지 라인들로 분할된다. 즉, 도 2a에 도시된 이미지는 평행의, 수평 이미지 라인들의 세트로 형성되거나, 분할될 수 있고, 각각의 라인은 이미지의 왼쪽 변과 오른쪽 변 사이에 연장한다.
다음으로, 단계(608)에서, 각각의 이미지 라인들의 각각의 중간 부분이 상이한 각각의 샘플링 주파수로 샘플링되고, 각각의 샘플링 주파수는 중간 부분이 차지하는 각각의 이미지 라인의 프랙션과 역관계에 있고, 중간 부분이 차지하는 이미지 라인의 프랙션은 이미지의 상부 에지로부터 이미지의 하부 에지까지 진행하면서 각각의 이미지 라인과 함께 증가한다. 예를 들면, 위에 설명된 실시예에서, 측면 부분들(10a, 10b) 사이의 이미지 라인들의 중간 부분들은 이미지의 상부에서 40 MHz로부터 이미지의 하부에서 13.5 MHz까지의 범위에 이르는 변하는 샘플링 주파수들로 샘플링된다. 샘플링 주파수들은 이미지 라인 전체의 백분율로서 중간 부분의 사이즈와 역관계에 있다. 예를 들면, 중간 부분은 샘플링 주파수가 40 MHz인 이미지의 상부에서는 이미지 라인 전체의 약 3분의 1이다. 그 중간 부분의 사이즈는, 샘플링 주파수가 40 MHz로부터 13.5 MHz까지 차차 감소하면서, 이미지 라인의 3분의 1로부터 이미지의 하부에서 이미지 라인 전체까지 차차 증가한다.
마지막 단계(610)에서, 샘플링된 디지털 이미지 라인들은 제2 아날로그 이미지로 변환된다. 위에 설명된 실시예에서, FIFO 메모리(26)에 저장된 샘플링된 디지털 이미지 라인들은 디지털-아날로그 변환기(28)에 의해 아날로그 이미지로 변환된다.
이 발명은 예시적인 설계를 갖는 것으로 설명되었지만, 본 발명은 이 명세서의 정신 및 범위 내에서 더 변경될 수 있다. 따라서 이 출원은 그것의 일반적인 원리들을 이용한 본 발명의 임의의 변형들, 사용들, 또는 개조들을 포함하는 것이 의도된다. 더욱이, 이 출원은 본 발명이 속하는 기술에서 알려진 또는 관습적인 실시 내에 있는 본 명세서로부터의 그러한 일탈들을 포함하는 것이 의도된다.

Claims (20)

  1. 비디오 시스템을 조작하는 방법으로서,
    어안 렌즈(fisheye lens)의 사용에 의해 캡처된 이미지를 수신하는 단계;
    상기 이미지를 복수의 수평 이미지 라인으로 분할하는 단계; 및
    각각의 상기 수평 이미지 라인들의 각각의 프랙션(fraction)을 상이한 각각의 샘플링 주파수로 샘플링하는 단계 - 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있고(inversely related), 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인마다 증가함 -
    를 포함하는 방법.
  2. 제1항에 있어서, 각각의 상기 프랙션은 각각의 상기 이미지 라인의 각각의 중간 부분을 포함하는 방법.
  3. 제1항에 있어서, 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부에서 상기 이미지 라인의 3분의 1을 포함하고, 상기 이미지의 하부에서 상기 이미지 라인 전체를 포함하는 방법.
  4. 제1항에 있어서, 상기 이미지는 아날로그 이미지를 포함하고, 상기 방법은,
    상기 아날로그 이미지를 디지털 이미지 데이터로 변환하는 단계; 및
    샘플링된 디지털 이미지 라인들을 제2 아날로그 이미지로 변환하는 단계
    를 더 포함하는 방법.
  5. 제1항에 있어서, 상기 이미지의 상부에 있는 물체들은 상기 이미지의 하부에 있는 물체들보다 상기 렌즈로부터 더 멀리 떨어져 있는 방법.
  6. 제1항에 있어서, 각각의 수평 라인에서, 상기 샘플링된 프랙션의 밖에 있는 부분들을 버리는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 수평 이미지 라인들을 카운트하는 단계;
    각각의 상기 이미지 라인 내의 픽셀들의 수를 카운트하는 단계; 및
    각각의 라인의 샘플링을 시작하고 종료할 때들을 결정하는 단계 - 상기 결정하는 단계는 상기 카운트하는 단계들 각각에 기초함 -
    를 더 포함하는 방법.
  8. 비디오 시스템을 조작하는 방법으로서,
    어안 렌즈의 사용에 의해 캡처된 이미지를 수신하는 단계 - 상기 이미지는 복수의 수평 이미지 라인들을 포함함 -; 및
    각각의 상기 수평 이미지 라인들의 각각의 프랙션을 상이한 각각의 샘플링 주파수로 샘플링하는 단계 - 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있고, 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인마다 증가함 -;
    를 포함하는 방법.
  9. 제8항에 있어서, 각각의 상기 프랙션은 각각의 상기 이미지 라인의 각각의 중간 부분을 포함하는 방법.
  10. 제8항에 있어서, 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부에서 상기 이미지 라인의 3분의 1을 포함하고 상기 이미지의 하부에서 상기 이미지 라인 전체를 포함하는 방법.
  11. 제8항에 있어서, 상기 이미지는 아날로그 이미지를 포함하고, 상기 방법은
    상기 아날로그 이미지를 디지털 이미지 데이터로 변환하는 단계; 및
    샘플링된 디지털 이미지 라인들을 제2 아날로그 이미지로 변환하는 단계
    를 더 포함하는 방법.
  12. 제8항에 있어서, 각각의 수평 라인에서, 상기 샘플링된 프랙션의 밖에 있는 부분들을 버리는 단계를 더 포함하는 방법.
  13. 제8항에 있어서,
    상기 수평 이미지 라인들을 카운트하는 단계;
    각각의 상기 이미지 라인 내의 픽셀들의 수를 카운트하는 단계; 및
    각각의 라인의 샘플링을 시작하고 종료할 때들을 결정하는 단계 - 상기 결정하는 단계는 상기 카운트하는 단계들 각각에 기초함 -
    를 더 포함하는 방법.
  14. 비디오 시스템으로서,
    어안 렌즈를 포함하는 카메라;
    상기 카메라에 의해 캡쳐된 이미지를 복수의 수평 이미지 라인들로 분할하기 위한 수단; 및
    각각의 상기 수평 이미지 라인들의 각각의 프랙션을 상이한 각각의 샘플링 주파수로 샘플링하기 위한 수단 - 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있고, 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인마다 감소하지 않음 -;
    을 포함하는 비디오 시스템.
  15. 제14항에 있어서,
    각각의 상기 프랙션은 각각의 상기 이미지 라인의 각각의 중간 부분을 포함하는 비디오 시스템.
  16. 제14항에 있어서, 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부에서 상기 이미지 라인의 3분의 1을 포함하고, 상기 이미지의 하부에서 상기 이미지 라인 전체를 포함하는 비디오 시스템.
  17. 제14항에 있어서, 상기 이미지는 아날로그 이미지를 포함하고, 상기 시스템은
    상기 아날로그 이미지를 디지털 이미지 데이터로 변환하기 위한 수단; 및
    샘플링된 디지털 이미지 라인들을 제2 아날로그 이미지로 변환하기 위한 수단
    을 더 포함하는 비디오 시스템.
  18. 제14항에 있어서, 상기 이미지의 상부에 있는 물체들은 상기 이미지의 하부에 있는 물체들보다 상기 렌즈로부터 더 멀리 떨어져 있는 비디오 시스템.
  19. 제14항에 있어서, 각각의 수평 라인에서, 상기 샘플링된 프랙션의 밖에 있는 부분들을 버리기 위한 수단을 더 포함하는 비디오 시스템.
  20. 제14항에 있어서,
    상기 수평 이미지 라인들을 카운트하기 위한 수단;
    각각의 상기 이미지 라인 내의 픽셀들의 수를 카운트하기 위한 수단; 및
    각각의 라인의 샘플링을 시작하고 종료할 때들을 결정하기 위한 수단 - 상기 결정하는 것은 상기 카운트하는 것들 각각에 기초함 -
    를 더 포함하는 비디오 시스템.
KR1020117017882A 2009-01-30 2010-01-29 카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치 KR101637621B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/322,246 2009-01-30
US12/322,246 US8988492B2 (en) 2009-01-30 2009-01-30 Method and apparatus for correction of an image from a fisheye lens in a camera

Publications (2)

Publication Number Publication Date
KR20110122819A KR20110122819A (ko) 2011-11-11
KR101637621B1 true KR101637621B1 (ko) 2016-07-07

Family

ID=42395944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117017882A KR101637621B1 (ko) 2009-01-30 2010-01-29 카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치

Country Status (6)

Country Link
US (3) US8988492B2 (ko)
EP (1) EP2384486A4 (ko)
JP (1) JP5460736B2 (ko)
KR (1) KR101637621B1 (ko)
CN (1) CN102292733B (ko)
WO (1) WO2010087989A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069172A1 (en) * 2010-09-16 2012-03-22 CD Lab AG Camera-based pipeline inspection system
CN102291527B (zh) * 2011-08-11 2014-02-12 杭州海康威视数字技术股份有限公司 基于单个鱼眼镜头的全景视频漫游方法及装置
CN103196678A (zh) * 2013-03-26 2013-07-10 北京嘉悦和汽车科技有限公司 基于dsp的四轮定位仪输入图像实时校正装置和方法
EP3210396A1 (en) 2014-10-20 2017-08-30 Axon Enterprise, Inc. Systems and methods for distributed control
US10192277B2 (en) 2015-07-14 2019-01-29 Axon Enterprise, Inc. Systems and methods for generating an audit trail for auditable devices
CN107306331A (zh) * 2016-04-19 2017-10-31 义晶科技股份有限公司 图像处理方法及可携式电子装置
CN106650599A (zh) * 2016-10-14 2017-05-10 北京智眸科技有限公司 区域化设置稀疏采样频率和立体匹配中选择采样点的方法
CN107341764A (zh) * 2017-07-21 2017-11-10 秦皇岛视听机械研究所 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统
US10757324B2 (en) 2018-08-03 2020-08-25 Semiconductor Components Industries, Llc Transform processors for gradually switching between image transforms
US10846831B2 (en) 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
CN112991237B (zh) * 2021-05-20 2021-07-23 南京芯驰半导体科技有限公司 一种图像畸形校正系统及方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9000635A (nl) * 1990-03-20 1991-10-16 Philips Nv Digitaal opteken- en weergavesysteem.
JPH0442679A (ja) 1990-06-08 1992-02-13 Sony Corp 投射型表示装置
US6243131B1 (en) * 1991-05-13 2001-06-05 Interactive Pictures Corporation Method for directly scanning a rectilinear imaging element using a non-linear scan
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
JPH0937205A (ja) * 1995-07-25 1997-02-07 Ricoh Co Ltd 電子スチルカメラ
AR003043A1 (es) * 1995-07-27 1998-05-27 Sensormatic Electronics Corp Un dispositivo formador y procesador de imagen para ser usado con una video camara
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
JPH11119303A (ja) * 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
US6903733B1 (en) * 1997-11-24 2005-06-07 Pixelworks, Inc. Ultra-high bandwidth multi-port memory system for image scaling applications
US6545819B1 (en) * 1999-08-31 2003-04-08 Canon Kabushiki Kaisha Zoom lens and optical apparatus having the same
CA2329287A1 (en) * 2000-01-21 2001-07-21 Symagery Microsystems Inc. Host interface for imaging arrays
SE522121C2 (sv) * 2000-10-04 2004-01-13 Axis Ab Metod och anordning för digital behandling av frekvent uppdaterade bilder från en kamera
JP2002127852A (ja) 2000-10-27 2002-05-09 Aisin Seiki Co Ltd 車両周辺表示装置
US6856472B2 (en) * 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US7209576B2 (en) * 2002-02-07 2007-04-24 Accu-Sport International, Inc. Methods, apparatus and computer program products for processing images of a golf ball
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4702233B2 (ja) * 2006-09-11 2011-06-15 ソニー株式会社 画像データ処理装置および画像データ処理方法
US20080101713A1 (en) * 2006-10-27 2008-05-01 Edgar Albert D System and method of fisheye image planar projection
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치

Also Published As

Publication number Publication date
EP2384486A1 (en) 2011-11-09
CN102292733A (zh) 2011-12-21
WO2010087989A8 (en) 2011-08-25
US9531923B2 (en) 2016-12-27
US20100194850A1 (en) 2010-08-05
US8988492B2 (en) 2015-03-24
CN102292733B (zh) 2013-04-24
US20150163380A1 (en) 2015-06-11
US20170048426A1 (en) 2017-02-16
EP2384486A4 (en) 2015-11-11
JP5460736B2 (ja) 2014-04-02
KR20110122819A (ko) 2011-11-11
WO2010087989A1 (en) 2010-08-05
JP2012516640A (ja) 2012-07-19

Similar Documents

Publication Publication Date Title
KR101637621B1 (ko) 카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치
JP4378804B2 (ja) 撮像装置
US20090273717A1 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US20080303948A1 (en) Video signal processing apparatus
US9113024B2 (en) Apparatus and method for image processing using color image data and low frequency image data
JP5195841B2 (ja) 車載カメラ装置および車両
US8390709B2 (en) Camera and method for adjusting photographing time and mode
JP2007067714A (ja) 画像処理回路およびこれを用いたカメラ装置と車載カメラ装置
JP5649927B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP5748513B2 (ja) 撮像装置
KR100761846B1 (ko) 연속되는 영상에 모션이 있는가를 검출하는 모션 검출 장치및 모션 검출 방법
JP4035542B2 (ja) 撮像装置
KR100562595B1 (ko) 촬상장치
JP3761971B2 (ja) 撮像装置
EP1976272B1 (en) Image pickup apparatus and method
JP2018093295A (ja) コントラスト補正装置及びプログラム
JP2001245277A (ja) 画像変換装置
JP2009071590A (ja) 映像信号伝送装置、映像信号伝送システム
JP2008042586A (ja) ビデオ信号処理装置
JP2015115877A (ja) 撮像装置、その制御方法
JP2010193061A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant