KR20070049109A

KR20070049109A - 파노라마 비전 시스템 및 방법

Info

Publication number: KR20070049109A
Application number: KR1020067025482A
Authority: KR
Inventors: 루이 리; 마수드 바킬리
Original assignee: 실리콘 옵틱스 인코포레이션
Priority date: 2006-12-04
Filing date: 2004-07-26
Publication date: 2007-05-10

Abstract

왜곡 수정된 파노라마 비전 시스템 및 방법은 넓은 각의 광학기구를 통해서 얻어지고 화면상에 투사 되는 시각적으로 수정한 합성 화상을 제공한다. 본 시스템은 한 장면을 360도 또는 4π 스테라디안 넓이까지 캡처하기 위한 화상인식 기기를 사용한다. 화상프로세서는 휘도 또는 색상 불균일성에 대한 수정을 하고 각각의 화상 프레임에 대한 장소의 변환을 적용한다. 장소의 변환은 화면의 변환과 수집된 기하학 및 광학 왜곡 변환, 표시된 기하학 및 광학 변환의 표시의 연계에 의하여 휘감아 진다. 왜곡 수정은 광학의 측면 색수차를 제거하기 위하여 각각의 적색 및 녹색, 청색 성분에 대하여 적용되어진다. 그 후에 디스플레이 시스템은 복합 화상의 결과물을 투사 광학을 통과한 후 화면상에 투사되어지는 디스플레이 기기 상에 표시하는데 사용된다. 화상의 결과는 시각적으로 왜곡이 없고 화면의 특성에 어울린다.

Description

파노라마 비전 시스템 및 방법{PANORAMIC VISION SYSTEM AND METHOD}

본 발명은 비전 시스템, 특히 화상 왜곡 수정능력을 갖춘 파노라마 비전과 관련된 것이다.

감시시스템, 텔레비전회의 비전 시스템 및 차량 비전 시스템을 포함한 많은 응용기구에 개선된 상황 인식이 요구된다. 그러한 응용기구에 필수적인 것은 광범위한 작동 구역을 갖는 모니터와 서로 다른 사용자 모드에서 쉽게 인식되는 복합 화상을 형성하는 것이다. 카메라의 숫자와 비용을 최소화하기 위하여 사용하는, 파노라마 렌즈를 갖춘 카메라는 광범위한 풍경을 가능하게 하여주지만 고유의 기하학적인 형상 및 광학적 비선형성으로 인한 왜곡성향을 갖고 있다.

차량 비전 시스템에 있어서, 다수의 파노라마 카메라는 그 지역의 완전한 360도의 모습 및 주변의 장애물을 보여줄 것이다. 그러한 시스템은 상황 인식을 증진시켜 회전 및 후진, 차선 바꾸기와 같은 특정한 운전자 모드에 대한 디스플레이 화면에 적용될 수 있을 것이다. 차량 비전 시스템의 추가적인 이점은 사이드 미러에 의한 바람 저항 및 소음을 줄이고, 이러한 미러를 없앰으로서 차량의 폭을 줄인다는 것이다. 이러한 시스템은 또한 물체의 동작을 감지함으로서, 근접하는 물체에 대한 경고를 할 수 있고, 다수의 화면 구역을 통해 그러한 물체를 추적 할수 있다. 비전 시스템은 또한 적외선 및 레이더, 광선 감지 기구 등을 통한 여러 가지의 기술 등을 통해 야간의 모습을 크게 향상 시킬 수 있다.

비전 시스템은 하나 또는 그 이상의 화면 인식 기구로 구성되어 있고, 하나 또는 그 이상의 볼 수 있는 디스플레이 기구와 결합되어 있다. 화상 인식 기구는 평판 및 파노라마, 어안, 환상과 같은 서로 다른 초점 길이 및 초점 깊이를 가진 서로 다른 렌즈 들이 조합될 수 있다. 어안 및 환상과 같은 렌즈들은 광범위한 풍경 및 큰 초점 깊이를 갖고 있다. 그 것들은 풍경을 광범위하고 깊게 포착한다. 그러나, 그것들은 특히 모서리의 화상을 왜곡한다. 화상의 결과물은 불균형한 모습을 보인다. 어떠한 종류의 렌즈에서도, 접선방향 및 반경방향의 렌즈 결점, 렌즈 오프셋, 렌즈의 초점거리, 그리고 렌즈의 외부지역 근처에서의 빛의 폴오프(falloff)로 인한 광학 왜곡이 존재한다. 비전시스템에 있어서는 휘도 변화 및 색수차에 의한 여러가지 화상 왜곡이 존재한다. 이러한 왜곡들은 화상의 질 및 선명도에 영향을 미친다.

기존의 파노라마 비전 시스템의 기술에서는 정확하게 다수의 화상을 혼합할 때 화상 왜곡을 없애지 않았다. 이러한 파노라마 시스템은 미 특허번호 6,498,620B2, 즉 차량의 후방 비전 시스템에 포함되어있다. 이러한 시스템은 화상 캡처 기기 및 화상 합성기, 디스플레이 시스템으로 구성되어 있다. 본 명세서뿐만 아니라, 여기에 있는 참고 문헌들 어디에도, 기하학 및 광학, 색수차, 휘도 화상 왜곡에 대한 전자적 화상 처리 시스템 교정은 없다. 미국 특허번호 2003/0103141A1에서 차량 비전 시스템은 기타 광학 및 기하학 수정을 하지 않고 단지 휘도 수정만 을 기초로 한 사전수정을 포함한다. 모든 휘도 및 색차 수정은 광학 및 기하학 파라미터의 입력 및 출력을 기초로 하여야 하고, 주위의 환경을 변화시키기 위하여 개조되어야 한다. 왜곡된 화상 및 다수의 화상 사이의 불연속성은 운전자의 시각 인식을 느리게 하고, 그럼으로써, 그녀 또는 그의 상황 인식이 잠재적인 실수를 초래하게 된다. 이것은 효율적인 파노라마 비전 시스템을 시작하는데 가장 중요한 장애물중 하나이다. 따라서 기하학 및 광학, 색수차, 휘도, 기타다른 화상 왜곡을 제거하고 여러 시야의 복합 화상을 제공함으로서 상황을 정확히 재구성한 파노라마 비전 시스템을 제공하는 것이 바람직하다. 그러한 수정은 시각화 및 인시에 도움을 줄 것이고, 눈에 보이는 화질을 개선할 것이다.

하나의 관점에서 본 발명은 카메라 및 디스플레이 광학, 기하학 특성과 관련 있는 파노라마 비전 시스템에 있어서 :

(a) 한 장면에서 화상 프레임 데이터를 캡처하고 화상 센서 입력을 생성하기 위한 다수의 화상 인식기기, 상기의 화상 프레임 데이터는 360도의 시야를 총괄적으로 포함하고, 상기의 화상인식기는 기하학 및 광학 왜곡 파라미터를 포함함 ;

(b) 화상 프레임 데이터 및 화상 센서 입력을 샘플링하여 디지털 화상 데이터로 변환하기 위한 다수의 화상인식기와 연결된 디지타이저 ;

(c) 디지타이저와 연결된 화상 프로세서로서,

(i) 디지털 화상 데이터를 받아들이고 디지털 화상 데이터와 연관된 화상 휘도 막대그래프 및 주위의 광도를 측정하는 화상측정기 ;

(ii) 화상측정기와 연결되어 디지털 데이터내에서 카메라 및 디스플레이 광학 및 기하학 특성, 화상 휘도 막대그래프, 주위의 광도에 따라 디지털 화상 데이터를 받아들이고, 휘도 불균일성을 수정하고 선택된 지역의 휘도를 최적화 하기 위한 휘도 수정 모듈 ;

(iii) 컨볼루션 왜곡 파라미터를 형성하는 것과 연관된 화상 센서 입력 및 카메라, 디스플레이 광학과 기하학 특성, 결점을 포함하는 기하학 및 광학 왜곡 파라미터를 결합하기 위한 휘도 수정 모듈과 연결된 컨볼루션 스테이지 ;

(iv) 컨볼루션 왜곡 파라미터를 기초로 디지털 화상 데이터를 수정된 디지털 화상 데이터로 생성하기 위한 컨볼루션 수정 변환을 생성하고 적용하기 위하여 컨볼루션 스테이지와 연결된 왜곡 수정 모듈

(v) 수정된 디지털 화상 데이터로 부터 복합 화상을 합성하기 위하여 왜곡 수정 모듈과 연결된 디스플레이 컨트롤러를 포함하는 기기

(d) 보기 위하여 화면상에 시각적으로 왜곡 현상이 없는 복합 화상을 표시하기 위한 상기 화상 프로세서와 연결된 디스플레이 시스템을 포함하는 파노라마 시스템을 제공한다.

또 다른 관점에서, 본 발명은 360도 또는 4π 스테라디안을 포함하는 복합화상을 생성하기 위한, 카메라, 기하학 및 광학 왜곡 파라미터뿐 만 아니라 디스플레이 광학 및 기하학 특성을 갖는 파노라마 비전 시스템을 사용하는 파노라마비전을 제공하는 방법으로서 ;

(a) 한 장면에서 화상 프레임 데이터를 얻고, 상기 화상 프레임 데이터가 360도 또는 4파이 스테라디안 시야를 총괄하여 포함하고, 화상 센서 입력 세트를 생성하는 단계;

(b) 화상 프레임 데이터 및 화상 센서 입력을 디지털 화상 데이터로 변환하고, 상기 디지털 화상 데이터는 화상 휘도 막대그래프 및 주위 광도와 연계되어지는 단계 ;

(c) 카메라 및 디스플레이 광학과 기하학 특성, 화상 휘도 막대그래프, 주변 광도를 받아들이고 디지털 화상 데이터 내에서 선택된 지역의 휘도 범위를 최적화 하기 위하여 휘도의 불균일성을 수집하는 단계 ;

(d) 화상 센서 입력 및 카메라, 디스플레이 광학과 기하학 특성, 혼합된 왜곡 파라미터를 형성 하는 것과 연관되는 결점을 포함하는 기하학 및 광학 왜곡 파라미터를 혼합하는 단계 ;

(e) 수정된 디지털 화상 데이터를 생성하기 위한 혼합된 기하학 및 광학 왜곡 파라미터를 기반으로 한 왜곡 수정 변환을 디지털 화상 데이터로 생성하고 적용하는 단계 ;

(f) 수정된 디지털 화상 데이터로부터 복합 화상을 합성하는 단계 ; 와

(g) 시각적으로 왜곡이 없는 복합 화상을 보기 위하여 화면상에 나타내는 단계를 포함 하는 방법을 제공한다.

또 다른 관점에서 본 발명은 기하학과 광학 왜곡 파라미터뿐만 아니라 카메라 및 디스플레이 광학, 기하학 특성 과 연계된, 한 장면에서 화상 프레임을 캡처하고 디지털 화상 데이터 및 화상 센서 입력을 생성하기 위한 다수의 화상인식기 및 디지털 화상 데이터 및 화상 센서 입력을 디지털 화상 데이터로 변환하기 위한 디지타이저를 사용하는, 파노라마 비전 시스템에서 사용하기 위한 화상 프로세서에 있어서 :

(a) 디지털 화상 데이터를 받아들이고 디지털 화상 데이터와 연관된 화상 휘도 막대그래프 및 주위의 광도를 측정하는 화상측정기 ;

(b) 화상측정기와 연결되어 디지털 데이터내에서 카메라 및 디스플레이 광학 및 기하학 특성, 화상 휘도 막대그래프, 주위의 광도에 따라 디지털 화상 데이터를 받아들이고, 휘도 불균일성을 수정하고 선택된 지역의 휘도를 최적화 하기 위한 휘도 수정 모듈 ;

(c) 컨볼루션 왜곡 파라미터를 형성하는 것과 연관된 화상 센서 입력 및 카메라, 디스플레이 광학과 기하학 특성, 결점을 포함하는 기하학 및 광학 왜곡 파라미터를 결합하기 위한 휘도 수정 모듈과 연결된 컨볼루션 스테이지 ;

(d) 컨볼루션 왜곡 파라미터를 기초로 디지털 화상 데이터를 수정된 디지털 화상 데이터로 생성하기 위한 컨볼루션 수정 변환을 생성하고 적용하기 위하여 컨볼루션 스테이지와 연결된 왜곡 수정 모듈 ; 및

(e) 수정된 디지털 화상 데이터로 부터 복합 화상을 합성하기 위하여 왜곡 수정 모듈과 연결된 디스플레이 컨트롤러를 포함하는 화상 프로세서를 제공한다.

본 발명에서 첫 번째 구현으로 후방 및 측방, 구석의 시야를 강조하면서 360도 수평 시야를 포함하는 차량 비전 시스템을 제공한다. 상황을 나타내는 디스플레이 화상은 차량의 상태 또는 내비게이션(NAVIGATION) 데이터와 같은 다른 차량 정보 데이터와 통합 될 수 있다. 그 화상은 운전자의 시야에 인접한 전면 판넬(PANEL) 위에 표시되는 것이 바람직하다. 외부에 요소 및 공기 저항을 제거하기 위하여, 거울을 대신하는 내부 대시보드(DASHBOARD)의 구석에 나타나는 것과 같은 적용 범위와 유연성을 개선하기 위해서 추가적인 화면이 표시될 수 있다. 하나의 화면이 다른 것보다 더 중요하게 되면, 컨트롤 입력을 기초로 하여, 디스플레이 및 화면 사이의 토글(TOGGLE)을 재구성하도록 개조 되었다. 예를 들어, 디스플레이는 차량이 후진할 때는 차량의 후방 바닥의 넓은 전경을 보여주거나, 고속으로 차량이 운행 할 때 우회전 신호가 켜질 때 오른쪽 전경을 보여주고 차량이 정지하거나 낮은 속도로 운행할 때 우회전 신호가 활성화 되면 오른쪽 구석의 전경을 보여주도록 재구성한다.

선호되는 구현으로서, 이 시스템은 주차 보조, 또는 커브 및 차선, 대상물의 패턴 인식을 통한 차선 횡단 경고를 하는 기구들을 제공한다. 또 다른 구현으로서, 본 발명은 건물, 다리 등의 구조물의 내부 및/또는 외부의 수평 360도 또는 4π 스테라디안 전경을 포함하는 감시시스템에 제공된다. 이 시스템은 연속적인 제거 또는 파노라마 뷰의 스케닝을 생산하기 위하여 연속적인 다수의 왜곡 수정 화면을 제공한다. 이 시스템은 동작 감지 및 감시 지역의 대상물 추적과 사람, 차량 등의 판독을 위한 대상물 인식을 수행 할 수 있다.

또 다른 구현으로서, 본 발명은 180도까지의 폭넓은 전경 또는 360도의 원형 전경을 만드는 화상회의 비전 시스템을 제공한다. 발명의 구현의 다른 면과 장점에 대한 더 자세한 사항은 첨부된 도면에 따라 다음의 설명에서 나타날 것이다.

이하, 첨부도면을 참고하여 본 발명에 대해 자세히 설명한다.

도 1은 본 발명에 따라 만들어진 비전 시스템의 전체적인 모습 및 그 구성물들에 대해 나타낸 것이다.

도 2A는 비전 시스템의 일부분으로서 도 1의 화상 프로세서의 구조에 대해서 나타낸 것이다.

도 2B는 도 1의 화상 프로세서의 논리 흐름도를 나타낸 것이다.

도 3A는 옆면 및 후면에 대해서 거울을 사용한 일반적인 차량에 대해서 나타낸 것이다.

도 3B는 비전 시스템의 예로서 카메라들과 이들에 비친 풍경의 예를 나타낸 것이다.

도 3C는 비전 시스템의 예로서 차량내에서 카메라에 의한 선택된 풍경을 나타낸 것이다.

도 4A는 비전 시스템의 예로서 차량내에서 보여지는 비전 시스템에 의한 화면을 나타낸 것이다.

도 4B는 비전 시스템에 우회전 신호가 잡혔을 때의 예로서 도 4A의 화면과 같은 것을 나타낸다.

도 5A는 차량 비전 시스템의 예로서 비전 시스템 화면의 넓은 선택 범위를 나타낸 것이다.

도 5B는 차량이 후진하고 있을 때의 도 5A의 화면을 다시 구성한 것을 나타 낸 것이다.

도 6A는 차량이 차선을 변경 할 때의 화면을 다시 구성한 것을 나타낸 것이다.

도 6B는 차량이 우회전 하는 중에 운전자의 시야가 잘보이지 않을 때의 화면을 재구성 한 것을 나타낸다.

도 7은 차량과 주변의 물체가 보이도록 위에서 본 화면을 나타낸 것이다.

도 8은 차량 비전 시스템에서 컨트롤 입력의의 예를 나타낸 것이다.

도 9A는 화상회의 비전 시스템의 예로서 회의 테이블의 중심에 설치된, 180도 (2파이 스테라디안)를 볼 수 있는 카메라의, 반구형의 광경을 나타낸 것이다.

도 9B는 화상회의 비전 시스템의 화면을 나타낸 것이다.

도 10은 감시 시스템의 예로서 벽위에 2대의 카메라가 설치되어 있는 복도 또는 빌딩 벽을 나타낸 것이다.

도 11A는 본 발명의 감시 시스템의 화면을 나타낸 것이고,

도 11B는 약간의 시간이 지난 후의 도 9A의 같은 화면을 나타낸 것이다.

본 발명에 따라 만들어진, 도 1은 비전 시스템(100)의 전반적인 구조를 보여준다. 이 시스템은 다수의 화상 인식 기구로 구성되어 있는데, 화상 프레임(FRAME)을 캡처(CAPTURE)하는 카메라(110) 및 화상 프레임 데이터를 디지털 화상 데이터로 변환시키는 디지타이저(118), 휘도를 조절하고 화상 왜곡을 수정하여 디지털 화상 데이터 및 컨트롤 파라미터(PARAMETER)에서 조합 화상을 만드는 화상 프로세서 (200), 화면 (160)위에 보여지는 광경에 대한 조합 화상을 보여주는 디스플레이(DISPLAY) 기구 (120)로 구성되어 있다. 본 발명에서 최종적인 조합 화상은 여러가지 특정한 관심있는 지역을 포함하여 360도 범위를 나타내며 현저하게 왜곡 현상이 없다. 이것은 상황 인식을 탁월하게 증진시켜준다.

도 1의 카메라(110)는 광학 화상(112) 및 센서 배열(114), 화상 캡처 컨트롤(116)로 이루어져 있다. 광범위한 지역에 적용하기 위한 기구를 위하여, 광학 화상(112)은 필요한 카메라의 수를 최소화하기 위하여 아마도 광각 렌즈를 사용할 것이다. 광각 렌즈들은 또한 넓은 초점 심도를 갖고 있고, 초점 조정의 필요성 및 시행 비용도 줄어든다. 그러한 렌즈들은 전형적으로 100도를 초과하는 시야 및 수 피트에서 무한대까지의 초점 심도를 갖고 있다. 이들 두 성질들은 그러한 렌즈들을 파노라마 비전 시스템에 바람직하게 만든다. 광각 렌즈들은 광학적인 왜곡이 매우 커서 광학적으로 교정하는 것이 어렵고 비용이 많이 든다. 본 발명에서는, 전자적인 교정을 사용하여서 광학 또는 투사경로에서의 모든 비선형성 및 불완전성뿐만 아니라 모든 광학적 및 기하학적 왜곡에 대하여 보상을 하도록 하였다.

본 발명에서는, 카메라 렌즈는 완벽하거나 완벽한 화상을 나타낼 필요가 없다. 모든 화상 왜곡은, 렌즈의 기학학적 또는 불완전성에 의해서 야기되는 것을 포함하여, 수학적으로 모델링 되고 전자적으로 수정된다. 이러한 특징의 중요성은 확장된 초점 심도를 갖춘 값싼 광각 렌즈를 사용할 수 있게 한다는 사실에 있다. 그러한 렌즈들의 결점은 그 것들에 의한 화상 왜곡 및 휘도의 불균일성에 있는데 그것들은 특히 화면의 모서리 근처에서 물체를 늘리는 경향을 나타낸다. 이러한 효과 들은 예를들면, 어안렌즈 또는 환상렌즈에 대하여 잘 알려진 것이다. 이것들은 물체를 불균형하게 보이게 한다. 이러한 왜곡에 대한 보상을 가능하게 하기 위하여 다수의 광학적 해결법이 있다. 다수의 광학적 추가는, 그러나, 그러한 기기들을 크게 하고, 보다 무겁게 하고, 보다 비싸지게 한다. 다수의 광학적인 부품들의 비용은 닦기, 정렬하기 등과 같은 기능에 대한 노동력에 의해서 조정되어진다. 그러나 전자적인 부품은 일정하게 값싸지고 보다 효율적이게 될 것이다. 다수의 광학기구들이 결코 확실하게 왜곡을 완전히 없앨 수 없다는 것은 잘 알려진 일이다.

다수의 광학적 해결법의 또 다른 결점은 정렬도 및 충격에 의한 기능 장애이다. 따라서 비전시스템을 튼튼하고, 상대적으로 경제적으로 하면서, 사실적인 설정으로 재연 하도록 만들기 위해서는, 전자적인 화상 수정에 대한 결정적인 필요성이 있다. 비전 시스템에서 어떠한 경우라도 전자 부품들은 다른 작업들을 성취하기 위하여 필요하다는 사실에서 구현되었다. 이들 작업들에는 파노라마 변환 및 디스플레이가 포함되어 있다. 본 장에서 나중에 설명할 화상 프로세서(200)는 이러한 필수적인 기능을 제공한다.

화상센서 배열(114)은 카메라(110)에 의해서 나타내어진다. 센서 배열은 카메라 시스템을 통한 장면의 명암도의 극단의 변환을 조절하기 위하여 나타내어진다. 비전 시스템이 서로 다른 조명 조건에서 효율적으로 작동하기 위해서는, 커다란 동적인 범위를 갖는 것이 필요하다. 이러한 동적인 범위요구는 야간의 우발적인 광원의 폭넓은 변화뿐만 아니라 낮 과 밤의 주변 조명 강도에 의해서도 유래된다. 카메라 센서는 기본적으로 모자이크 부분으로 이루어져있고, 각각의 부분은 각 장 면의 부분이 빛에 노출되고, 출력 전압에 따라 광도가 저장된다. 화상 캡처 컨트롤(116)은 화상 프레인 강도 정보를 전송하고 이 데이터를 기초로 하여 화상 프로세서(200)에서 최적화된 통합 및 렌즈 홍채 컨트롤, 흰색 균형 컨트롤 에 대한 명령을 받아들인다.

디지타이저(118)는 화상 캡처컨트롤(116)에서 화상 데이터를 받고 이들 데이터들을 디지털 화상 데이터로 변환 시킨다. 다른 예제에서는, 디지타이저(118)의 기능은 화상 센서(114) 또는 화상 프로세서(200)에서 통합 될 것이다. 기존의 오디오 데이터 인식의 경우, 디지타이저(118)는 이들 데이터를 오디오 기기 배열(117)에서 받아들인다. 그리고 디지털 오디오 데이터 를 생성하고 이들 데이터를 디지털 화상 데이터와 결합시킨다. 디지털 화상 데이터는 그 후 화상 프로세서(200)으로 보내어진다.

도 2A는 화상 프로세서(200)를 상세하게 보여준다. 화상 프로세서의 기능은 디지털 화상을 받고, 화상 통계치를 측정하고, 화질을 높이고, 휘도의 불균일성을 보정하고, 이들 데이터의 다양한 왜곡을 수정하여 최종적으로 왜곡이 현저하게 제거된 하나 또는 다수의 복합 화상을 생성하는 것이다. 이것에는 컨트롤 데이터 인터페이스(202) 및 화상 측정 모듈(210), 휘도 조정 모듈(220), 왜곡 컨볼루션 스테이지(250), 왜곡 수정 모듈(260), 디스플레이 컨트롤러(280)뿐 만 아니라 카메라 광학 데이터 및 프로젝션 광학 데이터, 프로젝션 기하데이터가 포함 되어 있는 광학 및 기하 데이터 인터페이스(236)가 포함 되어 있다. 화상 프로세서(200)의 기능을 이해하기 위해서 이들 왜곡들에 대한 특성 및 원인들에 대해서 간략하게 논의하 는 것이 중용하다.

주위의 빛 및 스포트라이트는 조도 수준에 극도의 변동을 가져오게 되며, 이것은 저하된 화질 및 화상 요소 인식의 어려움을 유발시킨다. 본 발명에서, 화상 프로세서(200)는 관심 있는 지역 내의 최상의 화질을 얻기 위한 노출 조절을 하기 위하여, 전체 및 선택지역의 화상을 측정하고 분석한다. 헤드라이트 또는 스포트라이트 같은 높은 광원레벨은 근본적으로 강도를 줄이고, 낮은 광원레벨의 물체는 상세하게 요소의 인식을 하기 위하여 강도를 높여지게 된다.

화상센서가 어떠한 타입 또는 해상도를 갖게 되었을 때, 본 발명에서 정의되어진 기구들에 대해서, 고해상도 고체 상태의 CCD 또는 CMOS 화상 센서는 크기 및 비용, 통합, 유연성 면에 있어서 전용될 수 있다. 전형적인 기기들에는 홍채 컨트롤 및 통합시간에 의해 폭 넓게 변하는 주변 조명수준을 조정하는 것이 포함되어 있다. 홍채 컨트롤 및 통합시간 컨트롤에 추가하여, 휘도 수집 모듈(220)은 관심있는 지역의 막대그래프 분석을 수행하고 어두운 지역에서는 명암을 확장시키고 밝은 지역에서는 명암을 축소시켜 화상요서의 인식성을 향상시킨다.

불균일한 휘도는 화상 전체를 바라지 않는 밝기로 변화시킨다. 불균일한 휘도의 주요 물리적 원인은 광선이 광학 시스템의 서로 다른 지역을 통과하고, 서로 다른 거리 및 지역밀도를 지나가는 것에 있다. 광선의 강도는 지나간 거리의 제곱에 비례하여 낮아진다. 이러한 현상은 디스플레이 광학뿐 만 아니라 카메라 광학에도 발생한다. 이러한 순수한 물리적 원인뿐 만 아니라, 광학시스템의 불완전성도 또한 불균일한 휘도의 원인이 된다. 이러한 불완전성의 예들에는 프로젝 션(Projection) 광에서 생겨난 프로젝션 렌즈 사진 및 측면 유동 및 불균일성이다. 만약 밝기 변화가 3개의 서로 다른 색상 성분에 대해서 서로 다르다면, 이것을 색상 불균일이라 한다.

다른 종류의 광학 왜곡은 색수차 이다. 이것은 렌즈와 같은 광학 부품이 각각의 파장에 대하여 각각의 굴절도를 갖고 있는데서 연유한다. 광학 부품을 통과하여 전달되는 광선은 각각의 파장에 대하여 서로 다른 각으로 굴절한다. 이것은 화상들 내의 색상 측면 이동을 초래한다. 측면 수차들은 뾰족한 물체의 각각의 색성분이 분리되고 분산되도록 한다. 화면에서는 점은 넓게 퍼져 보일 것이다. 색수차의 또 다른 종류는 사실상 축에 대한 것이고, 렌즈가 각각의 빛의 파장에 대하여 서로 다른 초점을 가진다는 사실에 기인한다. 이러한 종류의 색수차는 전자적으로 수정이 불가능하다.

다른 종류의 왜곡에 대한 것이 비전 시스템에 있을 수 있다. 렌즈의 접선방향 및 방사상 결점 및 렌즈의 오프셋(Offset), 프로젝터의 결점, 이축 프로젝션의 키스톤(KEYSTONE) 왜곡 들이 일반적인 발생하는 왜곡이다.

위에 언급한 왜곡들에 추가하여, 화상 프로세서(200)는 모양 및 크기, 영상비와 같은 일정한 특성을 갖는 화면위에 캡처된 장면을 측량한다. 예를 들어 화상은 캡처된 장면의 서로 다른 부분에서 형성 될 수 있고 자동차의 앞 유리와 같은 부분에 투영 될 수 있는데, 그러한 경우는 화면의 특정한 크기뿐 만 아니라 평평하지 않은 형상 때문에 왜곡이 생기게 되는 것이다. 본 발명에서 화상 프로세서는 모든 이러한 왜곡을 아래에 설명하는 것과 같이 수정하게 된다.

상세한 화상 프로세서(200)가 나와 있는 도 2A와 관련하여, 디지털 화상 데이터들은 화상 측정 모듈(210)에서 받아 들여지고, 그곳에서 관심 있는 지역내의 화상의 명암 및 밝기 막대그래프가 측정된다. 이들 막대그래프들은 화상 휘도 수정 모듈(220)에 의해서 분석되어서 센서의 노출을 컨트롤하고, 디지털 화상 데이터를 조절하여 화질이 개선되게 하여서 시각화 및 탐지할 수 있게 된다. 일부의 조정은 가장 밝은 부분의 압축 및 콘트라스트의 확장, 상세 화질의 개선, 잡음 제거가 포함되어 있다.

이러한 측정 정보와 함께, 휘도수정모듈(220)은 광학 및 기하학 자료 인터페이스(236)에서 카메라 및 프로젝션을 받아들인다. 이러한 자료들은 정확한 빛의 전달 및 광학 부품의 교정에서 결정되어 진다. 이러한 자료들은 휘도 수정에 중대한 역활을 하는데 그 이유는 그 것들은 프로젝션 시스템뿐 만 아니라 카메라를 통과하는 각각의 광선의 경로를 알려주기 때문이다. 분리 또는 결합된 카메라 및 프로젝션 수정 맵은 각각의 필셀(PIXEL)에 대한 수정치를 연산하여서 생성되어 진다.

수정 맵은 오프라인에서 얻어지거나 상황에 따른 동적인 계산에 의해서 얻어질 수 있다. 휘도수정모듈(220)의 기능은 따라서 디지털 화상 데이터를 받아들이고 휘도 수정 디지털 화상 데이터를 생성하는 것이다. 색신호의 불균일성의 경우, 휘도수정모듈(220)은 3개의 서로 다른 색 성분으로 휘도 수정을 분리 하도록 적용하는 것이 바람직하다. 휘도수정모듈(220)의 물리적 기구에는 소프트웨어 프로그램 또는 디지털 신호 프로세서나 통합회로의 연산로직과 같은 전용의 처리 회로가 될 수 있다.

휘도-조정 화상 데이터는 기하학 , 광학, 기타 공간의 왜곡에 대하여 수정되어져야 한다. 이러한 왜곡들은 "워프(WARP)" 수정이라고 되어있고 이러한 수정 기술은 문헌에는 "화상 워핑(WARPING)"이라고 되어있다. 화상 워핑에 대한 토론은 1988년, IEEE(국제전기표준회의) 컴퓨터 학회지 참고문헌으로 되어있는 조지 월버그(George Wolberg)의 "디지털 화상 워핑"에서 발견할 수 있다. 화상 워핑은 기본적으로 좌표 변환 즉 출력 화소를 입력화소로 맵핑하도록 효율적으로 파라미터화 하는 것이다. 이상적으로는 그리드(GRID) 데이터 세트는 모든 출력 화소를 입력화소로 맵핑하는 것을 표시한다. 그러나, 그리드 데이터의 표시는 하드웨어 기기에서는 색인 테이블의 크기 때문에 절대로 가능하지 않다. 본 발명에서, 화상 워핑은 소수의 파라미터를 통한 화소 그리드 데이터 세트를 표시하는 효율적인 방법을 제공한다. 일례로, 이러한 파라미터화는 단계 n의 다항식으로 이루어지는데, n은 결합된 왜곡의 복잡성에 의해서 결정된다.

본 발명의 또 다른 예로서, 출력공간의 서로 다른 지역들은 고유의 기하학적인 성질에 의해 패치(PATCH) 되어 나누어져서 다항식의 단계를 감소시켰다. 법칙에 의하면, 패치 횟수 및 패치 당 적합한 다항식의 단계가 높아질 수록, 그리드 데이터 세트의 파라미터화가 보다 더 정확해진다. 그러나, 이것은 실시간 기기에 대하여 처리 전력과 균형을 이루어야 한다. 따라서 이러한 워프 맵들은 출력 화소에서 입력화소로의 맵핑과, 카메라 광학 및 디스플레이 광학, 최종 합성 화상 사양 및 화면의 모양의 성질을 포함하는 화면의 기하학성을 표시한다. 게다가, 사용자 입력 파라미터를 포함한 컨트롤 파라미터들은 위의 파라미터들과 결합되어 지고 하나의 변환으로 표시 되어 진다.

좌표 변환에 추가하여, 샘플링(SAMPLING) 또는 필터링(FILTERING) 기능이 종종 요구되어진다. 일단 출력 화상 화소가 입력화소위에 맵핑 되면, 이 입력 화소 주위의 지역은 필터링하도록 선정된다. 이러한 지역을 필터 풋프린트(FOOTPRINT)라 한다. 필터링은 기본적으로 하중 평균 함수로서, 풋프린트내의 모든 화소에 기초한 출력 화소의 색 성분의 강도에 기초한 특별한 예로, 이방성의 타원형 풋프린트가 최적의 화질을 얻기 위하여 사용된다. 풋프린트의 크기가 커질수록, 출력 화상의 질이 높아진다는 것은 잘 알려져 있다. 본 발명에서, 화상 처리(200)는 동시 좌표변환과 함께 화상 필터링을 수행한다.

화상 왜곡에 대한 수정을 하기 위하여, 위에서 언급한 모든 기하학적 및 광학적 왜곡 매개변수들은 서로 다른 색 성분에 대하여 왜곡 컨볼루션 스테이지(250)내에서 연결되어 진다. 이들 파라미터들에는 카메라 광학 데이터, 프로젝젼 광학 데이터, 프로젝션 기하학 데이터가 포함 되어있는데, 이들은 광학 및 기하학 인터페이스(236)을 경유하고, 컨트롤 인터페이스(202)를 경유하여 입력을 컨트롤 한다. 연결된 광학 및 기하학 왜곡 파라미터들은 왜곡 파라미터 수정 모듈(260)에 의해서 얻어진다. 이 모듈의 기능은 위치 및 모양, 장면의 각각의 요소의 색상의 강도를 디스플레이 화소 위로 변환 시키는 것이다. 화면(160)의 모양은 프로젝션 기하학 데이터(234)로 간주되어 진다. 이 화면은 평평할 필요는 없고 화면의 맵이 다른 왜곡 파라미터들을 받아들이고 연결 되어지는 한 어떤 모양도 가능하다. 디스플레이 맵은 남어지 왜곡 데이터들과 뒤얽힌다. 본 발명의 일례로서, 왜곡수정모 듈(260)은 왜곡 파라미터들의 전체 공간을 포함하는 워프 맵을 얻을 수 있다. 이 프로세스는 참고문헌으로 포함되어있는 미 특허기구에 동시에 계류중인 번호 2003/0020732-A1 및 2003/0043303-A1에 자세하게 설명되어져 있다. 왜곡파라미터들의 각각의 세트에 대해서, 변환은 카메라 광학 및 디스플레이 광학을 통과 하여, 특정한 화면(160)의 형상으로 전달되는 화상 왜곡에 대한 보정을 하기 위하여 연산되어 진다. 왜곡 파라미터 세트의 구성 및 변환 연산은 오프라인으로 이루어질 수 있고 인터페이스를 통하여 화상프로세서(200)로 들어 갈 수 있도록 메모리(MEMORY)에 저장된다. 또한 이들은 파라미터의 변화에 따라 최소 일부분이라도 동적으로 이루어질 수 있다.

디스플레이 화상은 독립적이거나 연결된 화면에 대한 화면 윈도우로도 이루어 질 수 있다. 각각의 화면 윈도우에 대하여, 왜곡 수정 모듈(260)이 공간 변환 및 필터링 파라미터에 대한 워프 표면 방정식으로 삽입되고 연산되며 디스플레이 화상으로 화상 변환을 수행한다.

모든 화상프레임에 대하여, 왜곡 수정모듈(260)은 먼저 왜곡 파라미터 공간에서 가장 가까운 그리드 데이터를 찾아낸다. 그리고 그것은 실제 왜곡 파라미터들에 맞는 파라미터 세트에 상을하는 기존의 변환에 삽입된다. 그 후 수정 모듈(260)은 모든 왜곡에 대한 보정을 하기 위하여 디지털 화상 데이터로 변환을 한다. 각각의 카메라에 의한 각각의 프레임으로 부터 생성된 디지털 화상 데이터는 화면 및 하부 화면에 맞는 조합된 화상을 형성하도록 결합된다. 상응하는 디지털 데이터들은 화상이 화면상에 형성될 때와 같은 방법으로 수집되며, 그것은 왜곡 현상이 보 이지 않고 화면상에서 최적화된 조망 지역에 알맞게 되어있다. 왜곡 수정 모듈(260)의 물리적 기구는 일반적인 목적의 디지털 신호 프로세서의 소프트웨어 프로그램 또는 통합회로의 연산로직과 같은 전용의 처리 회로가 될 수 있다. 화상 프로세서(200)의 물리적 예로서 실리콘 옵틱스사(Silicon Optix Inc.)의 sxW1 및 레온(REON) 칩(Chip)이 있다.

도 2B는 본 발명의 하나의 예로서 화상프로세서(200)의 논리도를 보여준다. 이 도면에서 디지털 데이터 흐름은 굵은 선으로 표시되어 있고 계산된 데이터 흐름은 얇은 선으로 표시되어있다. 이 그림에서 보는 바와 같이, 밝기 및 명암 막대그래프는 단계 (10)에서 디지털 데이터로 부터 측정되어 진다. 디스플레이 광학 및 디스플레이 기하학 함께 카메라 광학 파라미터들은 단계 (14) 및 (16)에서 얻을 수 있다. 그 후 이들 데이터들은 화상 휘도의 불균일성이 조절되는 단계 (20)에서 밝기 및 명암 막대그래프와 함께 얻을 수 있다. 컨트롤 파라미터들뿐 만 아니라, 단계 (14) 및 (16)으로 부터의 광학 및 기하학 데이터는 단계 (26)에서 얻어지고, 그 후 단계 (30)에서 모아진다. 이 단계에서, 모든 왜곡 파라미터틀은 연계되어진다. 왜곡의 효과에 대한 반대로의 변환은 단계 (40)에서 계산되어진다. 그 후 이러한 보상 변환은 단계 (20)에서 얻어진 휘도-조절 디지털 화상 데이터로 적용된다.

앞에서 설명한 바와 같이, 화소 데이터는 보다 높은 화질을 얻기 위하여 이번 단계에서 필터링 된다. 따라서, 단계 (50)은 좌표 변환 및 화상 처리가 동시에 일어나도록 구성되어있다. 단계(50)에서, 왜곡-보상 디지털 화상 데이터는 나타내기 위하여 복합 화상을 생성한다.

일단 프레임에 대한 디지털 화상 데이터가 처리되고 조합되면, 디스플레이 컨트롤러(CONTROLLER) (280)은 이들 데이터로 부터 화상을 생성한다. 본 발명의 예로서, 화상은 직접 화면 또는 프로젝션 디스플레이 기구가 될 수 있는 디스플레이 (120) 상 형성된다. 일례로서, 프로젝션 디스플레이 기구 (120)에서 생성된 화상은 디스플레이 광학 (122)을 통과하여, 화면 (160)에 투사될 수 있다. 디스플레이 광학 (122)은 디스플레이 기기(120)에서 투사된 광선이 화면 (160) 상에 직접 투영되도록 하는 다수의 광학 부품이다. 모든 특정한 디스플레이 시스템은 수정할 필요가 있는 추가적인 광학적 및 기하학적 왜곡이 존재한다. 본 예제에서, 화상 프로세서 (200)는 이러한 왜곡들 및 결합된 왜곡에 대한 수정들을 연계한다.

본 발명은 어떠한 특정한 디스플레이 시스템의 선택에만 국한 된 것이 아니라는 점에 주목하여야 하며; 디스플레이 디바이스는 액체 크리스털, 광선 방출 다이오드(DIODE), 브라운관, 전기 발광, 플라즈마, 또는 다른 실용적인 디스플레이와 같이 공급될 수 있다. 디스플레이 디바이스는 직접 볼 수 있거나 통합된 구획상의 디스플레이 광학을 지나 스크린 투영하여 볼 수 있어야 한다. 디스플레이 시스템의 밝기는 주위 광센서 및 독립적인 신호, 사용자 조광 스위치에 의해서 조정되는 것이 바람직하다. 또한 화면의 크기는 예를 들어 운전자의 시야에서 떨어진 거리에 따라 사용자가 조정하는 것이 바람직하다.

컨트롤러 (101)는 화상 프로세서 (200)와 인터페이스 한다. 이것은 센서 (194)로 부터의 입력 값들에 따라 사용자 인터페이스 (150)에서 사용자 파라미터를 얻으며 디스플레이 컨트롤을 위하여 화상 프로세서 (200)로 이들을 보낸다. 사용자 파라미터들은 발명의 서로 다른 통합체에 상응하는 기기에 따라 특수하다. 센서 (194)는 주위의 광센서 및 직접 섬광 센서들을 포함하는 것이 바람직하다. 이들 센서들로 부터 얻은 데이터는 디스플레이 조정에 사용되어진다. 컨트롤 파라미터들은 다른 파라미터들이 원하는 화상을 제공 할 수 있도록 뒤얽힌다.

본 발명의 몇몇 응용기구에 대해서는, 데이터의 흐름을 기록 하거나 다른 사용처에 네트워크를 통하여 전달하는 것이 바람직할 수가 있다. 두 가지 경우 모두 비디오 데이터 흐름을 먼저 압축한 후에 저장 및 대역폭 범위지정을 해야 한다. 일례로서, 압축 단계 (132)는 비디오 흐름을 화상 프로세서 (200)에서 받아들이고 디지털 비디오 데이터를 압축한다. 압축 데이터는 장래에 사용하기 위하여 기록 기기 (142)에 저장된다. 또 다른 통합체에서 데이터는 암호화 단계 (134)에서 암호화되고 네트워크 인터페이스 (144)를 통하여 네트워크로 보내지게 된다.

본 발명에서 상세하게 설명되어질 일반적인 특성으로, 비전 시스템의 여러개 예시 기구가 이제 논의 될 것이다. 하나의 구현으로서, 본 발명은 차량 비전 시스템을 제공한다. 도 3A는 전통적인 자동차 (900)에 오른쪽 전경 (902), 왼쪽 전경 (904), 후방 전경 (906)을 담당하는 2개의 사이드 미러 및 백미러를 보여주고 있다. 전통적인 미러(MIRROR)의 위치와 시야로 인하여 보이지 않는 공간이 생기고 광각으로 인하여 왜곡이 생기는 것은 잘 알려진 것이다. 3개의 미러에 의해 제공되는 화상으로 완벽하게 상확을 인식하는 것은 어려운 일이다.

도 3B에 본 발명의 일례가 예시되어 있는데, 차량 (900)은 카메라 (110) 및 카메라 (111)이 운전석 앞쪽에 장착되어 있다. 이들의 위치는 운전자 전방의 시야 와 겹치는 것을 증대 시킨다. 이 예에서 카메라(113)은 차량의 뒤쪽 또는 차량 지붕의 뒤쪽 중간에 위치되어 있다. 서로 다른 전경의 특정한 지역이 중복되지 않는 연속적인 화상을 볼 수 있도록 선택되어졌다. 이것은 운전자가 혼란을 격는 것을 방지한다.

도 3c에 설명된 또 다른 예시에서, 차량 (900)은 카메라 (110) 및 카메라 (111)이 차량의 앞쪽 모서리에 있고 카메라 (113)은 뒤쪽 중앙에 있다. 이 예에서 강조되는 것은 사용자의 입력 또는 컨트롤 파라미터에 의해서 시야를 조절할 수 있다는 것이다. 예를 들어, 회전 측면 시야 (903)는 회전 신호가 예약되었을 때 사용가능하다. 이 시야의 담당 구역은 사용자의 입력의 함수 이고, 근본적으로, 점선 사이의 전체 지역을 담당하게 된다는 것에 주의하여야 한다. 유사하게 운전 측면 시야 (905)는 보통의 운전 모드에 사용되고 이것은 마찬가지로 점선 사이의 전체 지역을 담당할 수 있도록 확장할 수 있다. 이 예의 후방 시야는 컨트롤 파라미터 중 2개의 모드에 의존한다. 차량이 후진할 경우에는, 후진 후방 시야 (907)이 화면에 사용된다. 이 시야는 포장도로위의 물체를 포함한 차량의 전체 후방을 가져온다. 이것은 안전한 지원은 보증하고 평행 주차시 유용한 기기이다. 그러나, 차량이 운전모드일 때는 좁은 운전자의 후방 시야 (906)가 사용된다. 이들 위치들 및 각도들은 운전자에게 차량의 외부에 대한 편리한 시야를 보증한다. 이 중요한 촉진기능의 예는 평행 주차 및 차선 변경과 같은 것이 있다.

도 4A는 운전자에게 보여지는 화면 (160)의 예를 보여준다. 후방 시야 (166)는 화면의 아래에 있고 오른쪽 시야 (162)와 왼쪽 시야 (164)가 각각 화면 (160) 상부의 오른쪽과 왼쪽에 있다. 도 5A는 화면 (160)의 예를 나타내는데 보다 넓은 디스플레이가 사용되었고, 측면 디스플레이는 후방 시야 (166)의 양 측면에 위치하고 있다. 화상 프로세서 (200)는 이 특별한 디스플레이를 위한 파노라마 변환 및 화상 묶음 능력을 갖고 있다. 도 4B 및 도 5B는 각각 차량이 우회전 또는 후진 할 때, 도 4A 및 도 5A를 재구성한 화면의 디스플레이의 예를 나타낸 것이다.

도 6A는 차량이 차선을 변경하여 오른쪽 차선으로 음직일려고 할 때의 화면(160) 재구성 디스플레이의 예시이다. 이 예에서, 차량의 오른쪽 전방 및 후방을 완전하게 볼 수 있고, 그럼으로써 차량의 오른쪽 측면의 모든 것에 대한 상황 인식을 할 수 있다. 도 6B는 우회전 신호가 예약되어 있을 때, 우회전을 위하여 구성된 디스플레이의 예시를 나타낸 것이다. 도 3C의 측면 회전 시야 (903)는 이제 측면 회전 시야(163) 같이 디스플레이의 상부 중앙에 표시된다. 후방 시야 (166) 및 좌측 시야 (166)는 디스플레이스의 바닥에 있다.

도 7은 화면 (160)의 또 다른 예를 보여 준다. 이 특별한 디스플레이 구성은 비전 시스템에 통합되어 있는 초음파 및 레이더 센서를 이용한 거리 측정뿐 만 아니라 화상 인식 기구로 부터의 시각적 정보를 모아서 성취될 수 있다. 여기서 설명된 예제에서, 굵은 선에 회색으로 칠한 차량에 비전 시스템 100이 설치되 어 있고 주변의 설정들 즉, 다른 차량들이 보여지고 있다. 본 발명의 이러한 예제 기구들은 상환 인식을 상당히 증가 시키고 차량을 운전하는 것을 쉽게 한다. 각각의 물체의 2개의 차원은 차량에 의해 직접적으로 캡처되어 진다. 이들 차량 및 물체의 모양과 크기는 차선 및 커브의 크기와 모양에 따른 카메라의 시야를 삽입하여 재구성 되어 진다. 운전 장면의 보다 정확한 시각적 고려를 위하여 패턴 인식 및 데이터베이스 내의 특정한 물체에 대한 자료 찾기를 통하여 재 구성될 수 있다. 본 발명은 여기서 설명한 예제에 국한하지 않고 ; 화면의 재구성뿐 만 아니라 카메라의 수량 및 위치의 변동도 본 발명의 범위안에 포함된다는 것을 주의하여야 한다. 투영된 기하학 데이터 및 투영된 광학 데이터, 카메라 광학 데이터는 화상 프로세서 (200)내의 모든 이들 선택적 기구들을 담당한다.

디스플레이 밝기가 주변의 광센서, 차량의 헤드라이트로 부터의 신호 또는 수동 조광 스위치에 의해 조절하는 것이 바람직하다. 게다가, 화면 크기도 또한 운전사에 의해 조절하는 것이 바람직하다. 나타난 화상의 초점 길이가 참고 문헌에 포함되어 있는 미 특허번호 5,949,331에 설명되어있는 바와 같이 운전자의 초점 범위 안에 놓여지도록 하는 것이 바람직하다. 그러나, 디스플레이 시스템의 초점 길이가 운전자의 초점 깊이 내에 화상이 항상 형성될 수 있도록 확실히 하기 위하여 차량의 속도에 따라 조절되도록 하는 것 또한 바람직하다. 이러한 조절들은 속도계 신호 (156) 또는 전달 신호 (154)에 의해서 이루어진다.

도 8에서는 차량 비전 시스템 내의 사용자 입력 (150)의 예를 보여준다. 신호 인터페이스 (151)는 컨트롤러 (101)와 함께 서로 다른 구성요소와 인터페이스들로 부터 신호를 받아들인다. 예를 들어 회전 신호 (152)는, 좌회전이 예약되어 있을 때, 신호를 신호 인터페이스 (151)로 전달하고 컨트롤러 (101)로 보내어 져서 결과적으로 화상 프로세서 (200)로 보내어 진다. 일단 화상 프로세서 (200)가 이 신호를 받아들이면, 화면 (160) 상에서 오른쪽 디스플레이 (162)를 강조하도록 디 스플레이가 구성된다. 도 4B는 이러한 조건에서의 화면 (160)을 보여 준다. 화면 (160)의 반을 오른쪽 시야 디스플레이가 차지하고 다른 반쪽은 후방 시야 디스플레이 (166)에 제공된다. 도 5B는 넓은 화면을 구현한 하였을 때의 같은 상황을 나타낸다. 다른 신호들은 다른 기능을 이끌어낸다.

예를 들어, 차량을 주차 시킬 때에, 변속기가 신호를 생성하여서 후방의 시야를 강조하는 것이 바람직하다. 다른 신호에는 핸들이 한쪽으로 설정된 한계 보다 돌아갈 때에 약속된 핸들 신호 및 브레이크 패달이 눌러졌을 때의 브레이크 신호, 운행 속도 및 방향에 관한 정보를 전달하는 변속기 신호, 서로 다른 신호를 입력하기 위하여 다양한 설정 속도에서 측정된 속도 신호가 포함되어 있다. 본 발명에서, 디스플레이 시스템은 이들 컨트롤 파라미터 중 어떠한 것에 대해서도 서로 다른 상황으로 조정 되어지고 중요한 화상이 가능하도록 자동적으로 재구성된다. 컨트롤 신호들의 다양성은 화상 프로세서 (200)와 합쳐지고 여기에서 우리는 단지 몇개의 예제에 대해서만 언급하였다.

다양한 유용한 정보는 도로지도 및 도로변 정보, GPS 정보, 지역의 일기예보를 포함하여 화면 (160) 상에 표시될 수 있다. 비전 시스템 (100)은 이들 데이터를 운전자의 요구에 따라 파일을 내려받거나, 무선통신을 이용하여 접근할 수 있다. 그 후 이들 데이터를 화상 프레임 데이터에 중첩하여 디스플레이 시스템을 위한 화상을 만든다. 중요한 경보 시스템은 또한 비전 시스템에 의해 접수되고 디스플레이 시스템 및 오디오 신호 인터페이스를 통하여 표시되고 알려지게 된다. 이것은 또한 여기에서 참고문헌으로 있는 미 특허번호 6,498,620 B2에 따라 거리 결정 기기 및 물체 확인 기기에도 통합된다.

기기에 대한 일례로, 차량 비전 시스템 (100)은 압축 단계 (132)와 기록 기기 (142)를 포함하여서 카메라 및 오디오 기기에 의해 감지된 사건들의 연속적인 기록을 만든다. 이 특징들은 사고 및 차량 납치, 교통위반과 같은 사고가 일어난 후 운전자가 사건에 대해서 재조사 하는 것을 포함하여 충돌이 있기 사전 또는 사후의 특정한 부분을 저장 하는 기능과도 통합된다. 이러한 기능은 법률 집행 조사관들 및 법원 관계자들, 보험회사들에게 사용될 수 있다.

다른 구현으로서, 본 발명은 주어진 설정치에 따라 180도 또은 360도를 커버(COVER)하는 화상회의 시스템에도 제공한다. 이 구현에는 비디오 신호와 함께 오디오 신호도 또한 필요하다. 비전 시스템의 도 1에 예시되어 있는, 오디오 기기 배열 (117)은 카메라에서의 비디오 입력에 추가한 오디오 입력을 제공한다. 오디오 신호 데이터는 디지타이저 (118)를 통해서 디지털 데이터로 변환되고 디지털 화상 프레임 데이터에 삽입된다. 파노라마 기능은 파노라마에서 각각의 발언자 또는 질문자로의 삼각형의 오디오 신호에 기초하여 제공된다. 파노라마 및 줌(ZOOM) 기능은 화상 프로세서 (200)에 의하여 디지털로 제공된다. 광학 줌이 없이, 디지털 줌이 제공된다.

도 9A는 화상회의의 예와 관련한 것이다. 회의 테이블의 중앙에 있는 카메라 (110)의 시야를 나타낸 것이다. 이 특정한 예제에서 카메라 (110)은 반구형의 렌즈 시스템을 갖고 있고 테이블 표면을 포함한 상부의 모든 것을 캡처한다. 원 화상은 위쪽이 아래에 있고, 늘려져 있으며, 불균형하다. 그러나, 화면 (160) 상의 표시된 화상은 왜곡된 것이 없고 파노라마식으로 변환된다.

도 9B는 발언자의 화상이 확대되고 다른 회의 참석자가 같은 화면에 직선으로 보이게된 화면 (160)을 보여준다. 다른 구현으로서, 본 발명은 동작 감지 및 물체 인식을 갖춘 감시 시스템에 제공된다. 도 2A는 화상 프로세서 (200)의 예를 나타낸 것으로서, 감시 시스템에서 사용된다. 동작 감지기 (270)는 연속적인 입력 화상 프레임과 미리 설정된 수준의 동작 및 신호 알람을 기초로 하여 평가하고 동작 지역의 좌표를 왜곡 컨볼루션 스테이지 (250)를 보낸다. 입력 화상 프레임들은 현재 화면 밖의 모니터 지역에 사용된다.추적 좌표들은 추적 물체의 수정된 디스플레이에 대한 화면을 계산하기 위하여 왜곡 컨볼루션 단계 (250)에서 왜곡 수정 물체 화상은 동작의 보상 및 물체의 임시 삽입에 의해서 해상도가 증가 할 수 있다. 물체 인식 및 분류도 또한 수행 할 수 있다.

도 10은 감시 시스템의 예시를 보여준다. 카메라 (110) 및 (111)은 벽에 설치되어서 홀 안에 있다. 이들 2개의 카메라는 통로 전체를 가로질러서 모니터 한다. 이것에 대한 구현으로서의 화상 프로세서 (200)는 통로를 통과하는 물체의 동작을 추적하기 위하여 동작 감지 및 추적기 (270)를 사용한다. 이 예에서 화면 (160)은 임의의 시간의 도 11A와 그 후의 도 11B가 보여 진다. 대상이 통행은 한 카메라에서 다른 카메라의 시야로 음직임에 따라 철저히 캡처된다. 비전 시스템은 대상의 상세도를 증가하기 위하여 임시로 축출함으로서 해상도를 증가를 수행 할 수 있고 도 11A 및 도 11B와 같이 화상을 상부에 표시한다. 이 도면의 상부에는 음직이는 대상의 최대의 해상도 또는 디지털로 확대된 것으로 제공된다. 대상의 인 식 및 추적은 감지 대상이 하나의 프레임에서 다음 프레임으로 가는 음직임을 비교함으로써 얻어진다. 인식을 쉽게하기 위하여 추적된 대상의 외곽선이 하이라이트(HILIGHT)된다.

Claims

관련 카메라, 디스플레이 광학적 기하학 특성을 갖는 파노라마 비전 시스템에 있어서 :

(a) 한 장면에서 화상 프레임 데이터를 캡처하고 화상 센서 입력을 생성하되, 상기 화상 프레임 데이터가 360도의 시야를 총괄적으로 커버하고, 기하학 및 광학 왜곡 파라미터를 갖는 다수의 화상인식기;

(b) 화상 프레임 데이터 및 화상 센서 입력을 샘플링하여 디지털 화상 데이터로 변환하기 위한 다수의 화상인식기와 연결된 디지타이저;

(c) (i) 디지털 화상 데이터를 받아들이고 디지털 화상 데이터와 연관된 화상 휘도 막대그래프 및 주위의 광도를 측정하는 화상측정기 ;

(ii) 화상측정기와 연결되어 카메라, 디스플레이 광학적 기하학 특성, 화상 휘도 막대그래프 및 주위의 광도와 함께 디지털 화상 데이터를 받아들이고, 휘도 불균일성을 수정하며, 디지털 데이터내에서 선택된 지역의 휘도를 최적화 하기 위한 휘도 수정 모듈;

(iii) 화상 센서 입력, 카메라, 디스플레이 광학적 기하학 특성들을 포함한 기하학적 광학적 왜곡 파라미터들을 이에 관련된 불완전성과 결합해 컨볼루션된 왜곡 파라미터를 형성하도록 휘도수정 모듈에 연결된 컨볼루션 스테이지;

(iv) 컨볼루션 왜곡 파라미터를 기초로 왜곡수정 변환을 하여 디지털 화상데이터에 적용해 수정된 디지털 화상데이터를 만들도록 컨볼루션 스테이지에 연 결된 왜곡 수정 모듈; 및

(v) 수정된 디지털 화상 데이터로 부터 복합 화상을 합성하기 위하여 왜곡 수정 모듈에 연결된 디스플레이 컨트롤러를 포함하고,

디지타이저에 연결된 화상 프로세서; 및

(d) 시각적으로 왜곡 현상이 없는 복합 화상을 화면에 디스플레이하여 보기 위해 상기 화상 프로세서에 연결된 디스플레이 시스템;을 포함하는 것을 특징으로 하는 파노라마 시스템.
제1항에 있어서, 상기 화상 프로세서가 측면 색수차와 왜곡에 대한 수정을 하기 위하여 디지털 화상 데이터와 연관된 적색, 녹색 및 청색 성분을 별도로 처리하는 것을 특징으로 하는 파노라마 비전 시스템.
제2항에 있어서, 상기 휘도 수정 모듈이 색상 불균일성을 수정하기 위하여 적색, 녹색 및 청색 성분을 별도로 처리하는 것을 특징으로 하는 파노라마 비전 시스템.
제1항에 있어서, 상기 다수의 화상인식기 및 디지타이저가 다수의 디지털 카메라에 의해 구현되는 것을 특징으로 하는 파노라마 비전 시스템.
제 3항에 있어서, 상기 디스플레이 시스템이 광선 투사시스템이고, 기하학적 광학적 왜곡 파라미터들이 관련 기하학적 광학적 왜곡을 미리 수정하도록 연결되어 있는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 주변광 센서, 광신호 및 사용자 조광 스위치를 더 포함하고, 디스플레이 시스템의 밝기가 상기 주변광 센서, 별도의 광신호 및 사용자 조광 스위치에 따라 조절되는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 선택된 화면 기능 및 선호기능 세트를 기초로 왜곡 파라미터와 사용자 파라미터를 연계시키기 위해 사용자 파라미터 세트를 파노라마 비전 시스템에 중계하는 컨트롤러를 더 포함하는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 사용자 입력 및 컨트롤 파라미터를 받아 중개하는 화상 프로세서에 연계된 컨트롤 인터페이스를 더 포함하는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서 상기 화상 프로세서가 홍채 및 노출시간 조정을 위해 화상인식기에 노출조정명령을 보내는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 화면상의 합성 화상의 위치 및 크기가 사용자 입력 세트에 따라 조절가능한 화면을 더 포함하는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 차량 비전 시스템으로 제공되는 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 상기 디스플레이 시스템이 차량내 대시보드, 앞유리, 지붕 또는 계기판에 위치해 운전자의 전방 시야범위에 합성 화상을 형성하는 것을 특징으로 하는 파노라마 비전 시스템.
제12항에 있어서, 상기 디스플레이 시스템이 앞유리와 계기판의 내부 모서리의 2개 화면에 복합 화상을 형성해 차량의 사이드미러를 모방하는 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 복합 화상의 초점이 차량내 운전자와 연관된 전방 초점범위에 있는 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 디스플레이 시스템의 초점이 무한대인 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 회전신호, 트랜스미션, 브레이크, 핸들 및 속도계로부터의 입력값에 따라 다른 구성으로 재구성되는 것을 특징으로 하는 파노라마 비전 시스템.
제16항에 있어서 디스플레이 시스템이 회전신호가 우회전일 때는 우측 시야를 개선하고 좌회전일 때는 좌측 시야를 개선하는 것을 특징으로 하는 파노라마 비전 시스템.
제16항에 있어서, 디스플레이 시스템이 차량의 핸들이 소정 각도로 우측으로 돌때는 우측 시야를 개선하고 좌측으로 돌 때는 좌측 시야를 개선하는 것을 특징으로 하는 파노라마 비전 시스템.
제16항에 있어서, 디스플레이 시스템이 차량이 후진할 때 후방 시야를 개선하는 것을 특징으로 하는 파노라마 비전 시스템.
제16항에 있어서, 직접 시야가 주변 물체로 인해 막히면 전방이나 후방 모서리쪽의 시야를 개선하는 것을 특징으로 하는 파노라마 비전 시스템.
제20항에 있어서, 레이저나 레이더 센서를 더 포함하고, 화상 프로세서가 센서를 사용하여 차량 외면과 물체 사이의 거리를 탐지하고 이 거리가 차량의 속도에 의해 규정된 범위내에 있을 때 시청각 경고를 내는 것을 특징으로 하는 파노라 마 비전 시스템.
제21항에 있어서, 디스플레이 시스템이 카메라를 통해 2차원 화면을 캡처하고 차선과 커브의 패턴 및 물체 룩업 데이터베이스에 맞게 3차원으로 외삽법으로 조정하여 차량과 그 주변을 위에서 본 것 같이 보여주는 것을 특징으로 하는 파노라마 비전 시스템.
제20항에 있어서, 화상 프로세서가 도로, 차선 또는 커브의 가장자리 표시를 탐지하고 차량의 외면이 상기 가장자리 표시에 접근하면 시청각 경고를 내는 것을 특징으로 하는 파노라마 비전 시스템.
제23항에 있어서, 화상 프로세서가 지정구역의 위치를 탐지하고 디스플레이 시스템에 방향 지시계를 제공하여 차량을 지정구역으로 인도하는 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 주변광 센서, 접근 헤드라이트 센서 또는 운전자의 조광 스위치를 더 포함하고, 디스플레이 시스템과 연관된 휘도 및 콘트라스트가 주변 광센서, 접근 헤드라이트 센서 또는 운전자의 조광 스위치의 판독값에 맞게 조정되는 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 트리거를 작동시키는 시간대와 관련된 모든 디지털 화상을 기록하기 위한 보안 블랙박스 기기와 트리거 기기를 더 포함하고, 상기 트리거는 사용자가 작동시키거나, 충돌, 납치, 도난이 있을 때 작동되는 것을 특징으로 하는 파노라마 비전 시스템.
제11항에 있어서, 디스플레이 시스템에 도로지도와 길가 정보를 디스플레이하는 통합 GPS 내비게이션 기기를 더 포함하는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 다수의 감시 센서를 더 포함하고, 감시용 비전 시스템으로 제공되는 것을 특징으로 하는 파노라마 비전 시스템.
제28항에 있어서, 화상 프로세서가 감시 센서를 사용하여 동작 감시 및 물체 추적을 하는 것을 특징으로 하는 파노라마 비전 시스템.
제28항에 있어서, 화상 프로세서가 감시 센서가 동작을 감지했을 때 화상 프로세서가 시청각 신호를 내는 것을 특징으로 하는 파노라마 비전 시스템.
제26항에 있어서, 화상 프로세서가 지정된 보호구역 세트를 정의하고, 다수의 물체를 추적하며, 이 물체가 지정된 보호구역 안에 들어오면 시청각 경고를 내 며, 이 물체가 지정된 보호구역 안에 들어오면 디스플레이 시스템이 물체를 하이라이트 표시하는 것을 특징으로 하는 파노라마 비전 시스템.
제3항에 있어서, 오디오 센서 세트를 더 포함하고, 디지타이저가 오디오 센서 입력을 디지털 오디오 데이터로 변환하며, 화상회의 비전시스템 기능도 하는 것을 특징으로 하는 파노라마 비전 시스템.
제32항에 있어서, 화상 프로세서와 디스플레이 시스템이 화상회의 참석자가 생성한 오디오신호의 강도와 방향에 따라 회의 참석자의 화상을 확대해 표시하는 것을 특징으로 하는 파노라마 비전 시스템.
카메라, 디스플레이 광학적 기하학적 특성을 갖는 파노라마 비전시스템은 물론 기하학적 광학적 왜곡 파라미터들을 이용해 360도 범위를 커버하는 복합 화상을 만드는 방법에 있어서:

(a) 360도 시야범위를 커버하는 화상 프레임 데이터를 한 장면에서 얻고, 화상 센서 입력값 세트를 생성하는 단계;

(b) 화상 프레임 데이터 및 화상 센서 입력을, 화상 휘도 막대그래프 및 주변광도와 관련되는 디지털 화상 데이터로 변환하는 단계 ;

(c) 카메라, 디스플레이 광학적 기하학적 특성, 화상 휘도 막대그래프 및 주변광도를 구해 휘도의 불균일성을 수정하여, 선택된 지역의 휘도 범위를 디지털 화 상 데이터 내에서 최적화하는 단계 ;

(d) 화상 센서 입력, 카메라, 디스플레이 광학적 기하학적 특성들을 포함한 기하학적 광학적 왜곡 파라미터들을 이에 연관된 불완전성과 컨볼루션하여 컨볼루션된 왜곡 파라미터들을 형성하는 단계;

(e) 컨볼루션된 기하학적 광학적 왜곡 파라미터들으리 기초로 수전된 디지털 화상데이터를 생성하는 왜곡수정 변환값들을 만들어 디지털 화상데이터에 적용하는 단계 ;

(f) 수정된 디지털 화상 데이터로부터 복합 화상을 합성하는 단계; 및

(g) 시각적으로 왜곡이 없는 복합 화상을 화면에 표시해 보여주는 단계;를 포함하는 것을 특징으로 하는 방법.
제34항에 있어서, 측면 색수차 왜곡 수정을 위하여 디지털 화상 데이터의 적색, 녹색 및 청색 성분을 별도로 처리하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제35항에 있어서, 상기 적색, 녹색 및 청색 각각에 대해 별도로 휘도조정을 하여 색상 불균일을 수정하는 것을 특징으로 하는 방법
제36항에 있어서,

(i) 전체 공간의 기하학적 광학적 왜곡 파라미터를 커버하는 그리드 데이터 세트를 획득하고;

(ii) (i)의 그리드의 각각의 데이터 세트에 대응하는 수정변환을 계산하며;

(iii) 인접 그리드 변환을 보간하여 실제 화상프레임 변환 파라미터에 맞추어;

수정변환이 이루어지는 것을 특징으로 하는 방법.
제37항에 있어서, 각각의 화상 프레임 수정을 위하여 상기 (i) 및 (ii)를 오프라인에서 일단 실행한 뒤 변환 그리드에 접근하는 것을 특징으로 하는 방법.
제37항에 있어서, 상기 (i) 및 (ii)가 가변 조건하에서 동적으로 이루어지는 것을 특징으로 하는 방법.
제37항에 있어서, 변환과 관련된 화소 지도가 워프 지도(warp map)를 통해 재현되는 것을 특징으로 하는 방법.
제40항에 있어서, 워프 지도가 증분 다항식이나 위치 다항식의 관점에서 변수화되는 것을 특징으로 하는 방법.
제36항에 있어서, 노출조정 명령어를 생성해 다수의 화상인식기에 중개하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제36항에 있어서, 제어 파라미터와 사용자 파라미터를 받아 왜곡 파라미터와 컨볼루션하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제36항에 있어서, 동작을 감지하고 추적하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제43항에 있어서, 센서 및 사용자 입력에 따라 복합 화상의 밝기, 콘트라스트 및 크기를 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제43항에 있어서, 컨트롤 입력 세트에 맞게 디스플레이 시스템을 재구성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제43항에 있어서, 제어 파라미터 세트에 맞게 복합 화상의 초점 길이를 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
관련 카메라, 디스플레이 광학적 기하학적 특성들은 물론 기하학적 광학적 왜곡 파라미터들을 갖는 파노라마 비전 시스템에 사용하되, 파노라마 비전시스템은 다수의 화상인식기를 이용해 화상프레임을 캡처하고 디지털 영상데이터와 화상센서 입력을 생성하며 또한 디지타이저를 이용해 디지털 화상데이터와 화상센서 입력을 디지털 화상데이터로 변환하는 화상 프로세서에 있어서:

(i) 디지털 화상 데이터를 받아들이고 디지털 화상 데이터와 연관된 화상 휘도 막대그래프 및 주위의 광도를 측정하는 화상측정기 ;

(ii) 화상측정기와 연결되어 카메라, 디스플레이 광학적 기하학 특성, 화상 휘도 막대그래프 및 주위의 광도와 함께 디지털 화상 데이터를 받아들이고, 휘도 불균일성을 수정하며, 디지털 데이터내에서 선택된 지역의 휘도를 최적화 하기 위한 휘도 수정 모듈;

(iii) 화상 센서 입력, 카메라, 디스플레이 광학적 기하학 특성들을 포함한 기하학적 광학적 왜곡 파라미터들을 이에 관련된 불완전성과 결합해 컨볼루션된 왜곡 파라미터를 형성하도록 휘도수정 모듈에 연결된 컨볼루션 스테이지;

(iv) 컨볼루션 왜곡 파라미터를 기초로 왜곡수정 변환을 하여 디지털 화상데이터에 적용해 수정된 디지털 화상데이터를 만들도록 컨볼루션 스테이지에 연결된 왜곡 수정 모듈; 및

(v) 수정된 디지털 화상 데이터로 부터 복합 화상을 합성하기 위하여 왜곡 수정 모듈에 연결된 디스플레이 컨트롤러;를 포함하는 것을 특징으로 하는 화상 프로세서.
제48항에 있어서, 측면 색수차와 왜곡에 대한 수정을 하기 위하여 디지털 화상 데이터와 연관된 적색, 녹색 및 청색 성분을 별도로 처리하는 것을 특징으로 하는 화상 프로세서.
제49항에 있어서, 상기 휘도 수정 모듈이 색상 불균일성을 수정하기 위하여 적색, 녹색 및 청색 성분을 별도로 처리하는 것을 특징으로 특징으로 하는 화상 프로세서.
제50항에 있어서, 노출제어 명령어를 생성해 영상인식기에 중개하는 것을 특징으로 하는 화상 프로세서.
제50항에 있어서, 제어 파라미터와 사용자 파라미터를 받아 왜곡 파라미터와 컨볼루션하는 것을 특징으로 하는 화상 프로세서.
제50항에 있어서, 동작을 감지해 추적하는 것을 특징으로 하는 화상 프로세서.
제50항에 있어서, 다수의 센서와 사용자 입력 세트에 맞게 합성화상의 밝기, 콘트라스트 및 크기를 조정하는 것을 특징으로 하는 화상 프로세서.
제52항에 있어서, 제어입력 세트에 맞게 디스플레이 시스템을 재구성하는 것을 특징으로 하는 화상 프로세서.
제52항에 있어서, 컨트롤 파라미터 세트에 맞게 복합 화상의 초점 길이를 조정하는 것을 특징으로 하는 화상 프로세서.