KR20020007211A - 전방위 시각 센서 - Google Patents

전방위 시각 센서 Download PDF

Info

Publication number
KR20020007211A
KR20020007211A KR1020010042412A KR20010042412A KR20020007211A KR 20020007211 A KR20020007211 A KR 20020007211A KR 1020010042412 A KR1020010042412 A KR 1020010042412A KR 20010042412 A KR20010042412 A KR 20010042412A KR 20020007211 A KR20020007211 A KR 20020007211A
Authority
KR
South Korea
Prior art keywords
mirror
image
rotating mirror
camera
wide
Prior art date
Application number
KR1020010042412A
Other languages
English (en)
Inventor
쿠마타키요시
타나카신이치
Original Assignee
마찌다 가쯔히꼬
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마찌다 가쯔히꼬, 샤프 가부시키가이샤 filed Critical 마찌다 가쯔히꼬
Publication of KR20020007211A publication Critical patent/KR20020007211A/ko

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/02Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)

Abstract

전방위 시각 센서는 볼록 부분을 갖고, 회전축에 대해 대칭인 구조를 가진 회전체 미러로서, 상기 회전체 미러의 볼록 부분에 결절부(cutaway section)를 포함하여 회전체 미러의 회전축 주위로부터 입사된 광을 모으는 회전체 미러를 포함하는 광학계; 및 상기 모아진 광을 수광하는 수광 소자와 상기 수광 소자에 의해 수광되어 모아진 광으로부터 발생된 광학 화상을 화상 데이터로 변환시키는 촬상 수단을 포함한다. 상기 회전체 미러의 회전축과 수광 소자의 광학축은 일치한다.

Description

전방위 시각 센서{OMNIDIRECTIONAL VISION SENSOR}
본 발명은 시각 센서의 360°주위의 시야 범위를 포함한 전방위 관측이 가능한 시각 센서에 관한 것이다. 특히, 본 발명은 감시용 카메라 시스템 또는 이동 로봇 등에 대한 시각 시스템에 사용되는 전방위 시각 센서에 관한 것으로서, 실시간 동안 주위 전체와 연관된 시야 정보를 얻을 수 있다.
최근, 감시용 카메라 시스템 또는 이동 로봇 등에 대한 어플리케이션을 개발하려는 관점에 의해, 넓은 범위를 커버하는 시각 정보가 전방위 시각 센서에 결합된 어느 장치에 입력되는 것을 통해, 다양한 전방위 시각 센서가 입력 장치로서 제안되고 있다.
예컨대, 다음 기술:
① 단일 회전 카메라에 의해 얻어진 화상이 함께 링크된 방법(일본 공개 특허 공보 제 98-105840호의 "침입 물체를 자동으로 검출하는 시스템");
② 회전 플레이트 미러에 의해 얻어진 화상이 함께 링크된 방법(일본 공개 특허 공보 제 99-4373호의 "전방위 파노라마 화상을 구성하는 방법 및 기기");
③ 전방위 화상이 복수의 고정된 카메라에 의해 동시에 얻어지는 방법(일본 공개특허 공보 제 99-164292호의 "화상 발생 장치, 화상 프레젠테이션 장치, 화상 발생 방법 및 화상 합성 방법");
④ 넓은 시야로부터의 화상이 어안 렌즈 등의 광각 렌즈에 의해 동시에 얻어지는 방법(일본 공개 특허 공보 제 99-355763호의 "감시 시스템 및 감시 방법"); 및
⑤ 화상이 구면, 원추형, 쌍곡면 형상 등의 특수한 형상의 반사 미러에 의해 동시에 얻어지는 방법(일본 공개 특허 공보 제 99-218409호의 "3차원 정보를 측정하는 방법 및 기기")이 알려져 있다.
상기 방법(①)은 전기적으로 활성화된 베이스에 배치되어 360°회전하는 단일 텔레비전 카메라에 의해 주위 화상을 포획함을 의미하며, 상기 화상은 화상 처리에 의해 함께 링크된다. 상기 방법을 사용함으로써, 상대적으로 고해상도를 갖는 전방위 화상을 포획하는 것이 가능하다. 그러나, 화상을 포획하는 동안 카메라가 회전하기 때문에, 동시에 전방위 화상을 포획하는 것이 불가능하므로, 따라서 합성 화상은 더 이상 실시간 화상이 아니다.
상기 방법(②)은 미러를 360°회전시켜, 미러에 의해 반사된 주위의 화상을 고정된 카메라에 의해 얻어서 포획함을 의미하며, 상기 화상은 화상 처리에 의해 함께 링크된다. 따라서, 방법(①)을 사용한 경우에 있어서, 상대적으로 고해상도를 갖는 전방위 화상을 포획하는 것이 가능하다. 그러나, 화상을 포획하는 동안, 미러가 회전하기 때문에, 동시에 전방위 화상을 포획하는 것이 불가능하므로, 따라서 방법(①)을 사용한 경우에 있어서, 합성 화상은 더 이상 실시간 화상이 아니다.
상기 방법(①, ②)은 카메라 또는 미러를 회전시키기 위해 각각 기계적인 수단을 이용하므로, 따라서 긴 시간동안 동작을 가능케 하기 위해서 기계적 수단에 대해 몇 종류의 유지 작업을 요구한다. 따라서, 상기 방법(③ ∼ ⑤)은 어느 기계적인 수단을 채용하지 않고, 전방위 화상을 동시에 포획하는 것이 가능한 방법으로서 제안되어 왔다.
상기 방법(③)은 복수의 고정된 카메라를 채용함으로써, 동시에 전방위 화상을 포획하는 것을 의미하며, 실시간 동안 화상을 얻는 투시에서 장점이 있다. 또한, 어느 특수한 기계적인 수단도 요구되지 않기 때문에, 상기 방법은 긴 시간동안 사용하기에 적당하며, 좋은 신뢰도를 제공한다. 그러나, 복수의 카메라를 사용하면, 시스템 비용을 증가시키는 문제점이 있다.
상기 방법(④, ⑤)은 넓은 시야로부터 동시에 화상을 포획할 수 있는 광각 렌즈 또는 특수한 형상의 반사 미러를 채용한다. 상기 방법(③)의 경우에 있어서, 상기 방법은 실시간 동안 화상을 얻는 투시에서 장점이 있으며, 어느 특수한 기계적 수단도 요구되지 않기 때문에, 상기 방법은 긴 시간동안 사용하기에 적당하며, 좋은 신뢰성을 제공한다. 또한, 상기 방법(③)과 다르게, 하나의 카메라만이 요구되므로, 시스템 비용을 저감할 수 있다. 그러나, 방법(④, ⑤)을 사용함으로써, 360°를 포함하는 완전 전방위 화상을 포획하는 것은 불가능하다. 즉, 합성 시야는 사각을 포함한다.
이하, 상기 방법(④, ⑤) 내의 고유한 시야와 사각을 도6 내지 10을 참조하여 설명한다. 도6 내지 10의 각 평면은 렌즈 또는 미러 아래에 배치된 카메라에 의해, 그 안에 중심축을 갖는 수직 평면이다.
도6은 상기 방법(④)에 광각 렌즈(10)를 채용한 경우의 시야를 도시한다. 광각 렌즈(10) 아래에 위치한 카메라를 포함하는 촬상 수단을 사용하여, 광각 렌즈(10)가 그 볼록 부분을 "위"로 배치하도록 상기 시스템이 구성되면, 렌즈의 360°주위를 연장한 수평 평면 위의 스페이스로부터 화상을 포획하는 것이 가능하고, 수직 방향을 따라서 구면 주위의 상부 절반만의 화상을 얻을 수 있다. 즉, 구면 주위의 하부 절반은 사각으로 남는다.
도7은 상기 방법(⑤)의 회전체 미러로서 원추형 미러(20)가 채용된 경우의 시야를 도시한다. 상기 방법에 의해 얻어진 화상은 미러의 360°주위를 커버하는 수평 스팬(span)을 포함하며, 상기 미러 페이스는 수직 방향을 따라서 수평 스팬의 위와 아래에 사각을 만드는 장애물을 나타낸다. 즉, 사각은 카메라(촬상 수단)의 "전면"에 존재한다.
도8은 상기 방법(⑤)의 회전체 미러로서 구면 미러(30)가 채용된 경우의 시야를 도시한다. 상기 방법에 의해 얻어진 화상은 미러의 360°주위를 커버하는 수평 스팬을 포함하고, 미러 페이스는 수평 스팬 위에 사각을 생성하면서, 수직 방향을 따라 장애물을 나타낸다. 즉, 사각은 카메라(촬상 수단)의 "전면"에 존재한다.
도9는 상기 방법(⑤)의 회전체 미러로서 쌍곡면 미러(40)가 채용된 경우의 시야를 도시한다. 상기 방법에 의해 얻어진 화상은 미러의 360°주위를 커버하는 수평 스팬을 포함하면서, 상기 미러 페이스는 수평 스팬 위에 사각을 만들면서, 수직 방향을 따라 장애물을 나타낸다. 즉, 사각은 카메라(촬상 수단)의 "전면"에 존재한다.
도10은 상기 방법(⑤)의 회전체 미러로서 포물면 미러(50)가 채용된 경우의 시야를 도시한다. 상기 방법에 의해 얻어진 화상은 미러의 360°주위를 커버하는 수평 스팬을 포함하며, 상기 미러 페이스는 수평 스팬 위에 사각을 생성하면서, 수직 방향을 따라서 장애물을 나타낸다. 즉, 사각은 카메라(촬상 수단)의 "전면"에 존재한다.
따라서, 상기 방법(④, ⑤) 중 어느 하나에 따르면, 사각은 시야의 일부에 존재한다. 또한, 상기와 같이, 방법(④)은 합성 시야만이 상부 방향으로 확장되는 단점이 있다. 따라서, 예컨대 이동 로봇에 방법(④)이 실장되면, 이동 로봇을 조정하는 빌딩의 천장만이 항상 관측된다. 따라서, 방법(④)은 로봇의 횡방향을 충분히 관측할 수 없으므로, 많은 주의를 요구하지 않는 상부 영역의 관측만을 허락하면서, 로봇과 다른 물체와의 충돌을 방지하는 것이 반드시 필요하다.
최근, 시야 일부의 몇몇 사각에도 불구하고, 상기 방법이 실시간동안 화상을 얻는 투시, 저비용 및 고신뢰도에 대한 장점이 있기 때문에, 회전체 미러의 사용을 포함한 상기 방법(⑤)이 많은 주의를 끈다. 특히, 방법(⑤)이 쌍곡면 미러(다른 회전체 중)를 사용하여 실장될 때, 일반적으로 투시 투영계 타입의 광학계가 사용된다. 따라서, 얻어진 화상을 미러의 초점으로부터 보이는 화상(이는 통상의 카메라를 통해 촬상된 화상과 유사하게 나타남) 또는 수직축을 따라 카메라를 회전시킴으로써 얻어진 화상(원통형 전방위 화상)으로 쉽게 변환시킬 수 있다. 따라서, 미러를 채용한 다른 방법보다 매우 다양한 화상 처리가 가능하다. 쌍곡면 미러를 채용한 전방위 시각 시스템은 일본 공개 특허 공보 제 94-295333호에 개시되어 있다.
그러나, 상기 방법(⑤)의 변형예에서, 사각은 카메라(촬상 수단)의 전방에 존재한다. 전방위 시각 센서를 넓은 범위의 사용에 적용할 수 있도록, 사각을 좀더 감소시키는 것이 바람직하다.
본 발명에 따르면, 볼록 부분을 갖고, 회전축에 대해 대칭인 구조를 가진 회전체 미러로서, 상기 회전체 미러의 볼록 부분에 결절부를 포함하여 회전체 미러의 회전축 주위로부터 입사된 광을 모으는 회전체 미러를 포함하는 광학계; 및 상기 모아진 광을 수광하는 수광 소자와 상기 수광 소자에 의해 수광되어 모아진 광으로부터 발생된 광학 화상을 화상 데이터로 변환시키는 촬상 수단을 포함하며, 상기 회전체 미러의 회전축과 수광 소자의 광학축이 일치하는 전방위 시각 센서를 제공한다.
본 발명의 상기 구조에 따르면, 종래의 구조에서 사각이었던 촬상 수단의 전방(광학계의 상부 방향) 영역 또한 시야 부분이 된다. 따라서, 본 발명에 따르면, 다음의 실시예에서 상술되는 바와 같이, 시야가 확장된다.
본 발명의 일 실시예에서, 상기 광학계는 또한 회전체 미러의 결절부에 제공된 광각 렌즈를 포함하며, 광각 렌즈의 볼록 부분이 상기 촬상 수단으로부터 빗나가도록 광각 렌즈를 배치한다.
본 발명의 상기 구조에 따르면, 다음 실시예에서 상술되는 바와 같이, 시야는 사각을 좀더 감소시킴에 따라 확장될 수 있다.
본 발명의 다른 실시예에서, 광각 렌즈의 시야는 회전체 미러의 사각과 일치한다.
본 발명의 상기 구조에 따르면, 다음 실시예에서 상술되는 바와 같이, 상부 방향의 사각을 제거할 수 있다.
따라서, 회전체 미러(예컨대, 원추형 미러, 구면 미러, 쌍곡면 미러 또는 포물면 미러)를 채용한 종래의 전방위 시각 센서와 연관된 것에 비해 사각을 상당히 감소시킴으로써, 여기에 설명한 발명은 넓은 범위의 어플리케이션에 사용될 수 있는 전방위 시각 센서를 제공하는 장점을 가능케 한다.
첨부 도면을 참조하여, 다음의 상세한 설명을 이해한다면 당업자들에게 본 발명의 여러 장점들이 명백하게 될 것이다.
도1은 본 발명의 일 실시예에 따른 전방위 시각 센서에 의해 확장된 시야를 나타낸 다이어그램이다.
도2는 본 발명의 다른 실시예에 따른 전방위 시각 센서에 의해 확장된 시야를 나타낸 다이어그램이다.
도3은 본 발명의 일 실시예에 따른 전방위 시각 센서에 의해 카메라의 촬상면에 얻어진 화상을 나타낸 다이어그램이다.
도4는 종래의 구조에서 쌍곡면 미러와 카메라의 상대적 위치를 나타낸 다이어그램이다.
도5는 카메라 렌즈와 광각 렌즈 사이의 촬상 관계를 나타낸 다이어그램이다.
도6은 광각 렌즈를 채용한 종래의 구조에서 시야와 사각을 나타낸 다이어그램이다.
도7은 원추형 미러를 채용한 종래의 구조에서 시야와 사각을 나타낸 다이어그램이다.
도8은 구면 미러를 채용한 종래의 구조에서 시야와 사각을 나타낸 다이어그램이다.
도9는 쌍곡면 미러를 채용한 종래의 구조에서 시야와 사각을 나타낸 다이어그램이다.
도10은 포물면 미러를 채용한 종래의 구조에서 시야와 사각을 나타낸 다이어그램이다.
이제, 첨부 도면을 참조하여, 본 발명을 예시 방법에 의해 설명한다.
이하, "상부" 또는 "위"라는 용어는 회전체 미러가 카메라에 대해 상대적으로 배치된 방향을 의미하기 위해 채용되고, "하부" 또는 "아래"는 그 반대 방향을 의미한다. 따라서, 회전체 미러는 카메라의 "상부" 방향 또는 "위"에 배치되는 것으로 하며, 반면 카메라는 회전체 미러의 "하부" 방향 또는 "아래"에 배치되는 것으로 한다.
(실시예 1)
도1은 본 발명의 실시예에 따른 전방위 시각 센서와 이에 의해 제공되는 시야를 설명하는 다이어그램이다. 전방위 시각 센서는 회전체 미러(60)와 촬상 수단(64)을 포함한다. 회전체 미러(60)는 그 볼록 부분의 중심에 결절부(62)를 갖는다. 촬상 수단(64)은 수광 소자(예컨대, 카메라 렌즈)를 갖는 카메라와 촬상 처리 수단(63)을 포함한다. 본 발명에 따르면, 회전체 미러는 전형적인 광학계로서 사용된다.
본 발명의 본 실시예에 따르면, 회전체 미러(60)로부터 반사된 광에 의해 발생된 광학 화상과 회전체 미러(60)의 결절부(62)를 통과한 광(총체적으로 회전축 주위로부터 입사된 광으로서 참조됨)에 의해 발생된 광학 화상을 화상 데이터로 변환시킬 수 있으며, 이는 실시간 화상을 주기 위해 촬상 수단(64) 내의 촬상 처리 수단(63)에 의해 처리된다.
도7 내지 10에 도시한 종래의 전방위 시각 센서 각각에서, 회전체 미러(예컨대, 원추형 미러, 구면 미러, 쌍곡면 미러, 포물면 미러)는 렌즈의 360°주위를 커버하는 수평 스팬을 포함하는 시야를 제공하는 광학계로서 채용되며, 미러 페이스는 촬상 수단(카메라 등)의 전방에 사각을 생성하는 장애물을 나타낸다. 반면, 시야 부분을 구성하는 미러 아래 영역은 카메라와 다른 촬상 수단 소자를 조정할 뿐이다.
반대로, 도1에 도시한 바와 같이 본 발명에 따르면, 예컨대 회전체 미러(60)의 볼록 부분의 중앙 부분에 제공된 결절부(62)를 통해 카메라(61)의 전방(광학계의 상부 방향)을 볼 수 있고, 여기서 볼록 부분이 카메라(61)를 향하도록 배치한다. 따라서, 본 발명에 따르면, 일반적으로 종래 구조에서 사각이 있던 광학계 위로 시야를 확장시킬 수 있다. 비록 사각이 카메라(61)의 후방(즉, 광학계의 아래 방향)에 존재하지만, 이는 카메라(61)와 다른 촬상 수단의 소자가 시야 내에서 얻어지지 않음을 의미할 뿐이며, 특별히 문제되지 않는다. 결절부(62)의 크기는 요구되는 시야각에 따라 여러가지 바람직한 범위를 취할 수 있다. 그러나, 결절부(62)는 적어도 카메라 자체의 시야와 동등한 크기를 갖는 것이 바람직하다.
또한, 카메라(61)로부터 빗나가 있는 볼록 부분을 사용하여, 카메라 전방의 사각을 좀더 감소시켜 시야를 확장시키기 위해, 광각 렌즈를 회전체 미러(60)의 결절부(62)에 배치할 수 있다. 이 실시예는 후술되는 바와 같이, 도2에 도시되어 있다.
(실시예 2)
도2는 본 발명의 다른 실시예에 따른 전방위 시각 센서와 이에 의해 제공되는 시야를 나타낸 다이어그램이다. 상기 전방위 시각 센서는 회전체 미러(70)와 촬상 수단(74)을 포함한다. 회전체 미러(70)는 그 볼록 부분의 중심에 결절부(62)에 제공된 광각 렌즈(72)를 갖는 결절부(62)를 갖는다. 촬상 수단(74)은 수광 소자(예컨대, 카메라 렌즈)를 갖는 카메라(71)와 화상 처리 수단(73)을 포함한다.
도2에 도시한 바와 같이, 광각 렌즈(72)의 시야 범위가 회전체 미러(70)와 연관된 사각과 일치하도록, 광각 렌즈(72)를 선택하고 위치를 정함으로써, 카메라(71) 전방의 사각을 상당히 제거시킬 수 있다.
도3은 본 발명에 따른 전방위 시각 센서에 의해 카메라의 촬상면에 얻어진 화상을 도시한다. 본 발명의 본 실시예에 따른 광학계에서는 회전체 미러를 채용하고 있기 때문에, 2개의 동심원형 화상이 얻어진다. 특히, 외부 영역(80)에 나타난 화상은 회전체 미러를 통해 얻어진 회전체 미러의 360°주위를 커버하는 수평 스팬의 화상이다. 내부 영역(81)에 나타난 화상은 회전체 미러의 결절부를 통해 얻어진, 카메라의 전방에 누워있는 영역의 화상이다. 따라서, 본 발명에 따르면, 카메라의 전방의 360°주위를 커버하는 수평 스팬의 화상과 카메라의 전방에 누워있는 화상을 동시에 얻을 수 있다. 상기 2개의 화상은 종래에 잘 알려진 화상 처리 기술을 사용하여 파노라마 변환을 거침으로써 함께 링크될 수 있어서, 종래의 사각 영역에 관한 화상 정보를 동시에 얻을 수 있다. 따라서, 본 발명의 본 실시예에 따르면, 더 넓은 주위 부분의 화상을 실시간동안 얻을 수 있다.
상기 설명에서, "카메라"에 의해 얻어진 "화상"에 대한 설명은 카메라에 의해 얻어진 "정지 화상"에서도 동일하다. "영상(즉, 동화상)"은 비디오 카메라에 의해 얻을 수 있다고 평가된다. 예컨대, 초당 30개의 정지 화상을 얻고, 상기 정지 화상에 적절한 화상 처리를 함으로써, "영상(즉, 동화상)"을 얻을 수 있다. 상기와 같이, 본 발명은 실시간 방법으로 동시에 전방위 화상을 얻을 수 있게 된다. 다음 설명에서, "카메라"와 "화상"에 대한 표현은 "비디오 카메라"와 "영상"으로 각각 치환될 수 있다.
(쌍곡면 미러를 채용한 실시예)
이하, 쌍곡면 미러를 회전체 미러로서 채용한 본 발명의 특정한 실시예에 대해 설명한다.
상기와 같이, 쌍곡면 미러를 채용한 종래의 전방위 시각 시스템은 특히 일본 공개 특허 공보 제 94-295333호에 개시된다. 도4에 도시한 바와 같이, 쌍곡면 미러(90)와 카메라는 쌍곡면 미러(90)의 회전축(중심축)이 카메라의 수광 소자(즉,렌즈(91))의 광학축과 일치하도록 배치된다. 카메라 렌즈(91)의 중심은 쌍곡면 미러(90)의 제2 초점(93)에 배치된다. 촬상면(94)은 카메라 렌즈(91)의 초점 길이와 동일한 거리만큼 카메라 렌즈(91)로부터 떨어지도록 설정한다. 따라서, 쌍곡면 미러(90)의 제1 초점(92)의 360°주위를 커버하는 수평 스팬을 나타낸 화상 정보가 촬상면(94)에 촬상된다.
도4를 참조하여, 수평면(촬상면(94)에 평행한 면)으로 연장된 X축과 Y축을 갖는 좌표계, 수직 방향으로 연장된 Z축 및 쌍곡면 미러(90)의 점근선(95, 96) 사이의 교점으로 정의되는 원점을 고려하라. 상기 좌표계에 따르면, 쌍곡면(90)의 표면을 식(1)에 의해 나타낼 수 있다.
식(1)에서, a와 b는 쌍곡면의 형상을 결정하는 파라미터이다. 점근선(95, 96) 사이의 교점으로부터 쌍곡면 미러(90)의 제1 초점(92) 및 제2 초점(93)까지의 거리(c)를 식(2)에 의해 나타낼 수 있다.
본 발명에 따르면, 도1에 도시한 카메라(61)와 촬상 처리 수단(64)을 따라, 도1에 도시한 바와 같이 볼록 부분의 중심에 결절부(62)를 갖는 쌍곡면 미러(60)를 도4에 도시한 정형화된 쌍곡면 미러(90) 대신 채용한다. 따라서, 도3에 도시한 바와 같이, 일반 카메라에 의해 직접 얻은 화상과 유사한 화상이 내부 영역(81)에 나타난다.
상기 구성에서, 도1에 도시한 바와 같이, 카메라의 전방으로 누워있는 영역 부분에 여전히 사각이 있을 수 있다. 이 사각을 좀더 감소시키기 위해, 광각 렌즈(72)를 도2에 도시한 결절부 내에 제공할 수 있으므로, 좀더 확장된 시야를 얻을 수 있다. 이하, 전형적인 광각 렌즈(72)의 디자인을 설명한다.
도5는 카메라 렌즈(100)와 광각 렌즈(101)의 상대적 위치를 나타내는 다이어그램이다. 도5에 도시한 광각 렌즈(101)는 본 발명에 다른 쌍곡면 미러의 결절부에 배치된 광각 렌즈이다. 물점(102)의 화상은 광각 렌즈(101)에 의해 제1 결상점(103)에서 수렴된다. 제1 결상점(103)의 화상은 카메라 렌즈(100)에 의해 상점(104)에서 수렴된다. 카메라 렌즈(100)는 초점 길이(f1)를 갖고, 광각 렌즈(101)는 초점 길이(f2)를 갖고, 카메라 렌즈(100)와 상점(104) 사이의 거리는 S1이고, 카메라 렌즈(100)와 제1 결상점(103) 사이의 거리는 S2이고, 광각 렌즈(101)와 제1 결상점(103) 사이의 거리는 S3이며, 광각 렌즈(101)와 물점(102) 사이의 거리는 S4라고 가정하면, 각 렌즈(100, 101)의 촬상 공식을
으로서 나타낼 수 있다.
이제,
라고 가정하면, 광각 렌즈(101)의 중심이 도4의 쌍곡면 미러(90)의 제2 초점에 배치된 카메라 렌즈(91)로부터 거리(d)에 위치하는 등, 전방위 시각 센서가 광각 렌즈(101)를 조정하는 결절부를 갖는 쌍곡면 미러와 결합하도록 구성함으로써, 광각 렌즈를 통해 얻은 화상은 도3에 도시한 바와 같이 내부 영역(81) 내의 화상으로서 나타난다.
또한, 도5에서, 카메라 렌즈(100)와 광각 렌즈(101)로 구성된 광학계는
으로 정의된 초점 길이(f)를 갖는 하나의 합성 렌즈 시스템으로서 간주될 수 있다.
상기 합성 렌즈 시스템이 지름(D)를 갖는다고 가정하면, 그 시야각(n)을
로서 정의할 수 있다.
이제, 광각 렌즈의 시야각이 쌍곡면 미러의 사각과 확실히 일치하도록, 다음 관계가 만족되어야 한다.
식(8)에서, a와 b는 주어진 쌍곡면 미러의 형상에 대해 고정되고, f1은 주어진 카메라 렌즈(100)에 대해 고정되며, d는 광각 렌즈(101)의 지름에 따라 결정된다. 따라서, 식(6) 내지 식(8)으로부터 f2를 계산함으로써, 사각으로부터 상당히 벗어난 전방위 시각 센서에 사용되는 광각 렌즈를 디자인할 수 있다.
비록 상기 실시예는 쌍곡면 미러가 회전체 미러로서 채용된 경우를 설명하지만, 본 발명에 따른 전방위 시각 센서는 다른 타입의 회전체 미러, 예컨대 원추형 미러, 구면 미러, 또는 포물면 미러를 채용함에 의해서도 실현될 수 있다.
예컨대, 결절부를 갖는 회전체 미러와 결합한 전방위 시각 센서는 결절부를 통해 얻어진 시야 정보가 카메라의 촬상면에 수렴하도록, 카메라의 필드 깊이를 선택함으로써 실현할 수 있다. 또한, 광각 렌즈를 식(5)에 따라 계산된 거리에 배치시켜, 광각 렌즈를 전방위 시각 센서와 결합시킬 수 있다. 또한, 광각 렌즈의 시야각과 회전체 미러의 사각과 일치한 전방위 시각 센서는 사용된 회전체 미러의 주어진 사각에 대해, 식(7)에 따라 계산된 시야각이 사각과 일치하는 광각 렌즈를 선택함으로써 실현될 수 있다.
상기와 같이, 본 발명에 따르면, 특별한 기계적인 수단을 요구하지 않고, 종래의 전방위 시각 센서에 연관된 것보다 상당히 적은 사각을 갖는 고신뢰도의 전방위 시각 센서가 제공되어, 센서의 360°주위를 커버하는 수평 스팬에 관한 정보를 실시간 동안 얻을 수 있다. 상기 전방위 시각 센서는 감시용 카메라 시스템 또는 이동 로봇 등에 대한 시각 시스템에 매우 유효하게 사용될 수 있다. 하나의 카메라(비싼 경향이 있음)만이 요구되기 때문에, 전방위 관측을 하기 위한 시각 센서를 상대적으로 낮은 비용으로 실현할 수 있다.
본 발명의 정신과 범위로부터 벗어나지 않고, 당업자들은 다양한 변경을 용이하게 실시할 수 있을 것이다. 따라서, 첨부된 특허청구범위는 상기 설명에 한정되지 않고, 더 넓게 해석되어야 한다.

Claims (3)

  1. 볼록 부분을 갖고, 회전축에 대해 대칭인 구조를 가진 회전체 미러로서, 상기 회전체 미러의 볼록 부분에 결절부를 포함하여 회전체 미러의 회전축 주위로부터 입사된 광을 모으는 회전체 미러를 포함하는 광학계; 및
    상기 모아진 광을 수광하는 수광 소자와 상기 수광 소자에 의해 수광되어 모아진 광으로부터 발생된 광학 화상을 화상 데이터로 변환시키는 촬상 수단을 포함하며,
    상기 회전체 미러의 회전축과 수광 소자의 광학축이 일치하는 전방위 시각 센서.
  2. 제1항에 있어서, 광학계가 회전체 미러의 결절부에 제공된 광각 렌즈를 더 포함하며, 광각 렌즈의 볼록 부분이 상기 촬상 수단으로부터 빗나가도록 광각 렌즈가 배치된 전방위 시각 센서.
  3. 제2항에 있어서, 광각 렌즈의 시야가 회전체 미러의 사각과 일치하는 전방위 시각 센서.
KR1020010042412A 2000-07-13 2001-07-13 전방위 시각 센서 KR20020007211A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000213530A JP3841621B2 (ja) 2000-07-13 2000-07-13 全方位視覚センサー
JPJP-P-2000-00213530 2000-07-13

Publications (1)

Publication Number Publication Date
KR20020007211A true KR20020007211A (ko) 2002-01-26

Family

ID=18709270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010042412A KR20020007211A (ko) 2000-07-13 2001-07-13 전방위 시각 센서

Country Status (4)

Country Link
US (1) US6793356B2 (ko)
EP (1) EP1172678A3 (ko)
JP (1) JP3841621B2 (ko)
KR (1) KR20020007211A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100863508B1 (ko) 2007-04-06 2008-10-15 한국도로공사 다영역 감시시스템의 카메라내장형 이차 곡면경구조 및 그제조방법
KR100934719B1 (ko) * 2009-05-28 2009-12-30 주식회사 아이뉴정보통신 전방위 광학시스템 및 그 전방위 광학시스템을 갖는 전방위 카메라

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196438A (ja) * 2000-10-20 2002-07-12 Matsushita Electric Ind Co Ltd 広角撮像装置
US6856472B2 (en) 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
US7345705B2 (en) * 2001-07-27 2008-03-18 Raytheon Company Photonic buoy
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
JP2003223633A (ja) * 2002-01-29 2003-08-08 Sharp Corp 全方位視覚システム
US20040254424A1 (en) * 2003-04-15 2004-12-16 Interscience, Inc. Integrated panoramic and forward view endoscope
JP4527363B2 (ja) * 2003-04-21 2010-08-18 株式会社オートネットワーク技術研究所 車載カメラ装置
WO2005078502A1 (en) * 2004-02-06 2005-08-25 Interscience, Inc. Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
TWI271549B (en) * 2004-10-14 2007-01-21 Nanophotonics Ltd Rectilinear mirror and imaging system having the same
JP2006220603A (ja) * 2005-02-14 2006-08-24 Tateyama Machine Kk 撮像装置
US7226328B1 (en) 2005-02-16 2007-06-05 Raytheon Company Extendable spar buoy sea-based communication system
US20070045522A1 (en) * 2005-09-01 2007-03-01 Yi-Tsung Chien Omnidirectional electromagnetic sensing device
CN100449579C (zh) * 2006-04-21 2009-01-07 浙江工业大学 基于全方位计算机视觉的电子泊车诱导系统
GB0613048D0 (en) * 2006-07-01 2006-08-09 Pano Pro Ltd Dome-like convex mirror for a panoramic imaging system
JP5074747B2 (ja) * 2006-11-22 2012-11-14 キヤノン株式会社 光学装置、撮像装置、制御方法、及びプログラム
GB0705910D0 (en) * 2007-03-27 2007-05-09 Dsam London Llp Optical arrangement
JP5084331B2 (ja) 2007-04-09 2012-11-28 オリンパス株式会社 観察光学系
US7862394B2 (en) * 2008-05-14 2011-01-04 Ultra Electronics Ocean Systems, Inc. Apparatus having a buoyant structure that resists rotation
US20100289874A1 (en) * 2009-05-15 2010-11-18 Fuhua Cheng Square tube mirror-based imaging system
CN102591014B (zh) * 2011-01-07 2015-04-08 北京航天万方科技有限公司 一种全景视觉观察系统及其工作方法
DK2835973T3 (da) * 2013-08-06 2015-11-30 Sick Ag 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
EP3016381A1 (en) 2014-10-31 2016-05-04 Thomson Licensing Video conferencing system
CN106343997A (zh) * 2016-08-31 2017-01-25 张志强 一种全方位人体检测装置
CN108055513A (zh) * 2017-12-31 2018-05-18 北京机械设备研究所 全景视频安防监控装置
CN108781258B (zh) * 2018-02-12 2021-05-28 达闼机器人有限公司 环境信息确定方法、装置、机器人及存储介质
WO2020065756A1 (ja) * 2018-09-26 2020-04-02 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法
CN110426912A (zh) * 2019-08-06 2019-11-08 深圳六滴科技有限公司 一种用于全景立体拍摄的镜头设置结构及拍摄装置
US20240171709A1 (en) * 2022-11-21 2024-05-23 Fusus, Inc. Emergency dispatch system with video security camera feeds augmented by 360-degree static images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322564A (ja) * 1999-05-11 2000-11-24 Aisan Ind Co Ltd 全方位視覚センサ
JP2001257914A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像入力装置
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1616279A (en) 1925-03-19 1927-02-01 Parodi Roberto Optical device for horizontal panoramic and zenithal view
DE1117897B (de) * 1959-06-03 1961-11-23 Ernst Stechemesser Halterung eines zur Aufnahme oder Projektion von Vollpanoramabildern einem Objektiv vorsetzbaren Kugel- oder Kegelspiegels
JP2939087B2 (ja) 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
JPH08111798A (ja) 1994-10-12 1996-04-30 Kansei Corp 3方向監視撮像カメラ装置
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6373642B1 (en) * 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
JPH10105840A (ja) 1996-09-30 1998-04-24 Hitachi Denshi Ltd 侵入物体自動検知システム
US6333826B1 (en) * 1997-04-16 2001-12-25 Jeffrey R. Charles Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article
US6356296B1 (en) * 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
JPH114373A (ja) 1997-06-11 1999-01-06 Nippon Telegr & Teleph Corp <Ntt> 全周パノラマ画像構成方法及び装置
JP3232408B2 (ja) 1997-12-01 2001-11-26 日本エルエスアイカード株式会社 画像生成装置,画像呈示装置及び画像生成方法
JPH11183637A (ja) 1997-12-05 1999-07-09 Schlumberger Holding Ltd ビデオ検査又は検層装置
JPH11218409A (ja) * 1998-02-03 1999-08-10 Minolta Co Ltd 3次元情報計測方法及び装置
US6204916B1 (en) * 1998-02-03 2001-03-20 Minolta Co., Ltd. Three dimensional information measurement method and apparatus
JPH11355763A (ja) 1998-06-04 1999-12-24 Nagano Japan Radio Co 監視システムおよび監視方法
JP3327255B2 (ja) 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US6028719A (en) * 1998-10-02 2000-02-22 Interscience, Inc. 360 degree/forward view integral imaging system
US6175454B1 (en) * 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) * 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
JP2000322564A (ja) * 1999-05-11 2000-11-24 Aisan Ind Co Ltd 全方位視覚センサ
JP2001257914A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像入力装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100863508B1 (ko) 2007-04-06 2008-10-15 한국도로공사 다영역 감시시스템의 카메라내장형 이차 곡면경구조 및 그제조방법
KR100934719B1 (ko) * 2009-05-28 2009-12-30 주식회사 아이뉴정보통신 전방위 광학시스템 및 그 전방위 광학시스템을 갖는 전방위 카메라

Also Published As

Publication number Publication date
US20020006000A1 (en) 2002-01-17
EP1172678A3 (en) 2004-01-07
EP1172678A2 (en) 2002-01-16
US6793356B2 (en) 2004-09-21
JP2002033943A (ja) 2002-01-31
JP3841621B2 (ja) 2006-11-01

Similar Documents

Publication Publication Date Title
KR20020007211A (ko) 전방위 시각 센서
US6304285B1 (en) Method and apparatus for omnidirectional imaging
RU2201607C2 (ru) Всенаправленное устройство формирования изображения
US6744569B2 (en) Method and apparatus for omnidirectional three dimensional imaging
US6856472B2 (en) Panoramic mirror and system for producing enhanced panoramic images
Nayar Catadioptric omnidirectional camera
US7649690B2 (en) Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
US7940299B2 (en) Method and apparatus for an omni-directional video surveillance system
Nayar Omnidirectional video camera
EP1182465B1 (en) Moving object tracking apparatus
RU2000117577A (ru) Всенаправленное устройство формирования изображения
US20050117227A1 (en) Panoramic imaging system with optical zoom capability
JP3752063B2 (ja) 全方位ステレオ画像撮影装置
US6847497B2 (en) Wide-angle imaging device
JP3054146B1 (ja) パノラマ像装置
JP3467785B2 (ja) 表示システムおよび撮像装置
JPH1118007A (ja) 全方向性画像表示システム
JPH02151828A (ja) 全方位観測装置
Ohte et al. A practical spherical mirror omnidirectional camera
JP3872250B2 (ja) 広画角撮像装置
JP3805631B2 (ja) 多重焦点全方位撮像装置
JP7166607B2 (ja) 全方位カメラ装置の製造方法、全方位カメラ装置の設計方法
JPH04105476A (ja) 全方向撮影装置
JP2002158912A (ja) 広視野映像撮像装置
JP2005099572A (ja) 広域撮影方法および表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050127

Effective date: 20060629