KR20070096315A - 전방향 스테레오 카메라 및 그 제어 방법 - Google Patents

전방향 스테레오 카메라 및 그 제어 방법 Download PDF

Info

Publication number
KR20070096315A
KR20070096315A KR1020060026516A KR20060026516A KR20070096315A KR 20070096315 A KR20070096315 A KR 20070096315A KR 1020060026516 A KR1020060026516 A KR 1020060026516A KR 20060026516 A KR20060026516 A KR 20060026516A KR 20070096315 A KR20070096315 A KR 20070096315A
Authority
KR
South Korea
Prior art keywords
omnidirectional
cameras
image
support member
stereo camera
Prior art date
Application number
KR1020060026516A
Other languages
English (en)
Other versions
KR100765209B1 (ko
Inventor
윤석준
노경식
한우섭
민승기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060026516A priority Critical patent/KR100765209B1/ko
Priority to EP06122546A priority patent/EP1838086B1/en
Priority to DE602006006413T priority patent/DE602006006413D1/de
Priority to CNB2006101427705A priority patent/CN100501569C/zh
Priority to US11/710,492 priority patent/US7877007B2/en
Publication of KR20070096315A publication Critical patent/KR20070096315A/ko
Application granted granted Critical
Publication of KR100765209B1 publication Critical patent/KR100765209B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

전방향 스테레오 카메라 및 그 제어 방법을 개시한다. 본 발명에 따른 전방향 스테레오 카메라는, 두 개 이상의 전방향 카메라와; 두 개 이상의 전방향 카메라 사이의 촬영 범위 내에 설치되어 두 개 이상의 전방향 카메라를 상호 고정시키고, 그 표면에 보정용 패턴이 마련되는 지지 부재를 포함한다.

Description

전방향 스테레오 카메라 및 그 제어 방법{OMNI-DIRECTIONAL STEREO CAMERA AND METHOD OF CONTROLLING THEREOF}
도 1은 종래의 단일 시점 전방향 카메라의 개념을 나타낸 도면.
도 2는 종래의 비 단일 시점 전방향 카메라의 공간상의 패턴을 이용한 보정 개념을 나타낸 도면.
도 3은 본 발명의 실시 예에 따른 전방향 스테레오 카메라를 나타낸 도면.
도 4는 도 3에 나타낸 전방향 스테레오 카메라의 제어 계통을 나타낸 도면.
도 5는 도 3에 나타낸 전방향 스테레오 카메라의 지지 막대의 실시 예를 나타낸 도면.
도 6은 도 3에 나타낸 전방향 스테레오 카메라의 지지 막대의 또 다른 실시 예를 나타낸 도면.
도 7은 도 3에 나타낸 전방향 스테레오 카메라를 통해 얻어지는 보정 전의 전방향 영상을 나타낸 도면.
도 8은 도 7의 보정 전의 전방향 영상이 파노라마 영상으로 변환된 보정 후의 영상을 나타낸 도면.
도 9는 본 발명의 실시 예에 따른 전방향 스테레오 카메라의 제어 방법을 나타낸 도면.
도 10과 도 11은 도 3에 나타낸 전방향 스테레오 카메라에서의 3차원 좌표 추출 개념을 나타낸 도면.
*도면의 주요 부분에 대한 부호의 설명*
302, 304 : 전방향 카메라
306 : 지지 부재
306a : 보정용 패턴
308a, 308b : 신호 선
본 발명은 카메라에 관한 것으로, 특히 파노라마 영상을 만들기 위한 전방향 스테레오 카메라 및 그 제어 방법에 관한 것이다.
유동 인구가 많은 사무용 빌딩이나 은행과 같은 각종 영업소 및 아파트의 외각이나 주차장 등에는 그 지역의 진행상황을 파악하거나 안전을 위하여 CCTV를 설치하여 감시하고 있다. CCTV에 사용되는 종래의 감시 카메라는 일정 화각 이내의 매우 제한적인 영역만을 촬영할 수 있다. 따라서 제한된 일부 영역뿐만 아니라 보다 넓은 영역을 촬영하여 감시하고자 하는 경우에는 더 많은 감시 카메라를 설치해야 하는데, 이로 인하여 카메라 구입과 설치에 드는 비용이 증가하고, 설치에 따른 작업 시간도 증가할 수밖에 없다.
파노라마 카메라는 일반 감시 카메라보다는 훨씬 더 넓은 화각을 갖기 때문 에 보다 더 넓은 영역을 촬영할 수 있도록 한다. 그러나 이와 같은 파노라마 카메라 역시 360° 전방향을 촬영할 수 있는 것은 아니어서 그 기능이 제한적이기는 마찬가지다. 이 화각의 문제를 해결하기 위해 360° 전방향을 촬영할 수 있는 전방향 카메라(omni-directional camera)가 사용된다. 전방향 카메라는 카메라 주변의 전방향(360°)을 촬영할 수 있어 한대만 설치하더라도 은폐물에 의해 가려진 곳을 제외한 거의 모든 방향을 촬영할 수 있어 감시 카메라의 용도로서는 매우 유용하게 사용될 수 있다.
도 1은 종래의 단일 시점 전방향 카메라의 개념을 나타낸 도면이다. 도 1에 나타낸 바와 같이, 전방향 카메라는 미러(102)에 반사된 빛이 이미지 센서(102)의 촬상면에 투영되는 구조이다. 즉, 공간상의 한 점(X)의 반사광이 표면이 포물선으로 이루어지는 미러(102)의 한 지점(Xmir)에 반사되어 이미지 센서(104)의 한 지점(Ximg)에 투영되는 것을 알 수 있다. 이와 동일하게 미러(102) 측면의 수많은 지점에서의 반사광들이 미러(102)의 표면에 반사되어 이미지 센서(104)의 촬상면에 투영됨으로써 이미지 센서(104)에서는 이 투영된 빛의 조합을 통해 미러(102)에 비친 원형의 왜곡된 전방향 영상을 만들어낼 수 있게 된다. 이 전방향 영상은 별도의 이미지 프로세서에 의해 보정을 거쳐 온전한 360° 파노라마 영상을 만들어 낸다.
미러(102)의 모든 입사광이 미러(102) 내부의 한 지점(Omir)에 집중되는 전방향 카메라를 단일 시점(SVP : Single Viewpoint) 전방향 카메라로 구분한다. 이와 달리 미러(102)의 입사광들이 집중되는 지점(Omir)이 두 개 이상인 전방향 카메라는 비 단일 시점(non-SVP) 전방향 카메라로 구분한다. 단일 시점 전방향 카메라 는 설계/화각 등의 제약에 의해 실제로 그 구현이 상당히 곤란하기 때문에 비교적 구현이 용이한 비 단일 시점 전방향 카메라가 많이 이용된다.
단일 시점 전방향 카메라의 경우에는 왜곡된 전방향 영상과 보정 후의 온전한 파노라마 영상의 차이를 획득하여 보정에 반영하기 위해 공간상에 위치한 평면 형태의 보정용 패턴을 촬영하여 영상의 차이를 획득하지만, 비 단일 시점 전방향 카메라는 카메라 주변에 원통형의 보정용 패턴을 위치시킨 후 보정에 필요한 영상의 차이를 획득해야 한다.
도 2는 종래의 비 단일 시점 전방향 카메라의 공간상의 패턴을 이용한 보정 개념을 나타낸 도면이다. 도 2에 나타낸 바와 같이, 일정한 패턴이 그려진 원통형의 보정용 장치(202)를 카메라 주변에 위치시켜 왜곡된 전방향 영상을 추출하게 된다. 결국, 비 단일 시점 전방향 카메라의 보정을 위해서는 카메라를 보정용 장치(202)가 설치된 곳으로 이동시키거나, 아니면 보정용 장치(202)를 카메라가 설치된 곳으로 이동시켜야 하는데, 어떤 경우라도 이동과 설치 작업이 반드시 필요하기 때문에 상당한 불편을 감수해야만 한다. 특히, 카메라가 설치된 곳이 매우 높은 곳이거나 사용자 또는 관리자가 접근하기 어려운 곳일수록 그 불편은 더욱 커진다.
본 발명은 전방향 카메라에 보정용 장치를 일체로 설치함으로써 보다 용이하게 보정을 실시할 수 있도록 하는데 그 목적이 있다.
특히, 두 개의 전방향 카메라를 구비하는 전방향 스테레오 카메라의 경우 보정용 패턴이 도시된 지지 부재를 이용하여 두 개의 보정용 카메라를 기계적으로 연 결함으로써 별도의 보정 장치 없이도 보정이 가능하도록 하는 또 다른 목적이 있다.
또한, 전방향 카메라에 반드시 구비되어야 하는 신호 선(signal line)이 지지 부재 내부를 관통하여 지나도록 함으로써 이 신호 선이 영상에 불필요하게 포함되는 일이 없도록 하는 또 다른 목적이 있다.
이와 같은 목적의 본 발명에 따른 전방향 스테레오 카메라는, 두 개 이상의 전방향 카메라와; 두 개 이상의 전방향 카메라 사이의 촬영 범위 내에 설치되어 두 개 이상의 전방향 카메라를 상호 고정시키고, 그 표면에 보정용 패턴이 마련되는 지지 부재를 포함한다.
또한, 상술한 두 개 이상의 전방향 카메라가 서로 마주보도록 설치된다.
또한, 상술한 지지 부재는, 두 개 이상의 전방향 카메라 각각의 촬상면에서 바라볼 때 폭은 좁고 길이는 길어 사각은 감소시키되 기계적 강도는 증가시키도록 이루어진다.
또한, 상술한 지지 부재는, 단면이 원형인 봉 형상으로 이루어진다.
또한, 상술한 지지 부재는, 단면이 부채꼴인 봉 형상으로 이루어진다.
또한, 상술한 지지 부재는, 단면이 타원형인 봉 형상으로 이루어진다.
또한, 상술한 지지 부재가 두 개 이상 마련된다.
또한, 상술한 두 개 이상의 전방향 카메라 가운데 어느 하나로부터 발생하는 영상 신호를 전송하기 위한 신호 선이 지지 부재의 내부 공간을 통해 다른 하나의 전방향 카메라 쪽으로 관통하도록 이루어져 신호 선이 영상에서 불필요한 부분을 차지하지 않도록 한다.
또한, 상술한 두 개 이상의 전방향 카메라가 비 단일 시점(non-SVP) 전방향 카메라이다.
상술한 목적의 본 발명에 따른 전방향 스테레오 카메라의 제어 방법은, 두 개 이상의 전방향 카메라와, 두 개 이상의 전방향 카메라 사이의 촬영 범위 내에 설치되어 두 개 이상의 전방향 카메라를 상호 고정시키고 그 표면에 보정용 패턴이 마련되는 지지 부재를 포함하는 전방향 스테레오 카메라의 제어 방법에 있어서, 두 개 이상의 전방향 카메라를 통해 얻어지는 원형의 전방향 영상을 보정 패턴의 영상 정보를 이용하여 파노라마 영상으로 변환하고; 파노라마 영상을 통해 두 개 이상의 전방향 카메라를 각각 프로젝션 카메라로 가정하여 영상 변환 알고리즘과 3차원 좌표 추정 알고리즘을 획득한다.
이와 같이 이루어지는 본 발명의 바람직한 실시 예를 도 3 내지 도 11을 참조하여 설명하면 다음과 같다. 먼저 도 3은 본 발명의 실시 예에 따른 전방향 스테레오 카메라를 나타낸 도면이다. 도 3에 나타낸 바와 같이, 두 개의 전방향 카메라(302, 304)가 서로 마주보는 상태에서 네 개의 지지 부재(306)를 이용하여 서로 기계적으로 고정시킨다. 지지 부재(306)의 수는 두 개 이상이면 그 수에 제한은 없으나, 너무 많을 경우 영상에서 지지 부재(306) 부분이 불필요하게 차지하는 범위가 증가하게 되므로 두 개의 전방향 카메라(302, 304)를 서로 안정적으로 고정시킬 수 있는 범위 내에서 그 수를 최소화하는 것이 바람직하다.
네 개의 지지 부재(306) 가운데 하나는 그 내부에 공간이 마련되고, 이 공간으로 전방향 카메라(302)의 신호 선(308a)이 관통한다. 두 개의 전방향 카메라(302, 304)를 결합하여 하나의 전방향 스테레오 카메라로 이용하기 위해서는 두 개의 전방향 카메라(302, 304) 각각에서 발생하는 전방향 영상 신호를 하나의 이미지 프로세서(미도시)를 통해 처리하는 것이 바람직한데, 이를 위해서는 두 개의 전방향 카메라(302, 304) 가운데 어느 하나의 신호 선은 반드시 지지 부재(306)가 설치되어 있는 공간을 통과하여 다른 전방향 카메라가 위치한 곳에 도달해야 하기 때문에 이 신호 선이 화각 내에 포함되어 영상에 반영될 수밖에 없고, 이는 곧 화면 내에서 사각이 늘어나는 것이 되어 바람직하지 않다. 전방향 스테레오 카메라를 구성하기 위해서는 두 개의 전방향 카메라(302, 304)를 하나로 결합하기 위한 지지 부재(306)가 반드시 필요하기 때문에 이 지지 부재(306)에 의한 사각의 발생은 불가피하다고 볼 수 있다. 그러나 도 3과 같이 신호 선(308a)을 지지 부재(306) 내부 공간을 통해 관통시키면 적어도 신호 선(308a)에 의한 사각의 발생은 막을 수 있다.
도 4는 도 3에 나타낸 전방향 스테레오 카메라의 제어 계통을 나타낸 도면이다. 도 4에 나타낸 바와 같이, 전방향 스테레오 카메라를 구성하는 두 개의 전방향 카메라(302, 304)를 통해 획득한 전방향 영상 신호는 신호 선(308a, 308b)을 통해 이미지 프로세서(402)에 전송되고, 이미지 프로세서(402)는 전송된 전방향 영상 신호를 보정하여 온전한 파노라마 영상을 구현하여 디스플레이 장치(404)를 통해 출력될 수 있도록 한다. 이 때 각 전방향 카메라(302, 304)에서 획득한 전방향 영상 의 프레임은 원형이지만, 이미지 프로세서(402)의 보정을 거친 영상의 프레임은 직사각형의 파노라마 영상이 된다.
도 5는 도 3에 나타낸 전방향 스테레오 카메라의 지지 막대의 실시 예를 나타낸 도면이다. 도 5(A)에 나타낸 바와 같이, 지지 부재(306)는 단면이 원형인 원기둥 형태의 막대를 이용하며, 전방향 카메라(302, 304) 각각의 화각을 고려하여 어느 하나의 전방향 카메라로 촬영한 영상에 다른 하나의 전방향 카메라가 개입되는 일이 없도록 지지 부재(306)의 길이를 결정하는 것이 바람직하다. 또한, 지지 부재(306)의 표면에는 보정용 패턴이 도시되는데, 이 보정용 패턴은 소정 넓이(b)의 띠(306a)가 그 넓이와 동일한 간격(b)으로 다수 개 마련된다. 또한, 지지 부재(306)의 지름 역시 보정용 패턴의 길이(b)와 동일한 값을 갖는다.
도 5(B)는 지지 부재(306)에 의해 형성되는 사각(死角)(α)을 나타낸 것인데, 이 사각(α)의 크기는 지지 부재(306)의 지름(b) 및 전방향 카메라(302, 304)로부터의 거리에 의해 결정된다. 따라서 가능하면 지지 부재(306)의 지름(b)을 작게 하고, 전방향 카메라(302, 304)로부터의 거리를 멀리하여 사각(α)의 크기를 줄이는 것이 바람직하다. 다만, 사각(α)을 줄이기 위해 전방향 카메라(302, 304)로부터 지지 부재(306)까지의 거리를 지나치게 늘리는 것은 전방향 스테레오 카메라의 크기가 불필요하게 커질 수 있어 바람직하지 않으며, 대신 지지 부재(306)의 지름을 줄이는 것이 효과적인데, 이 마저도 전방향 카메라(302, 304) 상호 간의 기계적 강도를 고려하면 역시 한계가 있다.
도 6은 도 3에 나타낸 전방향 스테레오 카메라의 지지 막대의 또 다른 실시 예를 나타낸 도면이다. 지지 부재(606)가 화면에서 차지하는 부분의 폭은 지지 부재(606)의 지름(c)에 의해 결정되므로, 지지 부재(606)의 단면을 부채꼴 형상으로 구성하게 되면 부채꼴의 모서리 부분의 영상이 호 부분의 영상에 포함되기 때문에 사각(β)에는 영향을 미치지 않으면서도 단면이 원형인 경우보다 더 큰 기계적 강도를 제공하게 된다. 즉, 도 6의 지지 부재(606)의 반지름(c)이 도 5의 지지 부재(306)의 반지름(b)보다 작더라도 도 5의 지지 부재(306)와 도 6의 지지 부재(306)가 동등한 기계적 강도를 가지면서도 지름이 상대적으로 더 작은 도 6의 지지 부재(606)에 의한 사각(β)이 도 5의 사각(α)보다 더 감소하게 된다.
이 밖에도 지지 부재의 단면은 타원이나 마름모 등 기계적 강도는 높이면서 사각은 감소시킬 수 있는 구조이면 어떤 모양이라도 좋다.
도 7은 도 3에 나타낸 전방향 스테레오 카메라를 통해 얻어지는 보정 전의 전방향 영상을 나타낸 도면이다. 도 7에 나타낸 바와 같이, 도 3에 나타낸 전방향 스테레오 카메라를 통해 얻어지는 보정 전의 전방향 영상은 원형의 중앙부에 영상이 없는 고리 모양이다. 특히, 실제로는 일정한 폭과 일정한 간격을 갖는 지지 부재(306)의 보정용 패턴들이 도 7의 전방향 영상에서는 외곽에서 중심부로 향할수록 간격과 폭이 점차 감소하는 것을 알 수 있다. 전방향 영상의 보정은 바로 이와 같은 원형의 전방향 영상을 직사각형의 파노라마 영상으로 변환하고, 또 실제와는 다른 보정 패턴의 폭과 간격의 왜곡을 보정하여 다음에 설명하는 도 8과 같은 파노라마 영상으로 변환하는 것이다.
도 8은 도 7의 보정 전 전방향 영상이 파노라마 영상으로 변환된 보정 후의 영상을 나타낸 도면으로서, 도 7의 AA'-BB' 부분을 잘라 보정을 거쳐 직사각형의 파노라마 영상으로 변환한 영상이다. 도 7의 전방향 영상과 도 8의 파노라마 영상을 비교해 보면, 도 7의 전방향 영상에서의 지지 부재(306)는 보정용 패턴들의 폭과 간격이 실제와는 다르게 외곽에서 중심부로 향할수록 감소하여 균등하지 않은 반면, 도 8의 파노라마 영상에서의 지지 부재(306)는 보정용 패턴들의 폭과 간격이 비록 실물과는 크기가 다르더라도 적어도 폭과 간격의 비율은 도 5(A)에 나타낸 실물의 비율을 그대로 유지하는 것을 알 수 있다. 즉 도 5(A)에 나타낸 지지 부재(306)의 보정용 패턴들의 폭(b)과 간격(b)을 알고 있으므로, 도 7의 전방향 영상에서의 지지 부재(306)가 실제보다 얼마나 왜곡되었는지를 알 수 있고, 이 왜곡 정도를 보정함으로써 도 8에 나타낸 것과 같은 온전한 파노라마 영상을 얻을 수 있다.
이 과정에서 본 발명에 따른 전방향 스테레오 카메라의 왜곡 정도를 룩 업 테이블(look-up table)의 형태로 마련해 두고, 이후 목적하는 촬영 영상을 이 룩 업 테이블의 값을 기준으로 하여 변환하면 온전한 파노라마 영상을 얻을 수 있다.
특히 수식을 이용한 수학적 모델링을 사용하지 않고 룩 업 테이블을 이용함으로써 이미지 프로세서에서의 연산량을 크게 줄여 시스템의 부하를 줄일 수 있을 뿐 아니라 이미지 처리 속도를 크게 향상시킬 수 있다.
도 9는 본 발명의 실시 예에 따른 전방향 스테레오 카메라의 제어 방법을 나타낸 도면으로서, 도 4의 이미지 프로세서(402)에서 수행되는 제어 방법을 나타낸 것이다. 도 9에 나타낸 바와 같이, 각각의 전방향 카메라(302, 304)로부터 링 형상의 전방향 영상을 수신한다(902). 반사 굴절 광학계를 통하여 들어오는 형상은 타 원 형상이므로, 수신된 전방향 영상들에 대한 타원 피팅(Ellipse Fitting)을 실시하여 타원의 중심과 장축, 단축을 구한다(904). 이렇게 구해진 장축과 단축을 이용하여 이미지 센서(104)의 촬상면과 카메라 좌표계의 기울기를 구할 수 있는데, 타원의 회전축(단축)을 중심으로 위의 기울기에 대하여 회전 변환을 수행하면 촬상면과 카메라 좌표계의 X-Y 평면은 평행하게 되어 전방향 영상은 타원 모양에서 원형의 고리 모양으로 변환 된다(906).
이미지 프로세서(402)는 원형으로 변환된 전방향 영상에서 지지 부재(306) 부분을 인식하고, 인식된 이 지지 부재(306) 부분의 영상 정보로부터 보정을 위한 룩 업 테이블을 생성하고(908), 상술한 도 8의 설명에서 언급한 것과 같은 방법으로 이 룩 업 테이블을 참조하여 전방향 영상을 파노라마 영상으로 변환한다(910).
전방향 스테레오 카메라는 두 개의 전방향 카메라를 이용하여 촬영하는데, 피사체의 3차원 좌표
도 10과 도 11은 도 3에 나타낸 전방향 스테레오 카메라에서의 3차원 좌표 추출 개념을 나타낸 도면으로서, 특히 도 10은 전방향 카메라의 z-축 방향의 단면을 나타낸 것이다. 도 1에 나타낸 바와 같이, 전방향 영상을 파노라마 영상으로 변환하면 전방향 카메라(302, 304)는 일반적인 프로젝션 카메라(Projection Camera)로 가정할 수 있다. 또한, 두 대의 카메라 보정을 실시한 상태이므로 두 전방향 카메라의 촬상면은 서로 평행하다. 그러므로 두 대의 전방향 카메라(302, 304)는 평행한 스테레오 카메라로 가정이 가능하다. 일반 카메라로 가정하기 위해서는 파노라마 영상의 가상 초점 거리(f) 및 가상 깊이 오프셋(Virtual Depth Offset : Ro) 을 구해야 한다. 이 값은 다음의 식 (1)~(3)을 통해 구할 수 있다. 측정 가능한 값은 y, Y, R이고, 구하고자 하는 값은 f와 Ro 이다.
Figure 112006020368278-PAT00001
Figure 112006020368278-PAT00002
Figure 112006020368278-PAT00003
촬영하고자 하는 공간상의 여러 점을 측정하면 위의 식 (3)을 얻을 수 있으며, 이 식 (3)에서 가상 초점 거리(f) 및 가상 깊이 오프셋(Ro)은 최소자승법(Least Mean Square)에 의해 구할 수 있다. 이 방법을 이용하여 얻은 파노라마 영상의 가상 초점 거리(f) 및 가상 깊이 오프셋(Ro)과 두 파노라마 영상의 세로 방향에 대하여 스테레오 매칭을 수행하면 도 10의 Y 및 R을 구할 수 있다.
이와 같은 방법으로 R의 값을 구한 후, 도 11에 나타낸 파노라마 영상의 x 좌표 값에 따른 방위 값(θ)을 구하면 다음의 식 (4)에 나타낸 것과 같은 아래쪽 전방향 카메라(304)를 기준으로 하는 공간상의 점에 대한 3차원 좌표를 구할 수 있다.
Figure 112006020368278-PAT00004
본 발명은 전방향 카메라에 보정용 장치를 일체로 설치함으로써 보다 용이하게 보정을 실시할 수 있도록 한다.
특히, 두 개의 전방향 카메라를 구비하는 전방향 스테레오 카메라의 경우 보정용 패턴이 도시된 지지 부재를 이용하여 두 개의 보정용 카메라를 기계적으로 연결함으로써 별도의 보정 장치 없이도 보정이 가능하도록 한다.
또한, 전방향 카메라에 반드시 구비되어야 하는 신호 선(signal line)이 지지 부재 내부를 관통하여 지나도록 함으로써 이 신호 선이 영상에 불필요하게 포함되는 일이 없도록 한다.

Claims (10)

  1. 두 개 이상의 전방향 카메라와;
    상기 두 개 이상의 전방향 카메라 사이의 촬영 범위 내에 설치되어 상기 두 개 이상의 전방향 카메라를 상호 고정시키고, 그 표면에 보정용 패턴이 마련되는 지지 부재를 포함하는 전방향 스테레오 카메라.
  2. 제 1 항에 있어서,
    상기 두 개 이상의 전방향 카메라가 서로 마주보도록 설치되는 전방향 스테레오 카메라.
  3. 제 1 항에 있어서, 상기 지지 부재는,
    상기 두 개 이상의 전방향 카메라 각각의 촬상면에서 바라볼 때 폭은 좁고 길이는 길어 사각은 감소시키되 기계적 강도는 증가시키도록 이루어지는 전방향 스테레오 카메라.
  4. 제 3 항에 있어서, 상기 지지 부재는,
    단면이 원형인 봉 형상으로 이루어지는 전방향 스테레오 카메라.
  5. 제 3 항에 있어서, 상기 지지 부재는,
    단면이 부채꼴인 봉 형상으로 이루어지는 전방향 스테레오 카메라.
  6. 제 3 항에 있어서, 상기 지지 부재는,
    단면이 타원형인 봉 형상으로 이루어지는 전방향 스테레오 카메라.
  7. 제 1 항에 있어서,
    상기 지지 부재가 두 개 이상 마련되는 전방향 스테레오 카메라.
  8. 제 1 항에 있어서,
    상기 두 개 이상의 전방향 카메라 가운데 어느 하나로부터 발생하는 영상 신호를 전송하기 위한 신호 선이 상기 지지 부재의 내부 공간을 통해 다른 하나의 전방향 카메라 쪽으로 관통하도록 이루어져 상기 신호 선이 영상에서 불필요한 부분을 차지하지 않도록 하는 전방향 스테레오 카메라.
  9. 제 1 항에 있어서,
    상기 두 개 이상의 전방향 카메라가 비 단일 시점(non-SVP) 전방향 카메라인 전방향 스테레오 카메라.
  10. 두 개 이상의 전방향 카메라와, 상기 두 개 이상의 전방향 카메라 사이의 촬영 범위 내에 설치되어 상기 두 개 이상의 전방향 카메라를 상호 고정시키고 그 표 면에 보정용 패턴이 마련되는 지지 부재를 포함하는 전방향 스테레오 카메라의 제어 방법에 있어서,
    상기 두 개 이상의 전방향 카메라를 통해 얻어지는 원형의 전방향 영상을 상기 보정 패턴의 영상 정보를 이용하여 파노라마 영상으로 변환하고;
    상기 파노라마 영상을 통해 상기 두 개 이상의 전방향 카메라를 각각 프로젝션 카메라로 가정하여 영상 변환 알고리즘과 3차원 좌표 추정 알고리즘을 획득하는 전방향 스테레오 카메라의 제어 방법.
KR1020060026516A 2006-03-23 2006-03-23 전방향 스테레오 카메라 및 그 제어 방법 KR100765209B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060026516A KR100765209B1 (ko) 2006-03-23 2006-03-23 전방향 스테레오 카메라 및 그 제어 방법
EP06122546A EP1838086B1 (en) 2006-03-23 2006-10-18 Omni-directional stereo camera and method of controlling thereof
DE602006006413T DE602006006413D1 (de) 2006-03-23 2006-10-18 Omnidirektionale Stereokamera und Verfahren zur Steuerung derselben
CNB2006101427705A CN100501569C (zh) 2006-03-23 2006-10-31 全方向立体摄像机及其控制方法
US11/710,492 US7877007B2 (en) 2006-03-23 2007-02-26 Omni-directional stereo camera and method of controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060026516A KR100765209B1 (ko) 2006-03-23 2006-03-23 전방향 스테레오 카메라 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20070096315A true KR20070096315A (ko) 2007-10-02
KR100765209B1 KR100765209B1 (ko) 2007-10-09

Family

ID=37781663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060026516A KR100765209B1 (ko) 2006-03-23 2006-03-23 전방향 스테레오 카메라 및 그 제어 방법

Country Status (5)

Country Link
US (1) US7877007B2 (ko)
EP (1) EP1838086B1 (ko)
KR (1) KR100765209B1 (ko)
CN (1) CN100501569C (ko)
DE (1) DE602006006413D1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
TWM381812U (en) * 2009-08-20 2010-06-01 Guo-Zhang Yang Omnidirectional photographing apparatus
CN101930161B (zh) 2009-08-28 2014-06-18 杭州普维光电技术有限公司 一种全景成像调整方法和装置以及全景成像装置
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US20120154518A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation System for capturing panoramic stereoscopic video
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
US9071752B2 (en) * 2012-09-25 2015-06-30 National Chiao Tung University Scene imaging method using a portable two-camera omni-imaging device for human-reachable environments
TWI572846B (zh) * 2015-09-18 2017-03-01 國立交通大學 全景影像三維深度估測系統及全景影像三維深度估測方法
CN105467742A (zh) * 2015-12-28 2016-04-06 北京极图科技有限公司 曲面反射式实时全景成像装置
DE102018002177A1 (de) 2018-03-14 2019-09-19 3Dvisionlabs Gmbh System zur visuellen dreidimensionalen Überwachung von Räumen
JP6540978B1 (ja) * 2018-04-12 2019-07-10 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム
CN111553255B (zh) * 2020-04-26 2023-04-07 上海天诚比集科技有限公司 基于梯度算法的高空抛物墙体监测区域定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
DE69837932T2 (de) * 1997-10-08 2008-02-14 Interactive Pictures Corp., Oak Ridge Verfahren und system zur herstellung und anzeige von völlig inversiven stereoskopischen bildern
US6304285B1 (en) 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
AU4082801A (en) 2000-03-16 2001-09-24 Lee Scott Friend Imaging apparatus
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
KR100491271B1 (ko) 2004-04-30 2005-05-25 주식회사 나노포토닉스 전방위 거울 및 이를 이용한 영상 시스템

Also Published As

Publication number Publication date
KR100765209B1 (ko) 2007-10-09
US7877007B2 (en) 2011-01-25
CN100501569C (zh) 2009-06-17
DE602006006413D1 (de) 2009-06-04
EP1838086B1 (en) 2009-04-22
EP1838086A1 (en) 2007-09-26
CN101042525A (zh) 2007-09-26
US20070223911A1 (en) 2007-09-27

Similar Documents

Publication Publication Date Title
KR100765209B1 (ko) 전방향 스테레오 카메라 및 그 제어 방법
JP4308319B2 (ja) 画像処理装置および画像処理方法
US20170243373A1 (en) Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US20160309065A1 (en) Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
JP2011182176A (ja) 広視野角画像処理方法と広視野角画像撮影装置
JP5235070B2 (ja) 音監視装置
CN101825840A (zh) 一种多镜头实时全景成像系统
KR101685418B1 (ko) 3차원 영상을 생성하는 감시 시스템
WO2014106303A1 (en) Panoramic lens calibration for panoramic image and/or video capture apparatus
JP2012189551A5 (ko)
EP2040463A2 (en) System for increasing horizontal field of view of a camera
KR101087058B1 (ko) 전방향 카메라 장치 및 이의 구동 방법
CN102819179A (zh) 一种单照相机全景立体成像系统
US10783646B2 (en) Method for detecting motion in a video sequence
JP2006261871A (ja) ハンズフリーカメラにおける画像処理装置
JP6605244B2 (ja) 架空線撮影装置および架空線撮影方法
JP2007264402A (ja) 全方位視覚センサ
US11415792B2 (en) Wide-angle endoscope lens
JP4781537B2 (ja) カメラ・システムおよびディスプレイ装置
KR100923233B1 (ko) 가시범위가 향상된 전방위 수퍼파노라마 감시장치
JP2004309568A (ja) 全方位撮影装置
JP6808467B2 (ja) 撮像システム
JP6907040B2 (ja) 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体
KR20230089235A (ko) 광시야 카메라에 기반한 객체 추적 팬틸트 장치 및 그 동작 방법
CN110737078A (zh) 一种用于全方位图像采集复合镜头的双焦距摄像镜头

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120914

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140922

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160920

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170919

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 12