KR20030065379A - 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체 - Google Patents

전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체 Download PDF

Info

Publication number
KR20030065379A
KR20030065379A KR10-2003-0005641A KR20030005641A KR20030065379A KR 20030065379 A KR20030065379 A KR 20030065379A KR 20030005641 A KR20030005641 A KR 20030005641A KR 20030065379 A KR20030065379 A KR 20030065379A
Authority
KR
South Korea
Prior art keywords
axis
rotation
perspective projection
angle
projection image
Prior art date
Application number
KR10-2003-0005641A
Other languages
English (en)
Other versions
KR100530119B1 (ko
Inventor
카와카미켄이치
쿠마타키요시
나카노코이치
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20030065379A publication Critical patent/KR20030065379A/ko
Application granted granted Critical
Publication of KR100530119B1 publication Critical patent/KR100530119B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Input (AREA)

Abstract

본 발명은, 쌍곡면 미러를 사용하는 전방위 카메라에 의해 전달된 화상 데이타를 처리함으로써 디스플레이용 투시투영 화상을 생성하는 전방위 시각 시스템으로서, 이 시스템은 상기 투시투영 화상 데이타의 각 점을 나타내는 3차원 좌표를 수직축에 대하여 쌍곡면 미러의 광축이 기울어진 방향과 반대의 방향을 따라 상기 쌍곡면 미러의 광축이 기울어진 각도만큼 회전시켜 새로운 3차원 좌표를 획득하는 좌표 회전 처리부를 포함하고 있다.

Description

전방위 시각 시스템, 화상처리방법, 제어프로그램, 및 판독가능한 기록매체{OMNIDIRECTIONAL VISUAL SYSTEM, IMAGE PROCESSING METHOD, CONTROL PROGRAM, AND READABLE RECORDING MEDIUM}
본 발명은 쌍곡면 미러를 사용하는 전방위 카메라에 의해 얻어진 화상 데이타에 의해 표시되는 화상을 처리하여 디스플레이용 투시투영 화상을 생성하는 전방위 시각 시스템에 관한 것이다. 또한 본 발명은 상기 전방위 시각 시스템에서 사용되는 화상처리방법, 제어프로그램 및 판독가능한 기록매체에 관한 것이다.
종래로부터, 로봇의 시각센서 또는 넓은 시야영역에 관한 정보를 얻기 위한 보안 카메라에 있어서, 그 주변의 360°까지의 시야영역의 화상을 얻을 수 있는 카메라가 요구되어 왔다. 전방위 360°의 시야 화상을 획득하기 위해 비디오 카메라를 회전시키거나 복수의 비디오 카메라를 사용하는 기술이 채용되어 왔다.
그러나, 비디오 카메라(s)를 사용하는 경우, 1프레임에 대한 화상의 생성에 시간이 소요되고, 화상의 결합부분의 처리가 곤란하며, 비디오 카메라의 구동부에 유지보수가 필요하다는 문제가 있다. 따라서, 한번에 카메라 주위의 360°까지의 시야영역에 관한 정보를 포함하는 화상을 얻을 수 있는 전방위 카메라가 필요하다.
따라서, 구형 미러 또는 원추형 미러 등의 볼록미러에 의해 반사된 빛에 기초하여 화상을 포착하는 방법, 또는 어안랜즈를 사용하여 화상을 포착하는 방법을 사용하여 한번에 360°까지의 시야영역에 관한 정보를 포함하는 화상을 포착할 수 있는 전방위 카메라를 얻기 위한 연구가 진행되어 왔다. 그러나, 그러한 전방위 카메라일지라도 실시간으로 투시투영 화상을 생성함에 있어서 여전히 곤란함이 있고, 마치 비디오 카메라에 의해 포착된 것처럼 보여질 수 있다.
이러한 문제를 해결하기 위해, 일본 특허 공보 평6-295333호, "전방위 시각 시스템" 에는 2-시트형 쌍곡면 미러를 사용하여 360°까지의 시야영역에 관한 정보를 포함하는 화상을 포착할 수 있는 전방위 카메라; 및 시각 정보에 기초하여 소정 변환을 수행하여 2-시트형 쌍곡면 미러의 초점들 중 어느 하나에 프로젝션 중심을 갖는 투시투영 화상을 신속하게 얻을 수 있는 기술이 제안되어 있다.
상술한 기술에 따른 2-시트형 쌍곡면 미러를 사용하는 전방위 카메라에 의해 포착된 화상에 기초하여 투시투영 화상을 실시간으로 생성하여 표시할 수 있는 전방위 시각 시스템을 얻기 위한 연구가 절실하게 수행되어 왔고, 따라서 투시투영 화상은 2-시트형 쌍곡면 미러의 한 곳의 초점에 투영 중심을 가지며, 수평방향에서의 각도를 나타내는 팬각도 및 양각 및 부각을 나타내는 경사각도에 의해 표시되는 임의의 방향으로 기울어진다.
일본 특허 공보 평6-295333에 기재된, 2개의 쌍곡면 미러 및 투시투영 화상을 생성하는 방법을 사용하는 종래의 전방위 카메라를 도 7~도 12를 참조하여 이하에 설명하도록 한다.
먼저, 2-시트형 쌍곡면 미러를 사용하는 종래의 전방위 카메라를 도 7 및 도 8을 참조하여 이하에 설명한다.
도 7은 2-시트형 쌍곡면을 나타내는 도면이다. 도 7에 나타낸 바와 같이, 2-시트형 쌍곡면은 쌍곡선을 실축(Z0축) 둘레로 회전시켜 얻어진 곡면으로 참조한다. 2-시트형 쌍곡면은 2-시트형 쌍곡면의 한쪽 시트상의 초점(Om)과 2-시트형 쌍곡면 중 다른 한꼬의 시트상의 초점(Oc)와 같이 2개의 초점을 갖는다. Z0축이 수직축인 3차원 좌표계(O-X0,Y0,Z0)에 대해 설명한다. 2-시트형 쌍곡면의 2개의 초점은 각각(0,0,+C) 및 (0,0,-C)에 위치된다. 2-시트형 쌍곡면은 아래의 식(1)으로 표기된다.
여기에서 a와 b는 쌍곡선의 모양을 규정하기 위한 상수이다.
전방위 카메라에 있어서, Z0>0인 영역에 배치된 2-시트형 쌍곡면의 한쪽 시트는 미러로서 활용된다.
도 8은 종래의 전방위 카메라(20)의 개략도이다. 도 8에 나타낸 바와같이, 전방위 카메라(20)는 수직방향에 있어서 하향하고 있도록 설치되고 Z0>0인 영역에 배치된 쌍곡면 미러(21)와, 수직방향에 있어서 상향하고 있도록 쌍곡면 미러(21)의 아래에 설치된 카메라(22)를 포함한다. 이 경우, 쌍곡면 미러(21)의 초점(Om) 및 카메라(22)의 렌즈(23)의 주점(principal point)은 2-시트형 쌍곡면의 2개의 초점((0,0,+C), (0,0,-C))에 각각 위치된다. 렌즈의 초점거리(f) 만큼 렌즈 주점으로부터 이간하여 위치하도록 CCD 촬상소자 또는 CMOS 이미저 등의 촬상소자(24)가 설치된다.
다음으로, 쌍곡면 미러(21)를 사용하는 전방위 카메라의 광학 시스템의 특성과 쌍곡면 미러(21)를 사용하는 전방위 카메라(20)에 의해 얻어진 화상에 기초하여 투시투영 화상을 생성하는 방법을 도 9 및 도 10을 참조하여 이하에 설명한다.
도 9는 도 8에 나타낸 광학 시스템과 투시투영 화상을 설명하기 위한 도면이다.
도 9에 나타낸 바와 같은 광학 시스템 구성에 있어서, 쌍곡면 미러(21)의 주변으로부터 쌍곡면 미러(21)의 초점(Om)을 향해 이동하는 빛은 쌍곡면 미러(21)에 의해 반사된다. 반사광은 렌즈(23)를 통해 지나 CCD 등의 촬상소자(24)에 의해 화상으로 변환된다. 도 9에서는, 쌍곡면 미러(21)의 초점(Om)이 원점이고, 렌즈(23)의 광축이 Z축인 3차원 좌표계(Om-XYZ) 및 2차원 좌표계(xy)에 대해 설명한다.
도 9에 나타낸 바와 같이, 화상표면(25)의 xy평면은 Z축 양의 방향을 따라 렌즈(23)의 초점거리(f) 만큼 렌즈(23)의 주점(Oc)으로부터 떨어진 Z축상에 위치된 점에서 원점을 갖는다. xy평면은 Z축에 대하여 수직하고 XY평면과는 수평하다. 화상표면(25)의 xy평면에 있어서, x 및 y축은 촬상소자(24)의 장측 및 단측 방향(즉, 화상의 수평 및 수직축)에 각각 대응하고, Om-XYZ 좌표계의 X 및 Y축은 x 및 y축과 각각 평행한 직선이다. 쌍곡면 미러(21)를 사용하는 전방위 카메라(20)는 렌즈(23)의 주점(Oc)으로부터 화상표면(25)을 통해 이동하여 쌍곡면 미러(21)에 의해 반사된 빛에 기초하여 화상을 포착한다. 반사광과 화상표면(25) 사이의 교차점은 매핑점(p(x,y))에 의해 표시된다.
3차원 좌표계(Om-XYZ)에 의해 표시되는 점(P)으로부터 방출된 빛의 xy평면상의 매핑점(p)의 위치에 대하여 설명한다. 3차원 좌표계에 있어서 임의의 점(P(X,Y,Z))에 대응하는 화상표면(25)상의 매핑점이 p(x,y)로 표시된다고 가장한다. 이 경우, 점(P(X,Y,z))으로부터 초점(Om)을 향해 이동하는 빛은 쌍곡면 미러(21)에 의해 반사되어, 렌즈(23)의 초점(Oc)으로 안내됨에 따라 화상이 포착된다. 2-시트형 쌍곡면 미러를 사용하는 전방위 카메라(20)에 있어서, 점(P)으로부터 초점(Om)을 향해 이동하는 빛은 쌍곡면 미러(21)에 의해 전부 반사되어 렌즈(23)의 주점(Oc)으로 안내되고, 따라서 연장선(Om-P)을 따라 이동하는 빛이 매핑점(p(x,y))상에 전부 매핑된다. 이 경우, 반사광의 수평각도가 유지되고, 따라서 Y/X에 의해 결정되는 점(P)의 방위각도가 y/x에 의해 결정된 매핑점(p)의 방위각도(θ)를 산출하여 얻어진다.
여기에서, 방위각도(θ)는 "팬각도"로서 참조된다. 특히, X축 양의 방향을 따른 팬각도는 0°이고, Y축 양의 방향을 따른 팬각도는 90°이며, Y축 음의 방향을 따른 팬각도는 270°이다.
도 10은 도 9에 나타낸 점(P(X,Y,Z))과 Z축을 포함하는 수직 단면을 나타내는 상태도이다. 도 10에 나타낸 바와 같이, 수직단면은 점(P)과, Om(0,0,0)에서 원점을 갖는 좌표계내 Z축을 포함하고, 점(P)과 매핑점(p) 사이의 관계는 하기의 식 (2), (3), 및 (4)에 의해 표기된다.
여기에서, 상기 식 (3)으로 표기될 수 있는 도 10에 나타낸 각도(α)는점(P)의 "경사각도"로서 참조된다. 특히, Z=0을 만족하는 평면에 대한 각도, 즉 경사각도는 플러스값에 의한 양각과 마이너스값에 의한 부각으로 표기될 수 있다.
상술한 바와 같이, 카메라(22)의 렌즈(23)의 주점을 쌍곡면의 초점(Oc)상에 위치시키고, 따라서 X축 및, 쌍곡면 미러(21)의 초점(Om)과 점(P)으로부터의 연장선에 의해 만들어지는 팬각도(θ)와 경사각도(α)가 매핑점(p(x,y))에 기초하여 유일하게 얻어진다. 이 경우, x,y의 값을 산출하기 위해 상기 식(4)를 통해 식(1)을 변환함으로써 하기의 식(5),(6)이 얻어진다.
식(5) 및 식(6)은 삼각함수를 포함하지 않고, 따라서 계산이 신속하게 이루어진다. 3차원 환경의 점(P(X,Y,Z))의 값을 상기 식(5),(6)에 대입함으로써, 점(P)에 대응하는 화상표면(25)상의 점(p(x,y))의 값을 신속하게 얻을 수 있다.
다음으로, 투시투영 화상에 대하여 설명한다.
도 9에 나타낸 바와 같이, 쌍곡면 미러(21)의 초점(Om)으로부터 거리(D)만큼 초점(Om)으로부터 떨어져 위치한 3차원 좌표계내 점(G)까지 연장하는 직선(Om-G)을 그리고, 직선(Om-G)이 수직선과 대응하고 있는 투시투영 화상표면(26)이라고 생각한다. 점(P(X,Y,Z))으로부터 초점(Om)을 향해 이동하는 빛은 점(P'(X',Y',Z'))에서투시투영 화상표면과 교차한다. 이 경우, 투시투영 화상은, 투시투영 화상표면(26)이 쌍곡면 미러(21)의 초점(Om)에 투영 중심이 위치한 스크린이라는 가정아래 환경(ambient)정보를 변환하여 얻어지는 화상을 칭하며, 이러한 투시투영 화상을 나타내는 디지탈 화상 데이타는 "투시투영 화상 데이타"로서 참조된다.
지금부터, 투시투영 화상표면(26)상의 점(P'(X',Y',Z'))에 위치한 화상을 설명한다. 쌍곡면 미러(21)의 특성으로 인하여, 이러한 화상은 연장직선(Om-P')상에 펼쳐진 피사체를 나타낸다. 이 경우 쌍곡면 미러(21)에 가장 가까운 선(Om-P')의 연장선상의 피사체가 점(P(X,Y,Z))에 위치되고, 투시투영 화상표면(26)상의 점(P')에서의 화상이 점(P(X,Y,Z))으로부터의 비치에 기초하여 얻어진다.
그러나, 직선(Om-P')의 연장선을 따라 이동하는 빛은 화상표면(25)상의 매핑점(p(x,y))에 매핑되고, 따라서 점(P'(X',Y',Z'))의 값을 상기 식(5),(6)에 대입함으로써, 매핑점(p(x,y))의 값이 점(P(X,Y,Z))의 위치를 고려하지 않고 신속하게 얻어질 수 있다. 따라서, 화상표면(25)상의 매핑점(p)이 투시투영 화상표면(26)상의 각 점에 대한 3차원 좌표상에 기초하여 순차적으로 얻어지고, 따라서 투시투영 화상을 생성한다.
다음으로, 도 9에 나타낸 전방위 카메라(20)에 포함된 카메라(22)가 수직 광축(즉, Z축이 수직축임)을 갖도록 설치된 경우에 있어서 투시투영 화상을 생성하는 방법을 도 11 및 도 12를 참조하여 설명하도록 한다.
도 11은 종래의 카메라(22)가 광축(Z축이 수직축임)을 갖도록 설치된 경우에 투시투영 화상을 생성하기 위한 방법을 설명하는 도면이다. 도 11에 있어서, 도 9와 관련하여 설명한 경우와 마찬가지로, 쌍곡면 미러(21)의 초점(Om)에 원점이 위치한 3차원 좌표계(Om-XYZ)에 대해 설명한다.
도 11에 나타낸 바와 같이, 카메라(22)가 설치되어 쌍곡면 미러(21)의 광축인 z축이 수직축이 된다. 이 경우, Z축을 따라 위쪽으로 수직한 방향이 양의 방향이다. 화상표면(25)은 카메라(22)에 의해 얻어진 입력 화상에 대응한다. 원점이 쌍곡면 미러(21)의 광축과 화상표면(25) 사이의 교차점(g)에 위치한 2차원 좌표계(x,y)를 고려하면, x 및 y축은 카메라(22)의 촬상소자(24)의 장측 및 단측에 각각 평행한 직선이고, Om-XYZ 좌표계의 X 및 Y축은 x 및 y 축에 각각 평행한다.
투시투영 화상표면(26)은 직선(Om-G)이 수직선인 평면이다. 원점이 점(G)이고, i축이 XY평면에 평행한 수평축이며, j축은 i축과 Om-G축을 90°의 각도에서 교차하는 2차원 좌표계(i,j)를 고려한다. 투시투영 화상표면(26)으로부터 쌍곡면 미러(21)의 초점(Om)까지의 거리는 D이고, 투시투영 화상표면(26)의 폭 및 높이는 각각 W 및 H이다. 이 경우, i축은 언제나 XY평면에 평행하고, 따라서 획득된 투시투영 화상에 있어서, Z축이 수직축일 때 수평면이 언제나 수평하게 표시된다.
여기에서, 직선(Om-G)과 점(G)은 "변환 중심축" 및 "변환 중심점"으로서 각각 참조된다. 변환 중심축은 팬각도(θ), 경사각도(Φ), 그리고 거리(D)에 의해 표시된다. 이하의 식(7)에 의해 표기될 수 있는 팬각도(θ)는 X축과 XY평면상을 투영하는 직선(Om-G)에 의해 만들어지고, 0°~360°의 범위내에 있을 수 있다.
이 경우, 상술한 경사각도(Φ)는 XY평면과 직선(Om-G) 사이의 각도에 대응하고 -90°~90°의 범위내에 있을 수 있으며, 여기에서, XY평면과 XY평면(Z>0)의 상부를 지나는 직선(Om-G) 사이이 각도는 "+"값을 가지며, XY평면과 XY평면(Z<0)의 하부를 지나는 직선(Om-G) 사이이 각도는 "-"값을 갖는다. 거리(D)는 도 9와 관려하여 전술한 것과 동일하다. 투시투영 화상의 시각은 거리(D)와 투시투영 화상표면(26)의 폭(W) 및 높이(H)에 기초하여 결정된다.
다음으로, 투시투영 화상의 생성절차에 대하여 설명한다.
제1 단계에서, 변환 중심축의 팬각도(θ), 경사각도(Φ) 및 거리(D)가 결정된다. 그 다음, 제2 단계에서, 투시투영 화상표면(26)상의 2차원 좌표점(p(i,j))에 대응하는 3차원 좌표계의 좌표값(P(X,Y,z))이 얻어진다. 팬각도(θ), 경사각도(Φ) 및 거리(D)에 기초하여 3차원 좌표계내의 한점의 값을 획득하는 식을 이하의 식(8)에 의해 표시할 수 있다.
또한, 제3 단계에서는, 점(P(X,Y,Z))의 값들이 상기 식(5) 및 (6)에 대입되어, 투시투영 화상표면(26)상의 점(P(i,j))에 대응하는 화상표면(25)상의 매핑점(p(x,y))의 값을 얻는다.
이러한 방법으로, 투시투영 화상표면(26)상의 모든점에 대응하는 화상표면(25)상의 점의 값을 획득함으로써, 투영중심이 쌍곡면 미러(21)의 초점(Om)에 위치하는 투시투영 화상을 생성할 수 있다.
도 12는 수평배치된 피사체 "ABC"가, 수직축인 광축을 갖도록 설치된 쌍곡면 미러를 사용하는 전방위 카메라에 의해 포착된 예를 나타내는 도면이다.
도 12에 나타낸 바와 같이 도 11에 나타낸 카메라(22)의 광축이 수직축일 때, "ABC"라는 글자가 적혀진 수평배치된 피사체(27)로부터 쌍곡면 미러(21)를 향하여 이동하는 빛에 기초하여 얻어진 화상은, 투시투영 화상표면(261)이 스키린이라는 가정아래 투시투영 화상(281)처럼 보여진다. 카메라(22)의 광축이 수직축일 때, 투시투영 화상표면(261)의 횡축은 수평축이다. 따라서, 수평배치된 피사체가 보여질 때, 피사체(27)은 투시투영 화상(281)에서 수평배치된 피사체로서 표시된다.
상술한 종래의 전방위 시각 시스템은, 전방위 카메라(20)에 광축이 항상 수직방향에 존재하도록 설치되어 있는 카메라(22)에 의해 투시투영 화상(181)이 생성 및 표시된다는 가정하에 개발되어 왔다. 그러나, 볼록 밀러를 사용하는 전방위 카메라(20)의 특성으로 인해, 카메라(22) 자체에 의해 반사된 빛이 화상으로 변환하고, 따라서 종래 전방위 시각 시스템 주변의 화상을 포착할 때에, 카메라(22)의 대략 바로 아래에 위치된 영역이 사각(blind spot)으로 되는 문제가 있다.
쌍곡면 미러(21)를 사용하는 전방위 시각 시스템의 대략 바로 아래에 위치된 종래로부터의 사각영역의 화상을 포착하기 위해, 전방위 카메라(20)를 기울린 방식으로 설치하여 시스템의 대략 바로 아래에 위치된 영역의 화상을 쌍곡면 미러(21) 상에 투영하여 투영 화상용 매핑 데이타를 화상 데이타로서 사용하는 것을 생각할 수 있다.
도 13은 전방위 카메라의 광축이 기울어 지도록 전방위 카메라를 설치한 경우에 있어서 투시투영 화상을 생성하는 방법을 설명하는 도면이다.
도 13에 있어서, 도 12와 관련하여 설명한 것과 같이, 글자 "ABC"가 적혀져 있는 피사체(27)로부터 쌍곡면 미러(21)를 향해 이동하는 빛에 기초하여 얻어진 화상이, 투시투영 화상표면(262)이 스크린이라는 가정하에 투시투영 화상처럼 보여진다.
이 경우, 광축은 수직축에 대하여 기울어 있고, 따라서 투시투영 화상을 생성하는 종래의 방법이 사용될 때, 투영 화상표면(262)이 기우어져 투영 화상표면(262)의 기울기가 광축의 기울기가 서로 연동된다. 따라서, 도 13에 나타낸 바와 같이, 투시투영 화상표면(262)이 스크린이라는 가정하에 생성된 투시투영 화상(282)에 있어서, 수평배치된 피사체(270)이 마치 기울어진 것 처럼 표시된다.
게다가, 전방위 카메라(20)에 포함된 카메라(22)의 경사각도가 XY평면과 변환 중심축에 의해 이루어지므로, 광축이 수직축인 경우, 양각 및 부각이 정확하게 표시되어 플러스 값을 갖는 경사각도가 양각으로 되고 마이너스 값을 갖는 경사각도가 부각으로 된다. 따라서, 팬각도(θ), 경사각도(Φ) 및 거리(D)를 설정함으로써, 소정 투시투영 화상을 생성할 수 있다. 그러나, 광축이 기울어진 경우, XY축 평면도 수평면에 대하여 기울어지고, 따라서 팬각도(θ), 경사각도(Φ) 및 거리(D)가 종래의 경우에서와 같이 설정되어도, 생성되어질 투시투영 화상(282)은 종래 방법을 따라 생성된 투시투영 화상(282)과 비교하여 다른 경사각도를 갖는다.
특히, 종래의 전방위 시각(카메라) 시스템에 있어서, 카메라(22)의 대략 바로 아래에 위치한 사각영역을 제거할 목적으로 수직축에 대하여 기울어진 광축을 갖도록 카메라(22)가 설치된 경우, 생성될 투시투영 화상(282)이 수평면에 대하여 기울어진다. 따라서, 나안에 의해 일반적으로 보여지는 화상을 얻을 수 없다는 문제점이 있다.
본 발명의 제1 특징에 의하면, 쌍곡면 미러를 사용하는 전방위 카메라에 의해 전달된 화상을 처리함으로써 표시되는 투시투영 화상을 생성하는 전방위 시각 시스템을 제공하고, 이 시스템은 투시투영 화상 데이타의 각 점을 나타내는 3차원 좌표를, 수직축에 대하여 쌍곡면 미러의 광축이 기울어진 방향의 반대 방향을 따라 쌍곡면 미러의 광축의 기울어진 각도만큼 회전시키켜 새로운 3차원 좌표를 얻는 좌표 회전 처리부를 포함한다.
본 발명의 실시예에 있어서, 전방위 카메라의 광학축이, X축, T축, Z축이 원점인 쌍곡면 미러의 초점에서 서로 수직한 XYZ 3차원 좌표계의 Z축에 대응할 때, 좌표 회전 처리부가 수직축에 대한 Z축의 기울기 각도를 X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각 각도정보편(piece of angle information)에 기초하여 새로운 3차원 좌표를 획득한다.
본 발명의 다른 실시예에 있어서, XYZ 3차원 좌표계에 있어서의 XY평면의 X축 및 Y축은 전방위 카메라의 촬상소자의 장측 및 단측과 각각 평행하다.
본 발명의 다른 실시예에 있어서, 좌표 회전 처리부는 X 또는 Y축 중 하나 이상을 회전각도로서 사용하는 단축 또는 2축 좌표 회전 처리부이다.
본 발명의 다른 특징에 의하면, 전방위 시각 시스템은, 쌍곡면 미러에 의해 반사된 빛을 수집하여 얻어지는 화상 라이트(image light)에 기초하여 화상을 포착하는 전방위 카메라; 및 전방위 카메라에 의해 얻어진 입력 화상 데이타에 기초하여, 쌍곡면 미러의 초점에 투영중심이 위치하는 투시투영 화상을 표시하는 디스플레이용 투시투영 화상을 생성하는 화상처리부를 포함하고, 여기에서, 전방위 카메라는 그 광축이 수직축에 대하여 소정 각도만큼 기울어지도록 설치되고; 화상처리부는 투시투영 화상상의 각 점을 표시하는 3차원 좌표를, 수직축에 대하여 광축이 기울어진 방향의 반대방향을 따라 광축이 기울어진 각도만큼 회전시켜 새로운 3차원 좌표를 획득하는 좌표 회전 처리부를 포함하며; 화상처리부가 투시투영 화상을 수평하게 표시할 수 있는 투시투영 화상을 생성 및 표시한다.
본 발명의 한 실시예에 있어서, 전방위 카메라의 광축이, X, Y, 및 Z축이 원점으로서의 쌍곡면 미러의 초점에서 서로 수직인 3차원 좌표계의 Z축에 대응할 때, 좌표 회전처리부가 수직축에 대한 Z축의 기울기 각도를, X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각 각도정보편(piece of angle information)에 기초하여 새로운 3차원 좌표를 획득한다.
본 발명의 다른 실시예에 있어서, XYZ 3차원 좌표계에 있어서의 XY평면의 X축 및 Y축이 전방위 카메라의 촬상소자의 장측 및 단측과 각각 평행하다.
또한, 본 발명의 다른 실시예에 있어서, 좌표 회전 처리부는 X 또는 Y축 중 하나 이상을 회전각도로서 사용하는 단축 또는 2축 좌표 회전 처리부이다.
또한, 본 발명의 다른 실시예에 있어서, 화상처리부는 투시투영 화상에 대한 팬각도의 조정에 응답하여, 쌍곡면 미러의 초점을 통과하는 수직축이 회전각도로서 사용되었기 때문에 기울기 각도가 불변하는 투시투영 화상에 대한 데이타를 순차적으로 생성할 수 있다.
또한, 본 발명의 다른 실시예에 있어서, 화상처리부는 투시투영 화상에 대한 팬각도의 조정에 응답하여, 쌍곡면 미러의 초점을 통과하는 수직축이 회전각도로서 사용되었기 때문에 기울기 각도가 불변하는 투시투영 화상에 대한 데이타를 순차적으로 생성할 수 있다.
또한, 본 발명의 다른 실시예에 있어서, 화상처리부는 투시투영 화상에 대한 팬각도의 조정에 응답하여, 쌍곡면 미러의 초점을 통과하는 수직축이 회전각도로서 사용되었기 때문에 기울기 각도가 불변하는 투시투영 화상에 대한 데이타를 순차적으로 생성할 수 있다.
또한, 본 발명의 다른 특징에 의하면, 쌍곡면 미러를 사용하는 전방위 카메라에 의해 전달된 화상 데이타에 기초하여, 투시투영 화상상의 각 점을 나타내는 3차원 좌표를 획득하는 처리단계; 및 수직축에 대하여 광축이 기울어진 방향의 반대 방향을 따라 광축이 기울어진 각도만큼 3차원 좌표를 회전시키는 좌표 회전처리 단계를 포함하는 화상처리방법을 제공한다.
본 발명의 한 실시예에 있어서, 전방위 카메라의 광축이, X축, Y축, Z축이 원점으로서의 쌍곡면 미러의 초점에서 서로 수직인 XYZ 3차원 좌표계의 Z축에 대응할 때, 좌표 회전 처리단계는 수직축에 대한 Z축의 기울기 각도를, X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각 각도정보편에 기초하여 새로운 3차원 좌표를 획득한다.
또한, 본 발명의 다른 특징에 의하면, 본 발명의 제3 특징의 화상처리방법의 각 절차를 컴퓨터가 수행하도록 허용하는 제어프로그램을 제공한다.
또한, 본 발명의 다른 특징에 의하면, 본 발명의 제4 특징의 제어프로그램이 기록되어 있는 컴퓨터 판독가능한 기록매체를 제공한다.
상술한 구성에 의하면, 투시투영 화상상의 각점이 지정되는 3차원 좌표계가 수직축에 대하여 광축이 기울어진 방향의 반대 방향을 따라 광축이 기울어진 각도만큼 회전되어 새로운 3차원 좌표계가 얻어진다. 따라서, 광축이 소정 각도만큼 수직축에 대하여 기우어진 경우에도, 투시투영 화상내 수평배치된 피사체가 나안에서 보여지는 것처럼 수평하게 표시되도록 투시투영 화상이 표시되는 것을 허용하는 투시투영 화상 데이타를 생성할 수 있다.
이하, 도 5를 참조하여 본 발명의 기능을 보다 상세하게 설명하도록 한다.
도 5는 전방위 카메라의 광축이 수직축에 대하여 기울어진 전방위 카메라용 투시투영 화상표면을 설명하는 도면이다.
도 5에 있어서, 팬각도(θ), 경사각도(Φ) 및 거리(D)는 투시투영 화상표면 데이타를 생성하기위해 지정된다. 투시투영 화상표면(82)은 기울어진 광축(80)이 Z축에 대응하도록 생성된다. 투시투영 화상표면(83)은 수직축(81)이 Z축에 대응하도록 생성된다. 투시투영 화상표면(83)은 종래의 투시투영 화상에 대응한다. 특히, 투시투영 화상표면(82)은 수직축(81)에 대하여 광축(80)이 기울어진 정도 만큼(기울기 각도 α만큼) 투시투영 화상표면(83)을 기울임으로써 얻어진다.
본 발명의 한 실시예에 따르면, 3차원 좌표계내의 투시투영 화상표면(82)상의 각 점(P(X,Y,Z))의 좌표는, 투시투영 화상표면(82)이 기준축으로서 광축(80)을 사용한다는 가정하에 팬각도(θ), 경사각도(Φ) 및 거리(D)를 기초하여 얻어진다. 그 다음, 투시투영 화상표면(82)상의 점(P(X,Y,Z))에 대응하는 투시투영 화상표면(83)상의 점(P'(X',Y',Z'))의 값이 얻어진다. 도 5에 나타낸 바와 같이, 투시투영 화상표면(83)은 투시투영 화상표면(82)을 수직축에 대하여 광축이 기울어진 반향(A)의 반대방향(B)을 따라 기울기 각도(α)만큼 기울리는 좌표 회전처리부(142a, 도 1)를 사용함으로써, 즉 좌표 회전을 수행하는 좌표 회전처리부(142a)를 사용함으로써 얻어진다. 상술한 동작이 순차적으로 반복되어 투시투영 화상표면(83)상의 각 점의 좌표가 얻어진다. 투시투영 화상표면(83)상의 각 점(P'(X',Y',Z'))의 값을 상기 식 (5) 및 식 (6)에 대입함으로써, 전방위 카메라(12)의 광축이 기울기(α)의 소정 각도만큼 기울어지도록 전방위 카메라(12)가 설치된 경우라도, 목표물(피사체)을 수평한 방식으로 표시해주는 투시투영 화상 데이타를 생성할 수 있다.
따라서, 수직으로 설정된 투시투영 화상표면(82)을 종래의 투시투영 화상표면(83)으로 변환할 수 있고(즉, 좌표 회전처리를 수행할 수 있음), 투시투영 화상표면(83)에 기초하여 투시투영 화상 데이타를 생성할 수 있다. 종래의 경우와 마찬가지로, 수직축(81)에 대하여 팬각도(θ)와 경사각도(Φ)를 설정함으로써, 피사체가 나안에 의해 보여지는 것 처럼 수평배치된 피사체를 표시 스크린상에 수평하게 표시할 수 있다.
일반적으로, 피사체의 기울기는, 회전중심이 원점에 대응하는 O-XYZ 3차원 좌표계내 회전각도, 즉 X축에 대한 회전각도, Y축에 대한 회전각도, Z축에 대한 회전각도로 분할될 수 있다.
다음은 X축 둘레의 각도 α°, Y축 둘레의 각도 β°, X축 둘레의 각도 γ°만큼 O-XYZ축 3차원 좌표계상의 점(P(X,Y,Z))을 기우려서 획득한 점에 대응하는점(P'(X',Y',Z'))의 값을 얻기 위한 회전 행열식(식 (9)~(11))을 나타낸다.
이 경우, 상기 회전 행열식(식 (9), (10) 및 (11))에 의하면, 점(P(X,Y,Z))를 X, Y, Z축에 대하여 전방위 카메라(12)의 광축이 기우러진 방향의 반대방향을 따라 회전시켜 얻어진 점(P'(X',Y',Z'))의 값들이 수평면에 대하여 수평인 투시투영 화상에 대한 데이타를 생성하기 위해 얻어진다. 예컨대, 전방위 카메라(12)가 X축 둘레의 각도 α°, Y축 둘레의 각도 β°, X축 둘레의 각도 γ°만큼 만큼 기울어질 때, 식 (9)~(11)의 회전 매트릭스들이 조합된 행열식에 -α, -β 및 -γ를 대입함으로써 점(P'(X',Y',Z'))을 얻을 수 있다.
그러나, 상술한 바와 같이, 실제로는 전방위 카메라(12)에 의해 포착된 화상에 기초하여 각각의 X, Y, Z축에 대한 회전 각도의 결정이 곤란하고, X, Y 및 Z축에 대한 회전각도를 결정하기 위한 계산의 수행에 의해 연산이 복잡해지는 문제가 있다.
전방위 카메라에 의해 얻어진 투시투영 화상은 전방위 카메라 주변의 360°시야영역에 관한 정보를 포함하고자 하는 목적을 가지며, 따라서 투시투영 화상을 얻고자 하는 목적이 수평배치된 피사체를 단지 수평하게 표시하기 위한 투시투영 화상을 생성하는 것인 경우, 전방위 카메라의 광축이 Z에 대응할 때, Z에 대한 회전각도는 무시되어도 좋다. 물론, Z축이 회전불가능한 구성의 전방위 카메라를 채용하여도 좋다. 따라서 식(11)을 무시함으로써 연산의 복잡성을 줄일 수 있다.
게다가, 전방위 카메라에 포함된 촬상소자의 세로축이나 가로축 중 어느 한축에 평행한 축에 대응하는 회전축에 대해 소정 각도만큼 회전될 수 있는 메커니즘을 채용할 때, X축 및 Y축에 대한 회전각도를 결정하는 식만이 요구되고, 따라서 연산의 복잡성을 더 줄일 수 있다.
따라서, 본 명세서에서 설명하는 본 발명은, 전방위 카메라의 대략 바로 아래에 위치된 영역의 화상을 포착할 목적으로 전방위 카메라의 광축이 수평면에 대하여 기울어지도록 설치된 경우에서도, 나안에 의해 피사체가 보여지는 것 처럼, 전방위 시각 시스템 주변에 수평배치된 피사체를 수평하게 표시하기 위한 투시투영 화상을 얻을 수 있는 전방위 시각 시스템; 동일 시스템에 사용되는 화상처리방법; 및 동일 시스템에 사용되는 판독가능한 기록매체를 제공할 수 있는 장점이 있다.
이를 포함한 본 발명의 기타 장점들은 도면을 참조하여 이하 기술하는 상세한 설명을 통하여 당업자들에게 보다 명확히 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 전방위 시각 시스템의 주요구조를 나타내는 블럭도이다.
도 2는 X축 주변으로만 기울어진 광축을 갖는 전방위 카메라의 예를 나타내는 개략적인 사시도이다.
도 3은 도 1에 나타낸 전방위 카메라에 의해 전달된 입력화상의 일례를 나타내는 도면이다.
도 4는 도 1에 나타낸 투시투영 변환부에 의해 생성된 투시투영 화상의 일례를 나타내는 도면이다.
도 5는 광축이 수직축에 대하여 기울어져 있는 전방위 카메라의 투시투영 화상표면을 설명하는 도면이다.
도 6은 투시투영 화상상의 임의의 점으로 표시되는 화상에 대한 데이타를 얻기위해, 도 1에 나타낸 전방위 시각 시스템에서 투시투영 화상 데이타를 생성하는 동작을 나타내는 흐름도이다.
도 7은 2-시트형 쌍곡면을 나타내는 도면이다.
도 8은 종래의 전방위 카메라를 나타내는 개략도이다.
도 9는 도 8에 나타낸 광학시스템과 투시투영 화상을 설명하기 위한 도면이다.
도 10은 도 9에 나타낸 점(P)과 Z축을 포함하는 횡단면도이다.
도 11은 종래의 전방위 카메라가 수직축인 광학축(Z축)을 갖도록 설치된 경우에 있어서 투시투영 화상을 생성하는 방법을 설명하는 도면이다.
도 12는 수직축인 광축을 갖도록 설치된, 쌍곡면 미러를 사용하는 전방위 카메라에 의해 수평배치된 피사체 "ABC"를 포착함으로써 얻어진 종래의 투시투영 화상의 일례를 나타내는 도면이다.
도 13은 그 광축(Z축)이 기울어지도록 전방위 카메라가 설치된 경우에 있어서 종래의 투시투영 화상을 생성하는 방법을 설명하는 도면이다.
<도면의 주요부분에 대한 부호의 설명>
10 전방위 시각 시스템11 카메라 부착부
12 전방위 카메라13 조작부
14 이미지 처리부15 화상 표시부
141 입력화상 기억부142a 좌표회전 처리부
142b 좌표생성부142c CPU
이하, 본 발명에 따른 전방위 시각 시스템을 첨부한 도면을 참조하여, 전방위 카메라가 그 광축이 기울어지도록 설치되었을 때에도 수평배치된 피사체가 수평한 방식으로 표시되도록 투시투영 화상르르 생성하는 전방위 카메라의 실시예에 대하여 설명한다.
도 1은 본 발명의 제1 실시예에 따른 전방위 시각 시스템의 주요구성을 나타내는 블럭도이다.
도 1에 있어서, 전방위 시각 시스템(10)은, 카메라 부착부(11), 자유롭게 기울어지도록 카메라 부착부(11)에 설치된 전방위 카메라(12), 사용자가 입력조작을 수행하는 것을 허용하는 조작부(13), 및 화상 표시부(15)를 포함한다.
도 2에 나타낸 바와 같이, 카메라 부착부(11)는 한쌍의 카메라 부착부재(111)를 포함한다. 각 카메라 부착부재(111)의 일단부는 천장이나 벽등에 고정되고, 그 타단부는 전방위 카메라(12)에 부착되어, 전방위 카메라(12)가 한쌍의 카메라 부착부재(111) 사이에 끼워진다. 상세하게는, 한쌍의 카메라 부착부재(111)는 전방위 카메라(12)가 X축에 대하여 회전가능하도록 전방위 카메라(12)를 지지하면서, 도 2에 나타낸 X축에 평행한 방향으로 전방위 카메라(12)를 고정한다. 이러한 구성에 의하면, 전방위 카메라(12)는 단일축(이 실시예에서는 X축)에 대하여 회전가능하고, 따라서 그 광축(Z축)이 수직축에 대하여 소정 각도 α°만큼 기울어진다.
전방위 카메라(12)는, 집광렌즈 및 CCD촬상소자를 포함하는 CCD카메라(121); 360°시야영역의 화상에 대한 주변의 빛을 한방향으로 수집하는 쌍곡면 미러(122); 쌍곡면 미러(122)를 지지하는 미러홀더(122); 및 미러홀더(12)에 부착된 쌍곡면 미러(122)을 덮는 투명한 홀딩바디(124)를 포함한다. 전방위 카메라(12)는, 전방위 카메라(12) 자체에 의해 포착된 360°시야영역의 화상에 대한 주변의 빛에 기초하여 얻어진 입력화상 데이타를 화상처리부(14)에 전송한다. 이 경우, 상술한 X축은 CCD카메라(121)의 촬상소자(도 11에 나타낸 촬상소자(24)에 대응함)의 장측(또는 단측)에 평행하고, 수직축 및 광학축에 수직으로 교차하는 직선을 참조한다. 한쌍의 카메라 부착부재(111)는 미러홀더(123)의 외주에 부착된다.
조작부(13)는 화상처리부와의 사용자 인터페이스이고 키보드 또는 전용 제어기를 포함한다. 조작부(13)는 투시투영 화상의 팬각도(θ), 경사각도(Φ) 및 줌(zoom)거리(D) 등의 각종 파라메터와 광축의 기울기 각도(α)를 변화시키도록 사용자가 입력조작을 수행하도록 해준다. 기울기 각도(α)가 0°가 아닌 경우 전방위 카메라(12)는 그 광축(Z축)이 기울어져서 설치되고, 기울기 각도(α)가 0°인 경우 전방위 카메라(12)는 그 광축(Z축)이 기울어지지 않고, 즉 광축이 수직방향으로 존재하도록 설치된다.
화상처리부(14)는 입력 화상 기억부(141), 투시투영 화상 변환부(142), 및 투시투영 화상 기억부(143)를 포함한다. 화상처리부(14)는 전방위 카메라(12)에 의해 전달된 입력 화상 데이타를 입력 화상 기억부(141)의 소정 입력 화상 기억영역에 임시적으로 기억한다. 화상처리부(14)는 투시투영 화상 변환부(142)를 통하여 투시투영 화상 데이타를 투시투영 화상 기억부(143)에 전송하여, 입력 화상 기억부(141)내 기억된 입력 화상 데이타 및 사용자 입력조작( 팬각도(θ), 경사각도(Φ), 줌거리(D), 및 광축의 기울기 각도(α) 등의 각종 파라메타)에 기초하여투시투영 화상 기억부(143)에 기억시킨다. 입력 화상 데이타 및 투시투영 화상 데이타는 화상처리부(14)에 의해 화상 표시부(15)에 전달될 수 있다. 입력 화상 기억부(141) 및 투시투영 화상 기억부(143)는 각각 고속 데이타 재기입 메모리를 사용한다.
투시투영 화상 변환부(142)는 좌표 회전 처리부(142)를 포함하고, 광축이 수직축에 대하여 기울어져서 설치된 전방위 카메라(12)에 의해 전달된 입력 화상 데이타에 기초하여 투시투영 화상을 생성한다. 이 경우, 좌표 회전 처리부에 의한 좌표 회전처리는, 예컨대 수병배치된 피사체가 화상 표시부(15)상에 수평으로 표시되도록 좌표를 회전시키고, 표시되는 투시투영 화상 데이타가 변형 좌표에 기초하여 획득된다. 특히, 본 발명의 하나의 특징으로 이하에 상세하게 설명될 좌표 회전 처리부(142a)는 투시투영 화상상의 각점을 나타내는 3차원 좌표를 수직축에 대하여 광축이 기울어진 방향의 반대방향을 따라 수평배치된 피사체를 수평으로 표시하도록 광축의 기울기 각도(α)만큼 회전시키고, 따라서 새로운 3차원 좌표를 얻을 수 있다. 종래의 방법과는 다른게, 좌표 회전 처리부(142a)는 기울어져 있는 전방위 카메라(12)의 광축과 평행한 수평면에 대하여 수평한 투시투영 화상을 생성할 목적으로 Z축에 광축이 대응하는 XYZ좌표계를 사용하는 투시투영 화상표면의 3차원 위치를 계산하지 않는다. 그러나, 이러한 투시투영 화상을 생성하기 위해, 좌표 회전 처리부(142a)가 Z축이 수직축에 대응하는 X, Y, 및 Z축에 기초하여 투시투영 화상표면의 3차원 좌표를 계산한다.
화상 표시부(15)는 CRT 또는 액정모니터(액정표시장치)를 포함하고, 상술한입력 화상 데이타 또는 투시투영 화상을 화상으로서 표시한다. 전방위 카메라(12)에 의해 전달된 입력화상 데이타를 도 3을 참조하여 보다 자세하게 설명하도록 한다.
도 3에 나타낸 바와 같이, 입력 화상(101)은 상부 좌측코너에서의 원점(0,0)으로부터 횡축방향을 따라 좌측으로 연장하는 k축과 원점으로부터 수직축방향을 따라 하방으로 연장하는 l축을 포함한다 입력 화상(101)의 폭과 높이는 각각 w 와 h이다. 반사 화상 영역(102)는 전방위 시각 시스템(10)의 주변 360°시야영역의 포착 화상이고, 쌍곡면 미러(122)에 의해 반사된 빛에 기초하여 얻어진다. 사각영역(103)은 카메라 장치 자체, 즉 카메라 집광렌즈 또는 촬상소자를 포함하는 촬상장치에 의해 사각되는 영역에 대응한다. 직접 입력영역(104)은 쌍곡면 미러(122)에 의해 반사된 빛이 캐스트되지 않고 카메라 장치(촬상장치)에 의해 직접적으로 포착된 화상에 대응한다. 도 3에 나타낸 중심점(g(gx,gy))은 광축(Z축)이 통과하는 렌즈중심을 나타내는 좌표에 대응한다. x축이 원점으로서의 중심점(g(gx,gy))으로부터 횡축을 따라 좌측을 향해 연장하고, y축이 원점으로부터 수직축을 따라 위쪽으로 연장하는 xy평면은 도 11에 나타낸 화상표면(25)에 대응한다. 이 경우, 입력 화상(101)에서의 xy좌표계의 점(p(x,y))은 입력 화상(101)에서의 kl좌표계의 점(p(k-gx, gy-l))에 의해 표시될 수 있다.
다음으로, 투시투영 화상 변환부(142)에 의해 수행된 투시투영 화상 데이타 생성 처리에 대해 도 4에 나타낸 투시투영 화상의 일례를 사용하여 이하에 상세하게 설명하도록 한다.
도 4에 있어서, 투시투영 화상(105)은 도 11에 나타낸 투시투영 화상표면(26)에 대한 조건하에서 생성된다. 투시투영 화상(105)은 상부 좌측코너에서의 원점(0,0)으로부터 횡축방향을 따라 좌측으로 연장하는 k축과 원점으로부터 수직축방향을 따라 하방으로 연장하는 l축을 포함한다. 투시투영 화상(105)의 폭과 높이는 각각 W와 H이다. 변환 중심점(G(Gx,Gy))은 도 11에 나타낸 점(G)과 대응하고, 팬각도(θ), 경사각도(Φ), 및 거리(D)에 의해 직접적으로 표시된다. i축은 원점으로서의 점(G(Gx,Gy))으로부터 횡축을 따라 좌측으로 연장하도록 제공되고, j축은 점(G(Gx,Gy))으로부터 수직축을 따라 하방으로 연장하도록 제공된다. 도 11에 나타낸 투시투영 화상표면(26)상의 점은 i 및 j 의 좌표를 사용하여 표시된다. 이 경우, ij좌표계에서의 점(P(i,j))은 도 5에 나타낸 kl좌표계에서의 (P(k-Gx,Gy-1)) 및 XYZ좌표계에서의 점(P(X,Y,Z))에 의해 나타낼 수 있다.
상술한 구성으로, 도 5 및 도 6을 참조하여 투시투영 화상 데이타의 생성 조작에 대하여 이하에 상세하게 설명하도록 한다.
도 6은 투시투영 화상상의 임의의 점에 의해 표시된 화상에 대한 데이타를 얻기 위해 투시투영 화상을 생성하는 조작을 나타내는 흐름도이다.
도 6에 나타낸 바와 같이, 단계(S1)에서는, 투시투영 화상의 i 및 j축을 도 4에 나타낸 투시투영 화상상의 점(P(k,1))에 기초하여 획득한다. 상술한 바와 같이, 점(P(i,j))의 좌표는 P(i,j)=P(k-Gx,Gy-1)로서 표시된다. 도 5에 나타낸 기준축으로서 광축(80)을 사용하는 투시투영 화상표면(82)상의 점(P(X,Y,Z))의 값은 상술한 식(8)을 사용하여 점(P(i,j))의 좌표를 기초하여 얻어진다.
다음으로, 단계(S2)에서는, 기준축으로서 광축(80)을 사용하는 투시투영 화상표면(82)상의 점(P(X,Y,Z))에 대응하는 투시투영 화상표면(83)상의 점(P'(X',Y',Z'))이 얻어진다. 도 5에 나타낸 바와 같이, 투시투영 화상표면(83)은, 수직축(81)에 대하여 전방위 카메라(12)의 광축(80)이 기울어진 방향(A)과 반대되는 방향(B)을 따라 투시투영 화상표면(82)을 기울림으로써 얻어진다. 본 실시예에서는, 전방위 카메라(12)가 X축에 대하여 각도 α°만큼 수직축(81)에 대하여 광축이 기울어져서 설치된다고 가정하여, 좌표 회전식(9)에 -α를 대입함으로써 수직축에 대하여 광축이 기울어진 방향의 반대 방향을 따라 본래의 투시투영 화상표면을 기울림으로써 투시투영 화상표면상의 점의 값을 획득할 수 있다. 좌표 회전식(9)에 -α를 대입할 때, 이하의 식(12)가 얻어진다.
상술한 식(12)를 확장하면, 이하의 식(13)이 얻어진다.
본 실시예에 있어서, 회전처리는 상술한 식(13)을 기초하여 수행되어 기준축으로서 수직축(81)을 이용하는 투시투영 화상표면상의 점(P'(X',Y',Z'))의 값을 얻는다.
게다가, 단계(S3)에서는, 좌표 회전 처리가 수행된 후 3차원 좌표 P'(X',Y',Z')의 값들이 식(5) 및 식(6)에 대입되어 도 5에 나타낸 입력 화상상의 점(p(x,y))의 값을 계산한다.
마지막으로, 단계(S4)에서는, 화상표면상의 점(p(x,y))이 kl좌표계의 점(k,l)으로 전환된다. 점(p(k,l))의 좌표는 점(p(x+gx,gy-y))으로 표시된다. 점(p(k,l))에 의해 지정된 화상 데이타는 입력 화상 기억부(141)로부터 얻어지고, 투시투영 화상상의 점(p(k,l))에 의해 지정되는 투시투영 화상 기억부(142)내의 위치에 복사된다.
상술한 방식에 있어서, 도 6에 나타낸 흐름도에 따르면, 투시투영 화상상의 모든 점에 대응하는 입력 화상상의 점들이 얻어져 화상 데이타를 카피하고, 따라서 투시투영 화상이 생성된다. 이러한 투시투영 화상은 순차적으로 생성되고 화상 표시부(15)상에 표시되며, 따라서 동적인 화상을 처리한다.
본 실시예는, 그 광축(Z축)이 경사지도록 전방위 카메라(12)가 설치된 경우, 전방위 카메라(12)가 회전할 수 있는 단일축이 X축인 경우에 대하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않는다. 전방위 카메라(12)가 회전할 수 있는 단일축이 Y축일 수도 있다. 게다가, 전방위 카메라(12)는 예컨대 X 및 Y축 등의 두개의 축에 대해 회전할 수도 있다. 좌표 회전 처리의 복잡성이 전방위 카메라(12)가 둘 또는 세개의 축에 대해 회전하는 경우에 비해 줄어들기 때문에, 전방위 카메라(12)는 X 또는 Y축, 즉 단일축에 대해서만 회전하는 것이 유리하다.
또한, 전방위 카메라(12)가 예컨대 3개의 축에 대하여 회전하는 경우에 있어서, 전방위 카메라(12)의 광축이, 원점으로서 쌍곡면 미러(122)의 초점에서 X, Y, 및 Z축이 서로 수직인 3차원 좌표계의 Z축으로서 사용될 때, 수직축에 대한 Z축의 기울기 각도를 X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각도 정보편에 기초하여 새로운 3차원 좌표를 획득할 수 있다.
본 실시예에서는 투시투영 변환부(142)에 관하여 특별하게 설명하지 않았지만, 투시투영 변환부(142)는 프로그램을 포함하는 마이크로컴퓨터이거나 전용 IC칩일 수도 있다.
도 1에 나타낸 바와 같이, 투시투영 변환부(142)는 마이크로 컴퓨터, MPU(제어부)등과 같은 CPU(중앙처리장치)(142c)(제어부)를 포함한다. 투시투영 변환부(142)는 프로그램 메모리에 기억된 컴퓨터 실행 가능한 제어프로그램 및 각종 데이타에 기초하여 본 발명의 화상처리방법의 각 단계를 수행한다. 본 발명에 따른 제어프로그램은, 쌍곡면 미러(122)를 사용하는 전방위 카메라(12)에 의해 전달된 화상 데이타에 기초하여 투시투영 화상의 좌표를 생성하여 투시투영 화상상의 각점을 나타내는 3차원 좌표를 획득하는 좌표생성단계; 좌표생성단계에서 생성된 3차원 좌표를 수직축에 대하여 광축이 기울어진 방향과 반대방향을 따라 광축이 기울어진 각도만큼 회전시켜 새로운 3차원 좌표를 획득하는 좌표회전단계를 포함한다. 좌표생성단계 및 좌표회전단계는 좌표생성부(142b)와 좌표회전처리부(142a)에 의해 각각 수행된다. 전방위 카메라(12)의 광축이, X, Y 및 Z축이 원점으로서의 쌍곡면 미러(122)의 초점에서 서로 수직한 3차원 좌표계의 Z축으로 사용된 경우, 좌표 회전 단계는 수직축에 대한 Z축의 기울기 각도를 X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각 각도 정보편에 기초하여 새로운 3차원 좌표를 획득할 수 있다. 본 발명의 제어프로그램이 기록되어있는 컴퓨터 판독가능한 기록매체(프로그램 메모리(142d))는, 에컨대 ROM(CD-ROM 포함), EPROM, EEPROM 등이 있고, 전방위 시각 시스템(10)의 기억부로서 기능한다.
상술한 바와 같이, 본 발명에 의하면, 전방위 카메라가 그 광축이 수평면에 대하여 기울어져 설치된 경우에도, 투시투영 화상표면을 광축이 기울어진 방향의 반대방향을 따라 좌표회전시킴으로써, 피사체가 나안으로 보여지는 것처럼 수평배치된 피사체를 수평하게 표시하는 투시투영 화상 데이타를 제공할 수 있다. 따라서, 전방위 카메라의 대략 바라 아래에 위치된 영역의 화상을 획득하기 위해 전방위 카메라가 기울어져 설치된 경우에도, 종래의 전방위 시각 시스템내에서의 동일한 조작을 수행함으로써 수평배치된 피사체가 나안으로 보는 것처럼 수평하게 표시되는 투시투영를 표시할 수 있다.
본 발명의 요지내에서 당업자들에 의해 각종 변경이 용이하게 이루어질 수 있다. 따라서, 본 발명은 본 명세서에서 설명한 것들에 제한되지 않고 청구항에 의해 정의되어야 한다.

Claims (17)

  1. 쌍곡면 미러를 사용하는 전방위 카메라에 의해 전달된 화상 데이타를 처리함으로써 디스플레이용 투시투영 화상 데이타를 생성하는 전방위 시각 시스템으로서, 상기 시스템은 상기 투시투영 화상 데이타의 각 점을 나타내는 3차원 좌표를, 수직축에 대하여 쌍곡면 미러의 광축이 기울어진 방향의 반대 방향을 따라 상기 쌍곡면 미러의 광축이 기울어진 각도만큼 회전시켜 새로운 3차원 좌표를 획득하는 좌표 회전 처리부를 포함하고 있는 것을 특징으로 하는 전방위 시각 시스템.
  2. 쌍곡면 미러에 의한 반사광을 수집하여 얻어진 화상 라이트에 기초하여 화상을 포착하는 전방위 카메라; 및
    상기 전방위 카메라에 의해 얻어진 입력 화상 데이타에 기초하여, 상기 쌍곡면 미러의 초점에 투영중심이 위치하는 투시투영 화상을 나타내는 디스플레이용 투시투영 화상 데이타를 생성하는 화상처리부를 포함하는 전방위 시각 시스템으로서,
    상기 전방위 카메라는 소정 각도만큼 수직축에 대하여 그 광축이 기울어지도록 설치되며,
    상기 화상처리부는 상기 투시투영 화상상의 각 점을 나타내는 3차원 좌표를, 수직축에 대하여 광축이 기울어진 방향의 반대 방향을 따라 광축이 기울어진 각도만큼 회전시켜 새로운 3차원 좌표를 획득하는 좌표 회전 처리부를 포함하고,
    상기 화상처리부가 투시투영 화상을 수평하게 표시할 수 있는 디스플레이용투시투영 화상을 생성하는 것을 특징으로 하는 전방위 시각 시스템.
  3. 제1항에 있어서, 상기 전방위 카메라의 광축이 원점으로서의 쌍곡면 미러의 초점에서 X,Y, 및 Z축이 서로 수직한 XYZ 3차원 좌표계의 Z축에 대응할 때, 상기 좌표 회전 처리부는 수직축에 대한 Z축의 기울기 각도를 X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각각의 각도 정보편에 기초하여 새로운 3차원 좌표를 획득하는 것을 특징으로 하는 전방위 시각 시스템.
  4. 제2항에 있어서, 상기 전방위 카메라의 광축이 원점으로서의 쌍곡면 미러의 초점에서 X,Y, 및 Z축이 서로 수직한 XYZ 3차원 좌표계의 Z축에 대응할 때, 상기 좌표 회전 처리부는 수직축에 대한 Z축의 기울기 각도를 X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각각의 각도 정보편에 기초하여 새로운 3차원 좌표를 획득하는 것을 특징으로 하는 전방위 시각 시스템.
  5. 제3항에 있어서, 상기 XYZ 3차원 좌표계내의 XY평면의 X축 및 Y축은 상기 전방위 카메라의 촬상소자의 장측 및 단측에 각각 평행한 것을 특징으로 하는 전방위 시각 시스템.
  6. 제4항에 있어서, 상기 XYZ 3차원 좌표계내의 XY평면의 X축 및 Y축은 상기 전방위 카메라의 촬상소자의 장측 및 단측에 각각 평행한 것을 특징으로 하는 전방위 시각 시스템.
  7. 제5항에 있어서, 상기 좌표 회전 처리부는 회전축으로서 X축 또는 Y축 중 하나 이상을 사용하는 단일축 또는 쌍축 좌표 회전 처리부인 것을 특징으로 하는 전방위 시각 시스템.
  8. 제6항에 있어서, 상기 좌표 회전 처리부는 회전축으로서 X축 또는 Y축 중 하나 이상을 사용하는 단일축 또는 쌍축 좌표 회전 처리부인 것을 특징으로 하는 전방위 시각 시스템.
  9. 제2항에 있어서, 투시투영 화상에 대한 팬각도의 조종에 응답하여, 상기 화상처리부가 상기 쌍곡면 미러의 초점을 통과하는 수직축을 회전축으로서 사용하기 때문에 경사각도가 불변하는 투시투영 화상에 대한 데이타를 순차적으로 생성할 수 있는 것을 특징으로 하는 전방위 시각 시스템.
  10. 제4항에 있어서, 투시투영 화상에 대한 팬각도의 조종에 응답하여, 상기 화상처리부가 상기 쌍곡면 미러의 초점을 통과하는 수직축을 회전축으로서 사용하기 때문에 경사각도가 불변하는 투시투영 화상에 대한 데이타를 순차적으로 생성할 수있는 것을 특징으로 하는 전방위 시각 시스템.
  11. 제6항에 있어서, 투시투영 화상에 대한 팬각도의 조종에 응답하여, 상기 화상처리부가 상기 쌍곡면 미러의 초점을 통과하는 수직축을 회전축으로서 사용하기 때문에 경사각도가 불변하는 투시투영 화상에 대한 데이타를 순차적으로 생성할 수 있는 것을 특징으로 하는 전방위 시각 시스템.
  12. 쌍곡면 미러를 사용하는 전방위 카메라에 의해 전달된 화상 데이타에 기초하여, 투시투영 화상상의 각 점을 나타내는 3차원 좌표를 획득하는 처리를 수행하는 단계; 및
    3차원 좌표를 수직축에 대하여 광축이 기울어진 방향의 반대방향을 따라 광축이 기울어진 각도만큼 회전시키는 좌표 회전 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  13. 제12항에 있어서, 상기 전방위 카메라의 광축이 원점으로서의 쌍곡면 미러의 초점에서 X,Y, 및 Z축이 서로 수직한 XYZ 3차원 좌표계의 Z축에 대응할 때, 상기 좌표 회전 처리는 수직축에 대한 Z축의 기울기 각도를 X축이 회전축으로서 사용된 경우의 회전각도, Y축이 회전축으로서 사용된 경우의 회전각도, Z축이 회전축으로서 사용된 회전각도로 분해하여 얻어진 각각의 각도 정보편에 기초하여 새로운 3차원 좌표를 획득하는 것을 특징으로 하는 화상처리방법.
  14. 제12항의 화상처리방법의 각 처리절차를 컴퓨터가 수행하도록 하는 것을 특징으로 하는 제어프로그램.
  15. 제14항의 제어프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독가능한 기록매체.
  16. 제13항의 화상처리방법의 각 처리절차를 컴퓨터가 수행하도록 하는 것을 특징으로 하는 제어프로그램.
  17. 제16항의 제어프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독가능한 기록매체.
KR10-2003-0005641A 2002-01-29 2003-01-28 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체 KR100530119B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00020700 2002-01-29
JP2002020700A JP2003223633A (ja) 2002-01-29 2002-01-29 全方位視覚システム

Publications (2)

Publication Number Publication Date
KR20030065379A true KR20030065379A (ko) 2003-08-06
KR100530119B1 KR100530119B1 (ko) 2005-11-21

Family

ID=19192165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0005641A KR100530119B1 (ko) 2002-01-29 2003-01-28 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체

Country Status (6)

Country Link
US (1) US20030142203A1 (ko)
EP (2) EP1331605B1 (ko)
JP (1) JP2003223633A (ko)
KR (1) KR100530119B1 (ko)
CN (1) CN1278279C (ko)
DE (1) DE60310145T2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
US7038846B2 (en) * 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
JP2005191962A (ja) 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
US7542671B2 (en) * 2006-06-30 2009-06-02 Opt Corporation Omni directional photographing device
CN101155302B (zh) * 2006-09-25 2012-03-07 张燕生 一种基于对图像块数据旋转及变换的视频编解码方法
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
EP2126621B1 (en) * 2007-02-13 2013-04-10 National University of Singapore Imaging device
KR100941418B1 (ko) * 2007-03-20 2010-02-11 삼성전자주식회사 이동 로봇의 위치 인식 방법
JP5029645B2 (ja) * 2008-12-24 2012-09-19 株式会社富士通ゼネラル 画像データ変換装置
US20100321494A1 (en) * 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
US9110365B2 (en) 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
JP2011114496A (ja) * 2009-11-25 2011-06-09 Olympus Imaging Corp 撮像装置
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5063749B2 (ja) 2010-07-12 2012-10-31 キヤノン株式会社 撮影制御システム、撮像装置の制御装置及びその制御方法、並びにプログラム
JPWO2012056982A1 (ja) * 2010-10-25 2014-05-12 コニカミノルタ株式会社 画像処理方法、画像処理装置及び撮像装置
CN102157018A (zh) * 2011-03-02 2011-08-17 中国科学院空间科学与应用研究中心 一种开放单叶双曲面投影方法
US9330477B2 (en) 2011-09-22 2016-05-03 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
US9766441B2 (en) 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
CN107044956A (zh) * 2016-06-02 2017-08-15 江西科技师范大学 基于全向视觉和前向视觉的尿液检测仪器及其检测方法
JP6722521B2 (ja) * 2016-06-23 2020-07-15 古野電気株式会社 水中探知システム
JP6901580B2 (ja) * 2017-03-02 2021-07-14 影石創新科技股▲ふん▼有限公司 パノラマ画像または映像の水平較正方法、システムおよび携帯端末
TWI606421B (zh) * 2017-03-13 2017-11-21 國立交通大學 魚眼相機全自動校正方法及其裝置
CN112395949B (zh) * 2020-10-21 2023-06-20 天津中科智能识别产业技术研究院有限公司 多目标人群的虹膜图像获取装置与方法
CN114485358B (zh) * 2022-02-14 2023-11-24 湖北工业大学 一种轮轴平行度测量方法及其测量平台

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118474A (en) * 1996-05-10 2000-09-12 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus
US5975703A (en) * 1996-09-30 1999-11-02 Digital Optics International Image projection system
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
JP3523783B2 (ja) * 1998-05-14 2004-04-26 康史 八木 全方位視角センサ
CA2358220A1 (en) * 1999-01-04 2000-07-13 Cyclovision Technologies, Inc. Panoramic imaging apparatus
JP3463612B2 (ja) * 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
JP3420734B2 (ja) * 1999-03-12 2003-06-30 東京都下水道サービス株式会社 管渠内面画像の処理方法
US7006950B1 (en) * 2000-06-12 2006-02-28 Siemens Corporate Research, Inc. Statistical modeling and performance characterization of a real-time dual camera surveillance system
JP3841621B2 (ja) * 2000-07-13 2006-11-01 シャープ株式会社 全方位視覚センサー

Also Published As

Publication number Publication date
EP1331605A2 (en) 2003-07-30
DE60310145T2 (de) 2007-11-22
DE60310145D1 (de) 2007-01-18
EP1686534A2 (en) 2006-08-02
EP1331605B1 (en) 2006-12-06
JP2003223633A (ja) 2003-08-08
EP1331605A3 (en) 2005-05-04
EP1686534A3 (en) 2008-11-19
US20030142203A1 (en) 2003-07-31
CN1441386A (zh) 2003-09-10
CN1278279C (zh) 2006-10-04
KR100530119B1 (ko) 2005-11-21

Similar Documents

Publication Publication Date Title
KR100530119B1 (ko) 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체
KR102126241B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치
JP5491235B2 (ja) カメラキャリブレーション装置
US6031941A (en) Three-dimensional model data forming apparatus
JP5266954B2 (ja) 投写型表示装置および表示方法
JP5454674B2 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP7258572B2 (ja) 映像表示装置および方法
US20210364900A1 (en) Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface
JP2010050540A (ja) 投写型表示装置および表示方法
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2008114264A2 (en) A method and apparatus for video image stabilization
US11451760B2 (en) Systems and methods for correcting rolling shutter artifacts
JP6708444B2 (ja) 画像処理装置および画像処理方法
JP4679293B2 (ja) 車載パノラマカメラシステム
JP4680033B2 (ja) 監視システム及び監視装置
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP5448739B2 (ja) 画像再生装置、撮像装置、画像再生方法
JP2014134611A (ja) 幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法
JP2018206205A (ja) 魚眼画像補正方法、魚眼画像補正プログラム及び魚眼画像補正装置。
JP5571895B2 (ja) 情報表示装置
JPH1118007A (ja) 全方向性画像表示システム
US20210400249A1 (en) Systems and methods for temporal corrections for parallax reprojection
TWI704473B (zh) 視線向量偵測方向與裝置
JP2020081756A (ja) 顔画像処理装置、画像観察システム、及び瞳孔検出システム
JP5522799B2 (ja) 視線位置推定システム及び視線位置推定プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111019

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20121023

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee