KR101214471B1 - 감시 영상의 3차원 정합 방법 및 시스템 - Google Patents

감시 영상의 3차원 정합 방법 및 시스템 Download PDF

Info

Publication number
KR101214471B1
KR101214471B1 KR1020110033445A KR20110033445A KR101214471B1 KR 101214471 B1 KR101214471 B1 KR 101214471B1 KR 1020110033445 A KR1020110033445 A KR 1020110033445A KR 20110033445 A KR20110033445 A KR 20110033445A KR 101214471 B1 KR101214471 B1 KR 101214471B1
Authority
KR
South Korea
Prior art keywords
cameras
camera
image
surveillance
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110033445A
Other languages
English (en)
Other versions
KR20120115871A (ko
Inventor
김형오
김찬수
송영기
백원인
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020110033445A priority Critical patent/KR101214471B1/ko
Publication of KR20120115871A publication Critical patent/KR20120115871A/ko
Application granted granted Critical
Publication of KR101214471B1 publication Critical patent/KR101214471B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 감시 영상의 3차원 정합 방법 및 시스템에 관한 것으로, 본 발명에 따른 방법은, 감시 지역에 설치되는 복수 개의 카메라 사이의 관계 계산을 통해 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 단계, 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라의 프로젝션 모델을 구하는 단계, 상기 구해진 복수 개의 카메라의 프로젝션 모델을 이용하여 상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 구하는 단계, 그리고 상기 픽셀의 3차원 공간 좌표를 이용하여 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하는 단계를 포함한다. 본 발명에 의하면, 사용자가 인식하기 편한 3차원 화면으로 감시 영상을 제공할 수 있는 장점이 있다. 또한 감시 영상을 사용자가 원하는 가상 시점을 기준으로 제공할 수 있는 장점이 있다. 아울러 감시 영상의 3차원 정합에 필요한 각 카메라 간의 관계, 즉 외부 카메라 파라미터를 편리하게 획득할 수 있는 장점이 있다.

Description

감시 영상의 3차원 정합 방법 및 시스템{Method and System for 3D Reconstruction from Surveillance Video}
본 발명은 감시 영상의 3차원 정합 방법 및 시스템에 관한 것으로, 보다 상세하게는 한 공간 내에 설치된 감시 카메라의 기하학적 정보와 영상 간의 매칭을 통해 사용자가 인식하기 편한 3차원 화면으로 감시 영상을 재구성하여 보여주는 감시 영상의 3차원 정합 방법 및 시스템에 관한 것이다.
종래에는 감시 공간 내에 설치된 감시 카메라의 수보다 모니터의 수가 적은 경우 일정 시간별로 모니터에 표시되는 카메라 채널을 변경하는 방식으로 감시 영상 화면을 보여주는 방식이 이용되었다. 그런데 이 경우는 중요한 상황이 발생한 경우에도 해당 채널이 화면에 표시되지 않는 시간에는 감시자가 인식하지 못하는 문제가 있었다.
이를 해결하기 위해 도 1에 예시한 것과 같이 다수 카메라 채널의 영상을 하나의 화면에 표시하는 영상 분할 모니터링 방법이 도입되었으나, 감시자의 집중력이 분산됨으로써 감시가 소홀해질 수 있는 문제점이 있고, 아울러 각 카메라 채널 화면간의 연계성을 파악하기 힘들고 설치된 카메라의 사각지대 파악이 직관적이지 못한 문제점이 있었다.
한편 영상 분할 모니터링 방법의 문제점을 해결하기 위해 도 2에 예시한 것과 같은 2D 영상 정합 모니터링 방법이 제안되었다. 그런데 본 방법의 경우는 각 카메라의 설치 위치가 나란해야 하는데 감시 공간의 특성이나 카메라 설치 환경 등에 따라 감시 카메라를 나란하게 설치하지 못하는 경우는 적용하기가 어려운 문제점이 있고, 3차원적인 공간 감시가 어렵다는 문제점이 여전히 있었다.
따라서 본 발명이 해결하고자 하는 과제는 한 공간 내에 설치된 감시 카메라의 기하학적 정보와 영상 간의 매칭을 통해 사용자가 인식하기 편한 3차원 화면으로 감시 영상을 사용자가 원하는 가상 시점을 기준으로 재구성하여 보여주는 감시 영상의 3차원 정합 방법 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 방법은, (a) 감시 지역에 설치되는 복수 개의 카메라 사이의 관계 계산을 통해 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 단계, (b) 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라의 프로젝션 모델을 구하는 단계, (c) 상기 구해진 복수 개의 카메라의 프로젝션 모델을 이용하여 상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 구하는 단계, 그리고 (d) 상기 픽셀의 3차원 공간 좌표를 이용하여 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하는 단계를 포함한다.
상기 (a) 단계는, 상기 감시 지역을 일주한 물체를 상기 복수 개의 카메라가 촬영한 영상을 분석하여 상기 물체의 이동 경로를 추정하는 단계, 그리고 상기 추정된 물체의 이동 경로를 이용하여 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 단계를 포함할 수 있다.
상기 (b) 단계는, 상기 복수 개의 카메라에서 촬영된 영상에서 서로 대응되는 코너 정보를 추출하는 단계, 그리고 상기 추출된 코너 정보와, 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라 프로젝션 모델의 오차를 최소로 하는 상기 복수 개의 카메라의 내부 파라미터를 구하는 단계를 포함한다.
상기 (d) 단계는, 상기 가상 시점 영상에서 상기 픽셀의 3차원 공간 좌표를 이용하여 채워지지 않는 영역을 보간법을 적용하여 채우는 단계, 그리고 상기 보간법이 적용된 영상에 렌더링을 수행하는 단계를 포함한다.
상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표는 매 프레임마다 계산될 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 모니터링 시스템은, 감시 지역에 설치되는 복수 개의 카메라 사이의 관계 계산을 통해 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 카메라 외부 파라미터 계산부, 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라의 프로젝션 모델을 구하는 카메라 프로젝션 모델 생성부, 상기 구해진 복수 개의 카메라의 프로젝션 모델을 이용하여 상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 구하는 픽셀 공간 좌표 계산부, 그리고 상기 픽셀의 3차원 공간 좌표를 이용하여 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하는 가상 영상 생성부를 포함한다.
상기 카메라 외부 파라미터 계산부는, 상기 감시 지역을 일주한 물체를 상기 복수 개의 카메라가 촬영한 영상을 분석하여 상기 물체의 이동 경로를 추정하고, 상기 추정된 물체의 이동 경로를 이용하여 상기 복수 개의 카메라의 위치 및 자세 정보를 구할 수 있다.
상기 카메라 프로젝션 모델 생성부는, 상기 복수 개의 카메라에서 촬영된 영상에서 서로 대응되는 코너 정보를 추출하고, 상기 추출된 코너 정보와, 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라 프로젝션 모델의 오차를 최소로 하는 상기 복수 개의 카메라의 내부 파라미터를 구할 수 있다.
상기 가상 영상 생성부는, 상기 가상 시점 영상에서 상기 픽셀의 3차원 공간 좌표를 이용하여 채워지지 않는 영역을 보간법을 적용하여 채우고, 상기 보간법이 적용된 영상에 렌더링을 수행할 수 있다.
상기 픽셀 공간 좌표 계산부는, 상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 매 프레임마다 계산할 수 있다.
본 발명에 의하면, 사용자가 인식하기 편한 3차원 화면으로 감시 영상을 제공할 수 있는 장점이 있다. 또한 감시 영상을 사용자가 원하는 가상 시점을 기준으로 제공할 수 있는 장점이 있다. 아울러 감시 영상의 3차원 정합에 필요한 각 카메라 간의 관계, 즉 외부 카메라 파라미터를 편리하게 획득할 수 있는 장점이 있다.
도 1은 종래의 영상 분할 모니터링 방법을 설명하기 위해 제공되는 사진이다.
도 2는 종래의 2D 영상 정합 모니터링 방법을 설명하기 위해 제공되는 사진이다.
도 3은 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템을 설명하기 위해 제공되는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템을 설명하기 위해 제공되는 모식도이다.
도 5는 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명에 따른 각 카메라에 투영되는 화면을 예시한 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템을 설명하기 위해 제공되는 블록도이고, 도 4는 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템을 설명하기 위해 제공되는 모식도이며, 도 5는 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 3 및 도 4를 참고하면, 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템(100)은 복수 개의 카메라(110a, 110b, …, 110n), 영상 처리부(120) 및 모니터(130)를 포함할 수 있다. 영상 처리부(120)는 카메라 외부 파라미터 계산부(121), 카메라 프로젝션 모델 생성부(123), 픽셀 공간 좌표 계산부(125) 및 가상 영상 생성부(127)를 포함할 수 있다.
복수 개의 카메라(110a, 110b, …, 110n)는 감시 지역에 설치되어 영상 처리부(120)에 감시 지역의 영상을 획득하여 제공하는 기능을 수행한다. 도 4에서 설명의 편의상 3대의 카메라(110a, 110b, 110n)가 감시 지역에 설치된 것으로 예시하였으나, 이에 한정되지 않으며 실시예에 따라 3개 이상이 설치될 수 있고, 카메라(110a, 110b, 110n)의 설치 위치도 감시 목적, 감시 지역 상황 등을 고려하여 다양한 방식으로 설치될 수 있다. 그리고 점선으로 표시한 카메라(110v)는 가상 카메라로 감사 지역에 실제로 설치되는 카메라는 아니며, 사용자가 모니터(130) 화면으로 보게 되는 영상이 투영되는 소정의 가상 시점을 가지는 가상 카메라를 나타낸다.
영상 처리부(120)는 복수 개의 카메라(110a, 110b, …, 110n)에서 촬영된 감시 지역 영상의 픽셀들에 대한 3차원 공간 좌표를 구하고, 이를 기초로 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하는 기능을 수행한다. 여기서 소정의 가상 시점은 시스템 운영자에 의해 설정되고 필요에 따라 변경될 수 있다. 이에 의해 시스템 운영자는 상황에 따라 다양한 시점에서 감시 지역을 감시할 수 있다.
모니터(130)는 영상 처리부(120)에서 생성된 가상 시점 영상을 화면에 출력하는 기능을 수행한다.
그러면 도 5를 참고하여 본 발명의 일 실시예에 따른 감시 영상의 3차원 정합 시스템의 동작을 자세히 설명한다.
도 5를 참고하면, 먼저 영상 처리부(120)는 복수 개의 카메라(110a, 110b, …, 110n) 사이의 관계 계산을 통해 복수 개의 카메라의 위치 및 자세 정보를 구한다(S510). 여기서 카메라의 위치 및 자세 정보는 카메라(110a, 110b, …, 110n)가 감시 지역의 어느 위치에 어떠한 자세로 설치되어 있는지에 대한 정보에 대한 것으로, 위치 값(x, y, z) 및 자세 값(요(yaw), 피치(pitch), 롤(roll))으로 구해질 수 있다. 각 카메라(110a, 110b, …, 110n)의 위치 값 및 자세 값은 감시 지역에서 임의의 기준점을 기준으로 결정될 수 있다.
카메라의 위치 및 자세 정보를 구하는 동작에 대해 보다 자세히 설명하면, 먼저 임의의 물체가 감시 지역을 일주하도록 하고 복수 개의 카메라(110a, 110b, …, 110n)는 자신의 시야 범위(FIELD OF VIEW:FOV)에 포함된 사람 또는 임의의 물체를 촬영하도록 한다(S511). 여기서 임의의 물체는 사람일 수도 있으며, 필요한 경우 소정의 식별 마크를 사람이 부착하고 이동하거나, 소정의 식별 마크가 부착된 물체를 사람이 들고 이동할 수도 있다.
다음으로 카메라 외부 파라미터 계산부(121)는 감시 지역을 일주한 물체를 복수 개의 카메라(110a, 110b, …, 110n)가 촬영한 영상을 분석하여 물체의 3차원 이동 경로를 추정한다(S513).
물체가 i번째 카메라의 FOV 내에서 j번째 카메라의 FOV로 이동하였다고 가정할 경우, i번째 카메라에서 j번째 카메라로 이동하는 물체의 화면 좌표(물체의 특징점)를 가지고 수학식 1과 같이 표현되는 순방향 움직임 모델을 정의하여 물체의 이동 경로에 대한 3차원 좌표를 추정할 수 있다. 그리고 칼만 필터를 이용하여 i번째 카메라의 FOV 범위 밖에서 물체의 3차원 이동 좌표와 속도를 추정한다. 이에 의해 i번째 카메라를 기준으로 하는 물체의 이동 경로를 구할 수 있다.
Figure 112011026453792-pat00001
여기서,
Figure 112011026453792-pat00002
는 m+1번째 프레임에서 물체의 위치,
Figure 112011026453792-pat00003
은 m번째 프레임에서 물체의 속도이고 수학식 1에서 가장 오른쪽 벡터는 부가 잡음이다.
반대로, j번째 카메라에서 i번째 카메라로 이동하는(물체의 실제 이동과 반대 방향으로 이동하는) 물체의 화면 좌표를 가지고 수학식 2와 같이 표현되는 역방향 움직임 모델을 정의함으로써 물체의 이동 경로에 대한 3차원 좌표를 추정할 수 있다. 수학식 1에서 아래 첨자 f는 순방향 움직임 모델 성분임을 나타내는 것이고, 수학식 2에서 아래 첨자 b는 역방향 움직임 모델 성분임을 나타내는 것이다. 그리고 칼만 필터를 이용하여 j번째 카메라의 FOV 범위 밖에서 물체의 3차원 이동 좌표와 속도를 추정한다. 이에 의해 j번째 카메라를 기준으로 하는 물체의 이동 경로를 구할 수 있다.
Figure 112011026453792-pat00004
다음으로 i번째 카메라를 기준으로 구해진 물체의 이동 경로와, j번째 카메라를 기준으로 구해진 물체의 이동 경로를 하나의 경로로 생성하는 퓨전(fusion) 동작을 수행한다. 퓨전 동작은 아래와 같이 수학식 3으로 표현되는 α-블렌딩(blending)을 사용하여 진행할 수 있다.
Figure 112011026453792-pat00005
Figure 112011026453792-pat00006
이며, m은 화면의 번호이고, m0는 FOV에 물체가 나타나는 순간의 화면 번호이다.
그리고 i번째 카메라와, j번째 카메라 및 감시 지역에 설치된 다른 카메라에 대해서 구해진 물체의 이동 경로를 이용하여, 감시 지역 내에서 물체의 3차원 이동 경로를 생성한다. 카메라 외부 파라미터 계산부(121)는 이렇게 구해진 물체의 3차원 이동 경로를 기준으로 감시 지역에 설치된 각 카메라의 외부 파라미터, 즉 위치 및 자세 정보를 구할 수 있다. 물론 위에서 설명한 방법 외에도 다른 방법을 이용하여 카메라에서 촬영된 영상을 분석하여 물체의 3차원 이동 경로를 추적할 수도 있다.
다음으로, 카메라 프로젝션 모델 생성부(123)는 단계(S510)에서 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 각 카메라의 프로젝션 모델(Pi)를 구한다(S520).
Figure 112011026453792-pat00007
여기서 Pi는 i번째 카메라 프로젝션 모델,
Figure 112011026453792-pat00008
는 i번째 카메라에 의해 촬영된 영상의 j번째 픽셀의 화면에서의 좌표,
Figure 112011026453792-pat00009
는 j번째 픽셀의 3차원 좌표이다. 이를 수학식 5로 보다 자세히 나타내면 다음과 같다.
Figure 112011026453792-pat00010
여기서, K는 카메라 내부 파라미터, R은 카메라 외부 회전 모델(자세 정보, 피치, 요, 롤 값), I는 단위 행렬, t는 카메라 외부 이동 모델(위치 정보), (x, y, z)는
Figure 112011026453792-pat00011
이고, (u, v)는
Figure 112011026453792-pat00012
이다. 단계(S510)에서 카메라 외부 회전 모델(R)과 외부 이동 모델(t)는 카메라 위치 및 자세 정보로 구했으므로, 카메라 내부 파라미터 K만 구하면 된다.
카메라 내부 파라미터는 다음과 같은 방법으로 구할 수 있다. 복수 개의 카메라(110a, 110b, …, 110n)에서 촬영된 영상에서 서로 대응되는 코너 정보를 추출하고, 추출된 코너 정보(
Figure 112011026453792-pat00013
)와, 단계(S510)에서 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 하여 복수 개의 카메라 프로젝션 모델의 오차를 최소로 하는 카메라 내부 파라미터(K)를 구함으로써, 각 카메라에 대한 카메라 프로젝션 모델을 구할 수 있다. 즉
Figure 112011026453792-pat00014
가 최소가 되는 K값을 Levenberg-Marquardt 알고리즘을 이용하여 찾을 수 있다.
이와 같이 단계(S520)에서 각 카메라의 프로젝션 모델이 구해지면, 픽셀 공간 좌표 계산부(125)는 각 카메라의 프로젝션 모델을 이용하여 각 카메라(110a, 110b, …, 110n)의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 구할 수 있다(S530). 픽셀 공간 좌표 계산부(125)는 각 카메라에서 입력되는 영상을 구성하는 픽셀의 3차원 공간 좌표를 매 프레임마다 계산한다.
이후 가상 영상 생성부(127)는 단계(S530)에서 구해지는 픽셀의 3차원 공간 좌표를 이용하여 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성한다(S540). 가상 영상 생성부(127)는 단계(S530)에서 3차원 공간 좌표가 계산된 픽셀을 이용하여 채워지지 않는 영역을 보간법을 적용하여 채운다. 그리고 가상 영상 생성부(127)는 보간법이 적용된 영상에 감시 화면이 보다 자연스럽게 되도록 렌더링을 수행하여, 사용자가 보기에 어색하지 않은 영상을 제공할 수 있다.
도 6은 본 발명에 따른 각 카메라에 투영되는 화면을 예시한 도면이다. 도 6(a), (b), (c)는 실제 카메라(110a, 110b, 110n)에 의해 촬영된 화면이고, 도 6(d)는 실제 카메라(110a, 110b, 110n)에 의해 촬영되는 영상의 각 픽셀에 대해 구해진 3차원 공간 좌표를 이용하여 가상 카메라(110v)에 의해 투영되는 가상 시점 영상을 예시한 도면이다. 실시예에 따라 가상 카메라(110v)에 대한 가상 시점 영상에서 벽(A) 등과 같은 장애물에 의해 가려지는 부분(B)을 흐릿하게 표시되게 할 수도 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 감시 영상의 3차원 정합 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

  1. (a) 감시 지역에 설치되는 복수 개의 카메라 사이의 관계 계산을 통해 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 단계,
    (b) 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라의 프로젝션 모델을 구하는 단계,
    (c) 상기 구해진 복수 개의 카메라의 프로젝션 모델을 이용하여 상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 구하는 단계, 그리고
    (d) 상기 픽셀의 3차원 공간 좌표를 이용하여 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하는 단계
    를 포함하고,
    상기 (a) 단계는,
    상기 감시 지역을 일주한 물체를 상기 복수 개의 카메라가 촬영한 영상을 분석하여 상기 물체의 이동 경로를 추정하는 단계, 그리고
    상기 추정된 물체의 이동 경로를 이용하여 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 단계를 포함하는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 방법.
  2. 삭제
  3. 제 1 항에서,
    상기 (b) 단계는,
    상기 복수 개의 카메라에서 촬영된 영상에서 서로 대응되는 코너 정보를 추출하는 단계, 그리고
    상기 추출된 코너 정보와, 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라 프로젝션 모델의 오차를 최소로 하는 상기 복수 개의 카메라의 내부 파라미터를 구하는 단계를 포함하고,
    상기 복수 개의 카메라 프로젝션 모델은 수학식 1에 의해 나타내지고,
    [수학식 1]
    Figure 112012067770420-pat00021

    여기서 Pi는 i번째 카메라 프로젝션 모델,
    Figure 112012067770420-pat00022
    는 i번째 카메라에 의해 촬영된 영상의 j번째 픽셀의 화면에서의 좌표,
    Figure 112012067770420-pat00023
    는 j번째 픽셀의 3차원 좌표이며,
    상기 수학식 1은 수학식 2에 의해 나타내지고,
    [수학식 2]
    Figure 112012067770420-pat00024

    여기서, K는 상기 카메라 내부 파라미터, R은 카메라 외부 회전 모델(자세 정보, 피치, 요, 롤 값), I는 단위 행렬, t는 카메라 외부 이동 모델(위치 정보), (x, y, z)는
    Figure 112012067770420-pat00025
    이고, (u, v)는
    Figure 112012067770420-pat00026
    이며,
    상기 카메라 내부 파라미터는 상기 복수 개의 카메라에서 촬영된 영상에서 서로 대응되어 추출된 코너 정보(
    Figure 112012067770420-pat00027
    )와, 상기 복수 개의 카메라의 위치 및 자세 정보를 기초로 하여 Levenberg-Marquardt 알고리즘을 이용하여
    Figure 112012067770420-pat00028
    가 최소가 되는 값으로 구해지는 것을 특징으로 하는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 방법.
  4. 제 1 항에서,
    상기 (d) 단계는,
    상기 가상 시점 영상에서 상기 픽셀의 3차원 공간 좌표를 이용하여 채워지지 않는 영역을 보간법을 적용하여 채우는 단계, 그리고
    상기 보간법이 적용된 영상에 렌더링을 수행하는 단계를 포함하는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 방법.
  5. 제 1 항에서,
    상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표는 매 프레임마다 계산되는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 방법.
  6. 컴퓨터에 제1항, 제3항 또는 제5항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  7. 감시 지역에 설치되는 복수 개의 카메라 사이의 관계 계산을 통해 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 카메라 외부 파라미터 계산부,
    상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라의 프로젝션 모델을 구하는 카메라 프로젝션 모델 생성부,
    상기 구해진 복수 개의 카메라의 프로젝션 모델을 이용하여 상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 구하는 픽셀 공간 좌표 계산부, 그리고
    상기 픽셀의 3차원 공간 좌표를 이용하여 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하는 가상 영상 생성부
    를 포함하고,
    상기 카메라 외부 파라미터 계산부는,
    상기 감시 지역을 일주한 물체를 상기 복수 개의 카메라가 촬영한 영상을 분석하여 상기 물체의 이동 경로를 추정하고, 상기 추정된 물체의 이동 경로를 이용하여 상기 복수 개의 카메라의 위치 및 자세 정보를 구하는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 시스템.
  8. 삭제
  9. 제 7 항에서,
    상기 카메라 프로젝션 모델 생성부는,
    상기 복수 개의 카메라에서 촬영된 영상에서 서로 대응되는 코너 정보를 추출하고, 상기 추출된 코너 정보와, 상기 구해진 복수 개의 카메라의 위치 및 자세 정보를 기초로 상기 복수 개의 카메라 프로젝션 모델의 오차를 최소로 하는 상기 복수 개의 카메라의 내부 파라미터를 구하고,
    상기 복수 개의 카메라 프로젝션 모델은 수학식 1에 의해 나타내지고,
    [수학식 1]
    Figure 112012067770420-pat00029

    여기서 Pi는 i번째 카메라 프로젝션 모델,
    Figure 112012067770420-pat00030
    는 i번째 카메라에 의해 촬영된 영상의 j번째 픽셀의 화면에서의 좌표,
    Figure 112012067770420-pat00031
    는 j번째 픽셀의 3차원 좌표이며,
    상기 수학식 1은 수학식 2에 의해 나타내지고,
    [수학식 2]
    Figure 112012067770420-pat00032

    여기서, K는 상기 카메라 내부 파라미터, R은 카메라 외부 회전 모델(자세 정보, 피치, 요, 롤 값), I는 단위 행렬, t는 카메라 외부 이동 모델(위치 정보), (x, y, z)는
    Figure 112012067770420-pat00033
    이고, (u, v)는
    Figure 112012067770420-pat00034
    이며,
    상기 카메라 내부 파라미터는 상기 복수 개의 카메라에서 촬영된 영상에서 서로 대응되어 추출된 코너 정보(
    Figure 112012067770420-pat00035
    )와, 상기 복수 개의 카메라의 위치 및 자세 정보를 기초로 하여 Levenberg-Marquardt 알고리즘을 이용하여
    Figure 112012067770420-pat00036
    가 최소가 되는 값으로 구해지는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 시스템.
  10. 제 7 항에서,
    상기 가상 영상 생성부는,
    상기 가상 시점 영상에서 상기 픽셀의 3차원 공간 좌표를 이용하여 채워지지 않는 영역을 보간법을 적용하여 채우고, 상기 보간법이 적용된 영상에 렌더링을 수행하는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 시스템.
  11. 제 7 항에서,
    상기 픽셀 공간 좌표 계산부는,
    상기 복수 개의 카메라의 입력 영상을 구성하는 픽셀의 3차원 공간 좌표를 매 프레임마다 계산하는 것을 특징으로 하는 감시 영상의 3차원 정합 모니터링 시스템.
KR1020110033445A 2011-04-11 2011-04-11 감시 영상의 3차원 정합 방법 및 시스템 Expired - Fee Related KR101214471B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110033445A KR101214471B1 (ko) 2011-04-11 2011-04-11 감시 영상의 3차원 정합 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110033445A KR101214471B1 (ko) 2011-04-11 2011-04-11 감시 영상의 3차원 정합 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20120115871A KR20120115871A (ko) 2012-10-19
KR101214471B1 true KR101214471B1 (ko) 2012-12-24

Family

ID=47284409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110033445A Expired - Fee Related KR101214471B1 (ko) 2011-04-11 2011-04-11 감시 영상의 3차원 정합 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101214471B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021142787A1 (zh) * 2020-01-17 2021-07-22 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445528B (zh) * 2020-03-16 2021-05-11 天目爱视（北京）科技有限公司 一种在3d建模中多相机共同标定方法
CN113709409B (zh) * 2020-05-20 2024-03-01 杭州萤石软件有限公司 一种室内监控处理方法、装置及设备
CN111737518B (zh) * 2020-06-16 2024-07-02 浙江大华技术股份有限公司 基于三维场景模型的图像展示方法、装置及电子设备
KR20240068029A (ko) * 2022-11-08 2024-05-17 삼성전자주식회사 기계 학습 모델을 이용하여 영상을 획득하는 전자 장치 및 그 동작 방법
CN116489310B (zh) * 2023-04-20 2024-07-26 西藏大学 一种基于可视域的监控补盲方法和装置
CN117893692B (zh) * 2024-03-12 2024-05-28 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101718A (ja) 2007-10-19 2009-05-14 Toyota Industries Corp 映像表示装置及び映像表示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101718A (ja) 2007-10-19 2009-05-14 Toyota Industries Corp 映像表示装置及び映像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021142787A1 (zh) * 2020-01-17 2021-07-22 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统

Also Published As

Publication number Publication date
KR20120115871A (ko) 2012-10-19

Similar Documents

Publication Publication Date Title
KR101214471B1 (ko) 감시 영상의 3차원 정합 방법 및 시스템
Mori et al. A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects
Liao et al. Dvi: Depth guided video inpainting for autonomous driving
US20220076072A1 (en) System and method using augmented reality for efficient collection of training data for machine learning
CN111050210B (zh) 执行操作的方法、视频处理系统及非瞬态计算机可读介质
US10152825B2 (en) Augmenting multi-view image data with synthetic objects using IMU and image data
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20230419438A1 (en) Extraction of standardized images from a single-view or multi-view capture
CN101190124B (zh) 交互式四维虚拟内窥镜检查术的方法和设备
JP2020087440A (ja) 位置合わせされたｃａｄモデルを使用するａｒ対応ラベル付け
US11494975B2 (en) Method for analyzing three-dimensional model and device for analyzing three-dimensional model
KR20190042187A (ko) 깊이 값을 추정하는 방법 및 장치
US8854376B1 (en) Generating animation from actor performance
US11893707B2 (en) Vehicle undercarriage imaging
BR112020011100A2 (pt) aparelho e método de captura de imagem e produto de programa de computador
US20110181711A1 (en) Sequential image generation
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
Wang et al. People as scene probes
Macedo et al. A semi-automatic markerless augmented reality approach for on-patient volumetric medical data visualization
CN118411401A (zh) 基于增强现实的零件检验方法、装置、设备和存储介质
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
KR101350460B1 (ko) 영상의 모션 블러를 제거하는 방법 및 장치
Kim et al. IMAF: in situ indoor modeling and annotation framework on mobile phones
US20220254008A1 (en) Multi-view interactive digital media representation capture
JP2009512053A (ja) 画像シーケンスの動き推定及び補償

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110411

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120626

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121211

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121214

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121217

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151106

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151106

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161201

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161201

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20171201

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191216

Start annual number: 8

End annual number: 8

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240925