KR20140105694A - 다중지평면 추정장치 및 방법 - Google Patents

다중지평면 추정장치 및 방법 Download PDF

Info

Publication number
KR20140105694A
KR20140105694A KR1020130127295A KR20130127295A KR20140105694A KR 20140105694 A KR20140105694 A KR 20140105694A KR 1020130127295 A KR1020130127295 A KR 1020130127295A KR 20130127295 A KR20130127295 A KR 20130127295A KR 20140105694 A KR20140105694 A KR 20140105694A
Authority
KR
South Korea
Prior art keywords
horizon
estimating
unit
estimated
planes
Prior art date
Application number
KR1020130127295A
Other languages
English (en)
Other versions
KR102145959B1 (ko
Inventor
윤상두
김수완
이광무
유한주
최진영
Original Assignee
삼성테크윈 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 서울대학교산학협력단 filed Critical 삼성테크윈 주식회사
Publication of KR20140105694A publication Critical patent/KR20140105694A/ko
Application granted granted Critical
Publication of KR102145959B1 publication Critical patent/KR102145959B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다중 지평면 추정 방법에 관한 것으로, 객체의 움직임을 추적하여 추출한 소실점의 분포를 표시하는 히스트로그램을 이용하여 적어도 하나 이상의 수평선을 추정하고, 추정된 적어도 하나 이상의 수평선을 기초로 적어도 하나 이상의 지평면을 추정한다. 이 후, 추정된 적어도 하나 이상의 지평면의 단위 길이를 정규화하는 구성을 개시한다.

Description

다중지평면 추정장치 및 방법{Method and Apparatus for multiple ground plane extimation}
본 발명은 단일 영상촬영장치를 이용하여 지평면을 추정하는 방법에 관한 것으로, 보다 상세히 영상 내에 존재하는 적어도 하나 이상의 지평면을 추정하는 방법에 관한 것이다.
단일 카메라를 이용하여 지평면을 추정하는 방법은 단일 이미지를 이용하는 방법과 동영상을 이용하는 방법 두 가지로 나눌 수 있다.
단일 이미지를 이용하여 지평면을 추정하는 경우, 이미지의 에지(edge) 성분을 추출하여 소실점을 찾아내는 방법을 이용하였다. 다만, 이 경우 이미지가 복잡한 실외 상황을 촬영한 영상이거나 또는 에지(edge) 성분이 모호하게 나타나는 상황에는 적합하지 못한 문제점이 있다.
또한 동영상을 이용하여 지평면을 추정하는 방법들에는 단일 지평면을 추정하는 방법들이 제시되어 있으나, 단일 지평면을 추정하는 방법은 다중지평면 구조를 가진 동영상는 적용이 되지 않는 문제점이 있다.
"A dynamic bayesian network model for autonomous 3d reconstruction from a single indoor image," In Computer Vision and Pattern Recognition, IEEE Computer Society Conference on, volume 2, pages 2418 - 2428, 2006.
본 발명의 바람직한 일 실시예에서는, 동영상 내에 적어도 하나 이상의 지평면이 포함되어 있는 경우, 상기 적어도 하나 이상의 지평면을 추정하고자 한다.
또한 복수 개의 지평면이 추정된 경우 전체 지평면의 단위 길이를 정규화 하고자 한다.
본 발명의 바람직한 일 실시예로서, 다중지평면 추정장치는 영상 내에서 객체의 움직임을 추적하여 소실점을 추출하는 소실점 추출부; 추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 복수 개의 수평선을 추정하는 다중수평선추정부;및 상기 추정된 복수개의 수평선을 기초로 복수개의 지평면을 추정하는 다중지평면추정부; 를 포함하고, 상기 다중지평면추정부는 상기 히스토그램의 역분석(back-projection) 방식을 통해 상기 추정된 복수 개의 수평선 상에 있는 적어도 하나 이상의 소실점을 추출하여, 이에 대응되는 객체의 이동 궤적을 파악하는 이동궤적파악부; 상기 추정된 다중지평면 각각을 격자화하여 셀 단위로 나누고, 상기 이동궤적파악부에서 파악된 이동 궤적이 기설정된 회수 이상 지나간 셀을 액티브영역으로 추정하는 액티브영역추정부; 추정된 액티브영역 정보를 기초로 상기 추정된 복수개의 지평면들로부터 최종 다중지평면을 선정하는 다중지평면선정부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 다중지평면 추정장치는 영상 내에서 보행자의 움직임을 추적하여 소실점을 추출하는 소실점 추출부; 추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 다중수평선을 추정하는 다중수평선추정부; 상기 추정된 다중수평선을 기초로 다중지평면을 추정하는 다중지평면추정부; 상기 히스토그램의 역분석(back-projection) 방식을 통해 상기 추정된 다중수평선에 대응하는 보행자의 이동 궤적을 파악하고, 파악된 이동궤적을 기초로 상기 추정된 다중지평면 중 상기 보행자가 실제로 이동한 적어도 하나 이상의 최종 다중지평면을 선정하는 다중지평면선정부; 및 상기 선정된 적어도 하나 이상의 최종 다중지평면의 단위 길이를 정규화하는 깊이정규화부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 다중지평면 추정장치는 동영상 내에서 객체의 움직임을 추적하여 소실점을 추출하는 소실점 추출부; 추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 적어도 하나 이상의 수평선을 추정하는 다중수평선추정부; 상기 추정된 적어도 하나 이상의 수평선을 기초로 적어도 하나 이상의 지평면을 추정하는 다중지평면추정부;및 상기 적어도 하나 이상의 지평면의 단위 길이를 정규화하는 깊이정규화부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 단일카메라를 이용하여 다중지평면을 추정하는 방법은 소실점 추출부에서 동영상 내의 객체의 움직임을 추적하여 소실점을 추출하는 단계; 다중수평선추정부에서 추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 적어도 하나 이상의 수평선을 추정하는 단계; 다중지평면추정부에서 상기 추정된 적어도 하나 이상의 수평선을 기초로 적어도 하나 이상의 지평면을 추정하는 단계;및 깊이정규화부에서 상기 적어도 하나 이상의 지평면의 단위 길이를 정규화하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예에서는 다중지평면 추정방법을 통해, 영상 내에 복수의 지평면이 동시에 존재하는 경우에도 복수의 지평면을 추정할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 다중지평면 추정장치의 내부 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 소실점을 추출하는 일 실시예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 히스토그램을 이용하여 다중수평선을 추정하는 일 실시예를 도시한다.
도 4(a) 및 (b) 내지 도 5(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 다중지평면을 추정하는 일 실시예를 도시한다.
도 6은 본 발명의 바람직한 일 실시예로서, 최종다중지평면이 선정된 일 예를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 다중 지평면을 추정하는 흐름도를 도시한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
본 발명의 바람직한 일 실시예로서, 다중지평면 추정장치(100)는 단일카메라에서 촬영한 영상 내에 최소 하나 이상의 지평면이 동시에 존재하는 경우, 영상 내의 3D 구조를 추정하여 다중지평면을 추정한다.
이를 위해, 다중지평면 추정장치(100)는 먼저 영상 내의 소실점 추출을 통해 다중 수평선을 추정하고, 추정된 다중 수평선을 기초로 다중 지평면을 추정한다. 이 후, 추정된 다중 지평면의 정확도를 높이기 위하여 히스토그램의 back-projection 방식을 적용하여 영상 내의 객체 또는 보행자의 이동궤적을 추출하여 실제 객체 또는 보행자가 이동한 영역을 검출한다. 이 과정을 통해 최종적으로 추정된 다중 지평면에서 각각의 지평면의 상대적 깊이를 얻을 수 있다.
본 발명의 또 다른 바람직한 일 실시예에서는 이상과 같이 상대적 깊이를 알고 있는 모든 지평면들에 대해, 상대적 깊이를 정규화하는 방법을 제시한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 다중지평면 추정장치의 내부 구성도를 도시한다. 다중지평면 추정장치(100)는 소실점 추출부(110), 다중수평선추정부(120), 다중지평면추정부(130) 및 깊이정규화부(140)를 포함한다.
소실점 추출부(110)는 동영상 내에서 객체의 움직임을 추적하여 소실점을 추출한다. 도 2 는 본 발명의 바람직한 일 실시예로서, 소실점을 추출하는 일 실시예를 도시한다.
도 2 를 참고하면, 영상 내의 보행자(210, 220)는 동일 인물로서 키(height)가 동일하다. 따라서, 3차원 영역에서 수평선(S230)과 동일한 위치에 카메라가 놓여 있다고 가정하면, 카메라에서 제 1 위치(210)와 제 2 위치(220) 각각에 있는 보행자의 머리 위치를 연결한 선(S210)과 카메라에서 제 1 위치(210)와 제 2 위치(220) 각각에 있는 보행자의 발을 연결한 선(S220)은 평행하다.
그러나, 2차원 이미지 내에서는 제 1 위치(210)에 있는 보행자의 키가 제 2 위치(220)에 있는 보행자의 키보다 작게 표시된다. 또한, 2차원 이미지 내에서는 제 1 위치(210)와 제 2 위치(220) 각각에 있는 보행자의 머리 위치를 연결한 선(S210)과 제 1 위치(210)와 제 2 위치(220) 각각에 있는 보행자의 발을 연결한 선(S220)은 만나게 된다. 본 발명의 바람직한 일 실시예에서는. 이 경우 두 개의 선(S210, S220)이 만나는 점(200)을 소실점으로 정의한다.
도 2에서는 소실점을 구하는 방법을 설명하기 위한 일 예로, 바닥영역(140)을 이동하는 보행자의 예를 들고 있으며, 보행자가 계단 영역(130)을 이동하는 경우의 예는 고려하지 않았음을 유의하여야 한다. 도 2에서 개시한 일 실시예 외에도, 본 발명의 바람직한 일 실시예에서는 본 발명이 속하는 분야의 통상의 지식을 가진자에게 자명한 방법을 이용하여 영상 내의 이동하는 객체 또는 보행자의 소실점을 추출할 수 있음을 유의하여야 한다.
다중수평선추정부(120)는 소실점 추출부(110)에서 추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 적어도 하나 이상의 수평선을 추정한다. 도 3 을 참고하면, 다중수평선추정부(120)는 도 2 에 도시된 일 실시예에서와 같이 추출된 소실점들을 수직방향으로 투영(projection)한 결과로부터 Voting 히스토그램(300)을 만들 수 있다. 도 3 에 도시된 히스토그램에서 x축은 픽셀좌표 y를 나타내고, y축은 각 수평선 라인 내의 소실점 개수 v(y)를 나타낸다.
도 3 을 참고하면, 소실점들의 Voting 히스토그램 결과(300)는 오차를 많이 포함하고 있다. 본 발명의 바람직한 일 실시예에서, 다중수평선추정부(120)는 오차를 많이 포함하고 있는 히스토그램(300)으로부터 정확도가 높은 수평선의 위치를 추정하기 위하여 mean-shift 클러스터링 방식을 사용하여 영상 내에서 적어도 하나 이상의 수평선을 추정한다.
다시 말해, 다중수평선추정부(120)에서는 mean-shift 클러스터링 방식을 반복적으로 수행한 후, 히스트로그램의 피크값들(310, 320)을 이용하여 복수 개의 수평선(S310, S320)을 추정한다.
바람직하게, 히스트로그램 피크값들의 제 1 클러스터링(310)으로부터 제 1 수평선(S310)을 추정한다. 그리고, 히스트로그램 피크값들의 제 2 클러스터링(320)으로부터 제 2 수평선(S320)을 추정한다.
다중지평면추정부(130)는 다중수평선추정부(120)에서 추정된 적어도 하나 이상의 수평선(도 3, S310, S320)을 기초로 적어도 하나 이상의 지평면을 추정한다. 도 1을 참고하면, 다중지평면 추정부(130)는 이동궤적파악부(131), 액티브영역추정부(133) 및 다중지평면 선정부(135)를 포함한다.
본 발명의 바람직한 일 실시예로서 다중지평면 추정부(130)는 히스토그램(도 3, 300)의 피크값들(310, 320)을 기초로 추출한 제 1 수평선(S310)으로부터 제 1 지평면(도 5(b) 참고)을 추정하고, 제 2 수평선(S320)으로부터 제 2 지평면(도 4(b) 참고)을 추정한다.
다시 말해, 본 발명의 바람직한 일 실시예에서는 도 3에 도시된 소실점을 기반으로 생성된 히스토그램으로부터 수평선을 추정하고 있다. 그러나, 영상 내 객체 또는 보행자를 추적하는 과정에서 발생한 오류 등으로 인하여 도 3 에 도시된 바와 같이 소실점들의 히스토그램은 오차를 상당히 포함하고 있다.
그 결과, 히스토그램을 기초로 추정한 적어도 하나 이상의 수평선 및 추정된 다중수평선으로부터 추정된 적어도 하나 이상의 지평면 역시 오차를 포함할 수 있다.
본 발명의 바람직한 일 실시예에서는 추정된 다중지평면에 포함된 오차를 줄이기 위하여, 히스토그램의 백 프로젝션(back-projection) 방법을 이용하여 영상 내의 객체 또는 보행자가 실제로 이동 가능한 영역을 도출한다.
도 4(a)는 히스토그램의 back-projection 방식을 적용하여 객체 또는 보행자가 계단영역(도 3, 330)을 이동한 궤적을 추출한 예를 도시하고, 도 4(b)는 도 4(a)에서 추출한 이동궤적으로부터 객체 또는 보행자가 실제로 움직인 영역인 액티브 영역을 추출한 예를 도시한다.
또한, 도 5(a)는 히스토그램의 back-projection 방식을 적용하여 객체 또는 보행자가 바닥영역(도 3, 340)을 이동한 궤적을 추출한 예를 도시하고, 도 5(b)는 도 5(a)에서 추출한 이동궤적으로부터 객체 또는 보행자가 실제로 움직인 영역인 액티브 영역을 추출한 예를 도시한다.
도 4(a) 또는 도 5(a)를 참고하면 본 발명의 바람직한 일 실시예에서 이동궤적파악부(131)는 다중수평선(도 3, S310, S320) 상에 있는 소실점을 추출하여 객체 또는 보행자가 실제로 이동한 이동 궤적을 파악한다.
상세히, 이동궤적파악부(131)는 추정된 제 1 수평선(도 3, S310)을 기초로 도 5(a)와 같이 객체 또는 보행자가 이동한 이동 궤적을 파악한다. 그리고, 추정된 제 2 수평선(도 3, S320)을 기초로 도 4(a)와 같이 객체 또는 보행자가 이동한 이동 궤적을 파악한다.
액티브영역추정부(133)에서는 입력 영상을 m픽셀*m픽셀(m은 양의 정수) 단위의 셀로 나누어 격자화 한다. 그리고, 객체 또는 보행자가 기설정된 회수 이상 이동한 셀 영역(520)을 도 4(b) 또는 5(b)와 같이 액티브 영역(420, 520)으로 추정한다. 본 발명의 바람직한 일 실시예에서, 액티브 영역(420, 520)은 영상 내의 객체 또는 보행자가 실제로 이동한 영역 또는 실제로 이동가능한 영역을 나타낸다.
다중지평면 선정부(135)는 액티브영역추정부(133)에서 추정한 액티브 영역(420, 520)을 기반으로 실제 최종다중지평면을 선정한다. 도 6은 본 발명의 바람직한 일 실시예로서, 최종다중지평면이 선정된 일 예를 도시한다. 도 6에서는 바닥 영역(640)과 계단 영역(630)이 각각 제 1 지평면, 제 2 지평면으로 선정되어 하나의 영상 내에 두 개의 지평면이 선정된 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는, 하나의 영상 내에 복수 개의 지평면이 있는 경우, 각 지평면의 단위 길이를 정규화 한다. 도 4(b) 및 5(b)를 참고하면, 계단영역(도 4, 430) 지평면을 도출하기 위해 추정한 지평면의 격자(도 4, 410)과 바닥영역(도 5, 540) 지평면을 도출하기 위해 추정한 지평면의 격자(도 5, 510)는 서로 크기가 상이하다.
따라서, 다중 지평면은 하나의 영상 내에 동시에 존재하더라도 각 지평면의 상대적 깊이만을 알 수 있을 뿐, 전체 지평면의 정규화된 깊이를 알 수 없다.
본 발명의 바람직한 일 실시예에서 깊이정규화부(도 1, 140)는 적어도 하나 이상의 지평면의 상대적 깊이를 정규화 하기 위하여, 적어도 하나 이상의 지평면의 단위 길이를 정규화한다.
이를 위해, 우선 각 지평면의 경계선을 구한다. 도 6을 참고하면, 바닥 영역(640)과 계단 영역(630) 간의 경계선(S600)을 구한다. 그리고, 경계선(S600)을 통과하는 보행자들의 궤적(S610)을 추출한다.
추출된 궤적(S610)으로부터 각 지평면(630, 640)을 단위 시간 동안 지나는 속도를 계산한다. 본 발명의 바람직한 일 실시예에서는 각 지평면 위를 지나는 속도는 일정하다는 가정을 전제로 한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 다중 지평면을 추정하는 흐름도를 도시한다.
소실점 추출부(도 1, 110)에서 동영상 내의 객체의 움직임을 추적하여 소실점을 추출한다. 다중수평선추정부(도 1, 120)에서는 추출된 소실점의 분포를 표시하는 히스트로그램(도 3, 300)을 이용하여 적어도 하나 이상의 수평선을 추정한다.
이 후, 다중지평면추정부(도 1, 130)에서는 추정된 적어도 하나 이상의 수평선을 기초로 적어도 하나 이상의 지평면을 추정한다. 이 경우, 추정된 다중지평면의 오류를 제거하기 위하여 도 4(a)및 (b), 도 5(a) 및(b)에 도시된 바와 같이 히스토그램의 백프로젝션 방법을 적용하여 객체가 실제로 이동한 영역을 파악한다. 이 후, 최종다중지평면을 선정한다. 이에 대한 설명은 도 4(a)및 (b), 도 5(a) 및(b) 부분을 참고한다.
깊이정규화부(도 1, 140)는 최종적으로 구해진 최종다중지평면의 단위 길이를 정규화한다.
본 발명은 휴대 단말기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야 에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (17)

  1. 영상 내에서 객체의 움직임을 추적하여 소실점을 추출하는 소실점 추출부;
    추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 복수 개의 수평선을 추정하는 다중수평선추정부;및
    상기 추정된 복수개의 수평선을 기초로 복수개의 지평면을 추정하는 다중지평면추정부; 를 포함하고, 상기 다중지평면추정부는
    상기 히스토그램의 역분석(back-projection) 방식을 통해 상기 추정된 복수 개의 수평선 상에 있는 적어도 하나 이상의 소실점을 추출하여, 이에 대응되는 객체의 이동 궤적을 파악하는 이동궤적파악부;
    상기 추정된 다중지평면 각각을 격자화하여 셀 단위로 나누고, 상기 이동궤적파악부에서 파악된 이동 궤적이 기설정된 회수 이상 지나간 셀을 액티브영역으로 추정하는 액티브영역추정부;
    추정된 액티브영역 정보를 기초로 상기 추정된 복수개의 지평면들에서 객체가 실제적으로 이동할 수 있는 영역인 최종다중지평면을 선정하는 다중지평면선정부;를 포함하는 것을 특징으로 다중지평면 추정장치.
  2. 제 1 항에 있어서, 상기 최종다중지평면의 단위 길이를 정규화하는 깊이정규화부;를 더 포함하는 것을 특징으로 하는 다중지평면 추정장치.
  3. 제 1 항에 있어서, 상기 복수개의 수평선 각각으로부터
    각각의 수평선에 대응하는 각각의 지평면의 상대적 깊이 정보를 파악할 수 있는 것을 특징으로 하는 다중 지평면 추정 장치.
  4. 제 2 항에 있어서, 상기 깊이정규화부에서
    상기 최종다중지평면 각각에서 객체가 단위시간당 움직이는 속도는 동일하다는 기준을 적용하여 상기 최종다중지평면의 단위 길이를 정규화함으로써 서로 다른 지평면에서 정규화된 깊이 정보를 파악할 수 있는 것을 특징으로 하는 다중 지평면 추정 장치.
  5. 제 2 항에 있어서, 상기 깊이정규화부는
    상기 최종다중지평면 중 제 1 지평면과 제 2 지평면 간의 경계선을 찾은 후, 상기 경계선을 통과하는 상기 이동궤적을 추출하고, 추출된 이동궤적이 상기 제 1 지평면에서 단위시간동안 움직인 거리와 상기 제 2 지평면에서 단위시간동안 움직인 거리가 동일하다는 기준을 적용하여 상기 다중지평면의 단위 길이를 정규화하는 것을 특징으로 하는 다중 지평면 추정 장치.
  6. 제 1 항에 있어서, 상기 영상은
    동영상인 것을 특징으로 하는 다중 지평면 추정 장치.
  7. 제 1 항에 있어서, 상기 다중수평선추정부는
    상기 히스트로그램의 피크값들을 이용하여 상기 복수 개의 수평선을 추정하는 것을 특징으로 하는 다중 지평면 추정 장치.
  8. 영상 내에서 보행자의 움직임을 추적하여 소실점을 추출하는 소실점 추출부;
    추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 다중수평선을 추정하는 다중수평선추정부;
    상기 추정된 다중수평선을 기초로 다중지평면을 추정하는 다중지평면추정부;
    상기 히스토그램의 역분석(back-projection) 방식을 통해 상기 추정된 다중수평선에 대응하는 보행자의 이동 궤적을 파악하고, 파악된 이동궤적을 기초로 상기 추정된 다중지평면 중 상기 보행자가 실제로 이동할 수 있는 적어도 하나 이상의 최종다중지평면을 선정하는 다중지평면선정부;
    상기 선정된 적어도 하나 이상의 최종 다중지평면의 단위 길이를 정규화하는 깊이정규화부;를 포함하는 것을 특징으로 하는 다중지평면 추정장치.
  9. 제 8 항에 있어서, 상기 깊이정규화부에서
    상기 최종다중지평면 각각에서 보행자가 단위시간당 움직이는 속도는 동일하다는 기준을 적용하여 상기 최종다중지평면의 단위 길이를 정규화함으로써 서로 다른 지평면에서 정규화된 깊이 정보를 파악할 수 있는 것을 특징으로 하는 다중 지평면 추정 장치.
  10. 동영상 내에서 객체의 움직임을 추적하여 소실점을 추출하는 소실점 추출부;
    추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 적어도 하나 이상의 수평선을 추정하는 다중수평선추정부;
    상기 추정된 적어도 하나 이상의 수평선을 기초로 적어도 하나 이상의 지평면을 추정하는 다중지평면추정부;및
    상기 적어도 하나 이상의 지평면의 단위 길이를 정규화하는 깊이정규화부;를 포함하는 것을 특징으로 하는 다중지평면 추정장치.
  11. 제 10 항에 있어서, 상기 다중지평면추정부는
    상기 추정된 다중지평면 각각을 격자화하여 셀 단위로 나누고, 상기 히스토그램의 역분석(back-projection) 방식을 통해 상기 추정된 다중수평선 상에 있는 적어도 하나 이상의 소실점을 추출하여, 객체의 이동 궤적을 파악하는 이동궤적파악부;
    파악한 이동 궤적이 기설정된 회수 이상 지나간 셀을 상기 객체가 실제로 이동한 액티브영역으로 추정하는 액티브영역추정부;및
    추정된 액티브영역 정보를 기초로 추정된 다중지평면들로부터 최종다중지평면을 선정하는 다중지평면 선정부;를 포함하는 것을 특징으로 하는 다중지평면 추정장치.
  12. 제 10 항에 있어서, 상기 깊이정규화부에서
    상기 최종 다중지평면 각각에서 객체가 단위시간당 움직이는 속도는 동일하다는 기준을 적용하여 상기 다중지평면의 단위 길이를 정규화함으로써 서로 다른 다중지평면에서 정규화된 깊이 정보를 파악할 수 있는 것을 특징으로 하는 다중 지평면 추정 장치.
  13. 소실점 추출부에서 동영상 내의 객체의 움직임을 추적하여 소실점을 추출하는 단계;
    다중수평선추정부에서 추출된 소실점의 분포를 표시하는 히스트로그램을 이용하여 적어도 하나 이상의 수평선을 추정하는 단계;
    다중지평면추정부에서 상기 추정된 적어도 하나 이상의 수평선을 기초로 적어도 하나 이상의 지평면을 추정하는 단계;및
    깊이정규화부에서 상기 적어도 하나 이상의 지평면의 단위 길이를 정규화하는 단계;를 포함하는 것을 특징으로 하는 단일카메라를 이용하여 다중지평면을 추정하는 방법.
  14. 제 13 항에 있어서, 상기 적어도 하나 이상의 지평면을 추정하는 단계는
    이동궤적파악부에서 상기 추정된 적어도 하나 이상의 지평면 각각을 격자화하여 셀 단위로 나누고, 상기 히스토그램의 역분석(back-projection) 방식을 통해 상기 추정된 적어도 하나 이상의 수평선 상에 있는 적어도 하나 이상의 소실점을 추출하여, 객체의 이동 궤적을 파악하는 단계;
    액티브영역추정부에서 상기 이동 궤적을 파악하는 단계에서 파악한 이동 궤적이 기설정된 회수 이상 지나간 셀을 상기 객체가 실제로 이동한 액티브영역으로 추정하는 단계;및
    다중지평면 선정부에서 상기 추정된 액티브영역 정보를 기초로 상기 추정된 적어도 하나 이상의 지평면으부터 상기 객체가 실제로 이동한 적어도 하나 이상의 최종 다중지평면을 선정하는 단계;를 포함하는 것을 특징으로 하는 단일카메라를 이용하여 다중지평면을 추정하는 방법.
  15. 제 13 항에 있어서, 상기 적어도 하나 이상의 수평선 각각으로부터
    각각의 수평선에 대응하는 각각의 지평면의 상대적 깊이 정보를 파악할 수 있는 것을 특징으로 하는 단일카메라를 이용하여 다중지평면을 추정하는 방법.
  16. 제 13 항에 있어서, 상기 적어도 하나 이상의 수평선을 추정하는 단계는
    상기 히스트로그램의 피크값들을 이용하여 적어도 하나 이상의 수평선을 추정하는 것을 특징으로 하는 단일카메라를 이용하여 다중지평면을 추정하는 방법.
  17. 제 13 항에 있어서, 상기 정규화하는 단계는
    상기 적어도 하나 이상의 지평면 중 제 1 지평면과 제 2 지평면 간의 경계선을 찾은 후, 상기 경계선을 통과하는 상기 이동궤적을 추출하고, 추출된 이동궤적이 상기 제 1 지평면에서 단위시간동안 움직인 거리와 상기 제 2 지평면에서 단위시간동안 움직인 거리가 동일하다는 기준을 적용하여 상기 다중지평면의 단위 길이를 정규화하는 것을 특징으로 하는 단일카메라를 이용하여 다중지평면을 추정하는 방법.
KR1020130127295A 2013-02-22 2013-10-24 다중지평면 추정장치 및 방법 KR102145959B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130019405 2013-02-22
KR20130019405 2013-02-22

Publications (2)

Publication Number Publication Date
KR20140105694A true KR20140105694A (ko) 2014-09-02
KR102145959B1 KR102145959B1 (ko) 2020-08-31

Family

ID=51754453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130127295A KR102145959B1 (ko) 2013-02-22 2013-10-24 다중지평면 추정장치 및 방법

Country Status (1)

Country Link
KR (1) KR102145959B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293400A (ja) * 2007-05-28 2008-12-04 Panasonic Corp 映像監視システム及び監視領域設定方法
KR100933304B1 (ko) * 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20100009451A (ko) * 2008-07-17 2010-01-27 삼성전자주식회사 영상의 그라운드 라인 결정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293400A (ja) * 2007-05-28 2008-12-04 Panasonic Corp 映像監視システム及び監視領域設定方法
KR100933304B1 (ko) * 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20100009451A (ko) * 2008-07-17 2010-01-27 삼성전자주식회사 영상의 그라운드 라인 결정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A dynamic bayesian network model for autonomous 3d reconstruction from a single indoor image," In Computer Vision and Pattern Recognition, IEEE Computer Society Conference on, volume 2, pages 2418 - 2428, 2006.

Also Published As

Publication number Publication date
KR102145959B1 (ko) 2020-08-31

Similar Documents

Publication Publication Date Title
US8867790B2 (en) Object detection device, object detection method, and program
US9741130B2 (en) Method and apparatus for detecting object
US9031282B2 (en) Method of image processing and device therefore
US8498472B2 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
Bansal et al. Ultrawide baseline facade matching for geo-localization
US9142011B2 (en) Shadow detection method and device
US9483703B2 (en) Online coupled camera pose estimation and dense reconstruction from video
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
US8340400B2 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
Zhou et al. A fast and accurate segmentation method for ordered LiDAR point cloud of large-scale scenes
US8204278B2 (en) Image recognition method
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
EP2779025A2 (en) Method and system for detecting road edge
GB2532948A (en) Objection recognition in a 3D scene
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
JP6221390B2 (ja) 画像処理装置、プログラム、および画像処理方法
CN104156988A (zh) 基于迭代最小外包矩形的城区建筑物轮廓规则化方法
KR102494552B1 (ko) 실내 복원 방법
JP6397386B2 (ja) 領域分割処理装置、方法、及びプログラム
US7440636B2 (en) Method and apparatus for image processing
KR102336284B1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
Gan et al. A dynamic detection method to improve SLAM performance
US9367919B2 (en) Method for estimating position of target by using images acquired from camera and device and computer-readable recording medium using the same
KR20140105694A (ko) 다중지평면 추정장치 및 방법
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant