KR101876353B1 - 움직임 추정 장치 및 방법 - Google Patents

움직임 추정 장치 및 방법 Download PDF

Info

Publication number
KR101876353B1
KR101876353B1 KR1020160148910A KR20160148910A KR101876353B1 KR 101876353 B1 KR101876353 B1 KR 101876353B1 KR 1020160148910 A KR1020160148910 A KR 1020160148910A KR 20160148910 A KR20160148910 A KR 20160148910A KR 101876353 B1 KR101876353 B1 KR 101876353B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
optical flow
rotation
unit
Prior art date
Application number
KR1020160148910A
Other languages
English (en)
Other versions
KR20180051942A (ko
Inventor
양지혁
박만수
이준묵
하창우
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020160148910A priority Critical patent/KR101876353B1/ko
Publication of KR20180051942A publication Critical patent/KR20180051942A/ko
Application granted granted Critical
Publication of KR101876353B1 publication Critical patent/KR101876353B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 움직임 추정 장치에 대한 것으로, 본 발명의 일 실시예에 따른 움직임 추정 장치는 차량에 설치된 카메라에서 촬영된 상기 차량의 주변 영상을 통해 상기 차량이 위치한 공간내에서의 상기 차량의 움직임을 추정하는 움직임 추정 장치에 있어서, 상기 차량의 주변 영상을 통해 상기 차량이 소정 공간에 위치하는지 판단하는 공간 인식부; 상기 공간 인식부에서 판단 결과 상기 차량이 소정 공간에 위치한 경우, 상기 영상의 옵티컬 플로우(Optical Flow)를 추출하는 옵티컬 플로우 추출부; 상기 옵티컬 플로우 추출부에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출하는 회전 정보 산출부; 및 상기 회전 정보 산출부에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정하는 움직임 추정부를 포함한다.

Description

움직임 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING MOVEMENT}
본 발명은 움직임 추정 기술에 관한 것이다. 구체적으로, 본 발명은 차량에 장착된 단안 카메라에서 촬영된 영상에서 옵티컬 플로우를 추출하여 자차의 움직임을 추정하는 기술에 관한 것이다.
오늘날 자동차가 널리 보급되면서 운전자의 편의를 위한 관련기술이 급속도로 발전하고 있다. 특히, 내비게이션, 차량용 블랙박스와 같이 운전자의 운전을 보조하는 ADAS(Advanced Driver Assistance System) 기술이 증가하고 있다. 또한, 영상 기반의 운전자 보조장치가 그 범용성과 경제성으로 인해 점차 수요가 증가하고 있다.
특히, 자차 위치 추정기술은 ADAS 기술 및 자율 주행 자동차 기술에서 없어서는 안되는 핵심 기술 중 하나이다. 현재, 자차 위치 추정 기술은 고정밀 GPS를 이용하여 자차 위치를 추정하거나 다수의 센서를 융합하여 자차의 위치를 추정하고 있다.
그러나, 고정밀 GPS와 같은 장비들은 고가라는 단점이 있으며, 다수의 센서를 융합하여 자차의 위치를 추정하는 경우 시스템의 복잡도가 증가되는 문제점이 있다.
대한민국특허공개공보 제10-2014-0016781호
본 발명은 차량에 설치된 카메라에서 촬영된 영상의 옵티컬 플로우를 이용하여 자차의 움직임을 추정하는 데 목적이 있다.
본 발명의 일 실시예에 따른 움직임 추정 장치는 차량에 설치된 카메라에서 촬영된 상기 차량의 주변 영상을 통해 상기 차량이 위치한 공간내에서의 상기 차량의 움직임을 추정하는 움직임 추정 장치에 있어서, 상기 차량의 주변 영상을 통해 상기 차량이 소정 공간에 위치하는지 판단하는 공간 인식부; 상기 공간 인식부에서 판단 결과 상기 차량이 소정 공간에 위치한 경우, 상기 영상의 옵티컬 플로우(Optical Flow)를 추출하는 옵티컬 플로우 추출부; 상기 옵티컬 플로우 추출부에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출하는 회전 정보 산출부; 및 상기 회전 정보 산출부에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정하는 움직임 추정부를 포함한다.
일 실시예에 있어서, 상기 차량에 설치된 카메라는 단안 카메라인 것을 특징으로 한다.
일 실시예에 있어서, 상기 소정 공간은 상기 차량을 주차하기 위한 주차 공간인 것을 특징으로 한다.
일 실시예에 있어서, 상기 차량에 설치된 카메라에서 촬영된 영상의 시점을 탑뷰(Top View) 시점으로 변환하는 시점 변환부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 회전 정보 산출부는 상기 옵티컬 플로우 추출부에서 추출한 옵티컬 플로우의 특징점 좌표와 상기 특징점 좌표의 변화량을 이용하여 상기 회전 중심을 산출하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 회전 정보 산출부는 상기 회전 중심으로부터 상기 특징점 좌표까지의 거리와 상기 특징점 좌표의 변화량을 이용하여 상기 회전각을 산출하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 움직임 추정부는 상기 회전 정보 산출부에서 산출한 상기 회전 중심과 상기 회전각을 이용하여 상기 차량의 좌표 변화를 산출하고, 상기 차량의 좌표 변화를 통해 상기 차량의 움직임을 추정하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 차량에 설치된 카메라에서 촬영된 영상이 입력되는 영상 입력부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 움직임 추정 방법은 차량에 설치된 카메라에서 촬영된 상기 차량의 주변 영상을 통해 상기 차량이 위치한 공간내에서의 상기 차량의 움직임을 추정하는 움직임 추정 방법에 있어서, 상기 차량의 주변 영상을 통해 상기 차량이 소정 공간에 위치하는지 판단하는 공간 인식 단계; 상기 공간 인식 단계에서 판단 결과 상기 차량이 소정 공간에 위치한 경우, 상기 영상의 옵티컬 플로우(Optical Flow)를 추출하는 옵티컬 플로우 추출 단계; 상기 옵티컬 플로우 추출 단계에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출하는 회전 정보 산출 단계; 및 상기 회전 정보 산출 단계에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정하는 움직임 추정 단계를 포함한다.
일 실시예에 있어서, 상기 차량에 설치된 카메라는 단안 카메라인 것을 특징으로 한다.
일 실시예에 있어서, 상기 소정 공간은 상기 차량을 주차하기 위한 주차 공간인 것을 특징으로 한다.
일 실시예에 있어서, 상기 차량에 설치된 카메라에서 촬영된 영상의 시점을 탑뷰(Top View) 시점으로 변환하는 시점 변환 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 회전 정보 산출 단계는 상기 옵티컬 플로우 추출 단계에서 추출한 옵티컬 플로우의 특징점 좌표와 상기 특징점 좌표의 변화량을 이용하여 상기 회전 중심을 산출하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 회전 정보 산출 단계는 상기 회전 중심으로부터 상기 특징점 좌표까지의 거리와 상기 특징점 좌표의 변화량을 이용하여 상기 회전각을 산출하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 움직임 추정 단계는 상기 회전 정보 산출 단계에서 산출한 상기 회전 중심과 상기 회전각을 이용하여 상기 차량의 좌표 변화를 산출하고, 상기 차량의 좌표 변화를 통해 상기 차량의 움직임을 추정하는 것을 특징으로 한다.
본 발명은 차량에 설치된 카메라에서 촬영된 영상의 옵티컬 플로우를 이용하여 자차의 움직임을 추정하는 효과가 있다.
이에 따라, 본 발명은 고가의 장비 없이도 자차의 움직임을 추정하여 제조 단가가 절감되는 효과가 있다.
또한, 본 발명은 차량에 설치된 카메라에서 촬영된 영상의 옵티컬 플로우를 이용하여 차량이 위치한 공간내에서 차량의 상대적 위치를 추적하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 움직임 추정 장치의 구성을 도시한 도면이다.
도 2는 차량에 설치된 카메라에서 촬영된 원본 영상을 도시한 도면이다.
도 3은 원본 영상의 왜곡을 보정한 영상을 도시한 도면이다.
도 4는 왜곡을 보정한 영상의 시점을 탑뷰 시점으로 변환한 영상을 도시한 도면이다.
도 5는 탑뷰 시점으로 변환한 영상의 옵티컬 플로우를 추출한 영상을 도시한 도면이다.
도 6은 차량의 회전중심과 회전각을 산출하는 과정을 도시한 도면이다.
도 7은 차량의 움직임을 추정하는 과정을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 움직임 추정 장치를 적용한 실험 과정을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 움직임 추정 장치의 움직임 추정 방법을 순차적으로 도시한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
이하, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 움직임 추정 장치에 대해 설명한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 움직임 추정 장치(100)는 영상 입력부(110), 공간 인식부(120), 왜곡 보정부(130), 시점 변환부(140), 옵티컬 플로우 추출부(150), 회전 정보 산출부(160) 및 움직임 추정부(170)를 포함한다.
영상 입력부(110)는 차량에 설치된 카메라에서 촬영된 영상이 입력된다. 공간 인식부(120)는 상기 차량이 위치한 공간을 인식한다. 왜곡 보정부(130)는 영상의 왜곡을 보정한다. 시점 변환부(140)는 왜곡 보정부(130)에서 보정한 영상의 시점을 탑뷰(Top View) 시점으로 변환한다. 옵티컬 플로우 추출부(150)는 영상의 옵티컬 플로우(Optical Flow)를 추출한다. 회전 정보 산출부(160)는 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출한다. 움직임 추정부(170)는 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정한다.
이하, 본 발명의 일 실시예에 따른 움직임 추정 장치(100)의 각 구성에 대해 구체적으로 설명한다.
영상 입력부(110)는 차량에 설치된 카메라에서 촬영된 영상이 입력된다. 상기 카메라는 차량 전후좌우 중 어느 한 곳에 설치된 단안 카메라를 의미한다. 또한, 상기 카메라는 큰 화각을 갖는 광각 렌즈를 이용하여 영상을 촬영할 수 있다. 이때, 영상 입력부(110)에 입력되는 영상은 사진 또는 동영상을 포함한다. 한편, 이하의 설명에서는 상기 차량에 설치된 카메라는 상기 차량의 전방에 설치된 것을 전제하여 설명한다.
공간 인식부(120)는 상기 차량의 주변 영상을 통해 상기 차량이 소정 공간에 위치하는지 판단한다. 상기 소정 공간은 상기 차량을 주차하기 위한 주차 공간을 의미할 수 있다. 즉, 본 발명의 일 실시예에 따른 움직임 추정 장치는 상기 차량이 주차 공간과 같이 위치 추정이 어려운 공간에 있는 경우에 자차 움직임을 추정할 수 있는 효과가 있다.
도 2를 참조하면, 영상 입력부(110)로 입력되는 원본 영상을 확인할 수 있다. 상기 차량에 설치된 카메라가 큰 화각을 갖는 광각 렌즈를 이용하는 경우, 도 2에 나타난 바와 같이 상기 카메라를 통해 촬영되어 영상 입력부(110)로 입력되는 영상은 넓은 시야각을 제공해 주는 대신 영상의 가장자리 영역으로 갈수록 굴절률이 커져서 왜곡이 심한 영상을 보여주게 된다. 따라서, 상기 영상의 왜곡을 보정할 필요성이 있다.
왜곡 보정부(130)는 영상 입력부(110)를 통해 입력된 상기 차량에 설치 카메라에서 촬영된 영상의 왜곡을 보정한다. 일 실시예에 있어서, 왜곡 보정부(130)는 왜곡된 영상의 픽셀 좌표 각각을 기 설정된 수학식에 대입하여 보정된 픽셀 좌표를 얻은 후 이를 배열하여 상기 영상의 왜곡을 보정할 수 있다. 또는, 왜곡 보정부(130)는 OCamCalib model을 사용하여 상기 영상의 왜곡을 보정할 수 있다.
도 3을 참조하면, 영상 입력부(110)로 입력된 도 2에 도시된 원본 영상의 왜곡을 보정한 영상을 확인할 수 있다. 도 3에 도시된 바와 같이 왜곡 보정부(130)에서 보정한 영상은 가장자리 영역의 굴절률이 현저히 감소한 것을 확인할 수 있다.
시점 변환부(140)는 왜곡 보정부(130)에서 보정한 영상의 시점을 탑뷰(Top View) 시점으로 변환한다. 먼저, 시점 변환부(140)는 투영 변환 행렬을 이용하여 왜곡 보정부(130)에서 보정한 영상에 포함된 픽셀들의 좌표를 변환한다. 이는 하기의 수학식을 통해 구할 수 있다.
Figure 112016109623428-pat00001
여기서, x', y' 는 상기 투영 변환 행렬 이용하여 변환된 좌표값을 뜻하고, x, y는 상기 투영 변환 행렬을 이용하여 변환되기 전 좌표값을 뜻한다. 즉, 상기 a,b,c,d,e,f,g,h 값을 알고 있으면 왜곡 보정부(130)에서 보정한 영상에 포함된 픽셀들의 좌표를 변환할 수 있다. 상기 a,b,c,d,e,f,g,h 값은 하기의 수학식으로 구할 수 있다.
Figure 112016109623428-pat00002
이는 상기 수학식 1에 (x, y)에 대응되는 (x', y') 쌍 4개를 대입하여 정리한 결과이다. 즉, (x1, y1)에 대응되는 (x1', y1'), (x2, y2)에 대응되는 (x2', y2'), (x3, y3)에 대응되는 (x3', y3'), (x4, y4)에 대응되는 (x4', y4')을 수학식 1에 각각 대입한 결과이다. 수학식 2에서 우변 첫번째 행렬의 역행렬을 양변에 곱해주면 상기 a,b,c,d,e,f,g,h 값을 구할 수 있다. 따라서, 상기 a,b,c,d,e,f,g,h 값을 통해 왜곡 보정부(130)에서 보정한 영상에 포함된 픽셀들의 좌표를 변환할 수 있다.
이후, 시점 변환부(140)는 상기 투영 변환 행렬을 이용하여 변환한 픽셀들의 좌표를 2중 선형 보간법(Bilinear Interpolation)을 이용하여 보간한다. 이는, 시점 변환부(140)에서 상기 투영 변환 행렬을 이용하여 변환한 픽셀들의 좌표값이 부동 소수점 값을 갖는 경우, 이를 정수값으로 변환하기 위함이다. 이때, 상기 2중 선형 보간법(Bilinear Interpolation)은 네 개의 가장 가까운 화소들에 가중치를 곱한 값들의 합으로 새로운 화소값을 계산하는 보간법을 의미한다.
따라서, 시점 변환부(140)는 왜곡 보정부(130)에서 보정한 영상의 시점을 상술한 좌표 변환 및 보간 과정을 거쳐 탑뷰 시점으로 변환한다. 도 4 (a)를 참조하면, 시점 변환부(140)에서 왜곡 보정부(130)에서 보정한 영상의 시점을 탑뷰 시점으로 변환한 영상을 확인할 수 있다. 도 4 (b)를 참조하면, 시점 변환부(140)에서 탑뷰 시점으로 변환한 영상 중 관심있는 영역(ROI, Region Of Interest)을 추출한 영상을 확인할 수 있다. 이때, 상기 관심있는 영역은 주차 공간 내에 존재하는 전기 자동차 충전을 위한 충전 포인트 등을 예로 들 수 있다.
옵티컬 플로우 추출부(150)는 공간 인식부(120)에서 판단 결과 상기 차량이 소정 공간에 위치한 경우, 상기 영상의 옵티컬 플로우(Optical Flow)를 추출한다. 이때, 상기 옵티컬 플로우란 연속된 영상 프레임에서 프레임간 영상 변화를 비교하여 물체의 모션을 추정하는 것을 의미한다. 도 5 (a)를 참조하면, 상기 옵티컬 플로우를 구성하는 특징점 좌표를 확인할 수 있다. 구체적으로, 연속된 2개의 영상에서의 특징점 좌표가 도시되어 있다. 도 5 (b)를 참조하면, 도 5 (a)의 특징점 좌표의 변위차를 벡터로 표현한 것을 확인할 수 있다.
한편, 본 발명의 일 실시예에 있어서, 옵티컬 플로우 추출부(150)는 Lucas-Kanade Optical Flow 알고리즘을 사용할 수 있다. 이는 최소 크기의 이미지에서 옵티컬 플로우를 대략적으로 추출하고, 이미지를 점차 확대하면서 다시 옵티컬 플로우를 추출하여 점차적으로 정확도를 높이는 방법을 의미한다.
회전 정보 산출부(160)는 옵티컬 플로우 추출부(150)에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출한다. 구체적으로, 회전 정보 산출부(160)는 옵티컬 플로우 추출부(150)에서 추출한 옵티컬 플로우의 상기 특징점 좌표와 상기 특징점 좌표의 변화량을 이용하여 상기 회전 중심을 산출한다. 또한, 회전 정보 산출부(160)는 상기 회전 중심으로부터 상기 특징점 좌표까지의 거리와 상기 특징점 좌표의 변화량을 이용하여 상기 회전각을 산출한다.
도 6을 참조하면, 상기 회전 중심(rx, ry)과 상기 회전각(θ)을 산출하는 것을 확인할 수 있다. 먼저, 상기 회전 중심(rx, ry)를 수학식으로 표현하면 하기의 수학식 3과 같다.
Figure 112016109623428-pat00003
이때, carL은 차량 앞 범퍼에서 차량 뒷바퀴 중심까지의 거리를 의미하고, imageH는 도 6에 도시된 탑뷰 변환된 영상의 높이(y축 길이)를 의미한다. xi와 yi는 상기 특징점 좌표를 의미하고, Xi는 xi와 rx간 거리를, Yi는 yi와 ry간 거리를 의미한다. Δxi와 Δyi는 상기 특징점 좌표의 변화량을 의미하고, αi는 상기 특징점 좌표의 변화량에 따라 형성되는 각도를 의미한다.
또한, 상기 회전 중심(rx, ry)으로부터 상기 특징점의 좌표(xi, yi)까지 거리를 di라고 하면, 상기 회전각(θ)은 매우 작은 값이기 때문에 현재 영상의 특징점 좌표와 이전 영상의 특징점 좌표간 거리를 원호의 길이로 볼 수 있어, 회전각은 하기의 수학식 4로 산출할 수 있다.
Figure 112016109623428-pat00004
움직임 추정부(170)는 회전 정보 산출부(160)에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정한다. 구체적으로, 움직임 추정부(170)는 회전 정보 산출부(160)에서 산출한 상기 회전 중심과 상기 회전각을 이용하여 상기 차량의 좌표 변화를 산출하고, 상기 차량의 좌표 변화를 통해 상기 차량의 움직임을 추정한다. 이는 상기 소정 공간내에서 상기 차량의 상대적 위치 변화를 통해 상기 차량의 움직임을 추정하는 것을 의미한다.
도 7을 참조하면, 움직임 추정부(170)에서 상기 차량의 움직임을 추정하는 과정을 확인할 수 있다. 도 7 (a)는 상기 회전 중심(rx, ry) 및 상기 회전각(θ)과 상기 차량의 위치 관계를 나타낸 도면이다. 도 7 (b)는 상기 차량의 현재 영상에서 위치 좌표를 (xc, yc)라 하고, 상기 차량의 이전 영상에서 위치 좌표를 (xp, yp)라 할때, 도 7 (a)의 위치 관계를 확대하고 간략화하여 나타낸 도면이다.
도 7을 참조하면, 상기 회전각(θ)은 매우 작은 값이기 때문에 (xc, yc)와 (xp, yp) 사이의 거리는 dcθ라 할 수 있다. 이때, Δxc와 Δyc는 하기의 수학식 5로 나타낼 수 있다.
Figure 112016109623428-pat00005
이때, 상기 수학식 5의 Xc 및 Yc는 (xc, yc)와 (rx, ry)간의 거리를 통해 구할 수 있다. 따라서, 움직임 추정부(170)는 Δxc와 Δyc을 통해 상기 차량의 움직임을 추정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 움직임 추정 장치를 통해 주차 공간의 위치를 추적하는 과정을 나타낸다. 즉, 본 발명의 일 실시예에 따른 움직임 추정 장치는 자차의 움직임뿐만 아니라, 영상 내의 다른 물체의 움직임을 추정하는 경우에도 적용 가능하다.
도 8 (a)는 본 발명의 일 실시예에 따른 움직임 추정 장치기 주차 공간을 인식하여 관심 좌표로 등록한 것을 나타낸다. 도 8 (b)는 본 발명의 일 실시예에 따른 움직임 추정 장치가 옵티컬 플로우를 통해 주차 공간의 위치를 추정하는 것을 나타낸다. 도 8 (c)는 본 발명의 일 실시예에 따른 움직임 추정 장치가 주차 공간의 위치를 추정하여 가상 주차선을 생성한 것을 나타낸다.
이하, 도 9를 참조하여 본 발명의 일 실시예에 따른 움직임 추정 방법에 대해 설명한다. 이때, 도 1 내지 도 8을 참조하여 설명한 부분과 중복되는 내용에 대해서는 설명을 생략한다.
도 8을 참조하면, 먼저, 영상 입력부(110)는 차량에 설치된 카메라에서 촬영된 영상을 입력 받는다(S101).
이후, 공간 인식부(120)는 상기 영상을 통해 상기 차량이 소정 공간에 위치하는 판단한다(S102).
이후, 왜곡 보정부(130)는 S101 단계에서 입력된 영상의 왜곡을 보정한다(S103).
이후, 시점 변환부(140)는 S103 단계에서 왜곡이 보정된 영상의 시점을 탑뷰 시점으로 변환한다(S105).
이후, 옵티컬 플로우 추출부(150)는 S102 단계에서 판단 결과 상기 차량의 소정 공간에 위치하는 경우, 상기 영상의 옵티컬 플로우를 추출한다(S107).
이후, 회전 정보 산출부(160)는 S107 단계에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출한다(S109).
이후, 움직임 추정부(170)는 S109 단계에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정한다(S111).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 움직임 추정 장치 110 : 영상 입력부
120 : 왜곡 보정부 130 : 시점 변환부
140 : 공간 인식부 150 : 옵티컬 플로우 추출부
160 : 회전 정보 산출부 170 : 움직임 추정부

Claims (15)

  1. 차량에 설치된 카메라에서 촬영된 상기 차량의 주변 영상을 통해 상기 차량이 위치한 공간내에서의 상기 차량의 움직임을 추정하는 움직임 추정 장치에 있어서,
    상기 차량의 주변 영상을 통해 상기 차량이 소정 공간에 위치하는지 판단하는 공간 인식부;
    상기 주변 영상의 왜곡을 보정하고, 투영 변환 행렬을 이용하여 상기 보정된 영상의 시점을 탑뷰(Top View) 시점으로 변환하는 시점 변환부;
    상기 공간 인식부에서 판단 결과 상기 차량이 소정 공간에 위치한 경우, 상기 시점 변환부에서 변환된 영상의 옵티컬 플로우(Optical Flow)를 추출하는 옵티컬 플로우 추출부;
    상기 옵티컬 플로우 추출부에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출하는 회전 정보 산출부; 및
    상기 회전 정보 산출부에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정하는 움직임 추정부를 포함하는 움직임 추정 장치.
  2. 제 1항에 있어서,
    상기 차량에 설치된 카메라는 단안 카메라인 것을 특징으로 하는 움직임 추정 장치.
  3. 제 1항에 있어서,
    상기 소정 공간은 상기 차량을 주차하기 위한 주차 공간인 것을 특징으로 하는 움직임 추정 장치.
  4. 제 1항에 있어서,
    상기 시점 변환부에서 변환한 영상으로부터 관심 영역을 추출하는 것을 특징으로 하는 움직임 추정 장치.
  5. 제 1항에 있어서,
    상기 회전 정보 산출부는 상기 옵티컬 플로우 추출부에서 추출한 옵티컬 플로우의 특징점 좌표와 상기 특징점 좌표의 변화량을 이용하여 상기 회전 중심을 산출하는 것을 특징으로 하는 움직임 추정 장치.
  6. 제 5항에 있어서,
    상기 회전 정보 산출부는 상기 회전 중심으로부터 상기 특징점 좌표까지의 거리와 상기 특징점 좌표의 변화량을 이용하여 상기 회전각을 산출하는 것을 특징으로 하는 움직임 추정 장치.
  7. 제 1항에 있어서,
    상기 움직임 추정부는 상기 회전 정보 산출부에서 산출한 상기 회전 중심과 상기 회전각을 이용하여 상기 차량의 좌표 변화를 산출하고, 상기 차량의 좌표 변화를 통해 상기 차량의 움직임을 추정하는 것을 특징으로 하는 움직임 추정 장치.
  8. 제 1항에 있어서,
    상기 차량에 설치된 카메라에서 촬영된 영상이 입력되는 영상 입력부를 더 포함하는 움직임 추정 장치.
  9. 차량에 설치된 카메라에서 촬영된 상기 차량의 주변 영상을 통해 상기 차량이 위치한 공간내에서의 상기 차량의 움직임을 추정하는 움직임 추정 방법에 있어서,
    상기 차량의 주변 영상을 통해 상기 차량이 소정 공간에 위치하는지 판단하는 공간 인식 단계;
    상기 주변 영상의 왜곡을 보정하는 단계;
    상기 보정된 영상의 시점을 탑뷰(Top View) 시점으로 변환하는 단계;
    상기 변환된 영상에 관심 영역을 추출하는 단계;
    상기 공간 인식 단계에서 판단 결과 상기 차량이 소정 공간에 위치한 경우, 상기 관심 영역으로부터 상기 영상의 옵티컬 플로우(Optical Flow)를 추출하는 옵티컬 플로우 추출 단계;
    상기 옵티컬 플로우 추출 단계에서 추출한 옵티컬 플로우를 통해 상기 차량의 회전 중심과 회전각을 산출하는 회전 정보 산출 단계; 및
    상기 회전 정보 산출 단계에서 산출한 상기 차량의 회전 중심과 회전각을 통해 상기 차량의 움직임을 추정하는 움직임 추정 단계를 포함하는 움직임 추정 방법.
  10. 제 9항에 있어서,
    상기 차량에 설치된 카메라는 단안 카메라인 것을 특징으로 하는 움직임 추정 방법.
  11. 제 9항에 있어서,
    상기 소정 공간은 상기 차량을 주차하기 위한 주차 공간인 것을 특징으로 하는 움직임 추정 방법.
  12. 제 9항에 있어서,
    상기 차량에 설치된 카메라에서 촬영된 영상의 시점을 탑뷰(Top View) 시점으로 변환하는 시점 변환 단계를 더 포함하는 움직임 추정 방법.
  13. 삭제
  14. 제 9항에 있어서,
    상기 회전 정보 산출 단계는 상기 회전 중심으로부터 상기 옵티컬 플로우 추출 단계에서 추출한 옵티컬 플로우의 특징점 좌표까지의 거리와 상기 특징점 좌표의 변화량을 이용하여 상기 회전각을 산출하는 것을 특징으로 하는 움직임 추정 방법.
  15. 제 9항에 있어서,
    상기 움직임 추정 단계는 상기 회전 정보 산출 단계에서 산출한 상기 회전 중심과 상기 회전각을 이용하여 상기 차량의 좌표 변화를 산출하고, 상기 차량의 좌표 변화를 통해 상기 차량의 움직임을 추정하는 것을 특징으로 하는 움직임 추정 방법.
KR1020160148910A 2016-11-09 2016-11-09 움직임 추정 장치 및 방법 KR101876353B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160148910A KR101876353B1 (ko) 2016-11-09 2016-11-09 움직임 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148910A KR101876353B1 (ko) 2016-11-09 2016-11-09 움직임 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180051942A KR20180051942A (ko) 2018-05-17
KR101876353B1 true KR101876353B1 (ko) 2018-07-09

Family

ID=62486078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148910A KR101876353B1 (ko) 2016-11-09 2016-11-09 움직임 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101876353B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102170488B1 (ko) * 2019-03-22 2020-10-28 박선희 선박에서의 fmcw 레이더를 이용한 위치인식 기반 증강현실 군사용 훈련시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241326A (ja) * 2003-10-17 2007-09-20 Matsushita Electric Ind Co Ltd 移動体動き算出装置
JP2011100184A (ja) * 2009-11-04 2011-05-19 Toyota Motor Corp 駐車支援装置
US20160104047A1 (en) * 2014-10-10 2016-04-14 Application Solutions (Electronics and Vision) Ltd. Image recognition system for a vehicle and corresponding method
KR20160112676A (ko) * 2015-03-20 2016-09-28 주식회사 성우모바일 주차 보조 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241326A (ja) * 2003-10-17 2007-09-20 Matsushita Electric Ind Co Ltd 移動体動き算出装置
JP2011100184A (ja) * 2009-11-04 2011-05-19 Toyota Motor Corp 駐車支援装置
US20160104047A1 (en) * 2014-10-10 2016-04-14 Application Solutions (Electronics and Vision) Ltd. Image recognition system for a vehicle and corresponding method
KR20160112676A (ko) * 2015-03-20 2016-09-28 주식회사 성우모바일 주차 보조 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Suhr et al. Free Parking Space Detection Using Optical Flow-based Euclidean 3D Reconstruction. MVA, 2007년 5월, pp. 563-566. 1부. *

Also Published As

Publication number Publication date
KR20180051942A (ko) 2018-05-17

Similar Documents

Publication Publication Date Title
JP6473571B2 (ja) Ｔｔｃ計測装置およびｔｔｃ計測プログラム
JP6612297B2 (ja) 道路の垂直輪郭検出
JP6303090B2 (ja) 画像処理装置および画像処理プログラム
EP2546602B1 (en) Stereo camera apparatus
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
JP6058256B2 (ja) 車載カメラ姿勢検出装置および方法
JP6167525B2 (ja) 距離計測装置及び車両
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
US20170259830A1 (en) Moving amount derivation apparatus
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
WO2019156072A1 (ja) 姿勢推定装置
CN110651295A (zh) 图像处理设备、图像处理方法和程序
US20200193184A1 (en) Image processing device and image processing method
JP2009139324A (ja) 車両用走行路面検出装置
KR101876353B1 (ko) 움직임 추정 장치 및 방법
KR101488636B1 (ko) 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
JP2006127083A (ja) 画像処理方法及び画像処理装置
CN113516711A (zh) 相机位姿估计技术
CN113167579B (zh) 用于测量对象物位置的系统、方法以及存储介质
Unger et al. Efficient stereo matching for moving cameras and decalibrated rigs
JP5996411B2 (ja) 画像処理装置
CN114998849B (zh) 一种基于路端单目相机的交通流要素感知与定位方法及其应用
JP5836774B2 (ja) 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant