KR20100009451A - 영상의 그라운드 라인 결정 방법 - Google Patents

영상의 그라운드 라인 결정 방법 Download PDF

Info

Publication number
KR20100009451A
KR20100009451A KR1020080105977A KR20080105977A KR20100009451A KR 20100009451 A KR20100009451 A KR 20100009451A KR 1020080105977 A KR1020080105977 A KR 1020080105977A KR 20080105977 A KR20080105977 A KR 20080105977A KR 20100009451 A KR20100009451 A KR 20100009451A
Authority
KR
South Korea
Prior art keywords
image
ground line
determining
straight lines
groups
Prior art date
Application number
KR1020080105977A
Other languages
English (en)
Other versions
KR101512297B1 (ko
Inventor
채선혁
김도균
이기창
임화섭
코누신 안톤
바리노바 올가
코누신 바딤
야쿠벤코 안톤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/458,600 priority Critical patent/US8395824B2/en
Publication of KR20100009451A publication Critical patent/KR20100009451A/ko
Application granted granted Critical
Publication of KR101512297B1 publication Critical patent/KR101512297B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일부 실시예들은 입력 영상으로부터 그라운드 라인을 결정하는 방법에 관한 것으로, 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계, 상기 영상의 GBS 맵으로부터 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정하는 단계, 및 상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계를 포함하는 영상의 그라운드 라인 결정 방법을 제공한다.
그라운드 라인, 3D Modeling, 3D Navigation, Virtual Reality

Description

영상의 그라운드 라인 결정 방법{Method for Determining Ground Line}
본 발명은 영상 처리 방법에 관한 것으로, 보다 구체적으로, 영상으로부터 빌딩 영역과 그라운드 영역의 경계선인 그라운드 라인을 결정하는 방법에 관한 것이다.
최근에 칼라 영상으로부터 3D 영상을 모델링 하는 방법이 연구되고 있다. 이러한 연구에 있어서 활용도가 높은 기술 중의 하나는 그라운드(Ground) 영역, 빌딩(Building) 영역, 및 하늘(Sky) 영역을 분할하고, 상기 그라운드 영역과 빌딩 영역의 경계선인 그라운드 라인(Ground Line)을 결정하는 영상 처리 기술이다.
그라운드 라인이 결정되면, 상기 그라운드 라인 근처에서 영상을 잘라 수직 구조물(Vertical)을 세워서 3D 영상을 모델링 할 수 있다. 이러한 영상 모델링은 객체 기반의 MPEG-4의 부호화 방식 등에도 활용도가 높다. 특히 사람이 만든 인조 건축물들이 있는 도시의 모습을 촬영한 2D 영상으로부터 3D 영상을 복원하는 방법에는 상기 그라운드 라인을 결정하는 방법이 영상 처리의 효율에 큰 영향을 미칠 수 있다.
본 발명의 일부 실시예는 3D 영상 모델링의 효율성 향상을 위해 안출된 것으로서, 입력되는 영상으로부터 빌딩과 지면이 만나는 그라운드 라인을 결정하는 방법을 제공하기 위한 것이다.
본 발명의 또 다른 실시예는, 입력된 2D 영상으로부터 그라운드 라인을 자동적으로 결정하는 방법을 제공하기 위한 것이다.
본 발명의 또 다른 실시예는, 다수의 빌딩이 존재하는 영상으로부터 효율적으로 그라운드 라인을 결정하는 방법을 제공하기 위한 것이다.
상기의 목적을 이루기 위하여, 본 발명의 일측에 따르면, 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계, 상기 영상의 GBS 맵으로부터 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정하는 단계, 및 상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계를 포함하는 영상의 그라운드 라인 결정 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 상기 영상의 그라운드 라인 결정 방법은, 상기 영상으로부터 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계, 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 이용하여 상기 복수 개의 그라운드 라인 후보를 결정하는 단계를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 영상으로부터 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계는, 상기 영상으로부터 복수 개의 직선을 추출하는 단계, 상기 복수 개의 직선 중 복수 개의 수평 방향의 직선을 검출하는 단계, 및 상기 복수 개의 수평 방향의 직선 중 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 복수 개의 수평 방향의 직선 중 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계는, 상기 영상의 GBS 맵의 B 영역과 상기 복수 개의 수평 방향의 직선을 비교하여, 상기 빌딩 영역에 속하는 상기 복수 개의 수평 방향의 직선을 검출한다.
본 발명의 또 다른 일측에 따르면, 상기 복수 개의 수평 방향의 직선을 복수 개의 그룹으로 클러스터링하는 단계를 더 포함하고, 상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는, 상기 클러스터링된 상기 복수 개의 수평 방향의 직선에 기초하여 상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정한다.
본 발명의 또 다른 일측에 따르면, 상기 복수 개의 그룹의 각각에 대하여 소실점을 결정하는 단계, 및 상기 복수 개의 그룹 간의 수직 방향 경계선을 결정하는 단계를 더 포함하고, 상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는, 상기 수직 방향의 경계선의 복수 개의 포인트와 상기 복수 개의 그룹 각각의 소실점을 지나는 직선을 검출하여 상기 복수 개의 그라운드 라인 후보를 결정한다.
본 발명의 또 다른 일측에 따르면, 본 발명은, 상기 영상의 GBS 맵으로부터 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정하는 단계, 및 상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 영상으로부터 복수 개의 직선을 추출하는 단계, 상기 복수 개의 직선으로부터 소실점을 이용하여 복수 개의 그라운드 라인 후보를 결정하는 단계, 및 상기 영상의 GBS 맵을 이용하여 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계를 포함하는 영상의 그라운드 라인 결정 방법이 제공된다.
본 발명의 일부 실시예에 따르면, 입력되는 영상으로부터 빌딩과 지면이 만나는 그라운드 라인을 결정되어, 3D 영상 모델링의 효율성이 향상된다.
본 발명의 또 다른 실시예에 따르면, 입력된 2D 영상의 그라운드 라인이 효율적으로 결정된다.
본 발명의 또 다른 실시예에 따르면, 다수의 빌딩이 존재하는 영상으로부터 효율적으로 그라운드 라인을 결정할 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것 은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상의 그라운드 라인 결정 방법을 도시하는 흐름도이다.
단계(110)에서 영상이 입력된다. 본 발명의 일 실시예에 따르면, 상기 영상은 RGB 데이터로 구성되는 이미지 파일이다. 상기 영상의 파일 포맷은 비트맵(bmp), 제이팩(jpeg or jpg), 로파일(raw file) 등의 다양한 형태일 수 있다. 만약, 상기 파일 포맷이 압축(data compression)된 것이라면, 상기 영상 처리에 앞서, 상기 압축을 푸는 작업(decompresion)이 수행될 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 입력 영상에 다양한 전 처리(Pre Processing)을 통하여 영상 처리의 정확도 및/또는 효율성을 높인다. 예를 들어, 상기 입력 영상의 명도(Bright or Value), 채도(Contrast) 등을 조정하여, 조정된 결과 영상을 상기 영상 처리의 입력 영상으로 할 수 있다. 또한 상기 전 처리 과정에서 다양한 필터 마스크(Mask) 처리가 포함될 수 있다.
단계(120)에서 상기 입력 영상의 GBS 맵이 생성된다. 상기 GBS 맵은 영상을 의미론적인 부분인 그라운드 영역, 빌딩 영역, 및 하늘(Sky) 영역으로 단순 분할되는 영상이다. GBS맵은, 각 영역이 모두 존재하는 복수 개의 영상으로부터 각 영역의 칼라, 위치, 텍스처 등과 같은 정보를 학습하고 새로운 영상이 주어졌을 때 학습된 상관관계를 이용하여 영상을 각 영역별로 분할하여 생성할 수 있다.
단계(130)에서 빌딩 영역에 속하는 복수 개의 수평 방향의 직선이 검출된다. 본 발명의 일 실시예에 따르면, Sobel 에지 디텍터(Edge Detector)를 사용하여 입 력 영상으로부터 복수 개의 직선이 추출된다. 상기 복수 개의 직선 중 복수 개의 수평 방향의 직선이 검출되고, 이 중 수평 방향의 성분이 아닌 것(Non-horizontal)은 필터링 아웃 시켜서 수평 방향의 직선이 검출된다. 그리고 상기 입력 영상의 GBS 맵과 상기 복수 개의 수평 방향의 직선이 비교된다. 상기 복수 개의 수평 방향의 직선 중 상기 GBS 맵의 G 영역과 S 영역에 대응되는 부분이 필터링 아웃 되어, 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선이 검출된다.
단계(140)에서 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선이 복수 개의 그룹으로 클러스터링 된다. 본 발명의 일 실시예에 따르면, 상기 빌딩 영역에 속하는 복수 개의 직선의 x 좌표 점이 mean shift 알고리즘으로 중간 단계 그룹으로 클러스터링 된다. 그리고 상기 중간 단계 그룹의 각각에 대하여 RANSAC(Random Sample Consensus) 알고리즘에 의하여 아웃라이어(Outlier)가 제거된다. 상기 중간 단계 그룹의 각각에 대하여 주 방향이 계산되고, 다시 한 번 mean shift 알고리즘을 사용하여, 클러스터링을 하면 비슷한 방향성을 가진 복수 개의 그룹이 병합되어 더 큰 단위의 복수 개의 그룹이 생성된다.
단계(150)에서 상기 복수 개의 그룹 각각의 소실점이 결정된다. 상기 복수 개의 그룹 내의 복수 개의 직선에 의해 복수 개의 소실점이 검출된다. 이 경우 상기 복수 개의 그룹 내에서 제거되지 못한 아웃라이어에 의한 소실점도 검출된다. 이러한 아웃라이어에 의한 소실점은 제거되고, 인라이어(Inlier)에 의한 상기 복수 개의 소실점들의 평균을 구하면, 최종 소실점이 검출된다. 본 발명의 일 실시예에 따르면, 상기 최종 소실점은, 상기 그룹의 수보다 작거나 같다. 하나의 그룹 마다 하나의 소실점이 검출되지만, 평행한 직선들로 구성되는 그룹은 소실점이 없기 때문이다.
단계(160)에서 상기 복수 개의 그룹 간의 수직 방향의 경계선이 결정된다. 본 발명의 일 실시예에 따르면, 상기 복수 개의 각각의 그룹의 가장자리 10퍼센트 부분이 선택되고, 이웃하는 각각의 그룹의 가장자리 영역 내에서 가장 긴 수직 성분의 직선이 상기 복수 개의 그룹 간의 수직 방향의 경계선으로 결정된다. 상기 수직 방향의 경계선은, 그라운드 라인이 꺾어지는 포인트이다.
단계(170)에서 상기 수직 방향의 경계선의 복수 개의 포인트와 상기 복수 개의 그룹 각각의 소실점을 지나는 직선이 복수 개의 그라운드 라인 후보로 결정된다. 상기 수직 방향의 경계선의 각 픽셀을 지나고, 상기 복수 개의 그룹의 각 소실점을 지나는 직선이 그라운드 라인 후보로 결정된다. 상기 그라운드 라인 후보는 상기 소실점이 존재하지 않는 그룹 내에서는, 수평선과 평행한 방향의 직선이 된다.
단계(180)에서 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드가 결정된다. 상기 수직 방향의 경계선을 중심으로 일정한 밴드가 결정된다. 본 발명의 일 실시 예에 따르면, 상기 수직 방향의 경계선의 각 픽셀에서, y 좌표 방향으로 일정한 픽셀 수를 더하거나 및/또는 뺀 픽셀들이 상기 일정한 밴드로 결정된다.
단계(190)에서 상기 복수 개의 그라운드 라인 후보가 일정한 밴드에 속하는 정도에 따라 영상의 그라운드 라인이 결정된다. 상기 그라운드 라인 후보가 상기 일정한 밴드와 비교되어, 상기 그라운드 라인 후보 중 상기 일정한 밴드에 가장 많 이 속하는 후보가 상기 영상의 그라운드 라인으로 결정된다. 본 발명의 일 실시예에 따르면, 상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드와 교차하는 픽셀 수가 계산되고, 상기 일정한 밴드와 교차하는 픽셀 수가 가장 많은 상기 그라운드 라인 후보가 상기 영상의 그라운드 라인으로 결정된다.
도 2는 본 발명의 일 실시예에 따라 입력된 영상을 도시한 도면이다. 영역(210)은 하늘 영역, 영역(220)은 빌딩 영역, 영역(230)은 그라운드 영역에 대응된다. 상기 각 영역은 서로 간의 경계를 가진다. 입력 영상 내의 자동차(240)는 상기 빌딩 영역(220)과 상기 그라운드 영역(230)의 경계에 위치한다. 따라서, 자동차(240) 등은 단순한 영상 분할을 통한 GBS 맵 등에서 그라운드 라인의 오차를 만드는 원인이다.
도 3은 본 발명의 일 실시예에 따라, 입력 도2의 영상으로부터 GBS 맵을 추출한 영상을 도시한 도면이다. 영역(310)은 하늘 영역에, 영역(320)은 빌딩 영역에, 영역(330)은 그라운드 영역에 대응된다. 경계(340)은 상기 G 영역과 다른 영역의 경계에 해당한다. 본 샘플 영상에서 경계(340)은 직선이 아니다. 본 발명의 일 실시예에 따르면, 복수 개의 그라운드 라인 후보가 결정되고, 상기 경계(340)을 중심으로 일정한 밴드가 결정되며, 상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 입력 영상의 그라운드 라인이 결정된다.
도 4는 본 발명의 일 실시예에 따라, 복수 개의 수평 방향의 직선 중 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계를 설명하기 위한 흐름도이다.
단계(410)에서 입력 영상으로부터 복수 개의 직선이 추출된다. 본 발명의 일 실시 예에 따르면, Sobel 에지 디텍터(Edge Detector)를 사용하여 복수 개의 직선을 추출한다. Sobel 에지 디텍터의 x 축과 y 축에 대한 오퍼레이터 마스크는 수학식 1에 나타나는 바와 같다.
Figure 112008074857542-PAT00001
상기 수학식 1에서 Gx는 소벨 X 그라디언트 맵을 의미하고, Gy는 소벨 Y 그라디언트 맵을 의미한다. 상기 A는 상기 영상의 데이터를 의미한다. 상기 행렬 [1, 0, -1; 2. 0. -2; 1, 0, -1]은 X 축의 마스크에 대응되고, 상기 행렬 [1, 2, 1; 0, 0, 0; -1, -2, -1]은 Y 축의 마스크에 대응된다.
단계(420)에서 상기 복수 개의 직선 중 복수 개의 수평 방향의 직선이 검출된다. 단계(410)에서 추출된 복수 개의 직선 중 수평 방향의 성분이 아닌 것(Non-horizontal)은 필터링 아웃 되어 수평 방향의 직선이 검출된다.
본 발명의 또 다른 실시예에 따르면, 단계(410) 및 단계(420)에서 상기 영상에 대하여 Y 축 소벨 오퍼레이터(Sobel operator)를 적용하여 소벨 Y 그라디언트 영상을 생성함으로써 상기 복수 개의 수평 성분의 에지를 추출하고 상기 수평 성분의 에지 중 직선(Straight Line)이 검출된다.
단계(430)에서 상기 복수 개의 수평 방향의 직선 중 빌딩 영역에 속하는 복 수 개의 수평 방향의 직선이 검출된다. 도 3의 GBS 맵과 상기 복수 개의 수평 방향의 직선이 비교된다. 상기 복수 개의 수평 방향의 직선 중 상기 GBS 맵의 G 영역과 S 영역에 대응되는 부분이 필터링 아웃 되었다. 따라서 상기 GBS 맵의 B 영역에 대응되는 부분만 남아, 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선이 검출된다.
도 5는 본 발명의 일 실시예에 따라, 도 2의 영상으로부터 복수 개의 수평 방향의 직선을 추출한 영상을 도시한 도면이다. 직선(510)과 직선(520)은 빌딩 영역에 속하는 수평 성분의 직선이다. 그러나 직선(510)과 직선(520)은 서로 다른 소실점을 향하는 직선이다. 직선(530)은 수평 방향의 직선이나, 빌딩 영역이 아닌 도 2의 영상 내의 가로수로부터 추출된 직선이다. 직선(540) 및 직선(550)은 도로의 차선으로부터 추출된 직선이다. 상기 직선(530), 직선(540), 및 직선(550)은 그라운드 라인을 결정하는 영상 처리 과정에서 오차를 발생시킬 수 있다.
도 6은 본 발명의 일 실시예에 따라, 도 5의 영상으로부터 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출한 영상을 도시한 도면이다. 도 4의 단계(430)에서 도 3의 GBS 맵과 도 5의 영상이 비교된다. 도 5의 영상에서 도 3의 영역(310) 및 영역(330)에 대응되는 부분이 필터링 아웃 되었다. 따라서 영역(320)에 대응되는 부분만 도 6에서 존재한다. 따라서 도 5의 직선 (510) 내지 직선(550) 중, 영역(310) 및 영역(330)에 대응되는 직선(540) 및 직선(550)은 제거되고, 직선(510), 직선(520), 및 직선(530)이 각각 직선(610), 직선(620), 및 직선(630)으로 남아 있다.
도 7은 본 발명의 일 실시예에 따라, 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 복수 개의 그룹으로 클러스터링 하는 단계를 설명하기 위한 흐름도이다.
단계(710)에서 빌딩 영역에 속하는 복수 개의 직선의 x 좌표 점이 mean shift 알고리즘으로 중간 단계 그룹으로 클러스터링 된다. mean shift 알고리즘(MSA)는 특징 값의 확률 분포 (probability distribution) 상의 경사면(Gradient)을 반복 수행에 의해 탐색하는 방법으로, 최고점(peak, mode)을 통계적 측면에서 효과적으로 찾아준다.
단계(720)에서 상기 중간 단계 그룹의 각각에 대하여 아웃라이어(outlier)가 제거된다. 본 발명의 일 실시예에 따르면, RANSAC(Random Sample Consensus) 알고리즘에 의하여 아웃라이어가 제거된다.
단계(730)에서 상기 중간 단계 그룹의 각각에 대하여 주 방향이 계산된다. 그룹에 속하는 직선의 벡터 계산을 통하여 상기 중간 단계 그룹 각각이 어느 쪽으로 방향성을 갖는지 계산된다.
단계(740)에서 상기 중간 단계 그룹 중 유사한 주 방향을 가진 중간 단계 그룹이 병합되어 복수 개의 그룹이 생성된다. 단계(730)의 주 방향을 이용하여 다시 한 번 mean shift 알고리즘을 사용하여, 클러스터링을 하면 비슷한 방향성을 가진 복수 개의 그룹이 병합되어 더 큰 단위의 복수 개의 그룹이 생성된다.
도 8은 본 발명의 일 실시예에 따라, 도 6의 영상으로부터 클러스터링 된 복수 개의 그룹을 도시한 도면이다. 클러스터(810), 클러스터(820), 클러스터(821), 클러스터(822), 클러스터(823), 클러스터(824), 클러스터(831), 및 클러스터(832)는 동일한 소실점을 갖는 수평 방향의 직선들의 그룹이다. 본 발명의 일 실시 예에 따르면, 상기 클러스터 중 유사한 주 방향을 가진 클러스터 수 개가 병합되어 하나의 클러스터가 될 수 있다. 클러스터(821) 내지 클러스터(824)는 유사한 주 방향을 가진 클러스터이므로 하나의 클러스터(820)으로 병합된다. 같은 이유에서 클러스터(831) 및 클러스터(832)는 하나의 클러스터(830)으로 병합된다. 따라서 샘플 영상에는 복수 개의 그룹인 클러스터(810), 클러스터(820), 및 클러스터(830)이 있다
도 9A는 본 발명의 일 실시예에 따라, 도 8의 영상으로부터 상기 복수 개의 그룹 각각의 소실점을 구한 영상을 도시한 도면이다. 영상(910)은 소실점을 구하는 과정을 도시한다. 도 8의 클러스터(820) 내의 복수 개의 직선에 의해 소실점(914), 소실점(915) 및 소실점(916)이 검출된다. 한편 클러스터(830) 내의 복수 개의 직선에 의해 소실점(917), 소실점(918) 및 소실점(919)가 검출된다. 소실점(912) 및 소실점(913)은 상기 클러스터 내에서 제거되지 못한 아웃라이어에 의한 소실점이다. 이러한 아웃라이어에 의한 소실점(912, 913)은 제거된다. 인라이어(Inlier)에 의한 소실점은 최종 소실점의 검출에 이용된다. 한편, 도 8의 클러스터(810) 내의 복수 개의 직선은 서로 평행하므로, 소실점이 생성되지 않는다.
도 9B는 본 발명의 일 실시예에 따라, 도 8의 영상으로부터 상기 복수 개의 그룹 각각의 최종 소실점을 구한 영상을 도시한 도면이다. 도 9A의 아웃라이어에 의한 소실점(912, 913)은 제거되었다. 소실점(922)는 도 9A의 소실점(914), 소실 점(915), 및 소실점(916)의 평균을 구해서 검출된다. 소실점(923)은 소실점(917), 소실점(918), 및 소실점(919)의 평균 점이다. 따라서, 본 샘플 영상의 최종 소실점은 소실점(922), 및 소실점(923)으로 검출된다.
도 10A는 본 발명의 일 실시예에 따라, 복수 개의 그룹 간의 수직 방향의 경계선을 결정하기 위해, 상기 복수 개의 그룹의 가장자리가 선택된 영상을 도시한 도면이다. 본 샘플 영상에서는 클러스터(1011)과 클러스터(1012)가 존재한다. 클러스터(1011) 내의 복수 개의 직선은 서로 평행하므로, 소실점을 생성하지 않는다. 클러스터(1012) 내의 복수 개의 직선은 클러스터(1012)의 좌측에 한 개의 소실점을 생성한다.
영상(1010)에서, 각 클러스터의 가장자리 10퍼센트 부분이 선택된다. 직선(1013), 및 직선(1014)는 각각 클러스터(1011)의 좌측 10퍼센트 직선, 및 우측 10퍼센트 직선이다. 한편 직선(1015), 및 직선(1016)은 각각 클러스터(1012)의 좌측 10퍼센트 직선, 및 우측 10퍼센트 직선이다. 본 발명의 다른 실시예에 따르면, 상기 10 퍼센트에 대하여 다른 값을 사용할 수 있다.
도 10B는 본 발명의 일 실시예에 따라, 복수 개의 그룹 간의 수직 방향의 경계선을 결정하기 위해, 도 10A의 클러스터(1011) 및 클러스터(1012) 사이의 영역이 선택된 영상을 도시한 도면이다.
영상(1020)에서 도 10A의 직선(1014), 및 직선(1015) 사이의 영역(1021)이 선택된다. 클러스터(1011), 및 클러스터(1012)는 각각 한 개의 그라운드 라인을 가지고 있는데, 그라운드 라인이 꺾이는 부분이 영역(1021) 내의 어느 곳에 있다.
도 10C는 본 발명의 일 실시예에 따라, 복수 개의 그룹 간의 수직 방향의 경계선이 결정된 결과의 샘플 영상을 도시한 도면이다.
영상(1030)의 경계선(1031)은, 도 1의 단계(160)에서 결정되는 상기 복수 개의 그룹 간의 수직 방향의 경계선에 대응된다. 본 발명의 일 실시예에 따르면, 경계선(1031)은 도 10B의 상기 영역(1021) 내에서 수직 성분의 직선 중 가장 긴 직선으로 결정된다.
도 11은 본 발명의 일 실시예에 따라, 도 1의 단계(170)에서 결정되는 도 10의 영상의 복수 개의 그라운드 라인 후보를 도시한다. 경계선(1110)은 도 10의 경계선(1031)에 대응된다. 경계선(1110) 내의 점(1111)을 지나고, 도10의 클러스터(1011), 및 클러스터(1012)를 지나는 그라운드 라인 후보(1131)이 결정된다. 클러스터(1011)의 소실점은 존재 하지 않으므로, 그라운드 라인 후보(1131)의 점(1111) 좌측 부분은 수평선 방향이며, 점(1111) 우측 부분은 상기 클러스터(1012)의 소실점(1120)을 지나는 방향이다. 경계선(1110) 내의 점(1112), 점(1113), 점(1114), 및 점(1115)에 대해서도 각각 그라운드 라인 후보(1132), 그라운드 라인 후보(1133), 그라운드 라인 후보(1134), 및 그라운드 라인 후보(1135)가 결정된다. 또한 도시되지 않은 경계선(1110) 내의 픽셀들에 대하여도 각각 그라운드 라인 후보가 결정된다.
도 12는 본 발명의 일 실시예에 따라, G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정한 영상을 도시한 도면이다. 도 3의 경계(340)을 중심으로 일정한 밴드(1210)이 결정된다. 본 발명의 일 실시 예에 따르면, 경계(340)의 각 픽셀에서, y 좌표 방향으로 일정한 픽셀 수를 더하거나 및/또는 뺀 픽셀들이 상기 일정한 밴드(1210)으로 결정된다.
도 13은 본 발명의 일 실시예에 따라, 도 10의 영상으로부터 그라운드 라인을 결정한 결과의 영상이다. 그라운드 라인(1310)이 도 10의 샘플 영상의 그라운드 라인이다. 도 11의 그라운드 라인 후보(1131 내지 1135 등)를 도 12의 일정한 밴드(1210)과 비교하여, 상기 그라운드 라인 후보(1131 내지 1135 등) 중 일정한 밴드(1210)에 가장 많이 속하는 후보가 그라운드 라인(1310)으로 결정된다. 본 발명의 일 실시예에 따르면, 상기 복수 개의 그라운드 라인 후보(1131 내지 1135 등)가 상기 일정한 밴드(1210)에 속하는 정도에 따라 상기 복수 개의 그라운드 라인 후보(1131 내지 1135 등)중 상기 영상의 그라운드 라인을 결정하는 단계는, 상기 복수 개의 그라운드 라인 후보(1131 내지 1135 등)가 상기 일정한 밴드(1210)와 교차하는 픽셀 수를 계산하는 단계, 및 상기 일정한 밴드(1210)와 교차하는 픽셀 수가 가장 많은 상기 그라운드 라인 후보를 상기 영상의 그라운드 라인(1310)으로 결정하는 단계를 포함한다.
본 발명에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하 드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상의 그라운드 라인 결정 방법을 도시하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따라 입력된 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라, 입력 도2의 영상으로부터 GBS 맵을 추출한 영상을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라, 복수 개의 수평 방향의 직선 중 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따라, 도 2의 영상으로부터 복수 개의 수평 방향의 직선을 추출한 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라, 도 5의 영상으로부터 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출한 영상을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라, 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 복수 개의 그룹으로 클러스터링 하는 단계를 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따라, 도 6의 영상으로부터 클러스터링 된 복수 개의 그룹을 도시한 도면이다.
도 9A는 본 발명의 일 실시예에 따라, 도 8의 영상으로부터 상기 복수 개의 그룹 각각의 소실점을 구한 영상을 도시한 도면이다.
도 9B는 본 발명의 일 실시예에 따라, 도 8의 영상으로부터 상기 복수 개의 그룹 각각의 최종 소실점을 구한 영상을 도시한 도면이다.
도 10A는 본 발명의 일 실시예에 따라, 복수 개의 그룹 간의 수직 방향의 경계선을 결정하기 위해, 상기 복수 개의 그룹의 가장자리가 선택된 영상을 도시한 도면이다.
도 10B는 본 발명의 일 실시예에 따라, 복수 개의 그룹 간의 수직 방향의 경계선을 결정하기 위해, 복수 개의 그룹 사이의 영역이 선택된 영상을 도시한 도면이다.
도 10C는 본 발명의 일 실시예에 따라, 복수 개의 그룹 간의 수직 방향의 경계선이 결정된 결과의 샘플 영상을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따라, 도 10의 영상의 복수 개의 그라운드 라인 후보를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따라, G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정한 영상을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따라, 도 10의 영상으로부터 그라운드 라인을 결정한 결과의 영상이다.

Claims (17)

  1. 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계;
    상기 영상의 GBS 맵으로부터 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정하는 단계; 및
    상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계
    를 포함하는 영상의 그라운드 라인 결정 방법.
  2. 제1항에 있어서,
    상기 영상으로부터 상기 영상의 상기 GBS 맵을 생성하는 단계
    를 더 포함하는 영상의 그라운드 라인 결정 방법.
  3. 제1항에 있어서,
    상기 영상으로부터 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계
    를 더 포함하고,
    상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는,
    상기 복수 개의 수평 방향의 직선을 이용하여 상기 복수 개의 그라운드 라인 후보를 결정하는 영상의 그라운드 라인 결정 방법.
  4. 제3항에 있어서, 상기 영상으로부터 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계는,
    상기 영상으로부터 복수 개의 직선을 추출하는 단계;
    상기 복수 개의 직선 중 복수 개의 수평 방향의 직선을 검출하는 단계; 및
    상기 복수 개의 수평 방향의 직선 중 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계
    를 포함하는 영상의 그라운드 라인 결정 방법.
  5. 제4항에 있어서, 상기 복수 개의 수평 방향의 직선 중 상기 빌딩 영역에 속하는 복수 개의 수평 방향의 직선을 검출하는 단계는,
    상기 영상의 GBS 맵의 B 영역과 상기 복수 개의 수평 방향의 직선을 비교하여, 상기 빌딩 영역에 속하는 상기 복수 개의 수평 방향의 직선을 검출하는 영상의 그라운드 라인 결정 방법.
  6. 제3항에 있어서,
    상기 복수 개의 수평 방향의 직선을 복수 개의 그룹으로 클러스터링하는 단계
    를 더 포함하고,
    상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는,
    상기 클러스터링된 상기 복수 개의 수평 방향의 직선에 기초하여 상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 영상의 그라운드 라인 결정 방법.
  7. 제6항에 있어서, 상기 복수 개의 수평 방향의 직선을 복수 개의 그룹으로 클러스터링하는 단계는,
    상기 복수 개의 수평 방향의 직선의 x 좌표를 mean shift 알고리즘으로 중간 단계 그룹으로 클러스터링하는 단계;
    상기 중간 단계 그룹의 각각에 대하여 아웃라이어(outlier)를 제거하는 단계;
    상기 중간 단계 그룹의 각각에 대하여 주 방향을 계산하는 단계; 및
    유사한 주 방향을 가진 중간 단계 그룹을 병합하여 상기 복수 개의 그룹을 생성하는 단계
    를 포함하는 영상의 그라운드 라인 결정 방법.
  8. 제6항에 있어서,
    상기 복수 개의 그룹의 각각에 대하여 소실점을 결정하는 단계
    를 더 포함하는 영상의 그라운드 라인 결정 방법.
  9. 제6항에 있어서,
    상기 복수 개의 그룹의 각각에 대하여 소실점을 결정하는 단계
    를 더 포함하는 영상의 그라운드 라인 결정 방법.
  10. 제9항에 있어서, 상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는,
    상기 수직 방향의 경계선의 복수 개의 포인트와 상기 복수 개의 그룹 각각의 소실점을 지나는 직선을 검출하여 상기 복수 개의 그라운드 라인 후보를 결정하는 영상의 그라운드 라인 결정 방법.
  11. 제1항에 있어서, 상기 영상의 GBS 맵으로부터 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정하는 단계는,
    상기 GBS 맵으로부터 상기 G 영역과 상기 다른 영역의 경계 픽셀에서 y좌표 방향으로 일정한 폭을 가진 상기 일정한 밴드를 결정하는 영상의 그라운드 라인 결정 방법.
  12. 제1항에 있어서, 상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계는,
    상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드와 교차하는 픽셀 수 를 계산하는 단계; 및
    상기 일정한 밴드와 교차하는 픽셀 수가 가장 많은 상기 그라운드 라인 후보를 상기 영상의 그라운드 라인으로 결정하는 단계
    를 포함하는 영상의 그라운드 라인 결정 방법.
  13. 영상으로부터 복수 개의 직선을 추출하는 단계;
    상기 복수 개의 직선으로부터 소실점을 이용하여 복수 개의 그라운드 라인 후보를 결정하는 단계; 및
    상기 영상의 GBS 맵을 이용하여 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계
    를 포함하는 영상의 그라운드 라인 결정 방법.
  14. 제13항에 있어서, 상기 영상의 GBS 맵을 이용하여 상기 복수 개의 그라운드 라인 후보 중 상기 영상의 그라운드 라인을 결정하는 단계는,
    상기 영상의 GBS 맵으로부터 G 영역과 다른 영역의 경계를 중심으로 일정한 밴드를 결정하는 단계; 및
    상기 복수 개의 그라운드 라인 후보가 상기 일정한 밴드에 속하는 정도에 따라 상기 영상의 그라운드 라인을 결정하는 단계
    를 포함하는 영상의 그라운드 라인 결정 방법.
  15. 제14항에 있어서,
    상기 복수 개의 직선을 복수 개의 그룹으로 클러스터링하는 단계
    를 더 포함하고,
    상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는,
    상기 클러스터링된 상기 복수 개의 직선에 기초하여 상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 영상의 그라운드 라인 결정 방법.
  16. 제15항에 있어서,
    상기 복수 개의 그룹의 각각에 대하여 소실점을 결정하는 단계;
    상기 복수 개의 그룹 간의 수직 방향 경계선을 결정하는 단계
    를 더 포함하고,
    상기 영상으로부터 복수 개의 그라운드 라인 후보를 결정하는 단계는,
    상기 수직 방향의 경계선의 복수 개의 포인트와 상기 복수 개의 그룹 각각의 소실점을 지나는 직선을 검출하여 상기 복수 개의 그라운드 라인 후보를 결정하는 영상의 그라운드 라인 결정 방법.
  17. 제1항 내지 제16항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020080105977A 2008-07-17 2008-10-28 영상의 그라운드 라인 결정 방법 KR101512297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/458,600 US8395824B2 (en) 2008-07-17 2009-07-16 Method for determining ground line

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2008132273 2008-07-17
RU2008132273/08A RU2488881C2 (ru) 2008-07-17 2008-07-17 Способ определения линии поверхности земли

Publications (2)

Publication Number Publication Date
KR20100009451A true KR20100009451A (ko) 2010-01-27
KR101512297B1 KR101512297B1 (ko) 2015-04-16

Family

ID=41817877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080105977A KR101512297B1 (ko) 2008-07-17 2008-10-28 영상의 그라운드 라인 결정 방법

Country Status (2)

Country Link
KR (1) KR101512297B1 (ko)
RU (1) RU2488881C2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105694A (ko) * 2013-02-22 2014-09-02 삼성테크윈 주식회사 다중지평면 추정장치 및 방법
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922852B1 (ko) * 2017-01-10 2018-11-28 (주)베라시스 영상 기반 색상정보를 이용한 초지 경계 검출 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
RU2325044C1 (ru) * 2007-02-21 2008-05-20 Московский государственный университет инженерной экологии Градиентный способ выделения контуров объектов на матрице полутонового растрового изображения

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105694A (ko) * 2013-02-22 2014-09-02 삼성테크윈 주식회사 다중지평면 추정장치 및 방법
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统

Also Published As

Publication number Publication date
KR101512297B1 (ko) 2015-04-16
RU2488881C2 (ru) 2013-07-27
RU2008132273A (ru) 2010-01-27

Similar Documents

Publication Publication Date Title
Uhrig et al. Sparsity invariant cnns
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
JP6000455B2 (ja) フォーム認識方法及びフォーム認識装置
JP2002288658A (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
JP2012038318A (ja) ターゲット検出方法及び装置
JP5706647B2 (ja) 情報処理装置、およびその処理方法
CN108399424B (zh) 一种点云分类方法、智能终端及存储介质
KR101517004B1 (ko) 영상 처리 방법
JP5908844B2 (ja) 画像処理装置および画像処理方法
US8395824B2 (en) Method for determining ground line
Wendel et al. Unsupervised facade segmentation using repetitive patterns
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN116310993A (zh) 目标检测方法、装置、设备及存储介质
KR101512297B1 (ko) 영상의 그라운드 라인 결정 방법
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
CN111951254B (zh) 基于边缘引导加权平均的源相机识别方法及系统
CN114399532A (zh) 一种相机位姿确定方法和装置
Ai et al. Geometry preserving active polygon-incorporated sign detection algorithm
CN113792671A (zh) 人脸合成图像的检测方法、装置、电子设备及介质
Kumar et al. Human visual system and segment-based disparity estimation
Zhang et al. Digital image forensics of non-uniform deblurring
CN112652059B (zh) 基于Mesh R-CNN模型改进的目标检测与三维重构方法
CN111476821B (zh) 基于在线学习的目标跟踪方法
CN111242054B (zh) 一种检测器的捕获率的检测方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 5