KR20160046174A - 관심 영역 설정 방법 및 장치 - Google Patents

관심 영역 설정 방법 및 장치 Download PDF

Info

Publication number
KR20160046174A
KR20160046174A KR1020140141856A KR20140141856A KR20160046174A KR 20160046174 A KR20160046174 A KR 20160046174A KR 1020140141856 A KR1020140141856 A KR 1020140141856A KR 20140141856 A KR20140141856 A KR 20140141856A KR 20160046174 A KR20160046174 A KR 20160046174A
Authority
KR
South Korea
Prior art keywords
image frame
region
detecting
interest
camera
Prior art date
Application number
KR1020140141856A
Other languages
English (en)
Other versions
KR102203410B1 (ko
Inventor
김종항
이상학
하성종
김보연
신영민
안유리
권연희
강선아
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020140141856A priority Critical patent/KR102203410B1/ko
Priority to CN201410841719.8A priority patent/CN105809658B/zh
Priority to US14/587,577 priority patent/US9665788B2/en
Publication of KR20160046174A publication Critical patent/KR20160046174A/ko
Application granted granted Critical
Publication of KR102203410B1 publication Critical patent/KR102203410B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양에 따른 관심 영역 설정 방법은, 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 단계; 및 상기 검출된 표식을 이용하여 관심 영역을 설정하는 단계를 포함할 수 있다.

Description

관심 영역 설정 방법 및 장치{Method and Apparatus for Setting Region of Interest}
본 발명은 관심 영역 설정 방법 및 장치에 관한 것이다. 보다 자세하게는, 사용자의 입력 없이도 관심 영역 설정이 가능한 관심 영역 설정 방법 및 장치에 관한 것이다.
카메라 감시 시스템(Camera Monitoring System)과 같이 카메라에 의하여 획득한 영상을 통하여 이상 행위를 감지하는 기술에 대한 연구가 활발하다.
카메라에 의하여 획득한 영상을 통하여 이상 행위를 감지하기 위해서는 카메라에 의하여 획득한 영상에서 관심 영역 설정이 선행되어야 하는 경우가 많다.
관심 영역 설정은 이상 행위를 검출하기 위한 영역이 될 수 있으며, 이상 행위를 검출하기 위한 조건과 관련된 영역(예를 들면, 침입선 영역, 횡단 보도 영역, 도로 영역, 정지선 영역, 중앙선 영역 등)일 수도 있다.
사용자가 원하는 이상 행위를 보다 정확하게 감지하기 위해서는 정확한 관심 영역 설정이 중요하다. 일반적으로 관심 영역 설정은 사용자의 입력에 의존하여 설정되었다. 따라서, 사용자의 숙련도에 따라서 설정되는 관심 영역이 상이하며, 지속적인 관심이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는 사용자의 입력 없이도 관심 영역을 설정할 수 있는 관심 영역 설정 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 카메라의 시점이 변경되면 자동적으로 관심 영역을 재 설정할 수 있는 관심 영역 설정 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명이 해결하고자 하는 또 다른 기술적 과제는 사용자의 숙련도에 따라서 성능의 편차가 발생하지 않고 안정적으로 이상 행위를 감지할 수 있도록 관심 영역을 설정할 수 있는 관심 영역 설정 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양에 따른 관심 영역 설정 방법은, 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 단계; 및 상기 검출된 표식을 이용하여 관심 영역을 설정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 관심 영역 설정 방법은, 상기 영상 프레임에 존재하는 각각의 픽셀 별로 상기 검출된 표식의 종류에 따라서 라벨링을 수행하는 단계를 더 포함하며, 상기 관심 영역을 설정하는 단계는, 상기 라벨링의 정보를 이용하여 상기 관심 영역을 설정할 수 있다.
일 실시예에 따르면, 상기 라벨링을 수행하는 단계에 의하여 상기 각각의 픽셀은, 하나의 라벨링된 픽셀, 하나의 라벨링도 되지 않은 픽셀 및 둘 이상의 라벨링된 픽셀을 포함할 수 있다.
일 실시예에 따르면, 상기 표식을 검출하는 단계는, 상기 영상 프레임에서 배경을 검출하는 단계; 상기 검출된 배경을 영역화(Segmentation)하는 단계; 상기 영역화 과정을 수행한 영상 프레임에서 라인(Line) 및 경계(Boundary)를 포함한 영역화 정보를 획득하는 단계; 및 상기 영역화 정보를 이용하여 상기 표식을 검출하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 표식을 검출하는 단계는, 상기 영상 프레임에서 움직이는 객체를 검출하는 단계; 상기 검출된 움직이는 객체의 이동 궤적(Trajectory)을 수집하는 단계; 상기 수집된 궤적을 이용하여 이동 궤적이 존재하는 영역에 관한 정보를 생성하는 단계; 및 상기 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 상기 표식을 검출하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 이동 궤적이 존재하는 영역에 관한 정보를 생성하는 단계는, 상기 움직이는 객체와 상기 카메라 간의 거리에 따라 발생하는 물리적으로 동일한 영역에 해당하는 픽셀수의 차이를 보정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 표식은, 상기 영상 프레임에 존재하는 정지된 객체 중 기 설정된 객체에 해당하는 객체일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양에 따른 관심 영역 설정 방법은, 카메라의 시점 변화를 감지하는 단계; 상기 시점 변화가 감지된 경우 상기 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 단계; 및 상기 검출된 표식을 이용하여 관심 영역을 설정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 기 카메라의 시점 변화를 감지하는 단계는, 기 영상 프레임 중 제1 영상 프레임의 특징점들인 제1 특징점들을 획득하는 단계; 기 영상 프레임 중 상기 제1 영상 프레임이 촬영된 이후에 촬영된 제2 영상 프레임의 특징점들인 제2 특징점들을 획득하는 단계; 상기 제1 특징점들 및 상기 제2 특징점들을 이용하여 모션 벡터를 획득하는 단계; 및 상기 모션 벡터를 이용하여 상기 카메라의 시점 변화를 감지하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 제1 특징점들 및 제2 특징점들은 기 설정된 객체들의 특징점들 일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제3 태양에 따른 매체에 저장된 컴퓨터프로그램은, 하드웨어와 결합되어, 관심 영역 설정 방법을 수행할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제4 태양에 따른 관심 영역 설정 장치는, 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 표식 검출부; 및 상기 검출된 표식을 이용하여 관심 영역을 설정하는 관심영역 설정부를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제5 태양에 따른 관심 영역 설정 장치는, 카메라의 시점 변화를 감지하는 시점 변화 감지부; 상기 시점 변화가 감지된 경우 상기 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 표식 검출부; 및 상기 검출된 표식을 이용하여 관심 영역을 설정하는 관심영역 설정부를 포함할 수 있다.
상기와 같은 본 발명에 따르면 사용자의 입력 없이도 관심 영역을 설정할 수 있는 효과가 있다.
또한, 본 발명에 따르면 카메라의 시점이 변경되면 자동적으로 관심 영역을 재 설정할 수 있다.
또한, 본 발명에 따르면 사용자의 숙련도에 따라서 성능의 편차가 발생하지 않고 안정적으로 이상 행위를 감지할 수 있도록 관심 영역을 설정할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 관심 영역 설정 방법에 관한 흐름도이다.
도 2는 카메라가 도로 상황을 촬영하는 경우, 영상 프레임에서 검출된 표식의 일 예를 나타내는 도면이다.
도 3은 표식을 검출하는 구체적인 일 예를 설명하기 위한 흐름도이다.
도 4는 이동 궤적이 존재하는 영역을 보정하는 방법의 일 예를 나타내는 흐름도이다.
도 5는 원근 타일의 일 예를 나타내는 도면이다.
도 6은 수집된 이동 궤적 중 부정확한 이동 궤적의 존재 및 제거 필요성에 관하여 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 관심 영역 설정 방법에서 라벨링 과정이 추가된 흐름도이다.
도 8은 픽셀 별로 라벨링되는 일 예를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 관심 영역 설정 방법의 다른 적용 예를 나타내는 흐름도이다.
도 10은 카메라의 시점이 변경된 것을 감지하는 방법의 일 예를 설명하는 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 관심 영역 설정 장치에 관한 블록도이다.
도 12는 본 발명의 다른 실시예에 따른 관심 영역 설정 장치의 표식 검출부에 관한 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 관심 영역 설정 장치의 다른 블록도이다.
도 14는 상기 관심 영역 설정 장치의 또 다른 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1 내지 10을 참조하여 본 발명의 일 실시예에 따른 관심 영역 설정 방법에 관하여 설명한다. 본 실시예는 연산 수단을 구비한 컴퓨팅 장치에 의하여 수행 될 수 있다. 상기 컴퓨팅 장치는, 예를 들어 본 발명의 다른 실시예에 따른 관심 영역 설정 장치일 수 있다. 상기 관심 영역 설정 장치의 구성 및 동작에 대하여는 도 11 및 도 14를 참조하여 설명한 내용을 통해 이해할 수 있다.
도 1은 본 발명의 일 실시예에 따른 관심 영역 설정 방법에 관한 흐름도이다.
도 1을 참조하면, 관심 영역 설정 장치가 카메라로부터 영상 프레임을 수신한다(S100).
관심 영역 설정 장치는 유선 통신 및/또는 무선 통신을 통하여 카메라로부터 영상 프레임을 수신할 수 있다(S100).
예를 들면, 관심 영역 설정 장치는 카메라로부터 영상 프레임을 촬영된 순간 마다 실시간으로 수신할 수 있으며, 특정 시간 마다 수신할 수도 있으며, 특정 데이터량 마다 수신할 수도 있으며, 주기적으로 수신할 수도 있다.
관심 영역 설정 장치가 영상 프레임에서 표식을 검출할 수 있다(S200).
관심 영역 설정 장치는 카메라로부터 복수 개의 영상 프레임들을 수신하며, 관심 영역 설정 장치는 각각의 영상 프레임에서 표식을 검출할 수 있다.
표식은 영상 프레임에 존재하는 정지된 객체 중 기 설정된 객체에 해당하는 객체일 수 있다.
구체적으로, 표식은 영상 프레임에 존재하는 정지된 객체 중 사용자가 감지하고자 하는 이상 행위와 연관된 유의미한 객체일 수 있다.
보다 구체적인 예를 도 2를 참조하여 설명한다.
도 2는 카메라가 도로 상황을 촬영하는 경우, 영상 프레임에서 검출된 표식의 일 예를 나타내는 도면이다.
도 2를 참조하면, 카메라가 도로 상황을 촬영하는 경우이고 도로 상황에서 이상 행위는 예를 들면, 정지선 위반, 신호 위반, 불법 유턴, 속도 위반, 중앙선 침범 등이 될 수 있다.
따라서, 감지하고자 하는 이상 행위와 연관된 유의미한 객체는, 정지선(P1), 주행 방향 표시 영역(P2, P3, P4), 유턴 가능 영역(P5), 제한 속도 표시 영역(P6), 중앙선(P7), 차선(P8, P9, P10), 도로(P11, P12, P13) 등이 될 수 있다.
감지하고자 하는 이상 행위와 연관성이 없는 나무, 건물 등은 표식이 될 수 없다. 다만, 사용자가 감지하고자 하는 이상 행위가 나무 또는 건물과 연관성이 있는 경우에는 나무 또는 건물도 표식이 될 수도 있다.
도 2에서 제시하는 표식은 도로 상황에서 표식이 될 수 있는 예를 나타낸 것에 불과하다. 필요에 따라서 도 2에서도 더 많은 표식이 존재할 수 있다. 따라서 표식은 사용자의 필요성에 따라서 미리 설정될 수 있으며, 변경될 수도 있다. 즉, 도 2와 같이 도로 상황을 촬영하는 카메라로부터 수신한 영상 프레임에서 검출하고자 하는 표식으로 기 설정된 것은 정지선(P1), 주행 방향 표시 영역(P2, P3, P4), 유턴 가능 영역(P5), 제한 속도 표시 영역(P6), 중앙선(P7), 차선(P8, P9, P10), 도로(P11, P12, P13)가 될 수 있다.
도 3은 표식을 검출하는 구체적인 일 예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 관심 영역 설정 장치는 S210 단계 내지 S270 단계를 수행하여 표식을 검출할 수 있다.
구체적으로, 관심 영역 설정 장치가 수신한 영상 프레임에서 정지된 객체를 포함하는 배경을 검출할 수 있다(S210).
배경을 검출하는 방법은 공지된 다양한 기술들을 이용할 수 있다.
정지된 객체는 배경에 포함된다. 따라서, 배경에 표식이 포함될 수 있다.
관심 영역 설정 장치가 검출된 배경을 영역화(Segmentation)한다(S220).
관심 영역 설정 장치가 영역화 과정을 수행한 영상 프레임에서 라인(Line), 경계(Boundary) 등을 포함한 정보인 영역화 정보를 획득할 수 있다(S230).
관심 영역 설정 장치가 영역화 정보에 포함된 정보가 표식에 해당하는지 여부를 객체의 이동 궤적을 이용하여 판단할 수 있다.
관심 영역 설정 장치가 영상 프레임에서 움직이는 객체를 검출한다(S240).
관심 영역 설정 장치가 검출된 움직이는 객체의 이동 궤적(Trajectory)을 수집한다(S250).
관심 영역 설정 장치가 수집된 이동 궤적을 이용하여 궤적이 존재하는 영역에 관한 정보를 생성한다(S260).
관심 영역 설정 장치가 영역화 정보 및 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 표식을 검출할 수 있다(S270).
구체적으로, 도 2와 같은 도로 상황을 예로 들면, 관심 영역 설정 장치가 움직이는 객체인 차량들의 이동 궤적이 존재하는 영역을 참조하여 유턴 가능 영역, 중앙선, 차선, 도로 등에 관한 표식을 보다 정확하게 검출할 수 있다.
다만, 모든 표식들이 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 검출될 수 있는 것은 아니다.
제한 속도 표시 영역, 주행 방향 표시 영역 등은 이동 궤적이 존재하는 영역에 관한 정보 없이도 검출된 영역화 정보만으로도 표식으로 검출할 수 있다.
예를 들면, 라인 및 경계 정보를 이용하여 형태를 검출하고, 검출된 형태를 이용하여 기 설정된 표식과 매칭하여 표식으로 검출할 수도 있다.
또한, 관심 영역 설정 장치는 이동 궤적이 존재하는 영역 만으로도 표식을 검출할 수도 있다. 예를 들면, 도로 상황에서 중앙선의 경우, 영역화 정보가 없더라도 중앙선에 해당하는 영역을 검출하여 표식으로 결정할 수도 있다.
다만, 보다 정확한 표식의 영역, 종류 등을 결정하기 위해서는 영역화 정보 및 이동 궤적이 존재하는 영역에 관한 정보를 종합적으로 이용할 수 있다.
도 4는 이동 궤적이 존재하는 영역을 보정하는 방법의 일 예를 나타내는 흐름도이다.
도 4를 참조하면, 관심 영역 설정 장치가 이동 궤적이 존재하는 영역에 관한 정보를 보정한다.
구체적으로, 관심 영역 설정 장치가 움직이는 객체와 카메라 간의 거리에 따라 발생하는 물리적으로 동일한 영역에 해당하는 픽셀수의 차이를 보정할 수 있다.
동일한 물체에서 물리적으로 동일한 영역이 차지하는 부피는 동일하다. 그러나, 카메라 촬영시 발생하는 원근감 또는 카메라 시점에 따른 차이 등에 의하여 영상 프레임에서는 물리적으로 동일한 영역이 차지하는 픽셀수가 상이할 수 있다.
이러한 점을 보정하기 위하여 원근 타일(Perspective Tile)을 이용할 수 있다.
도 5는 원근 타일의 일 예를 나타내는 도면이다.
각각의 타일의 물리적인 정보는 동일하다. 즉, 각각의 타일은 실제 물리적으로 동일한 가로, 세로 및 높이를 가진다. 예를 들면, 하나의 타일은 가로 1.5m, 세로 1.5m, 높이 1.5m의 물리적 정보를 가질 수 있다.
즉, 도 5에서 Box_1, Box_2 및 Box_3은 모두 현실상에서는 물리적으로 가로, 세로, 높이가 1.5m가 되는 것을 의미한다.
도 5와 같은 원근 타일을 이용하여 카메라 촬영시 발생하는 원근감, 카메라 시점에 따른 차이 등에 의하여 발생하는 문제점을 해소할 수 있다.
또한, 관심 영역 설정 장치는 원근 타일을 이용하면, 프레임 내에서 움직이는 객체의 실제 크기, 이동 속도 등 다양한 물리적 정보도 획득할 수 있다. 구체적으로, 원근 타일은 물리적 크기 등에 관한 정보를 가지고 있으며, 카메라의 시간 당 촬영 속도(예를 들면, 1초에 30프레임 촬영 등)를 알면 움직이는 객체의 크기, 이동 속도 등을 산출할 수 있다.
보다 구체적으로, 원근 타일은 카메라의 캘리브레이션(Calibration)을 이용하여 획득할 수 있다. 카메라 마다 촬영 시점 등이 상이할 수 있기 때문이다.
카메라의 캘리브레이션은 카메라가 어느 위치, 어느 방향으로 장착되어 있는지를 산출하기 위해서 카메라의 좌표, 경사각, 회전각 또는 카메라의 팬 각도 등을 구하는 것을 의미한다. 캘리브레이션의 실행 결과에 따라 구해지는 카메라의 파라미터에 기초하여 상기한 문제점을 해소할 수 있다. 더욱이, 카메라의 좌표, 경사각, 회전각 또는 팬 각도 등에 따라서 획득된 원근 타일의 구간별로 다른 파라미터를 적용하여 파라미터 튜닝의 효과를 획득할 수 있다.
카메라의 캘리브레이션은 수집된 이동 궤적 중에서 부정확한 이동 궤적을 제거하는데도 이용될 수 있다.
도 6은 수집된 이동 궤적 중 부정확한 이동 궤적의 존재 및 제거 필요성에 관하여 설명하는 도면이다.
도 6을 참조하면, 도로 상에서 우측 상단에 위치한 카메라(61)가 차량을 촬영하는 경우, 카메라(61)의 장착 위치, 카메라(61)의 촬영 방향, 카메라(61)의 촬영 시점, 차량의 높이 등에 의하여 부정확한 이동 궤적(64)이 발생하는 것을 볼 수 있다.
즉, 차량의 정확한 이동 궤적인 63뿐만 아니라 부정확한 이동 궤적(64)을 포함한 이동 궤적(62)이 이동 궤적이 존재하는 영역을 생성하는데 이용되는 이동 궤적이 된다.
따라서, 관심 영역 설정 장치가 카메라(61) 캘리브레이션에 의하여 생성된 원근 타일 및 파라미터를 이용하여 부정확한 이동 궤적(64)을 제거하여 보다 정확한 이동 궤적이 존재하는 영역에 관한 정보를 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 관심 영역 설정 방법에서 라벨링 과정이 추가된 흐름도이다.
도 7을 참조하면, 관심 영역 설정 장치는 검출된 표식을 이용하여 픽셀 별로 라벨링을 수행할 수 있다.
각각의 픽셀은 해당 픽셀에서 검출된 표식의 종류 별로 라벨링이 될 수 있다. 따라서, 하나의 픽셀은 하나의 라벨링 정보와 매칭될 수 있으며, 하나의 픽셀이 복수 개의 라벨링 정보와 매칭될 수도 있다. 또한, 어떠한 픽셀은 아무런 라벨링 정보와도 매칭되지 않을 수 있다.
도 8은 픽셀 별로 라벨링되는 일 예를 설명하기 위한 도면이다.
도 8을 참조하면, 도 2에서 점선 박스 부분을 확대하고, 확대된 부분에 대하여 각 픽셀 별로 라벨링 되는 예를 설명한다.
중앙선에 해당하는 픽셀들 각각은 중앙선에 해당하는 라벨로 라벨링될 수 있다. 예를 들면, 중앙선에 해당하는 픽셀들 각각은 L_StopLine로 라벨링될 수 있다.
주행 방향 표시 영역에 해당하는 픽셀들 각각은 주행 방향 표시 영역에 해당하는 라벨로 라벨링될 수 있다. 예를 들면, 주행 방향 표시 영역에 해당하는 픽셀들 각각은 L_Direction으로 라벨링될 수 있다.
차선에 해당하는 픽셀들 각각은 차선에 해당하는 라벨로 라벨링될 수 있다. 예를 들면, 차선에 해당하는 픽셀들 각각은 L_lane으로 라벨링될 수 있다.
또는, 차선이 중앙선에서부터 첫 번째 차선인지, 두 번째 차선인지 등 순서에 따라서 서로 다른 라벨링을 할 수도 있다.
계속하여 도 8에서 점선 박스를 구성하는 모든 픽셀은 도로에 해당한다. 따라서, 점선 박스 내부의 모든 픽셀들 각각은 도로에 해당하는 라벨인 L_Road로 라벨링될 수 있다.
따라서, 중앙선에 해당하는 픽셀들 각각, 주행 방향 표시 영역에 해당하는 픽셀들 각각, 차선에 해당하는 픽셀들 각각은 두 개의 라벨링 정보를 가진다.
다시 도 7로 되돌아가면, 관심 영역 설정 장치는 라벨링 정보를 이용하여 관심 영역을 설정할 수 있다(S710).
예를 들면, 사용자 또는 본 발명을 이용한 시스템은 정지선 위반의 이상 행위를 감시하기 위한 것이면, 정지선 영역을 관심 영역으로 설정할 것을 미리 지정해 둘 수 있다.
관심 영역 설정 장치가 미리 지정된 바에 따라서, 정지선 영역을 관심 영역으로 설정하고자 할 경우, 정지선 영역에 해당하는 라벨링 정보를 포함하는 픽셀들의 집합을 관심 영역으로 설정할 수 있다.
즉, 본 발명의 일 실시예에 따른 관심 영역 설정 방법은 이상 행위 감지를 위하여 이상 행위와 연관된 표식을 관심 영역으로 설정하고자 하는 경우, 해당 표식에 대응되는 라벨링 정보를 포함하는 픽셀들의 집합을 관심 영역으로 설정할 수 있다.
또한, 감지하고자 하는 이상 행위가 변경되어 설정하고자 하는 관심 영역이 변경되는 경우에도 라벨링 정보를 이용하여 용이하게 관심 영역을 변경하거나 재 설정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 관심 영역 설정 방법의 다른 적용 예를 나타내는 흐름도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 관심 영역 설정 방법은 카메라로부터 수신한 영상 프레임을 이용하여 카메라의 촬영 시점이 변경되었는지 여부를 감지할 수 있다.
본 발명의 일 실시예에 따른 관심 영역 설정 방법은 카메라의 촬영 시점이 변경된 경우, 표식을 재 검출하고, 관심 영역을 다시 설정한다.
카메라가 팬(PAN), 틸트(TILT), 줌(ZOOM)으로 시점이 변경될 경우, 기존에 검출한 표식 정보는 오차가 발생하며, 따라서 부정확한 관심 영역 설정 및 이상 행위 검출이 발생할 수 있다.
따라서, 관심 영역 설정 방법은 카메라의 촬영 시점이 변경되면 도 1 내지 도 8을 참조하여 설명한 바에 따라서 표식을 재 검출하고, 관심 영역을 다시 설정할 수 있다.
도 10은 카메라의 시점이 변경된 것을 감지하는 방법의 일 예를 설명하는 흐름도이다.
앞서 설명한 바와 같이 관심 영역 설정 방법은 다양한 컴퓨팅 장치에 의하여 수행될 수 있다. 예를 들면, 컴퓨팅 장치는 관심 영역 설정 장치이다.
도 10을 참조하면, 관심 영역 설정 장치가 기존 영상 프레임에서 특징점들을 획득한다(S110, S910). 기존 영상 프레임에서 획득한 특징점들을 제1 특징점들이라 한다.
관심 영역 설정 장치가 신규 영상 프레임에서 특징점들을 획득한다(S120, S920). 신규 영상 프레임에서 획득한 특징점들을 제2 특징점들이라 한다.
기존 영상 프레임은 시간적으로 신규 영상 프레임이 촬영되기 이전에 촬영된 프레임이다. 기존 영상 프레임과 신규 영상 프레임은 모두 동일한 카메라에 의하여 촬영된 영상 프레임일 수 있다.
또한, 관심 영역 설정 장치가 획득하는 제1 특징점들 및 제2 특징점들은 기 설정된 객체들의 특징점들일 수 있다.
기 설정된 객체는 정지된 객체이다. 도 2를 참조하여 예를 들면, 기 설정된 객체는 차선, 중앙선 등이 될 수 있다. 그 외, 가로등, 건물의 간판 등 다양한 정치 객체가 될 수 있다. 다만, 바람에 흔들릴 수 있는 나뭇가지 등은 기 설정된 객체가 아닐 수 있다.
기 설정된 객체는 카메라가 시점을 변화하여 촬영하여도 촬영된 영상 프레임에 항상 포함될 수 있는 것이 바람직하다.
계속하여 도 10을 참조하면, 관심 영역 설정 장치가 제1 특징점들 및 제2 특징점들을 이용하여 모션 벡터를 획득할 수 있다(S930).
관심 영역 설정 장치가 모션 벡터를 이용하여 카메라 촬영 시점의 변경 여부를 감지할 수 있다(S940).
예를 들면, 관심 영역 설정 장치는 획득한 모션 벡터가 기 설정된 크기 이상인 경우에 카메라 촬영 시점이 변경된 것으로 판단할 수 있다.
본 발명의 일 실시예에 따른 관심 영역 설정 방법은 카메라의 촬영 시점이 변경될 때 마다 자동적으로 표식을 재 검출하고, 다시 관심 영역을 설정함으로써 사용자의 지속적인 관리 없이도 정확하고 효과적으로 관심 영역을 설정할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 관심 영역 설정 장치에 관한 블록도이다.
도 1 내지 10을 참조하여 설명한 본 발명의 일 실시예에 따른 관심 영역 설정 방법에 관한 내용은 본 발명의 다른 실시예에 따른 관심 영역 설정 장치(100)에 적용될 수 있다.
도 11을 참조하면, 본 발명의 다른 실시예에 따른 관심 영역 설정 장치(100)는 영상 수신부(110), 표식 검출부(120), 라벨링부(130) 및 관심영역 설정부(140)를 포함할 수 있다.
영상 수신부(110)는 카메라로부터 촬영된 영상 프레임들을 수신할 수 있다.
표식 검출부(120)는 영상 프레임에서 표식들을 검출할 수 있다.
라벨링부(130)는 표식의 종류 별로 라벨링한다. 라벨링부(130)는 각각의 픽셀 별로 라벨링을 할 수 있다.
관심영역 설정부(140)는 라벨링된 정보를 이용하여 관심 영역을 설정할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 관심 영역 설정 장치의 표식 검출부에 관한 블록도이다.
도 12를 참조하여 표식 검출부(120)의 구체적인 구성에 관한 일 예를 설명하면, 표식 검출부(120)는 배경 검출부(121), 영역화부(122), 영역화 정보 획득부(123), 이동 객체 검출부(124), 궤적 수집부(125), 궤적 영역 생성부(126), 궤적 영역 보정부(127) 및 표식 정보 생성부(128)를 포함할 수 있다.
배경 검출부(121)는 영상 프레임에서 정지 객체가 포함된 배경을 검출할 수 있다.
영역화부(122)는 검출된 배경을 영역화(Segmentation)할 수 있다.
영역화 정보 획득부(123)는 영역화 과정을 수행한 영상 프레임에서 라인 및 경계를 포함한 다양한 정보를 획득할 수 있다.
이동 객체 검출부(124)는 영상 프레임에서 움직이는 객체를 검출할 수 있다.
궤적 수집부(125)는 검출된 움직이는 객체의 이동 궤적을 수집할 수 있다.
궤적 영역 생성부(126)는 수집된 움직이는 객체의 이동 궤적을 이용하여 이동 궤적이 존재하는 영역에 관한 정보를 생성할 수 있다.
궤적 영역 보정부(127)는 생성된 이동 궤적이 존재하는 영역 중에서 부정확한 영역을 제거하는 보정 및 카메라의 시점에 의하여 발생하는 오차를 보정하여 보다 정확한 이동 궤적이 존재하는 영역에 관한 정보를 생성할 수 있다.
표적 정보 생성부는 영역화 정보 획득부(123)에서 획득한 정보 및/또는 궤적 영역 보정부(127)에서 생성한 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 표식을 검출하고 표식의 종류에 관한 정보 등 표식에 관한 정보를 생성할 수 있다.
도 13은 본 발명의 다른 실시예에 따른 관심 영역 설정 장치의 다른 블록도이다.
도 13을 참조하면, 관심 영역 설정 장치(100)는 도 11에서 나타난 구성에서 시점 변화 감지부를 더 포함할 수 있다.
시점 변화 감지부는 카메라의 촬영 시점이 변경되었는지 여부를 감지할 수 있다.
시점 변화 감지부에 의하여 카메라의 촬영 시점이 변경된 경우, 표식 검출부(120)는 촬영 시점이 변경된 카메라에 의하여 촬영된 영상 프레임에서 표식을 재 검출할 수 있다.
라벨링부(130)는 재 검출된 표식에 따라서 각각의 픽셀 별로 라벨링을 재 수행할 수 있다.
관심영역 설정부(140)는 재 수행된 라벨링 정보를 이용하여 다시 관심 영역을 설정할 수 있다.
도 14는 상기 관심 영역 설정 장치(100)의 또 다른 구성도이다.
관심 영역 설정 장치(100)는 도 14에 도시된 구성을 가질 수도 있다. 관심 영역 설정 장치(100)는 명령어를 수행하는 프로세서(1), 메모리(2), 관심 영역 설정 프로그램 데이터가 저장되는 스토리지(3), 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(4) 및 데이터 버스(5)를 포함할 수 있다.
데이터 버스(5)는 프로세서(1), 메모리(2), 스토리지(3) 및 네트워크 인터페이스(4)와 연결되어 데이터 이동 통로가 될 수 있다.
스토리지(3)에는 관심 영역 설정 프로그램 데이터가 저장될 수 있다. 관심 영역 설정 프로그램 데이터는 카메라의 시점 변화를 감지하는 과정, 상기 시점 변화가 감지된 경우 상기 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 과정 및 상기 검출된 표식을 이용하여 관심 영역을 설정하는 과정을 포함할 수 있다.
지금까지 도 1 내지 도 10를 참조하여 설명된 본 발명의 실시예들에 따른 관심 객체 설정 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터 프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록 된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치 및 스마트 와치, 스마트 안경과 같은 웨어러블 컴퓨팅 장치를 모두 포함한다.
본 발명의 실시예에 따른 관심 영역 설정 장치 및 방법은 사용자의 입력 없이도 관심 영역을 설정할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 관심 영역 설정 장치 및 방법은 카메라의 시점이 변경되면 자동적으로 관심 영역을 재 설정할 수 있다.
또한, 본 발명의 실시예에 따른 관심 영역 설정 장치 및 방법은 사용자의 숙련도에 따라서 성능의 편차가 발생하지 않고 안정적으로 이상 행위를 감지할 수 있도록 관심 영역을 설정할 수 있다.
지금까지 도 11, 12 및 13의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (18)

  1. 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 단계; 및
    상기 검출된 표식을 이용하여 관심 영역을 설정하는 단계를 포함하는, 관심 영역 설정 방법.
  2. 제1 항에 있어서,
    상기 관심 영역 설정 방법은,
    상기 영상 프레임에 존재하는 각각의 픽셀 별로 상기 검출된 표식의 종류에 따라서 라벨링을 수행하는 단계를 더 포함하며,
    상기 관심 영역을 설정하는 단계는,
    상기 라벨링의 정보를 이용하여 상기 관심 영역을 설정하는, 관심 영역 설정 방법.
  3. 제1 항에 있어서,
    상기 표식을 검출하는 단계는,
    상기 영상 프레임에서 배경을 검출하는 단계;
    상기 검출된 배경을 영역화(Segmentation)하는 단계;
    상기 영역화 과정을 수행한 영상 프레임에서 라인(Line) 및 경계(Boundary)를 포함한 영역화 정보를 획득하는 단계; 및
    상기 영역화 정보를 이용하여 상기 표식을 검출하는 단계를 포함하는, 관심 영역 설정 방법.
  4. 제1 항에 있어서,
    상기 표식을 검출하는 단계는,
    상기 영상 프레임에서 움직이는 객체를 검출하는 단계;
    상기 검출된 움직이는 객체의 이동 궤적(Trajectory)을 수집하는 단계;
    상기 수집된 궤적을 이용하여 이동 궤적이 존재하는 영역에 관한 정보를 생성하는 단계; 및
    상기 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 상기 표식을 검출하는 단계를 포함하는, 관심 영역 설정 방법.
  5. 제4 항에 있어서,
    상기 표식을 검출하는 단계는,
    상기 영상 프레임에서 배경을 검출하는 단계;
    상기 검출된 배경을 영역화(Segmentation)하는 단계;
    상기 영역화 과정을 수행한 영상 프레임에서 라인(Line) 및 경계(Boundary)를 포함한 영역화 정보를 획득하는 단계; 및
    상기 영역화 정보와 상기 생성한 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 상기 표식을 검출하는 단계를 더 포함하는, 관심 영역 설정 방법.
  6. 제4 항에 있어서,
    상기 이동 궤적이 존재하는 영역에 관한 정보를 생성하는 단계는,
    상기 움직이는 객체와 상기 카메라 간의 거리에 따라 발생하는 물리적으로 동일한 영역에 해당하는 픽셀수의 차이를 보정하는 단계를 포함하는, 관심 영역 설정 방법.
  7. 제1 항에 있어서,
    상기 표식은,
    상기 영상 프레임에 존재하는 정지된 객체 중 기 설정된 객체에 해당하는 객체인, 관심 영역 설정 방법.
  8. 카메라의 시점 변화를 감지하는 단계;
    상기 시점 변화가 감지된 경우 상기 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 단계; 및
    상기 검출된 표식을 이용하여 관심 영역을 설정하는 단계를 포함하는, 관심 영역 설정 방법.
  9. 제8 항에 있어서,
    상기 카메라의 시점 변화를 감지하는 단계는,
    상기 영상 프레임 중 제1 영상 프레임의 특징점들인 제1 특징점들을 획득하는 단계;
    상기 영상 프레임 중 상기 제1 영상 프레임이 촬영된 이후에 촬영된 제2 영상 프레임의 특징점들인 제2 특징점들을 획득하는 단계;
    상기 제1 특징점들 및 상기 제2 특징점들을 이용하여 모션 벡터를 획득하는 단계; 및
    상기 모션 벡터를 이용하여 상기 카메라의 시점 변화를 감지하는 단계를 포함하는, 관심 영역 설정 방법.
  10. 제9 항에 있어서,
    상기 제1 특징점들 및 제2 특징점들은 기 설정된 객체들의 특징점들인, 관심 영역 설정 방법.
  11. 제8 항에 있어서,
    상기 관심 영역 설정 방법은,
    상기 영상 프레임에 존재하는 각각의 픽셀 별로 상기 검출된 표식의 종류에 따라서 라벨링을 수행하는 단계를 더 포함하며,
    상기 관심 영역을 설정하는 단계는,
    상기 라벨링의 정보를 이용하여 상기 관심 영역을 설정하는, 관심 영역 설정 방법.
  12. 하드웨어와 결합되어,
    제1 항 내지 제11 항 중 어느 한 항의 방법을 수행하기 위하여 매체에 저장된 컴퓨터프로그램.
  13. 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 표식 검출부; 및
    상기 검출된 표식을 이용하여 관심 영역을 설정하는 관심영역 설정부를 포함하는, 관심 영역 설정 장치.
  14. 제13 항에 있어서,
    상기 관심 영역 설정 장치는,
    상기 영상 프레임에 존재하는 각각의 픽셀 별로 상기 검출된 표식의 종류에 따라서 라벨링을 수행하는 라벨링부를 더 포함하며,
    상기 관심영역 설정부는,
    상기 라벨링의 정보를 이용하여 상기 관심 영역을 설정하는, 관심 영역 설정 장치.
  15. 제13 항에 있어서,
    상기 표식 검출부는,
    상기 영상 프레임에서 배경을 검출하는 배경 검출부;
    상기 검출된 배경을 영역화(Segmentation)하는 영역화부;
    상기 영역화 과정을 수행한 영상 프레임에서 라인(Line) 및 경계(Boundary)를 포함한 영역화 정보를 획득하는 영역화 정보 획득부; 및
    상기 영역화 정보를 이용하여 상기 표식을 검출하는 표식 정보 생성부를 포함하는, 관심 영역 설정 장치.
  16. 제13 항에 있어서,
    상기 표식 검출부는,
    상기 영상 프레임에서 움직이는 객체를 검출하는 이동 객체 검출부;
    상기 검출된 움직이는 객체의 이동 궤적(Trajectory)을 수집하는 궤적 수집부;
    상기 수집된 궤적을 이용하여 이동 궤적이 존재하는 영역에 관한 정보를 생성하는 궤적 영역 생성부; 및
    상기 이동 궤적이 존재하는 영역에 관한 정보를 이용하여 상기 표식을 검출하는 표식 정보 생성부를 포함하는, 관심 영역 설정 장치.
  17. 카메라의 시점 변화를 감지하는 시점 변화 감지부;
    상기 시점 변화가 감지된 경우 상기 카메라에 의하여 촬영된 영상 프레임에서 표식을 검출하는 표식 검출부; 및
    상기 검출된 표식을 이용하여 관심 영역을 설정하는 관심영역 설정부를 포함하는, 관심 영역 설정 장치.
  18. 제17 항에 있어서,
    상기 카메라의 시점 변화 감지부는,
    상기 영상 프레임 중 제1 영상 프레임의 특징점들인 제1 특징점들을 획득하고, 상기 영상 프레임 중 상기 제1 영상 프레임이 촬영된 이후에 촬영된 제2 영상 프레임의 특징점들인 제2 특징점들을 획득하는 특징점 획득부; 및
    상기 제1 특징점들 및 상기 제2 특징점들을 이용하여 모션 벡터를 획득하는 모션 벡터 획득부를 포함하며,
    상기 모션 벡터를 이용하여 상기 카메라의 시점 변화를 감지하는, 관심 영역 설정 장치.
KR1020140141856A 2014-10-20 2014-10-20 관심 영역 설정 방법 및 장치 KR102203410B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140141856A KR102203410B1 (ko) 2014-10-20 2014-10-20 관심 영역 설정 방법 및 장치
CN201410841719.8A CN105809658B (zh) 2014-10-20 2014-12-30 关心区域设定方法及装置
US14/587,577 US9665788B2 (en) 2014-10-20 2014-12-31 Method and apparatus for setting region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140141856A KR102203410B1 (ko) 2014-10-20 2014-10-20 관심 영역 설정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160046174A true KR20160046174A (ko) 2016-04-28
KR102203410B1 KR102203410B1 (ko) 2021-01-18

Family

ID=55749326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140141856A KR102203410B1 (ko) 2014-10-20 2014-10-20 관심 영역 설정 방법 및 장치

Country Status (3)

Country Link
US (1) US9665788B2 (ko)
KR (1) KR102203410B1 (ko)
CN (1) CN105809658B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118125B1 (ko) * 2020-01-15 2020-06-09 주식회사 사라다 레이더와 카메라를 이용한 영상 관제 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048895A1 (en) * 2016-09-06 2018-03-15 Apple Inc. Image adjustments based on depth of field estimations
KR102585219B1 (ko) * 2016-11-29 2023-10-05 삼성전자주식회사 차량 속도 제어 방법 및 장치
CN110225236B (zh) * 2018-03-02 2022-06-28 富士通株式会社 为视频监控系统配置参数的方法、装置和视频监控系统
CN110188661B (zh) * 2019-05-27 2021-07-20 广州极飞科技股份有限公司 边界识别方法及装置
CN111540023B (zh) 2020-05-15 2023-03-21 阿波罗智联(北京)科技有限公司 图像采集设备的监测方法、装置、电子设备及存储介质
JP2022056153A (ja) * 2020-09-29 2022-04-08 トヨタ自動車株式会社 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
CN112712731B (zh) * 2020-12-21 2022-08-12 阿波罗智联(北京)科技有限公司 图像处理方法、装置、系统、路侧设备及云控平台
US20230046840A1 (en) * 2021-07-28 2023-02-16 Objectvideo Labs, Llc Vehicular access control based on virtual inductive loop
DE102022203067A1 (de) 2022-03-29 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erkennen von Objekten in Bilddaten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299045A (ja) * 2006-04-27 2007-11-15 Nissan Motor Co Ltd 車線認識装置
KR20100134206A (ko) * 2009-06-15 2010-12-23 (주) 알티솔루션 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
KR20120016461A (ko) * 2010-08-16 2012-02-24 주식회사 이미지넥스트 도로 표식 인식 시스템 및 방법
JP2013157810A (ja) * 2012-01-30 2013-08-15 Toshiba Corp 画像センサシステム、情報処理装置、情報処理方法及びプログラム
KR20140036637A (ko) * 2012-09-17 2014-03-26 에스케이텔레콤 주식회사 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100437660C (zh) * 2006-08-25 2008-11-26 浙江工业大学 基于全方位视觉传感器的违章车辆监控装置
KR100902343B1 (ko) * 2007-11-08 2009-06-12 한국전자통신연구원 로봇 영상 시스템 및 검출 방법
JP4336755B2 (ja) * 2008-07-28 2009-09-30 国立大学法人秋田大学 カラー画像を用いた看板の認識方法
US9053372B2 (en) 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
CN102903239B (zh) * 2012-09-27 2014-05-14 安科智慧城市技术（中国）有限公司 交通路口车辆左右违章转向检测方法和系统
CN103136514B (zh) * 2013-02-05 2016-03-30 长安大学 一种基于双向跟踪的停车事件检测方法
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
JP6159179B2 (ja) * 2013-07-09 2017-07-05 キヤノン株式会社 画像処理装置、画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299045A (ja) * 2006-04-27 2007-11-15 Nissan Motor Co Ltd 車線認識装置
KR20100134206A (ko) * 2009-06-15 2010-12-23 (주) 알티솔루션 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
KR20120016461A (ko) * 2010-08-16 2012-02-24 주식회사 이미지넥스트 도로 표식 인식 시스템 및 방법
JP2013157810A (ja) * 2012-01-30 2013-08-15 Toshiba Corp 画像センサシステム、情報処理装置、情報処理方法及びプログラム
KR20140036637A (ko) * 2012-09-17 2014-03-26 에스케이텔레콤 주식회사 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118125B1 (ko) * 2020-01-15 2020-06-09 주식회사 사라다 레이더와 카메라를 이용한 영상 관제 장치 및 방법

Also Published As

Publication number Publication date
CN105809658B (zh) 2020-01-31
US9665788B2 (en) 2017-05-30
US20160110623A1 (en) 2016-04-21
KR102203410B1 (ko) 2021-01-18
CN105809658A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
KR20160046174A (ko) 관심 영역 설정 방법 및 장치
CN108694882B (zh) 用于标注地图的方法、装置和设备
US10360247B2 (en) System and method for telecom inventory management
US9916689B2 (en) Apparatus and method for estimating camera pose
EP2261604A1 (en) Computer arrangement for and method of mapping range sensor data on image sensor data
US20140313347A1 (en) Traffic camera calibration update utilizing scene analysis
US11430228B2 (en) Dynamic driving metric output generation using computer vision methods
US10242281B2 (en) Hybrid orientation system
US11017552B2 (en) Measurement method and apparatus
US20130182896A1 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP2019204518A (ja) 人物追跡方法、装置、機器及び記憶媒体
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
US20210335010A1 (en) Calibration method and calibration apparatus
US20190339074A1 (en) Positioning method and apparatus
CN110163914B (zh) 基于视觉的定位
JP2016126597A (ja) 車両用歩行者画像取得装置
AU2020257038A1 (en) Camera orientation estimation
JP6916975B2 (ja) 標識位置特定システム及びプログラム
JP2023111921A (ja) 情報処理装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN112016366A (zh) 一种障碍物定位方法及装置
CN112966622B (zh) 一种停车场语义地图完善方法、装置、设备和介质
WO2022179016A1 (zh) 车道检测方法、装置、设备及存储介质
CN110764526A (zh) 一种无人机飞行控制方法及装置
JP2020017198A (ja) 情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant