KR101589814B1 - 연안에서의 객체 인식 장치 및 그 방법 - Google Patents

연안에서의 객체 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101589814B1
KR101589814B1 KR1020140052826A KR20140052826A KR101589814B1 KR 101589814 B1 KR101589814 B1 KR 101589814B1 KR 1020140052826 A KR1020140052826 A KR 1020140052826A KR 20140052826 A KR20140052826 A KR 20140052826A KR 101589814 B1 KR101589814 B1 KR 101589814B1
Authority
KR
South Korea
Prior art keywords
image
horizontal line
detecting
preprocessing process
image preprocessing
Prior art date
Application number
KR1020140052826A
Other languages
English (en)
Other versions
KR20150125863A (ko
Inventor
이경호
이정민
김대석
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020140052826A priority Critical patent/KR101589814B1/ko
Publication of KR20150125863A publication Critical patent/KR20150125863A/ko
Application granted granted Critical
Publication of KR101589814B1 publication Critical patent/KR101589814B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 객체 인식 장치 및 그 방법에 관한 것이다.
본 발명의 객체 인식 장치는 촬영되는 영상에서 수평선과 객체를 각각 검출하기 위한 영상 전처리 과정을 수행하고, 영상 전처리 과정이 수행된 영상으로부터 수평선과 적어도 하나의 객체를 검출한다. 그리고, 검출된 수평선을 기준으로 적어도 하나의 객체 중 적어도 하나의 유효 객체를 선별하고, 기 저장되어 있는 선박들의 위치 정보가 포함된 AIS(Automatic Identification System) 데이터에 선별된 유효 객체를 매칭하여 최종 객체를 추출한다.
이러한, 본 발명에 따르면, 촬영된 영상과 AIS 데이터를 매칭하여 물표 등과 같은 객체들을 정확도 높게 선별함으로써, 사용자가 객체의 존재 유무를 쉽게 확인할 수 있는 효과를 기대할 수 있다.
또한, AIS 데이터와 매칭된 영상을 사용자에게 제공함으로써, 연안에서의 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 시에도 안정적인 항행을 제공할 수 있는 효과를 기대할 수 있다.

Description

연안에서의 객체 인식 장치 및 그 방법{APPARATUS FOR RECOGNIZING OF OBJECT IN COAST AND METHOD THEREOF}
본 발명은 객체 인식 장치 및 그 방법에 관한 것으로, 특히 연안에서 항행 중 선박 등에 설치된 CCTV(Closed Circuit Television)의 영상으로부터 효율적으로 객체를 추정하여 사용자에게 제공할 수 있는 연안에서의 객체 인식 장치 및 그 방법에 관한 것이다.
최근 GPS(Global Positioning System)를 이용한 항해술의 발전으로, 선박의 위치를 추측, 추정, 예정하는 기술력이 높아져, 선박이 항해하는데 보다 높은 정확도와 안정성을 갖게 되었다. 특히, 원양을 항해하는데 주변의 선박들에 대한 정보를 실시간으로 받을 수 있는 AIS(Automatic Identification System)가 발전함에 따라 충돌을 회피하고, 위급 상황에 대한 빠른 대처가 가능하게 되었다.
하지만, 이러한 선박에 적용된 위치 정보 제공에도 불구하고, 선박의 충돌 사고나, 침몰 사고 등이 빈번히 발생하고 있다. 특히, 선교 밖의 상황을 주시하지 못하게 되는 상황에 의해 발생하는 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 사고들이 대표적으로 발생하고 있다. 이러한 사고들은 선교 밖의 상황을 예의 주시할 수 없는 경우에 주로 발생한다. 이를 방지하기 위해, 선박들은 위해 선두에 CCTV(Closed Circuit Television)를 구비하여 항행 중 진행하는 방향에 위치하고 있는 물표를 확인하고 있다. 하지만, CCTV 영상을 24시간 내내 승무원이 확인할 수 없기 때문에 무용지물에 가까운 실정이다.
이를 해결하기 위해, 카메라 영상 등의 촬상 장치를 이용하여 얻은 영상으로부터 물표들을 자동으로 찾아, 사용자에게 제공해줄 수 있는 시스템이 필요하다. 특히 연안에서 수평선을 검출하고 객체를 인식하는 과정은 안전한 항해 및 정박을 위해서 특히 중요하다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제2013-0036511(2013.04.12.)에 개시되어 있다.
본 발명이 해결하고자 하는 기술적 과제는 선박 등에 설치된 CCTV의 영상으로부터 효율적으로 객체를 추정하여 사용자에게 제공할 수 있는 연안에서의 객체 인식 장치 및 그 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 하나의 실시예에 따른 객체 인식 장치는, 항행 영상을 촬영하는 촬상 모듈; 촬영된 영상에서 수평선과 객체를 각각 검출하기 위한 영상 전처리 과정을 수행하는 영상 전처리 모듈; 및 영상 전처리 과정이 수행된 영상으로부터 수평선과 적어도 하나의 객체를 검출한 후 검출된 수평선을 기준으로 상기 객체 중 적어도 하나의 유효 객체를 선별하며, 저장되어 있는 선박들의 위치 정보가 포함된 AIS(Automatic Identification System) 데이터에 선별된 유효 객체를 매칭하여 최종 객체를 추출하는 영상 해석 모듈을 포함하되, 영상 전처리 모듈은, 상기 촬상 모듈로부터 수신된 영상의 HSV 모델을 색조(Hue), 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 활용하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 제1 전처리 수행부; 및 상기 촬상 모듈로부터 수신된 영상에 대하여 회색 이미지 처리, 히스토그램 정규화 처리, 셀리언스 이미지 처리 및 문턱값 명암 처리 중 적어도 하나의 처리를 포함하는 상기 객체 검출을 위한 영상 전처리 과정을 수행하는 제2 전처리 수행부를 포함한다.
또한, 상기 제1 전처리 수행부는, 상기 HSV 모델을 3차원 공간에 가시화하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행할 수 있다.
또한, 상기 제1 전처리 수행부는, 군집기법(Clustering Algorithm)을 이용하여 상기 항해 영상에서 상기 수평선을 경계로 같은 특성을 갖는 영역끼리 그룹핑할 수 있다.
또한, 영상 해석 모듈은, 제1 전처리 수행부로부터 수신된 영상에 휴 변환(Hough transform)을 수행하여 수평선을 검출하는 수평선 검출부; 및 제2 전처리 수행부로부터 수신된 영상에 레이블링(Labeling)을 수행하여 적어도 하나의 객체를 검출하고, 수평선을 기준으로 적어도 하나의 객체들 중 유효 객체를 선별하며, 유효 객체 중 AIS 데이터와 매칭되는 최종 객체를 추출하는 객체 추출부를 포함할 수 있다.
또한, 항해 자동 인식 시스템에 의해 수집되는 AIS 데이터를 객체 추출부로 제공하며, 추출된 최종 객체의 이미지를 설정된 수만큼 분할하고, 분할된 이미지들 각각에 대하여 유사-하르 특징을 적용하고, 적용된 이미지들을 통합하여 최종 객체를 형상화하는 항행 정보 관리 모듈을 더 포함할 수 있다.
또한, 항행 정보 관리 모듈은, 분할된 이미지들 각각에 대해 기준 휘도값보다 큰 픽셀값의 평균과 기준 휘도값보다 작은 픽셀값의 평균 차이가 설정된 문턱값보다 큰지 여부를 판단하는 유사-하르 특징 인식 방법을 이용하여 최종 객체를 형상화할 수 있다.
본 발명의 다른 실시예에 따른 항행 중 객체를 인식하는 장치의 객체 인식 방법은, 촬영되는 영상에서 수평선과 객체를 각각 검출하기 위한 영상 전처리 과정을 수행하는 단계; 영상 전처리 과정이 수행된 영상으로부터 수평선과 적어도 하나의 객체를 검출하는 단계; 검출된 수평선을 기준으로 상기 객체 중 적어도 하나의 유효 객체를 선별하는 단계; 및 기 저장되어 있는 선박들의 위치 정보가 포함된 AIS(Automatic Identification System) 데이터에 선별된 유효 객체를 매칭하여 최종 객체를 추출하는 단계를 포함하되, 영상 전처리 과정을 수행하는 단계는, 상기 촬상 모듈로부터 수신된 영상의 HSV 모델을 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 활용하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 단계; 및 상기 촬영된 영상에 대하여 회색 이미지 처리, 히스토그램 정규화 처리, 셀리언스 이미지 처리 및 문턱값 명암 처리 중 적어도 하나의 처리를 포함하는 상기 객체 검출을 위한 영상 전처리 과정을 수행하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 객체 인식 장치는 촬영된 영상과 AIS 데이터를 매칭하여 물표 등과 같은 객체들을 정확도 높게 선별함으로써, 사용자가 객체의 존재 유무를 쉽게 확인할 수 있는 효과를 기대할 수 있다.
또한, AIS 데이터와 매칭된 영상을 사용자에게 제공함으로써, 연안에서의 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 시에도 안정적인 항행을 제공할 수 있는 효과를 기대할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 인식 장치를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 수평선 검출을 위해 HSV 모델로 변환된 영상의 예시도이다.
도 3은 본 발명의 실시예에 따른 3차원 공간에서 가시화된 HSV 영상 모델을 나타낸다.
도 4는 본 발명의 실시예에 따른 군집기법 전후의 예시 영상이다.
도 5는 본 발명의 실시예에 따른 객체 인식 장치의 객체 인식 방법을 나타낸 순서도이다.
도 6a내지 도 6f는 본 발명의 실시예에 따른 객체 인식 장치의 물표 추출을 위한 영상 처리 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 객체 인식 장치의 선박 인식을 위한 유사-하르 특징 인식 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 객체 인식 장치가 제공하는 최종 객체 정보를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서 전체에서 사용한 '물표'는 선박, 부표, 섬 등을 포함하는 객체를 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저, 본 발명의 실시예에 따른 항행 중 물표를 인식하기 위한 객체 인식 장치에 대하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 객체 인식 장치를 도시한 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 객체 인식 장치(100)는 크게 촬상 모듈(110), 영상 전처리 모듈(120), 영상 해석 모듈(130), 항행 정보 관리 모듈(140) 및 디스플레이 모듈(150)을 포함한다.
촬상 모듈(110)은 선박의 선두에 장착되어, 선두의 영상을 촬영하는 모듈로, 영상을 촬영하기 위한 카메라를 포함한다.
영상 전처리 모듈(120)은 수평선 검출 전처리 수행부(121)와 객체 검출 전처리 수행부(122)를 포함하며, 촬상 모듈(110)로부터 수신되는 영상에 대한 영상 전처리 과정을 수행한다.
수평선 검출 전처리 수행부(121)는 촬상 모듈(110)로부터 수신된 영상의 HSV 모델을 색조(Hue), 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 활용하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행한다.
구체적으로, 수평선 검출 전처리 수행부(121)는 촬상 모듈(110)로부터 수신된 영상을 RGB(Red, Green, Blue) 모델에서 HSV(Hue Saturation Value) 모델로 변환한다. 다음으로 수평선 검출 전처리 수행부(121)는 색조(Hue), 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 이용하여 수신된 영상을 표현하고, 명암을 높이는 문턱값(Threshold) 명암 처리 및 설정된 길이만큼 하나의 라인(Line)을 이루는 부분의 양쪽 끝인 엣지(Edge)를 추출하는 엣지 추출 처리 등의 과정을 단계적으로 수행하고, 엣지 추출 처리가 끝난 영상을 수평선 검출부(131)로 전송한다.
도 2는 본 발명의 실시예에 따른 수평선 검출을 위해 HSV 모델로 변환된 영상의 예시도이다.
도 2에서, 밝기의 영향을 최소화하기 위하여 색조(Hue), 채도(Saturation) 정보를 활용할 수 있다. 그리고 도 2의 영상에서는 채도(Saturation) 정보가 효과적임을 알 수 있다.
여기서, 수평선 검출 전처리 수행부(121)는 문턱값 명암 처리를 수행하는 경우에, 자동으로 설정된 밝기의 기준값(자동으로 설정되면 밝기의 평균값을 활용함)을 이용하여 기준값 이상이면 하얀색(1), 이하면 검은색(0)으로 나누어 명암을 명확히 나타낸다.
또한, HSV 모델에서의 수평선 검출을 명확히 하기 위하여 수평선 검출 전처리 수행부(121)는 HSV 모델의 영상을 3차원 공간에 가시화하여 표시할 수 있다.
도 3은 본 발명의 실시예에 따른 3차원 공간에서 가시화된 HSV 영상 모델을 나타낸다.
도 3에서, 색조(Hue)에서 해수면의 특징이 잘 나타나 있으며 수면의 반사광에 의한 노이즈가 줄어든 것으로 보인다. 채도(Saturation)에서 수평선을 중심으로 분명한 차이를 보인다.
또한, 수평선 검출 전처리 수행부(121)는 군집기법(Clustering Algorithm)을 이용하여 상기 촬영된 영상에서 상기 수평선을 경계로 같은 특성을 갖는 영역끼리 그룹핑하여 수평선 검출을 위한 전처리 과정을 수행할 수 있다.
군집기법(Clustering Algorithm)은 흩어진 점이나 물체에 대하여 어느 하나의 점이나 물체를 중심으로 하나의 군집으로 묶어서 분리를 하는 기법이다. 항행 영상은 수평선을 중심으로 상부의 객체와 하부의 객체로 구분되어 표현될 수 있다. 따라서, 상부의 객체와 하부의 객체를 군집기법을 이용하여 묶을 수 있는 경우 수평선 검출이 더욱 용이해 질 수 있다.
도 4는 본 발명의 실시예에 따른 군집기법 전후의 예시 영상이다.
객체 검출 전처리 수행부(122)는 촬상 모듈(110)로부터 수신된 영상에 대해 RGB(Red, Green, Blue) 제거를 위한 회색 이미지(Gray Image) 처리, 영상 내 명암대비를 명확하기 하기 위한 히스토그램 정규화(Histogram Normalization) 처리, 셀리언스 맵(Salience Map)을 활용하여 명암에 대한 차이가 심한 부분을 검출하여 뚜렷하게 하기 위한 셀리언스 이미지(Salience image) 처리, 설정된 밝기의 기준값을 이용하여 명암을 높이는 문턱값(Threshold) 명암 처리 등의 과정을 단계적으로 수행하고, 문턱값 이미지 처리가 끝난 영상을 영상 해석 모듈(130)로 전송한다.
여기서, 객체 검출 전처리 수행부(122)는 문턱값 명암 처리를 수행하는 경우에, 자동으로 설정된 밝기의 기준값(자동으로 설정되면 밝기의 평균값을 활용함)을 이용하여 기준값 이상이면 하얀색(1), 이하면 검은색(0)으로 나누어 명암을 명확히 나타낸다.
한편, 영상 전처리 모듈(120)은 사용자에 의해 특정 범위로 한정된 관심 영역이 설정되면, 설정된 관심 영역을 대상으로, 수평선 검출 전처리 과정 및 객체 검출 전처리 과정을 수행할 수도 있다. 예를 들어, 화면에서 상위 30%~70%의 관심 영역이 설정되어 있으면, 영상 전처리 모듈(120)은 상위에서부터 30%~70% 내의 영상에 대해서만 각 처리 과정을 수행하게 된다. 이러한, 관심 영역 설정을 통해 전처리 과정을 수행하게 되면, 안개가 낀 환경에서 수평선을 쉽게 검출할 수 있으며, CCTV 피치(위 아래 이동)값에 따른 문턱값이 변화하는 것을 보정할 수도 있다. 또한, 처리되는 영상의 크기가 줄어, 데이터 처리 효율을 높일 수 있는 장점이 있다.
또한, 영상 전처리 모듈(120)의 각 수행부(121, 122)는 실시간으로 저장되는 항해 자동 인식 시스템(AIS; Automatic Identification System) 데이터에 의해 예측된 물표들의 설정된 반경 범위 내의 영상을 촬영하고, 촬영된 영상에 대하여, 수평선 검출 전처리 과정 및 객체 검출 전처리 과정을 수행할 수도 있다.
영상 해석 모듈(130)은 수평선 검출부(131)와 객체 추출부(132)를 포함하며, 영상 전처리 모듈(120)에 의해 전처리 수행된 영상들을 수신하여, 물표를 검출한다.
수평선 검출부(131)는 영상 전처리 모듈(120)의 수평선 검출 전처리 수행부(121)로부터 영상을 수신하고, 수신된 영상에 추출된 엣지들을 이용하여 수평선 검출을 위한 휴 변환(Hough transform)을 수행한다. 이때, 수평선은 하늘과 바다, 지면과 바다의 경계로 구분이 되므로, 언제나 직선으로 표시된다.
그리고, 수평선 검출부(131)는 휴 변환을 통해 검출된 수평선에 대한 정보를 객체 추출부(132)로 전송한다.
객체 추출부(132)는 영상 전처리 모듈(120)의 객체 검출 전처리 수행부(122)로부터 수신한 영상 정보로부터 물표를 검출한다. 이때, 객체 추출부(132)는 영상 내의 객체들을 검출하기 위해 수신된 영상에 대한 레이블링(Labeling)을 수행하고, 수평선 검출부(131)로부터 수신한 수평선을 기준으로 하여 레이블링 수행된 영상 내 객체들 중 유효 객체들을 선별하는 필터링을 수행한다.
또한, 객체 추출부(132)는 자동 인식 시스템(AIS)에 의해 생성된 주변 선박 정보를 기초로 유효 객체들 중 최종 객체를 추출한다. 그리고 최종 객체를 추출하면, 추출된 최종 객체에 대하여 유사-하르 특징(Haar-like Feature) 인식을 진행하여 대상 객체가 어떤 객체인지를 판별하고, 판별된 객체 정보를 항행 정보 관리 모듈(140)로 전송한다.
구체적으로, 객체 추출부(132)는 항해 자동 인식 시스템(AIS; Automatic Identification System)에 의해 생성된 주변 선박 정보를 기초로 유효 객체들 중 AIS 데이터에 매칭되는 최종 객체를 추출하고(AIS 데이터에 기초하여 주변 선박의 좌표를 생성하고, 좌표에 매칭되는 최종 객체를 추정함), 추출된 최종 객체에 대하여 유사-하르 특징 인식을 진행한다. 그리고 유사-하르 특징 인식을 통해 대상 객체가 어떤 객체인지 판별하여 최종 객체의 이미지를 형상화한다. 여기서, 유사-하르 특징 인식 방법은 하기의 도 6을 통하여 상세히 설명한다.
항행 정보 관리 모듈(140)은 항해 자동 인식 시스템(AIS)을 포함하며, 선박의 항해를 제어한다.
또한, 항행 정보 관리 모듈(140)은 주변의 선박 정보(선박의 GPS에 따른 위치)를 실시간으로 수신하여 AIS 데이터를 생성하고, 생성된 AIS 데이터를 저장한다. 그리고 저장된 AIS 데이터를 객체 추출부(132)로 제공한다.
또한, 항행 정보 관리 모듈(140)은 AIS 데이터와의 매칭을 통해 객체 추출부(132)로부터 수신한 최종 객체와의 거리, 각도 등을 하기의 도 7과 같이 디스플레이 모듈(150)을 통해 사용자에게 제공한다. 이때, 항행 정보 관리 모듈(140)은 최종 객체에 대한 정보(최종 객체와의 거리, 각도 등)와 AIS 데이터가 포함된 항행 정보를 사용자에게 제공한다.
디스플레이 모듈(150)은 항행 정보 관리 모듈(140)로부터 수신된 정보들을 사용자에게 디스플레이한다.
이러한, 본 발명에 의한 객체 인식 장치는 선박의 진행 방향의 영상과 AIS 데이터를 매칭하여 물표 등과 같은 객체들을 정확도 높게 선별하고, 선별된 객체에 대한 거리, 각도 등을 사용자에게 제공함으로써, 사용자가 객체의 존재 유무를 쉽게 확인할 수 있다. 또한, AIS 데이터에 매칭한 객체의 영상을 사용자에게 제공함으로써, 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 시에도 안정적인 항행을 제공할 수 있는 장점이 있다.
다음은 도 5와 도 6a 내지 도 6f를 통해 본 발명의 실시예에 따른 객체 인식 방법에 대하여 설명한다.
도 5는 본 발명의 실시예에 따른 객체 인식 장치의 객체 인식 방법을 나타낸 순서도이고, 도 6a내지 도 6f는 본 발명의 실시예에 따른 객체 인식 장치의 물표 추출을 위한 영상 처리 과정을 설명하기 위한 도면이다.
도 5 및 도 6a 내지 도 6f에 나타낸 바와 같이, 본 발명의 실시예에 따른 객체 인식 장치(100)는 촬상 모듈(110)이 항행 중 선두의 영상을 촬영하여 이루어진다.
객체 인식 장치(100)는 도 6a와 같이 선두의 영상을 촬영하고(S200), 수평선 검출을 위한 영상 전처리 과정을 수행한다(S202). 구체적으로, 객체 인식 장치(100)는 촬영된 영상에 대하여, RGB(Red, Green, Blue) 모델에서 HSV(Hue Saturation Value) 모델로 변환한다. 다음으로 수평선 검출 전처리 수행부(121)는 수평선 추출을 위한 전처리 이미지 변환 과정으로, 색조(Hue), 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 이용하여 수신된 영상을 표현하고, 셀리언스 맵(Salience Map)을 이용해 명암에 대한 차이가 심한 부분을 뚜렷하게 하기 위한 셀리언스 처리를 수행하여 도 6b와 같은 영상을 얻는다.
또한, 객체 인식 장치(100)는 물표 검출을 위한 영상 전처리 과정도 수행한다(S204). 여기서, 객체 인식 장치(100)는 촬영된 영상에 대하여, 수평선 검출을 위한 전처리 이미지 변환 과정인 영상 전처리 과정으로, 회색 이미지(Gray Image) 처리, 히스토그램 정규화(Histogram Normalization) 처리, 이진화(Binary) 처리, 가우시안 흐림(Gaussian Blur) 효과 처리, 문턱값 명암 처리 및 엣지 추출 처리 등의 과정을 단계적으로 수행하여 도 6c와 같은 영상을 얻는다.
객체 인식 장치(100)는 수평선 검출을 위한 영상 전처리 과정이 수행된 영상에 휴 변환을 수행하여 수평선을 검출한다(S206).
그리고, 객체 인식 장치(100)는 물표 검출을 위한 영상 전처리 과정이 수행된 영상에 레이블링(Labeling)을 수행하여 도 6d와 같이 객체들을 검출하고(S208), 검출된 수평선을 기준으로 도 6e와 같이 객체들 중 유효한 객체를 선별한다(S210).
객체 인식 장치(100)는 저장된 AIS 데이터를 기초로 선별된 유효한 객체들 중 최종 객체를 도 6f와 같이 추출하고(S212), 추출된 최종 객체에 대하여 유사-하르 특징 인식 방법을 통해 최종 객체의 객체 이미지를 생성한다(S214). 그리고, 최종 객체에 대한 정보(최종 객체와의 거리, 각도, 이미지 등)와 AIS 데이터가 포함된 항행 정보를 사용자에게 제공한다(S216).
이러한, 본 발명에 의한 객체 인식 방법을 통해 선박 진행 방향의 영상과 AIS 데이터를 매칭하여 물표 등과 같은 객체들을 정확도 높게 선별함으로써, 사용자가 객체의 존재 유무를 쉽게 확인할 수 있는 장점이 있다. 또한, AIS 데이터에 매칭한 객체의 영상을 사용자에게 제공함으로써, 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 시에도 안정적인 항행을 제공할 수 있는 장점이 있다.
다음은 도 7을 통해 본 발명의 실시예에 따른 선박 인식 방법에 대하여 설명한다.
도 7은 본 발명의 실시예에 따른 객체 인식 장치의 선박 인식을 위한 유사-하르 특징 인식 방법을 설명하기 위한 도면이다.
도 7에 나타낸 바와 같이, 본 발명의 실시예에 따른 객체 인식 장치(100)는 추출된 최종 객체에 대한 인식을 하기 위해, 유사-하르 특징 인식 방법을 통해 객체를 인식하게 된다.
유사-하르 특징 인식 방법은 하나의 이미지를 설정된 크기 단위로 분할하고, 분할된 각 이미지들에 대해 서브 윈도우 방식으로 스캔한 후, 분할된 이미지들 각각에 포함된 밝은 영역에 속한 픽셀값들(설정된 기준 휘도값보다 큰 영역에 속한 픽셀값들)의 평균에서 어두운 영역에 속한 픽셀값들(설정된 기준 휘도값보다 작은 영역에 속한 픽셀값들)의 평균의 차이를 구한 후, 평균의 차이가 설정된 문턱값을 넘으면 유사-하르 특징이 있다고 판단(1 또는 0)하는 것으로서, 각각의 분할된 이미지에 대해 특징을 판단하고, 판단된 특징값이 적용된 이미지들을 통합하여 이미지를 형상화한다. 아다부스트(Adaboost) 학습기를 통하여 학습을 시킨 후 문턱값을 설정하여 활용한다.
여기서, 아다부스트 학습기는 약분류기(Weak classifier)를 이용하여 강분류기를 찾아내는 것으로서, 비올라 존스(Viola-Johns) 분류기를 이용한 거절 캐스케이드(Cascade)로 구성된다. 비올라 존스 분류기는 첫 번째 분류기 집단은 많은 실수를 포함하고 있는 영역을 가장 잘 찾아내는 것으로 선택하고, 다음 분류기 집단은 약한 거절을 갖는 두 번째로 검출 성능이 좋은 것을 선택하는 방식을 반복하여 최종 이미지를 구현하는 분류기이다. 이러한, 아다부스트 학습기나 비올라 존스 학습기로 구현되는 유사-하르 특징 인식 방법은 종래 기술의 범주에 속하는 기술이므로, 보다 상세한 설명은 생략하기로 한다.
객체 인식 장치(100)는 최종 이미지를 이용하여 기 저장되어 있는 선박 데이터를 검색하고, 검색에 따라 매칭되는 선박의 이미지를 사용자에게 제공한다.
다음은 도 8을 통해 객체 인식 장치가 사용자에게 제공하는 AIS 데이터에 매칭된 최종 객체 정보를 설명한다.
도 8은 본 발명의 실시예에 따른 객체 인식 장치가 제공하는 최종 객체 정보를 설명하기 위한 도면이다.
도 8에 나타낸 바와 같이, 본 발명의 실시예에 따른 객체 인식 장치(100)는 촬영된 영상으로부터 추출된 최종 객체와 실시간으로 저장하는 AIS 데이터를 매칭하여 객체의 위치와 거리를 예측할 수 있다.
객체 인식 장치(100)는 AIS 데이터에 매칭된 최종 객체에 대하여, 가상 좌표를 제공함과 동시에, 선박과 객체와의 거리를 AIS 데이터에 기초하여 추측하고, 추측한 거리를 표시하여 사용자에게 제공할 수도 있다.
이와 같이 본 발명의 실시예에 따른 객체 인식 장치에 따르면, 촬영된 영상과 AIS 데이터를 매칭하여 물표 등과 같은 객체들을 정확도 높게 선별함으로써, 사용자가 객체의 존재 유무를 쉽게 확인할 수 있는 효과를 기대할 수 있다.
또한, AIS 데이터와 매칭된 영상을 사용자에게 제공함으로써, 연안에서의 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 시에도 안정적인 항행을 제공할 수 있는 효과를 기대할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 객체 인식 장치, 110: 촬상 모듈,
120: 영상 전처리 모듈, 121: 수평선 검출 전처리 수행부,
122: 객체 검출 전처리 수행부, 130: 영상 해석 모듈,
131: 수평선 검출부, 132: 객체 추출부,
140: 항행 정보 관리 모듈, 150: 디스플레이 모듈

Claims (12)

  1. 항행 영상을 촬영하는 촬상 모듈;
    상기 촬영된 영상에서 수평선과 객체를 각각 검출하기 위한 영상 전처리 과정을 수행하는 영상 전처리 모듈; 및
    상기 영상 전처리 과정이 수행된 영상으로부터 수평선과 적어도 하나의 객체를 검출한 후 상기 검출된 수평선을 기준으로 상기 객체 중 적어도 하나의 유효 객체를 선별하며, 상기 객체들의 위치 정보가 포함된 AIS(Automatic Identification System) 데이터에 상기 선별된 유효 객체를 매칭하여 최종 객체를 추출하는 영상 해석 모듈을 포함하되,
    상기 영상 전처리 모듈은,
    상기 촬상 모듈로부터 수신된 영상의 HSV 모델을 색조(Hue), 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 활용하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하고, 군집기법(Clustering Algorithm)을 이용하여 상기 촬영된 영상에서 상기 수평선을 경계로 같은 특성을 갖는 영역끼리 그룹핑하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 제1 전처리 수행부; 및
    상기 촬상 모듈로부터 수신된 영상에 대하여 회색 이미지 처리, 히스토그램 정규화 처리, 셀리언스 이미지 처리 및 문턱값 명암 처리 중 적어도 하나의 처리를 포함하는 상기 객체 검출을 위한 영상 전처리 과정을 수행하는 제2 전처리 수행부를 포함하고,
    상기 영상 해석 모듈은,
    상기 제1 전처리 수행부로부터 수신된 영상에 휴 변환(Hough transform)을 수행하여 수평선을 검출하는 수평선 검출부; 및
    상기 제2 전처리 수행부로부터 수신된 영상에 레이블링(Labeling)을 수행하여 상기 적어도 하나의 객체를 검출하고, 상기 수평선을 기준으로 상기 적어도 하나의 객체들 중 상기 유효 객체를 선별하며, 상기 유효 객체 중 상기 AIS 데이터와 매칭되는 상기 최종 객체를 추출하는 객체 추출부를 포함하는 객체 인식 장치.
  2. 제1항에 있어서,
    상기 제1 전처리 수행부는,
    상기 HSV 모델을 3차원 공간에 가시화하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 객체 인식 장치.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    항해 자동 인식 시스템에 의해 수집되는 상기 AIS 데이터를 상기 객체 추출부로 제공하며, 상기 추출된 최종 객체의 이미지를 설정된 수만큼 분할하고, 분할된 이미지들 각각에 대하여 유사-하르 특징을 적용하고, 적용된 이미지들을 통합하여 상기 최종 객체를 형상화하는 항행 정보 관리 모듈을 더 포함하는 객체 인식 장치.
  6. 제5항에 있어서,
    상기 항행 정보 관리 모듈은,
    상기 분할된 이미지들 각각에 대해 기준 휘도값보다 큰 픽셀값의 평균과 상기 기준 휘도값보다 작은 픽셀값의 평균 차이가 설정된 문턱값보다 큰지 여부를 판단하는 유사-하르 특징 인식 방법을 이용하여 최종 객체를 형상화하는 객체 인식 장치.
  7. 항행 중 객체를 인식하는 장치의 객체 인식 방법에 있어서,
    촬영된 영상에서 수평선과 객체를 각각 검출하기 위한 영상 전처리 과정을 수행하는 단계;
    상기 영상 전처리 과정이 수행된 영상으로부터 상기 수평선과 적어도 하나의 객체를 검출하는 단계;
    상기 검출된 수평선을 기준으로 상기 객체 중 적어도 하나의 유효 객체를 선별하는 단계; 및
    기 저장되어 있는 선박들의 위치 정보가 포함된 AIS(Automatic Identification System) 데이터에 상기 선별된 유효 객체를 매칭하여 최종 객체를 추출하는 단계를 포함하되,
    상기 영상 전처리 과정을 수행하는 단계는,
    상기 촬영된 영상의 HSV 모델을 색조(Hue), 채도(Saturation), 명도(Value) 중 적어도 하나의 정보를 활용하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하고, 군집기법(Clustering Algorithm)을 이용하여 상기 촬영된 영상에서 상기 수평선을 경계로 같은 특성을 갖는 영역끼리 그룹핑하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 단계; 및
    상기 촬영된 영상에 대하여 회색 이미지 처리, 히스토그램 정규화 처리, 셀리언스 이미지 처리 및 문턱값 명암 처리 중 적어도 하나의 처리를 포함하는 상기 객체 검출을 위한 영상 전처리 과정을 수행하는 단계를 포함하고,
    상기 수평선과 적어도 하나의 객체를 검출하는 단계는,
    상기 수평선 검출을 위한 영상 전처리 과정이 수행된 영상에 휴 변환(Hough transform)을 하여 상기 수평선을 검출하는 단계;
    상기 객체 검출을 위한 영상 전처리 과정이 수행된 영상에 레이블링(Labeling)을 하여 상기 적어도 하나의 객체를 검출하는 단계;
    상기 수평선을 기준으로 상기 유효 객체를 선별하는 단계; 및
    상기 유효 객체 중 상기 AIS 데이터와 매칭되는 상기 최종 객체를 추출하는 단계를 포함하는 객체 인식 방법.
  8. 제7항에 있어서,
    상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 단계는,
    상기 HSV 모델을 3차원 공간에 가시화하여 상기 수평선 검출을 위한 영상 전처리 과정을 수행하는 객체 인식 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 추출된 최종 객체에 대한 이미지를 설정된 수만큼 분할하는 단계; 및
    상기 분할된 이미지들 각각에 대해 유사-하르 특징을 적용하고, 적용된 이미지들을 통합하여 상기 최종 객체를 형상화하는 단계를 더 포함하는 객체 인식 방법.
  12. 제11항에 있어서,
    상기 최종 객체를 형상화하는 단계는,
    상기 분할된 이미지들 각각에 대해 기준 휘도값보다 큰 픽셀값의 평균과 상기 기준 휘도값보다 작은 픽셀값의 평균 차이가 설정된 문턱값보다 큰지 여부를 판단하는 상기 유사-하르 특징 인식 방법을 이용하여 상기 최종 객체를 형상화하는 객체 인식 방법.
KR1020140052826A 2014-04-30 2014-04-30 연안에서의 객체 인식 장치 및 그 방법 KR101589814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140052826A KR101589814B1 (ko) 2014-04-30 2014-04-30 연안에서의 객체 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052826A KR101589814B1 (ko) 2014-04-30 2014-04-30 연안에서의 객체 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150125863A KR20150125863A (ko) 2015-11-10
KR101589814B1 true KR101589814B1 (ko) 2016-01-29

Family

ID=54605297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052826A KR101589814B1 (ko) 2014-04-30 2014-04-30 연안에서의 객체 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101589814B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647227B1 (ko) * 2023-05-10 2024-03-13 한화시스템 주식회사 함포 배열 조정 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022214A (zh) * 2016-11-02 2018-05-11 哈尔滨工业大学 一种适用于无人机雾天飞行的地平线检测方法
KR102069694B1 (ko) * 2017-11-22 2020-01-23 한국전자통신연구원 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
KR101950433B1 (ko) * 2018-02-27 2019-05-02 한화시스템 주식회사 중적외선 영상에서의 물체 검출 방법 및 장치
KR101950436B1 (ko) * 2018-06-29 2019-02-20 한화시스템 주식회사 중적외선 영상에서의 물체 검출 장치
WO2020050498A1 (ko) 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
US11514668B2 (en) 2018-09-04 2022-11-29 Seadronix Corp. Method and device for situation awareness
WO2020050500A1 (ko) * 2018-09-04 2020-03-12 씨드로닉스㈜ 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR102005560B1 (ko) 2018-09-04 2019-08-07 씨드로닉스(주) 객체 정보 획득 방법 및 이를 수행하는 장치
US11776250B2 (en) 2018-09-04 2023-10-03 Seadronix Corp. Method and device for situation awareness
JP7270537B2 (ja) * 2019-12-27 2023-05-10 ジャパンマリンユナイテッド株式会社 物体検出装置、船舶、および物体検出方法
KR20210136810A (ko) * 2020-05-08 2021-11-17 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이정민, 이경호, 김대석, 한국해양공학회지, 2013년 6월, 제27권 제3호, pp 22-28*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647227B1 (ko) * 2023-05-10 2024-03-13 한화시스템 주식회사 함포 배열 조정 장치 및 방법

Also Published As

Publication number Publication date
KR20150125863A (ko) 2015-11-10

Similar Documents

Publication Publication Date Title
KR101589814B1 (ko) 연안에서의 객체 인식 장치 및 그 방법
KR101480220B1 (ko) 객체 인식 장치 및 그 방법
Siogkas et al. Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
Greenhalgh et al. Recognizing text-based traffic signs
Cheng et al. Lane detection with moving vehicles in the traffic scenes
KR102397508B1 (ko) 오버헤드 라이트 기반 배치를 갖는 산업용 차량
Miura et al. An active vision system for on-line traffic sign recognition
Gomez et al. Traffic lights detection and state estimation using hidden markov models
KR101719549B1 (ko) 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
CN107578012B (zh) 一种基于聚类算法选择敏感区域的驾驶辅助系统
KR101409340B1 (ko) 교통 표지 인식 방법 및 그 시스템
US20130083968A1 (en) Vehicle periphery monitoring device
US10726277B2 (en) Lane line detection method
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
Salarian et al. A vision based system for traffic lights recognition
Biswas et al. Detection and classification of speed limit traffic signs
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
Chiu et al. Real-time traffic light detection on resource-limited mobile platform
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
US9727780B2 (en) Pedestrian detecting system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5