KR101545276B1 - Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법 - Google Patents

Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법 Download PDF

Info

Publication number
KR101545276B1
KR101545276B1 KR1020130165107A KR20130165107A KR101545276B1 KR 101545276 B1 KR101545276 B1 KR 101545276B1 KR 1020130165107 A KR1020130165107 A KR 1020130165107A KR 20130165107 A KR20130165107 A KR 20130165107A KR 101545276 B1 KR101545276 B1 KR 101545276B1
Authority
KR
South Korea
Prior art keywords
image
ship
unit
operation mode
mode
Prior art date
Application number
KR1020130165107A
Other languages
English (en)
Other versions
KR20150076645A (ko
Inventor
오재용
박세길
김선영
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020130165107A priority Critical patent/KR101545276B1/ko
Publication of KR20150076645A publication Critical patent/KR20150076645A/ko
Application granted granted Critical
Publication of KR101545276B1 publication Critical patent/KR101545276B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법을 개시한다.
PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템은 선박 주위에 설치되어, PTZ(pan-tilt-zoom) 기능을 통해 상기 선박의 동작 모드에 따른 주변 영상을 습득하는 복수 개의 PTZ 카메라들을 포함하는 카메라부(110); 상기 복수 개의 PTZ 카메라들 각각의 전체적인 동작을 제어하는 카메라 제어부(120); 상기 복수 개의 카메라들 각각에서 제공되는 영상 정보에서 특징점(feature point)을 추출하고, 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 영상 정합부(130); 상기 영상 정합부(130)에서 제공된 정합 영상과 상기 선박의 동작모드에 필요한 부속영상을 중첩시킨 중첩 영상을 출력하는 영상 중첩부(140); 상기 영상 중첩부(140)에서 제공된 영상들을 상기 PTZ 카메라의 위치 별로 정렬하여 상기 선박의 전방위 영상을 상기 항해자에게 표시하는 영상정보 표시부(150); 및 상기 선박의 동작모드에 따라 상기 PTZ 카메라의 구동 제어신호 및 상기 영상 중첩부(140) 내에 제공되는 상기 부속영상의 영상정보를 상기 영상 중첩부로 제공하는 동작모드 처리부(160)를 포함하는 것을 특징으로 한다.

Description

ＰＴＺ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법{Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same}
본 발명은 선박용 전방위 모니터링 장치 및 방법에 관한 것으로, 보다 상세하게는 팬틸트 줌(PTZ) 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법에 관한 것이다.
대형 선박의 경우 그 규모가 매우 커서 선박의 위치 및 자세를 파악하는 일이 쉽지 않다. 이러한 이유에서 항해자는 항해장비에서 제공되는 정보뿐만 아니라 선박 주위를 직접 눈으로 확인하면서 선박의 현재 상태를 파악하게 되는데, 이는 매우 번거로운 작업이며, 운항 오류를 발생할 수 있어서 개선이 필요하다.
대한민국 특허등록번호 제10-1221542호(발명의 명칭: 영상 감시 시스템 및 방법)
본 발명이 해결하고자 하는 과제는 대형 선박의 경우 규모가 매우 커서 선박의 위치 및 자세를 파악하는 일이 쉽지 않아 항해자는 항해장비에서 제공되는 정보뿐만 아니라 선박 주위를 직접 눈으로 확인하면서 선박의 현재 상태를 파악하게 된다. 이러한 과정은 매우 번거로울 뿐 아니라 운항 시에 적지 않은 운항 오류 발생을 야기시키게 된다. 이에 본 발명에서는 이러한 종래의 문제점을 해결할 수 있는 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템은 선박 주위에 설치되어, PTZ(pan-tilt-zoom) 기능을 통해 상기 선박의 동작 모드에 따른 주변 영상을 습득하는 복수 개의 PTZ 카메라들을 포함하는 카메라부(110); 상기 복수 개의 PTZ 카메라들 각각의 전체적인 동작을 제어하는 카메라 제어부(120); 상기 복수 개의 카메라들 각각에서 제공되는 영상 정보에서 특징점(feature point)을 추출하고, 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 영상 정합부(130); 상기 영상 정합부(130)에서 제공된 정합 영상과 상기 선박의 동작모드에 필요한 부속영상을 중첩시킨 중첩 영상을 출력하는 영상 중첩부(140); 상기 영상 중첩부(140)에서 제공된 영상들을 상기 PTZ 카메라의 위치 별로 정렬하여 상기 선박의 전방위 영상을 상기 항해자에게 표시하는 영상정보 표시부(150); 및 상기 선박의 동작모드에 따라 상기 PTZ 카메라의 구동 제어신호 및 상기 영상 중첩부(140) 내에 제공되는 상기 부속영상의 영상정보를 상기 영상 중첩부(140)로 제공하는 동작모드 처리부(160)를 포함한다.
상기 복수 개의 PTZ 카메라들 각각은 상기 선박의 선상 주변에 구비되어, 상기 선박의 동작모드에 따라 기 설정된 기울기 각으로 카메라 렌즈를 구동시키며, 상기 기울기 각은 상기 동작모드가 항해모드일 경우, 상기 선상을 기준으로 15° ~ - 15° 범위 내에 각으로 구동되며, 상기 동작모드가 이·접안모드일 경우, 상기 선상을 기준으로 - 15° ~ - 90°범위 내에 기울기 각으로 조절되는 것을 특징으로 한다.
상기 복수 개의 PTZ 카메라들 각각은 상기 동작모드가 항해모드일 경우, 상기 카메라 렌즈의 초점을 원거리로 설정되며, 상기 동작모드가 이·접안모드일 경우, 상기 카메라 렌즈의 초점을 근거리로 조절하는 것을 특징으로 한다.
상기 영상 정합부(130)는 상기 복수 개의 PTZ 카메라들 각각에서 제공되는 영상에서 특징점(feature point)을 추출하는 특징점 추출부(131); 상기 주변 영상들 간에 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 추출된 상기 특징점들 간의 관계에 따라 각 영상들을 기하학적으로 변환하여 배열하는 기하학적 변환부(132); 상기 기하학적 변환부(132)에서 배열된 영상들 각각의 컬러를 정규화시키는 컬러 정규화부(133); 상기 컬러가 정규화된 상기 영상들을 엣지블렌딩 처리하여 하나의 영상으로 출력하는 엣지 블렌딩 처리부(134)를 포함하는 것을 특징으로 한다.
상기 동작모드 처리부(160) 상기 선박의 동작모드에 따른 부속영상들 저장 및 제어하여 상기 영상 중첩부로 제공하는 영상 제어 콘솔(161)을 더 포함하는 것을 특징으로 한다.
상기 영상 제어 콘솔(161)은 상기 선박이 항해모드로 동작될 경우, 상기 항해 모드에 필요한 선박의 침로, 속도, 안전수역, 항로표지 및 물표 정보 중 적어도 하나가 표시된 상기 부속영상 정보를 상기 영상 중첩부(140)로 제공하며, 상기 선박이 이·접안모드로 동작될 경우, 상기 이·접안모드에 필요한 선박의 침로, 선수/선미 속도, 안벽까지의 거리 및 방향 정보 중 적어도 하나가 표시된 상기 부속영상 정보를 상기 영상 중첩부(140)로 제공하는 것을 특징으로 한다.
상기 영상 제어 콘솔(161)은 상기 부속영상 정보를 저장하는 저장 매체가 구비된 것을 특징으로 한다.
상기 영상정보 표시부(150)는 상기 영상 중첩부(140)에서 제공된 영상정보를 항해자에게 전방위 영상으로 제공하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 청구항 제1항 내지 제8항에 기재된 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템을 이용한 선박용 전방위 모니터링 방법은 선박의 동작모드를 선택하는 동작 모드 선택 단계(S110); 상기 선박의 동작 모드에 따른 주변 영상을 상기 선박의 주변에 구비된 복수 개의 PTZ 카메라에서 습득하는 영상 습득 단계(S120); 상기 복수 개의 PTZ 카메라들 각각에서 제공되는 상기 주변 영상들에서 특징점(feature point)을 추출하고, 상기 주변 영상들의 중첩된 영역의 특징점(feature point) 간의 관계를 추출하고 이를 기준으로 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 영상 정합 단계(S130); 상기 영상 정합 단계(S130)에서 정합된 영상에 상기 선박의 동작 모드에 따라 항해사에게 제공되어야 하는 부속영상을 중첩시킨 중첩 영상을 영상 중첩부에서 제공하는 영상 중첩 단계(S140); 및 상기 영상 중첩 단계(S150)에서 제공된 중첩 영상을 상기 PTZ 카메라의 위치 별로 정렬하여 상기 항해사에게 상기 선박의 전방위 영상으로 표시하는 영상 표시 단계(S140)를 포함하고, 상기 동작모드는, 항해모드 및 이·접안모드인 것을 특징으로 한다.
상기 영상 습득 단계(S120)는 상기 동작 모드 선택 단계에서 선택된 동작 모드에 따라 상기 PTZ 카메라의 구동을 카메라 제어부에서 제어하는 단계를 포함하며, 상기 동작모드가 항해모드일 경우, 상기 PTZ 카메라는 제1 기울기 각으로 조절되어 원거리 영상을 촬영하며, 상기 동작모드가 이·접안모드일 경우, 상기 PTZ 카메라는 제2 기울기 각으로 근거리 영상을 촬영하는 것을 특징으로 한다.
상기 제1 기울기 각은 선상을 기준으로 15° 내지 - 15° 범위 내에 각이며, 상기 제2 기울기 각은 상기 선상을 기준으로 - 15° ~ - 90° 범위 내에 각인 것을 특징으로 한다.
상기 영상 정합 단계(S130)는 상기 복수 개의 PTZ 카메라들 각각에서 제공되는 영상에서 특징점(feature point)을 추출하는 특징점 추출단계(S131); 상기 주변 영상들 간에 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 추출된 상기 특징점들 간의 관계에 따라 각 영상들을 기하학적 변환부(132)에서 기하학적으로 변환하여 배열하는 기하학적 변환단계(S132); 상기 기하학적 변환부(132)에서 배열된 영상들 각각의 컬러를 컬러 정규화부에서 정규화시키는 컬러 정규화 단계(S133); 및 엣지 블렌딩 처리부(134)에서 상기 컬러가 정규화된 상기 영상들을 엣지 블렌딩 처리하여 하나의 영상으로 출력하는 엣지 블렌딩 처리단계(S134);를 포함하는 것을 특징으로 한다.
본 발명에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법은 선박이 항해모드와 이·접안모드로 각각 동작될 경우, 각 모드에 필요한 주변 영상을 전방위 영상으로 항해사에게 실시간으로 제공할 수 있다는 이점을 갖는다.
또한, 선박이 항해모드로 동작될 경우, 원거리 전방위 영상과 항해 모드에 필요한 선박의 침로, 속도, 안전수역, 항로표지 및 물표 정보등이 표시된 부속영상을 중첩킬 수 있어, 보다 간편한 항해를 항해사가 수행할 수 있다는 이점을 제공한다.
또한, 선박이 이·접안모드로 동작될 경우, 근거리 전방위 영상과 이·접안모드에 필요한 선박의 침로, 선수/선미 속도, 안벽까지의 거리 및 방향 정보 등이 표시된 부속영상을 중첩시킬 수 있어, 보다 간편하게 항해사가 선박의 이·접안과정을 수행할 수 있다는 이점을 제공한다.
도 1은 본 발명의 실시 예에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템을 설명하기 위한 일 예시도이다.
도 2는 선박에 구비된 PTZ 카메라의 위치를 나타낸 예시도이다.
도 3은 선박의 동작모드에 따라 기울기가 조절되는 PTZ 카메라를 나타낸 일 예시도이다.
도 4는 도 1에 도시된 영상 정합부에서 정합된 정합 영상의 예를 나타낸 예시도이다.
도 5는 선박이 이·접안모드일 경우, PTZ 카메라에서 촬영된 영상과 부속영상(선박 위치계)이 중첩된 중첩영상을 나타낸 일 예시도이다.
도 6은 선박이 항해 모드일 경우, PTZ 카메라에서 촬영된 영상과 부속영상(선박의 속도, 항로 등)이 중첩된 중첩영상을 나타낸 일 예시도이다.
도 7은 도 1에 도시된 영상정보 표시부를 나타낸 일 예시도이다.
도 8은 본 발명의 실시 예에 따른 선박용 전방위 모니터링 방법을 설명하기 위한 플로우 챠트이다.
도 9는 도 8의 영상 정합 단계를 보다 상세하게 설명한 플로우 챠트이다.
도 10은 도 8의 영상 중첩 단계를 보다 상세하게 설명한 플로우 챠트이다.
이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템을 설명하기 위한 일 예시도이다.
도 2는 선박에 구비된 PTZ 카메라의 위치를 나타낸 예시도이다.
도 3은 선박의 동작모드에 따라 기울기가 조절되는 PTZ 카메라를 나타낸 일 예시도이다.
도 4는 도 1에 도시된 영상 정합부에서 정합된 정합 영상의 예를 나타낸 예시도이다.
도 5는 선박이 이·접안모드일 경우, PTZ 카메라에서 촬영된 영상과 부속영상(선박 위치계)이 중첩된 중첩영상을 나타낸 일 예시도이다.
도 6은 선박이 항해 모드일 경우, PTZ 카메라에서 촬영된 영상과 부속영상(선박의 속도, 항로 등)이 중첩된 중첩영상을 나타낸 일 예시도이다.
도 7은 도 1에 도시된 영상정보 표시부를 나타낸 일 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템(100)은 카메라부(110), 카메라 제어부(120), 영상 정합부(130), 영상 중첩부(140), 영상정보 표시부(150) 및 동작모드 처리부(160)를 포함한다.
상기 카메라부(110)는 선박의 선상 주위에 설치되어, PTZ(Pan-tilt-Zoom/In) 기능을 통해 선박의 동작 모드(예컨대, 항해모드 및 이·접안모드에 따른 주변 영상을 습득하는 기능을 수행한다.
보다 구체적으로, 도 2를 참조하면, 상기 카메라부(110)는 복수 개의 PTZ 카메라들(1, 2, ,,, N)을 포함하며, 각 PTZ 카메라들(1, 2, ,,,N)은 특정 위치에 설치되어 일정 구역을 촬영할 수 있다.
예를 들면, 상기 PTZ 카메라들(1,2, ,,. N)은 선박의 선상라인을 따라 일정한 간격으로 배치되어, 선박의 전방위 영상을 촬영한다.
여기서, 일정 간격은 각 카메라들(1, 2,,,, N)이 영상 촬영을 수행하면서 사각지대가 발생하지 않도록 일정 간격만큼 중복된 촬영 가능 영역을 가지도록 배치되는 것이 바람직하다.
이러한 상기 카메라부(110)에 포함된 각 PTZ 카메라들(1, 2, ,,, N)은 광학적 신호를 전기적 신호로 변환하는 카메라 센서(미도시), 아날로그 비디오 신호를 디지털 비디오 신호로 변환하는 영상처리장치(Image Signal Processor) 및 상기 영상처리장치에서 출력되는 비디오 신호를 상기 영상 정합부(130)에 전달하기 위한 통신 인터페이스를 포함할 수 있다.
여기서 상기 카메라 센서는 CCD(Charge-coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 사용될 수 있고, 상기 신호처리장치는 구성이 생략되고 DSP로 구현될 수 있다.
또한, 각 PTZ 카메라들(1, 2, ,,, N)은 카메라 제어부(120)의 제어신호에 따라 촬영 영역을 촬영하는 시점을 가변시킬 수 있다.
보다 구체적으로, 상기 각 PTZ 카메라들(1, 2, ,,, N)은 상기 선박의 동작모드에 따라 기 설정된 기울기 각(예컨대, 제1 기울기 각, 제2 기울기 각)을 갖도록 구동되며, 상기 제1 기울기 각(α)은 상기 동작모드가 항해모드일 경우, 선상을 기준으로 15° 내지 - 15° 범위 내에 각일 수 있으며, 제2 기울기 각(β)은 상기 동작모드가 이·접안모드일 경우, 선상을 기준으로 - 15° ~ - 90 범위 내에 기울기 각일 수 있으며, 선체의 아래쪽 방향으로 촬영할 수 있는 범위의 각이면 가능할 것이다. 따라서, 제2 기울기 각(β)은 선상을 기준으로 - 15° ~ - 90 °에 한정되지는 않는다.
또한, 각 PTZ 카메라들(1, 2, ,,, N)은 상기 동작모드가 항해모드일 경우, 카메라 렌즈의 초점을 원거리로 설정하며, 상기 동작모드가 이·접안모드일 경우, 상기 카메라 렌즈의 초점을 근거리로 설정되도록 구동된다. 또한, 각 PTZ 카메라들(1, 2, ,,, N)은 선택적으로 구동이 가능할 수 있다.
상기 영상 정합부(130)는 상기 복수 개의 PTZ 카메라들 각각에서 실시간으로 제공되는 주변 영상들에서 특징점(feature point)을 추출한 후, 중첩된 영역의 특징점(feature point) 간의 관계를 추출하고 이를 기준으로 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 기능을 수행한다.
상술한 기능을 수행하기 위하여 상기 영상 정합부(130)는 특징점 추출부(131), 기하학적 변환부(132), 컬러 정규화부(133) 및 엣지 블렌딩 처리부(134)를 포함한다.
상기 특징점 추출부(131)는 상기 복수 개의 PTZ 카메라들 각각에서 실시간으로 제공되는 상기 주변 영상들에서 특징점(feature point)을 추출하는 기능을 수행한다.
상기 기하학적 변환부(132)는 상기 주변 영상들 간에 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 추출된 상기 특징점들 간의 관계에 따라 각 영상들을 기하학적으로 변환한 후, 배열하는 기능을 수행한다.
상기 컬러 정규화부(133)는 상기 기하학적 변환부(132)에서 변환되어 배열된 영상들 각각의 컬러를 정규화시키는 기능을 수행한다.
상기 엣지 블렌딩 처리부(134)는 상기 컬러가 정규화된 상기 영상들을 엣지 블렌딩 처리하여 하나의 영상으로 출력하는 기능을 수행한다.
다음으로, 상기 영상 중첩부(140)는 정합된 영상 상에 영상 제어 콘솔(161)에서 제공되는 부속영상을 중첩시킨 중첩 영상을 제공하는 기능을 수행한다.
예를 들어, 선박이 항해모드로 동작될 경우, 원거리 전방위 영상과 항해 모드에 필요한 선박의 침로, 속도, 안전수역, 항로표지 및 물표 정보등이 표시된 부속영상을 중첩시킨 중첩된 영상을 제공하는 기능을 수행한다.
또한, 선박이 이·접안모드로 동작될 경우, 근거리 전방위 영상과 이·접안모드에 필요한 선박의 침로, 선수/선미 속도, 안벽까지의 거리 및 방향 정보 등이 표시된 부속영상을 중첩시킨 중첩된 영상을 제공하는 기능을 수행한다.
상기 영상정보 표시부(150)는 상기 영상 중첩부(140)에서 중첩된 영상들을 상기 카메라의 위치 별로 정렬하여 선박의 전방위 영상을 항해자에게 표시하는 기능을 수행한다.
여기서, 상기 영상정보 표시부(150)는 액정 표시 장치 (Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등으로 제작될 수 있으며, 제어 방식은 터치 스크린(Touch screen) 형태로 이루이질 수도 있다.
여기서, 상기 영상정보 표시부(150)는 상기 영상 중첩부(140)에서 제공된 영상정보를 상기 항해자에게 전방위 영상으로 제공하며, 상기 영상정보 표시부(150)는 조이스틱 또는 마우스 등의 방향전환을 통해 항해자가 원하고자 하는 위치의 영상을 표시하게 된다.
이하에서는 본 발명의 실시 예에 따른 선박용 전방위 모니터링 방법을 도면을 참조하여 보다 상세하게 설명하도록 한다.
도 8은 본 발명의 실시 예에 따른 선박용 전방위 모니터링 방법을 설명하기 위한 플로우 챠트이다.
도 9는 도 8의 영상 정합 단계를 보다 상세하게 설명한 플로우 챠트이다.
도 10은 도 8의 영상 중첩 단계를 보다 상세하게 설명한 플로우 챠트이다.
도 8에 도시된 바와 같이, 본 발명의 실시 예에 따른 선박용 전방위 모니터링 방법은 동작 모드 선택 단계(S110), 영상 습득 단계(S120), 영상 정합 단계(S130), 영상 중첩 단계(S140) 및 영상 표시 단계(S150)를 포함한다.
상기 동작 모드 선택 단계(S110)는 선박의 동작모드를 선택하는 단계이다.
상기 영상 습득 단계(S120)는 상기 선박의 동작 모드에 따른 주변 영상을 상기 선박의 주변에 구비된 복수 개의 PTZ 카메라에서 습득하는 단계일 수 있다.
보다 구체적으로, 상기 영상 습득 단계(S120)는 상기 동작 모드 선택 단계에서 선택된 동작 모드에 따라 상기 PTZ 카메라의 구동을 카메라 제어부에서 제어하는 단계를 포함하며, 상기 동작모드가 항해모드일 경우, 상기 PTZ 카메라는 제1 기울기 각으로 조절되어 원거리 영상을 촬영하며, 상기 동작모드가 이·접안모드일 경우, 상기 PTZ 카메라는 제2 기울기 각으로 근거리 영상을 촬영한다.
이때, 상기 제1 기울기 각(α)은 선상을 기준으로 15° 내지 - 15° 범위 내에 각이며, 상기 제2 기울기 각(β)은 상기 선상을 기준으로 - 15° ~ - 90° 범위 내에 각일 수 있으며, 기울기 각의 범위는 조절이 가능할 수 있어, 이에 한정되지는 않는다.
도 9를 참조하면, 상기 영상 정합 단계(S130)는 상기 복수 개의 PTZ 카메라들 각각에서 제공되는 상기 주변 영상들에서 특징점(feature point)을 추출하고, 상기 주변 영상들의 중첩된 영역의 특징점(feature point) 간의 관계를 추출하고 이를 기준으로 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 단계일 수 있다.
보다 구체적으로, 상기 영상 정합 단계(S130)는 특징점 추출단계(S131), 기하학적 변환단계(S132), 컬러 정규화 단계(S133) 및 엣지 블렌딩 처리단계(S134)를 포함한다.
특징점 추출단계(S131)는 상기 복수 개의 PTZ 카메라들 각각에서 제공되는 영상에서 특징점(feature point)을 추출하는 단계일 수 있다.
기하학적 변환단계(S132)는 상기 주변 영상들 간에 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 추출된 상기 특징점 간의 관계에 따라 각 영상들을 기하학적 변환부(132)에서 기하학적으로 변환하여 배열하는 단계일 수 있다.
컬러 정규화 단계(S133)는 상기 기하학적 변환부(132)에서 배열된 영상들 각각의 컬러를 컬러 정규화부에서 정규화시키는 단계일 수 있다.
엣지 블렌딩 처리단계(S134)는 엣지 블렌딩 처리부(134)에서 상기 컬러가 정규화된 상기 영상들을 엣지 블렌딩 처리하여 하나의 영상으로 출력하는 단계일 수 있다.
도 10을 참조하면, 상기 영상 중첩 단계(S140)는 상기 영상 정합 단계(S130)에서 정합된 영상에 상기 선박의 동작 모드에 따라 항해사에게 제공되어야 하는 부속영상을 중첩시킨 중첩 영상을 영상 중첩부(140)에서 제공하는 단계일 수 있다.
예를 들어, 상기 영상 중첩 단계(S140)는 선박이 항해모드로 동작될 경우, 원거리 전방위 영상과 항해 모드에 필요한 선박의 침로, 속도, 안전수역, 항로표지 및 물표 정보등이 표시된 부속영상을 중첩시킨 중첩된 영상을 제공하는 단계(S141)와 선박이 이·접안모드로 동작될 경우, 근거리 전방위 영상과 이·접안모드에 필요한 선박의 침로, 선수/선미 속도, 안벽까지의 거리 및 방향 정보 등이 표시된 부속영상을 중첩시킨 중첩된 영상을 제공하는 단계(S142)를 포함한다.
상기 영상정보 표시 단계(S150)은 상기 영상 중첩 단계(S150)에서 제공된 중첩 영상을 상기 PTZ 카메라의 위치 별로 정렬하여 상기 항해사에게 상기 선박의 전방위 영상으로 표시하는 단계일 수 있다.
여기서, 상기 동작모드는 항해모드 및 이·접안모드를 포함한다.
따라서, 본 발명에 따른 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 전방위 모니터링 방법은 선박이 항해모드와 이·접안모드로 각각 동작될 경우, 각 모드에 필요한 주변 영상을 전방위 영상으로 항해사에게 실시간으로 제공할 수 있다는 이점을 갖는다.
또한, 선박이 항해모드로 동작될 경우, 원거리 전방위 영상과 항해 모드에 필요한 선박의 침로, 속도, 안전수역, 항로표지 및 물표 정보등이 표시된 부속영상을 중첩킬 수 있어, 보다 간편한 항해를 항해사가 수행할 수 있다는 이점을 제공한다.
또한, 선박이 이·접안모드로 동작 될 경우, 근거리 전방위 영상과 이·접안모드에 필요한 선박의 침로, 선수/선미 속도, 안벽까지의 거리 및 방향 정보 등이 표시된 부속영상을 중첩시킬 수 있어, 보다 간편하게 항해사가 선박의 이·접안과정을 수행할 수 있다는 이점을 제공한다.
개시된 예시적인 실시형태들의 이전의 설명은 당업자로 하여금 본 발명을 제조하거나 또는 사용할 수 있게 하기 위해 제공된다. 이들 예시적인 실시형태들에 대한 다양한 변형들은 당업자에게 자명하게 될 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위로부터 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에 나타낸 실시형태들에 한정되지 않고, 본 명세서에서 개시되는 원리들 및 신규한 특징들과 일치하는 최광의 범위가 부여되도록 의도된다.
100: 선박용 전방위 모니터링 시스템
110: 카메라부 120: 카메라 제어부
130: 영상 정합부 131: 특징점 추출부
132: 기하학적 변환부 133: 컬러 정규화부
134: 엣지 블렌딩 처리부 140: 영상 중첩부
150: 영상정보 표시부 160: 동작 모드 처리부
161: 영상 제어 콘솔
S110: 동작 모드 선택 단계 S120: 영상 습득 단계
S130: 영상 정합 단계 S131: 특징점 추출단계
S132: 기하학적 변환단계 S133: 컬러 정규화 단계
S134: 엣지 블렌딩 처리단계 S140: 영상 중첩 단계 S150: 영상 표시 단계

Claims (12)

  1. 선박 주위에 설치되어, PTZ(pan-tilt-zoom) 기능을 통해 상기 선박의 동작 모드에 따른 주변 영상을 습득하는 복수 개의 PTZ 카메라들을 포함하는 카메라부(110);
    상기 복수 개의 PTZ 카메라들 각각의 전체적인 동작을 제어하는 카메라 제어부(120);
    상기 복수 개의 카메라들 각각에서 제공되는 영상 정보에서 특징점(feature point)을 추출하고, 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 영상 정합부(130);
    상기 영상 정합부(130)에서 제공된 정합 영상과 상기 선박의 동작모드에 필요한 부속영상을 중첩시킨 중첩 영상을 출력하는 영상 중첩부(140);
    상기 영상 중첩부(140)에서 제공된 영상들을 상기 PTZ 카메라의 위치 별로 정렬하여 상기 선박의 전방위 영상을 항해자에게 표시하는 영상정보 표시부(150);
    상기 선박의 동작모드에 따라 서로 다른 부속영상 정보를 상기 영상 중첩부(140)로 제공하는 동작모드 처리부(160);를 포함하고,
    상기 동작모드 처리부(160)는,
    상기 선박의 동작모드에 따른 부속영상들을 저장 및 제어하여 상기 영상 중첩부로 제공하는 영상 제어 콘솔(161)을 포함하며,
    상기 영상 제어 콘솔(161)은,
    상기 선박이 항해모드로 동작될 경우,
    상기 항해 모드에 필요한 선박의 침로, 속도, 안전수역, 항로표지 및 물표 정보 중 적어도 하나가 표시된 상기 부속영상 정보를 상기 영상 중첩부(140)로 제공하고,
    상기 선박이 이·접안모드로 동작될 경우,
    상기 이·접안모드에 필요한 선박의 침로, 선수/선미 속도, 안벽까지의 거리 및 방향 정보 중 적어도 하나가 표시된 상기 부속영상 정보를 상기 영상 중첩부(140)로 제공하는 것을 특징으로 하는 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템.
  2. 제1항에 있어서,
    상기 복수 개의 PTZ 카메라들 각각은,
    상기 선박의 선상 주변에 구비되어, 상기 선박의 동작모드에 따라 기 설정된 기울기 각으로 카메라 렌즈를 구동시키며,
    상기 기울기 각은,
    상기 동작모드가 항해모드일 경우, 상기 선상을 기준으로 15°~ - 15° 범위 내에 각으로 구동되며, 상기 동작모드가 이·접안모드일 경우, 상기 선상을 기준으로 - 15°~ - 90° 범위 내에 기울기 각으로 조절되는 것을 특징으로 하는 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템.
  3. 제2항에 있어서,
    상기 복수 개의 PTZ 카메라들 각각은,
    상기 동작모드가 항해모드일 경우, 상기 카메라 렌즈의 초점을 원거리로 설정되며, 상기 동작모드가 이·접안모드일 경우, 상기 카메라 렌즈의 초점을 근거리로 조절하는 것을 특징으로 하는 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템.
  4. 제1항에 있어서,
    상기 영상 정합부(130)는,
    상기 복수 개의 PTZ 카메라들 각각에서 제공되는 영상에서 특징점(feature point)을 추출하는 특징점 추출부(131);
    상기 주변 영상들 간에 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 추출된 상기 특징점 간의 관계에 따라 각 영상들을 기하학적으로 변환하여 배열하는 기하학적 변환부(132);
    상기 기하학적 변환부(132)에서 배열된 영상들 각각의 컬러를 정규화시키는 컬러 정규화부(133);
    상기 컬러가 정규화된 상기 영상들을 엣지블렌딩 처리하여 하나의 영상으로 출력하는 엣지 블렌딩 처리부(134)를 포함하는 것을 특징으로 하는 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 영상 제어 콘솔(161)은,
    상기 부속영상 정보를 저장하는 저장 매체가 구비된 것을 특징으로 하는 PTZ 카메라를 이용한 선박용 전방위 모니터링 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020130165107A 2013-12-27 2013-12-27 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법 KR101545276B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130165107A KR101545276B1 (ko) 2013-12-27 2013-12-27 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130165107A KR101545276B1 (ko) 2013-12-27 2013-12-27 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법

Publications (2)

Publication Number Publication Date
KR20150076645A KR20150076645A (ko) 2015-07-07
KR101545276B1 true KR101545276B1 (ko) 2015-08-20

Family

ID=53789563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130165107A KR101545276B1 (ko) 2013-12-27 2013-12-27 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법

Country Status (1)

Country Link
KR (1) KR101545276B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031895A (ko) 2015-09-14 2017-03-22 대우조선해양 주식회사 가상 선교 시스템 및 그의 제어방법
KR20230079800A (ko) 2021-11-29 2023-06-07 주식회사 산엔지니어링 Ar 기반의 해상 객체 전시 시스템 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450363B1 (ko) * 2015-11-06 2022-10-04 한화테크윈 주식회사 감시 카메라
KR102376272B1 (ko) 2015-11-30 2022-03-18 대우조선해양 주식회사 선박의 양방향 항해를 위한 통합 장치
CN108171974B (zh) * 2017-12-27 2020-02-18 东南大学 一种基于手机三角定位数据的交通出行模式判别方法
KR102259081B1 (ko) * 2018-11-30 2021-06-02 (주)에스시전시문화 수중 가상현실 체험을 위한 수중 촬영 영상 디스플레이 시스템
KR102258207B1 (ko) * 2019-09-26 2021-05-31 주식회사 삼우이머션 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법
CN114115245B (zh) * 2021-11-09 2024-04-16 厦门蓝海天信息技术有限公司 一种航标识别设备及方法
CN114387301B (zh) * 2021-12-23 2024-04-16 上海弘目智能科技有限公司 一种基于ptz相机联动控制的船体智能视频行为分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328497A (ja) 2004-04-16 2005-11-24 Sony Corp 撮像装置及び撮像方法
KR101045323B1 (ko) 2011-04-07 2011-06-29 (주)에디넷 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328497A (ja) 2004-04-16 2005-11-24 Sony Corp 撮像装置及び撮像方法
KR101045323B1 (ko) 2011-04-07 2011-06-29 (주)에디넷 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031895A (ko) 2015-09-14 2017-03-22 대우조선해양 주식회사 가상 선교 시스템 및 그의 제어방법
KR102476252B1 (ko) * 2015-09-14 2022-12-09 대우조선해양 주식회사 가상 선교 시스템 및 그의 제어방법
KR20230079800A (ko) 2021-11-29 2023-06-07 주식회사 산엔지니어링 Ar 기반의 해상 객체 전시 시스템 및 방법

Also Published As

Publication number Publication date
KR20150076645A (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
KR101545276B1 (ko) Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법
JP5213880B2 (ja) パノラマ画像処理システム
JP6932487B2 (ja) 移動体監視装置
CN110622499B (zh) 图像生成装置、图像生成系统、图像生成方法及记录介质
JP6574845B2 (ja) 図面作成装置及び図面作成方法
JP6628389B2 (ja) 操船支援システム及びそのシステムを搭載した船舶
JP2018160228A (ja) 経路生成装置、経路制御システム、及び経路生成方法
CN107065894B (zh) 无人飞行器、飞行高度控制装置、方法以及计算机可读取记录介质
KR20160062286A (ko) 무인항공기를 이용한 선박 접안 지원 시스템 및 그 방법
US11852476B2 (en) Tidal current information display apparatus and method
KR100990764B1 (ko) 항만 영상관제 시스템 및 방법
US10235805B2 (en) Client terminal and server for guiding a user
KR20170031895A (ko) 가상 선교 시스템 및 그의 제어방법
JP6482855B2 (ja) 監視システム
KR20150075505A (ko) 영상 기반 선박 주변 타선정보 제공장치 및 그 방법
JP5858741B2 (ja) 自動追尾カメラシステム
KR102004455B1 (ko) 증강현실을 이용한 항로표지 관제 시스템 및 방법
KR101456439B1 (ko) 투명 디스플레이를 이용한 선박용 영상 개선 시스템
JP2010217984A (ja) 像検出装置及び像検出方法
JP2019061702A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2016118995A (ja) 監視システム
JP6639195B2 (ja) 船舶監視装置
JP2018188043A (ja) 操船支援装置
JP2002199382A (ja) 動画像処理カメラ及びこれを用いた画像処理システム
US20220268586A1 (en) Augmented reality based tidal current display apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 5