KR102052013B1 - 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법 - Google Patents

선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법 Download PDF

Info

Publication number
KR102052013B1
KR102052013B1 KR1020190069193A KR20190069193A KR102052013B1 KR 102052013 B1 KR102052013 B1 KR 102052013B1 KR 1020190069193 A KR1020190069193 A KR 1020190069193A KR 20190069193 A KR20190069193 A KR 20190069193A KR 102052013 B1 KR102052013 B1 KR 102052013B1
Authority
KR
South Korea
Prior art keywords
camera
image
reference line
cameras
ship
Prior art date
Application number
KR1020190069193A
Other languages
English (en)
Inventor
오재용
김혜진
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020190069193A priority Critical patent/KR102052013B1/ko
Application granted granted Critical
Publication of KR102052013B1 publication Critical patent/KR102052013B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23238—
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 이용 가능한 카메라 영상 합성 시스템 및 카메라 교정방법에 관한 것으로, 본 발명의 카메라 영상 합성 시스템은 선박에 설치되며 다수의 카메라들을 통해 영상을 촬영하는 촬영부, 상기 카메라에서 촬영된 영상을 합성하기 위한 프로그램이 저장된 메모리, 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하고, 상기 프로세서가 상기 프로그램을 실행시킴에 따라, 상기 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하고, 상기 카메라들이 촬영한 영상에서 상기 제1기준선끼리 연속되도록 합성하고 상기 제2기준선끼리 연속되도록 합성하여 합성영상을 생성한다. 또한, 본 발명의 카메라 교정방법은 선박에 설치된 다수의 카메라들을 통해 영상을 촬영하는 촬영단계, 상기 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하는 검출단계 및 상기 다수의 카메라 중 인접한 카메라를 통해 촬영된 영상에서 상기 제1기준선끼리 연속되고 상기 제2기준선끼리 연속되도록 상기 카메라를 교정하는 교정단계를 포함한다.

Description

선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법{IMAGE COMPOSING SYSTEM AND CAMERA CALIBRATION METHOD FOR SHIP}
본 발명은 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법에 관한 것으로, 보다 상세하게는 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 적용 가능하며, 선박의 이안 또는 접안을 보다 용이하게 하는 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법에 관한 것이다.
일반적으로 선박이 목적지에 도착하여 항만의 안벽(quay wall)에 선박을 위치시키는 것을 접안이라고 하고, 반대로 안벽에서 목적지를 향해 출발하는 것을 이안이라고 한다.
선박의 접안 또는 이안 과정은 선박의 조종 측면에서 매우 민감한 작업이기 때문에 항해사 혹은 도선사의 각별한 주의가 요구되며, 대형 선박의 경우 예인선(tug boat)을 이용하기도 한다.
최근 선박의 접안 또는 이안을 지원하는 다양한 시스템이 개발되어 적용되고 있으나, 하드웨어적인 제약이 많아 현재까지도 항해사의 경험과 육안으로의 인지에 의존하여 접안과 이안이 수행되고 있다.
한편, 어라운드 뷰 모니터링 시스템(AVM, Around View Monitoring System)은 자동차 주변의 360도 영상을 모니터로 제공하여 주차 시 운전자를 지원하는 시스템으로 현재 자동차 시스템이 적용이 활발하게 이루어지고 있다.
AVM은 다수개의 영상을 하나의 영상으로 합성하기 위하여 각 카메라간의 상대적인 위치와 자세 정보를 계산하는 카메라 교정 과정이 필수적이며, 격자 형태의 미리 알려진 패턴을 이용하여 카메라의 교정 및 영상 합성을 수행한다. 이러한 AVM은 통상 카메라에서 촬영된 영상별 보정점을 이용하여 3X3 변환 행렬을 계산하여 탑 뷰(top view) 영상을 생성하는 것이 일반적이다.
그러나 자동차용 AVM은 선박에 적용하는데 많은 문제점이 있다. 접안이나 이안의 지원이 필요한 선박의 경우 주로 100M 이상의 길이를 갖는 대형이므로 자동차 AVM보다 훨씬 많은 카메라를 제어하여야 하고, 동시에 교정 및 합성을 수행해야 한다. 일반적인 AVM에서 카메라의 교정은 기지(known)의 패턴을 사용하여 카메라간의 기하학적 관계를 계산하지만 대형 선박과 같이 그 대상이 큰 경우 적용이 어려운 문제가 있다.
(문헌 0001) KR 10-2017-0133010A (문헌 0002) KR 10-2014-0033803A (문헌 0003) KR 10-1933185B (문헌 0004) KR 10-1964864B
위와 같은 점을 감안하여 발명된 본 발명의 목적은 선박의 접안이나 이안이 용이하도록 어라운드 뷰 시스템을 도입하고, 선박의 특성을 반영하여 카메라 교정 또는 영상합성을 수행하는 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법을 제공하는 것이다.
상기 목적 달성을 위한 본 발명에 따른 선박용 카메라 영상 합성 시스템은 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 이용 가능한 카메라 영상 합성 시스템에 있어서, 선박에 설치되며 다수의 카메라들을 통해 영상을 촬영하는 촬영부, 카메라에서 촬영된 영상을 합성하기 위한 프로그램이 저장된 메모리, 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하고, 프로세서가 프로그램을 실행시킴에 따라, 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하고, 카메라들이 촬영한 영상에서 제1기준선끼리 연속되도록 합성하고 제2기준선끼리 연속되도록 합성하여 합성영상을 생성한다.
또한, 프로세서는 선박의 선체와 물의 경계선을 제1기준선으로 검출하고, 물과 육지의 경계선 또는 물과 수상에 위치된 구조물의 경계선을 제2기준선으로 검출할 수 있다.
또한, 촬영부는 인접한 카메라들이 촬영한 영상 중 일부가 서로 중첩되도록 영상을 촬영할 수 있다.
또한, 프로세서는 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출하고, 중첩기준점을 중심으로 인접한 카메라들이 촬영한 영상들을 합성할 수 있다.
또한, 프로세서는 합성영상에서 제1기준선이 폐곡선을 이루도록 영상을 합성할 수 있다.
또한, 프로세서는 합성영상에서 제2기준선이 폐곡선을 이루도록 영상을 합성할 수 있다.
본 발명에 따른 선박용 카메라 교정방법은 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)을 이용한 카메라 교정방법에 있어서, 선박에 설치된 다수의 카메라들을 통해 영상을 촬영하는 촬영단계, 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하는 검출단계 및 다수의 카메라 중 인접한 카메라를 통해 촬영된 영상에서 제1기준선끼리 연속되고 제2기준선끼리 연속되도록 카메라를 교정하는 교정단계를 포함한다.
또한, 검출단계에서 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출하고, 교정단계에서 인접한 카메라들의 중첩기준점이 일치하도록 카메라를 교정할 수 있다.
본 발명의 일실시예에 따르면 선박의 전 방위 영상을 통해 선박의 이안 또는 접안을 보다 용이하게 수행할 수 있으며, 자동차의 경우보다 훨씬 많은 수의 카메라들을 동시에 제어하고 합성하기 용이한 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 영상 합성 시스템을 나타낸 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 촬영부를 이용한 카메라 촬영을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 프로세스의 영상 합성을 나타낸 개념도이다.
도 5는 본 발명의 일 실시예에 따른 프로세서의 영상 합성을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 교정방법을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 카메라 교정방법을 나타낸 개념도이다.
본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명을 상세히 설명하도록 한다.
후술하는 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법은 선박(S)에 적용 가능하며, 보다 바람직하게는 일정 규모 이상의 대형 선박(S)에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 영상 합성 시스템을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 선박용 카메라 영상 합성 시스템은 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 이용 가능한 카메라 영상 합성 시스템에 있어서, 선박(S)에 설치되며 다수의 카메라들을 통해 영상을 촬영하는 촬영부(100), 상기 카메라에서 촬영된 영상을 합성하기 위한 프로그램이 저장된 메모리(300), 상기 메모리(300)에 저장된 프로그램을 실행시키는 프로세서(200)를 포함한다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 촬영부(100)를 이용한 카메라 촬영을 나타낸 예시도이다.
도 2 및 도 3을 참조하면, 촬영부(100)는 다수의 카메라를 포함하며, 다수의 카메라는 서로 일정 간격 이격되면서 상기 선박(S)에 설치된다. 상기 카메라의 개수와 설치 간격은 선박(S)의 종류나 규모, 디자인 등에 따라 달라질 수 있다. 다수의 카메라들은 선박(S)에 동일한 높이로 설치될 수 있으나 반드시 이에 한정되는 것은 아니다.
일 실시예에서 다수의 카메라는 상기 선박(S)의 외측 둘레를 따라 상기 선박(S) 주변의 전 방위를 모두 촬영 가능하도록 배치되며, 서로 인접한 카메라들은 일정 부분 중첩된 영상을 촬영 가능한 것이 바람직하다. 예를 들어, 인접한 카메라에서 촬영한 영상은 최소 20%가 중첩될 수 있다. 또한, 촬영부(100)가 1번 내지 N번의 카메라로 구성되는 경우 N번 카메라에서 촬영된 영상은 1번 카메라에서 촬영된 영상과 일부가 중첩될 수 있다.
상기 카메라는 광각 렌즈나 어안 렌즈 등이 적용되어, 광각(수평 FOV, Horizontal Field of View = 160° 이상)을 촬영한다.
선박(S)의 선체와 안벽 등 항만 시설이 촬영된 영상에 포함될 수 있도록 카메라가 설치된 위치를 기준으로 카메라의 촬영 각도가 선박(S)의 아래쪽을 향하도록 배치되는 것이 바람직하다.
촬영부(100)에서 촬영된 영상은 프로세서(200)로 제공되며, 프로세서(200)는 촬영부(100)와 유선 또는 무선으로 연결되어 촬영된 영상을 수신한다. 예컨대, 상기 프로세서(200)는 유선 통신수단으로 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 또는 RS-485 등을 이용할 수 있으며, 무선 통신수단으로 WLAN(Wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB, 무선 HDMI, CAN(Contoller Area Network) 등이 이용될 수 있다.
메모리(300)는 카메라에서 촬영된 영상을 합성하기 위한 프로그램이 저장된다. 메모리(300)는 비휘발성 저장장치 또는 휘발성 저장장치를 포함하는 개념이다. 메모리(300)는 예컨대 CF(Compact Flash) 카드, SD(Secure Digital) 카드, 메모리(300) 스틱(memory stick), SSD(Solid-State Drive), MICRO SD 카드, HDD(Hard Disk Drive), CD-ROM, DVD-ROM 등이 적용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 프로세스의 영상 합성을 나타낸 개념도이고, 도 5는 본 발명의 일 실시예에 따른 프로세서(200)의 영상 합성을 나타낸 예시도이다.
도 4 및 도 5를 참조하면, 프로세서(200)는 메모리(300)에 저장된 프로그램을 실행시키며, 상기 프로세서(200)가 상기 프로그램을 실행시킴에 따라, 상기 카메라에서 촬영된 각 영상을 합성하여 합성영상을 생성한다.
구체적으로, 프로세서(200)가 메모리(300)에 저장된 프로그램을 실행시키는 경우 상기 다수의 카메라에서 각 촬영된 영상에서 제1기준선 및 제2기준선을 검출하고, 상기 카메라들이 촬영한 영상에서 상기 제1기준선끼리 연속되도록 합성하고 상기 제2기준선끼리 연속되도록 합성하여 합성영상을 생성한다.
제1기준선과 제2기준선은 각 촬영된 영상에 모두 포함되며 상기 촬영된 영상에서 직선 또는 곡선을 의미할 수 있다.
예컨대, 상기 프로세서(200)는 상기 선박(S)의 선체와 물(W)의 경계선을 상기 제1기준선으로 검출하고, 상기 물(W)과 육지(L)의 경계선 또는 상기 물(W)과 수상에 위치된 구조물(L)의 경계선을 상기 제2기준선으로 검출할 수 있다. 제1기준선과 제2기준선의 검출은 촬영한 영상을 분석하거나 인접한 영상에서 공통된 특징점을 추출함에 따라 수행할 수 있다.
상기 제1기준선과 제2기준선은 서로 이격되도록 위치되며, 하나의 영상 내에서 제1기준선과 제2기준선은 각각 연속된다. 카메라에서 촬영된 영상에는 선체와 물(W), 육지(또는 구조물)(L)가 모두 포함되며, 상기 프로세서(200)는 인접한 카메라에서 촬영한 영상에서 제1기준선끼리 연속되고 제2기준선끼리 연속되도록 영상을 합성한다.
이 경우 인접한 카메라에서 촬영한 영상들에서, 제1기준선들이 중첩된 부분에서 최대한 서로 일치하도록 합성하는 것이 바람직하며, 제2기준선들이 중첩된 부분에서 최대한 서로 일치하도록 합성하는 것이 바람직하다.
보다 구체적으로, 2번 카메라에서 촬영한 영상2와 3번 카메라에서 촬영한 영상3이 선박(S)의 측면에서의 주변 영상 촬영한다고 가정하면, 영상2와 영상3의 중첩 부분에서 영상2의 제1기준선과 영상3의 제1기준선은 중첩된 부분에서 서로 일치하는 비율이 높아지도록 합성하고, 영상2의 제2기준선과 영상3의 제2기준선은 중첩된 부분에서 서로 일치하는 비율이 높아지도록 합성할 수 있다.
선박(S)의 측면이나 전방 또는 후방에서 제1기준선이나 제2기준선은 직선이거나 곡선의 형태를 가질 수 있는데, 본 발명에서는 위와 같이 다수의 카메라 중 인접한 카메라들이 촬영한 영상에서 중첩 부분을 갖게 함으로써 제1기준선이나 제2기준선의 형태에 관계없이 적합한 영상의 합성을 수행할 수 있는 장점이 있다.
본 발명의 일 실시예에서 상기 프로세서(200)는 상기 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출할 수 있다. 이 경우 상기 프로세서(200)는 상기 중첩기준점을 중심으로 상기 영상들을 합성한다.
중첩기준점은 상기 인접한 카메라들이 촬영한 영상 내에서 공통된 특징점을 의미하며, 상기 공통된 특징점은 상기 영상 중 중첩된 부분에서 구조물(L), 선박(S), 수면, 자연물 등으로부터 검출될 수 있다.
이 경우 인접한 카메라들이 촬영한 영상들은 상기 중첩기준점이 서로 일치하도록 합성되는 것이 바람직하다.
예를 들어, 상기 중첩기준점은 이미지 또는 영상을 분석하여 픽셀을 비교하거나 내포된 특성을 패턴화하여 비교함으로써 검출할 수 있다.
또한, 상기 프로세서(200)는 상기 합성영상에서 상기 제1기준선이 폐곡선을 이루도록 영상을 합성하거나 상기 합성영상에서 상기 제2기준선이 폐곡선을 이루도록 영상을 합성할 수 있다. 이에 따라 합성영상은 선박(S)의 전 방위를 나타낼 수 있다.
이 경우 상기 프로세서(200)는 상기 합성영상에서 상기 제1기준선 및/또는 제2기준선이 폐곡선을 만족하는지 여부를 판단하고, 상기 폐곡선을 만족하는 경우 변환 행렬에 기초하여 탑 뷰 영상을 생성하기 위한 룩 업 테이블을 산출할 수 있다.
상기 제1기준선 및/또는 제2기준선의 폐곡선 만족 여부는 순차적으로 판단할 수 있으며, 폐곡선을 만족하지 않는 경우라도 설정된 오차 범위 내라면 상기 룩 업 테이블을 산출할 수 있다.
또한, 프로세서(200)는 제1기준선 또는 제2기준선이 폐곡선을 만족하지 않는 경우, 오차를 각각의 영상 또는 합성영상에 분배할 수 있다. 예컨대 1번 카메라에서 촬영한 영상1과 N번 카메라에서 촬영한 영상N이 제1기준선 또는 제2기준선에서 D의 오차를 갖는 경우 상기 프로세서(200)는 D의 오차를 N으로 분할하여 영상1과 영상2, 영상2와 영상3, ... , 영상N-1과 영상N, 영상N과 영상1에 각각 또는 합성영상에 반영할 수 있다.
본 발명의 일 실시예에 따른 선박용 카메라 교정 시스템은 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 이용 가능한 카메라 교정 시스템에 있어서, 선박(S)에 설치되며 다수의 카메라들을 통해 영상을 촬영하는 촬영부(100), 상기 카메라에서 촬영된 영상을 기반으로 카메라를 교정하기 위한 프로그램이 저장된 메모리(300), 상기 메모리(300)에 저장된 프로그램을 실행시키는 프로세서(200)를 포함하고, 상기 프로세서(200)가 상기 프로그램을 실행시킴에 따라, 상기 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하고, 상기 카메라들이 촬영한 영상에서 상기 제1기준선끼리 연속되도록 카메라를 교정하고 상기 제2기준선끼리 연속되도록 카메라를 교정한다.
또한, 상기 프로세서(200)는 상기 선박(S)의 선체와 물(W)의 경계선을 상기 제1기준선으로 검출하고, 상기 물(W)과 육지(L)의 경계선 또는 상기 물(W)과 수상에 위치된 구조물(L)의 경계선을 상기 제2기준선으로 검출할 수 있으며, 상기 촬영부(100)는 인접한 카메라들이 촬영한 영상 중 일부가 서로 중첩되도록 영상을 촬영할 수 있다.
또한, 상기 프로세서(200)는 상기 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출하고, 상기 중첩기준점을 중심으로 상기 인접한 카메라들이 촬영한 영상들을 합성되도록 카메라를 교정할 수 있다.
또한, 상기 프로세서(200)는 상기 다수의 카메라들이 촬영한 영상들에서 상기 제1기준선 또는 상기 제2기준선이 폐곡선을 이루도록 카메라를 교정할 수 있다.
본 발명의 선박용 카메라 교정 시스템에서 설명된 구성과 각 구성의 기능 및 실시예는 상기 프로세서(200)와 메모리(300)를 통해 카메라를 교정하는 내용을 제외하고 상술한 선박용 카메라 영상 합성 시스템에서 설명한 바와 동일할 수 있다.
도 6은 본 발명의 일 실시예에 따른 카메라 교정방법을 나타낸 순서도이고, 도 7은 본 발명의 일 실시예에 따른 카메라 교정방법을 나타낸 개념도이다.
도 6 및 도 7을 참조하면, 본 발명의 일 실시예에 따른 선박용 카메라 교정방법은 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 이용 가능한 카메라 교정방법에 있어서, 선박(S)에 설치된 다수의 카메라들을 통해 영상을 촬영하는 촬영단계(S100), 상기 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하는 검출단계(S200) 및 상기 다수의 카메라 중 인접한 카메라를 통해 촬영된 영상에서 상기 제1기준선끼리 연속되고 상기 제2기준선끼리 연속되도록 상기 카메라를 교정하는 교정단계(S300)를 포함한다.
본 발명의 카메라 교정방법에서, 촬영단계(S100)는 상술한 촬영부(100)가, 검출단계(S200)와 교정단계(S300)는 상술한 프로세서(200)와 메모리(300)가 이용될 수 있다.
촬영단계(S100)는 선박(S)에 설치된 다수의 카메라를 통해 선박(S) 주변의 영상을 촬영하는 단계로, 상기 카메라를 통해 촬영된 영상은 선박(S)의 선체, 물 및 육지(또는 구조물(L))를 포함하고, 인접한 카메라에서 촬영한 영상들은 일부가 중첩되는 것이 바람직하다. 상기 중첩된 일부는 촬영한 영상의 20% 이상일 수 있다.
검출단계(S200)는 상기 다수의 카메라를 통해 촬영한 각 영상에서 제1기준선과 제2기준선을 검출하는 단계로, 상기 제1기준선은 상술한 물(W)과 선체의 경계선일 수 있으며 제2기준선은 상술한 물(W)과 육지(L) 또는 물(W)과 구조물(L)의 경계선일 수 있다. 제1기준선과 제2기준선은 촬영한 영상을 분석하거나 인접한 카메라들이 촬영한 영상에서 공통된 특징점을 추출하여 획득할 수 있다.
상기 검출단계(S200)에서 상기 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출할 수 있다. 상기 중첩기준점은 상기 선박용 카메라 영상 합성 시스템에서 설명한 바와 같다.
교정단계(S300)는 상기 인접한 카메라를 통해 촬영된 영상에서 제1기준선끼리 연속되고 제2기준선끼리 연속되도록 상기 카메라를 교정하는 단계로, 상기 제1기준선끼리의 연속은 인접한 카메라의 촬영 영상 내에서 중첩된 부분의 제1기준선들이 일치하는 비율이 최대가 되도록 하고, 제2기준선끼리의 연속은 인접한 카메라의 촬영 영상 내에서 중첩된 부분의 제2기준선들이 일치하는 비율이 최대가 되도록 한다.
또한, 상기 교정단계(S300)는 상기 인접한 카메라를 통해 촬영한 영상들의 중첩기준점이 서로 일치하도록 카메라를 교정할 수 있다.
상기 카메라 교정방법은 카메라를 선박(S)에 설치 후 1회 수행될 수 있으며, 1회 수행 시 룩 업 테이블을 산출하기 위한 영상의 변환 행렬과 각 영상의 중첩 정보가 포함된 교정 파라미터가 저장된 후 추후 각 영상의 합성 과정에 이용될 수 있다. 물론 상기 카메라 교정방법은 선박(S)의 운항 조건이나 상태에 따라 계속적으로 수행하여도 무방하다.
본 발명의 카메라 교정방법은 상술한 카메라 영상 합성 시스템과 동시에 또는 순차적으로 수행될 수 있다.
100 : 촬영부
200 : 프로세서
300 : 메모리
S : 선박
L : 구조물
W : 물
S100 : 촬영단계
S200 : 검출단계
S300 : 교정단계

Claims (8)

  1. 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)에 이용 가능한 카메라 영상 합성 시스템에 있어서,
    선박에 설치되며 다수의 카메라들을 통해 영상을 촬영하는 촬영부;
    상기 카메라에서 촬영된 영상을 합성하기 위한 프로그램이 저장된 메모리;
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서;를 포함하고,
    상기 프로세서가 상기 프로그램을 실행시킴에 따라, 상기 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하고, 상기 카메라들이 촬영한 영상에서 상기 제1기준선끼리 연속되도록 합성하고 상기 제2기준선끼리 연속되도록 합성하여 합성영상을 생성하는 것을 특징으로 하며,
    상기 프로세서는 상기 선박의 선체와 물의 경계선을 상기 제1기준선으로 검출하고, 상기 물과 육지의 경계선 또는 상기 물과 수상에 위치된 구조물의 경계선을 상기 제2기준선으로 검출하는 것을 특징으로 하는 선박용 카메라 영상 합성 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 촬영부는 인접한 카메라들이 촬영한 영상 중 일부가 서로 중첩되도록 영상을 촬영하는 것을 특징으로 하는 선박용 카메라 영상 합성 시스템.
  4. 제 3항에 있어서,
    상기 프로세서는 상기 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출하고, 상기 중첩기준점을 중심으로 상기 인접한 카메라들이 촬영한 영상들을 합성하는 것을 특징으로 하는 선박용 카메라 영상 합성 시스템.
  5. 제 1항에 있어서,
    상기 프로세서는 상기 합성영상에서 상기 제1기준선이 폐곡선을 이루도록 영상들을 합성하는 것을 특징으로 하는 선박용 카메라 영상 합성 시스템.
  6. 제 1항에 있어서,
    상기 프로세서는 상기 합성영상에서 상기 제2기준선이 폐곡선을 이루도록 영상들을 합성하는 것을 특징으로 하는 선박용 카메라 영상 합성 시스템.
  7. 제 1항, 제 3항 내지 제 6항 중 어느 하나의 항에 기재된 선박용 카메라 영상 합성 시스템을 이용한 카메라 교정방법에 있어서,
    선박에 설치된 다수의 카메라들을 통해 영상을 촬영하는 촬영단계;
    상기 카메라에서 촬영된 각 영상으로부터 제1기준선 및 제2기준선을 검출하는 검출단계; 및
    상기 다수의 카메라 중 인접한 카메라를 통해 촬영된 영상에서 상기 제1기준선끼리 연속되고 상기 제2기준선끼리 연속되도록 상기 카메라를 교정하는 교정단계;를 포함하는 것을 특징으로 하는 선박용 카메라 교정방법.
  8. 제 7항에 있어서,
    상기 검출단계에서 상기 인접한 카메라들이 촬영한 영상 내의 중첩된 일부에서 적어도 하나 이상의 중첩기준점을 검출하고,
    상기 교정단계에서 상기 인접한 카메라들의 상기 중첩기준점이 일치하도록 카메라를 교정하는 것을 특징으로 하는 선박용 카메라 교정방법.
KR1020190069193A 2019-06-12 2019-06-12 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법 KR102052013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190069193A KR102052013B1 (ko) 2019-06-12 2019-06-12 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190069193A KR102052013B1 (ko) 2019-06-12 2019-06-12 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법

Publications (1)

Publication Number Publication Date
KR102052013B1 true KR102052013B1 (ko) 2019-12-04

Family

ID=69004280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190069193A KR102052013B1 (ko) 2019-06-12 2019-06-12 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법

Country Status (1)

Country Link
KR (1) KR102052013B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136807A (ko) * 2020-05-08 2021-11-17 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박
KR20220028273A (ko) 2020-08-28 2022-03-08 삼성중공업 주식회사 스마트 선박용 비전 시스템
KR20220084790A (ko) * 2020-12-14 2022-06-21 건국대학교 산학협력단 3차원 공간정보 생성을 위한 병렬처리 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225761A1 (en) * 2008-08-07 2010-09-09 Sanyo Electric Co., Ltd. Maneuvering Assisting Apparatus
KR20140033803A (ko) 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20140072800A (ko) * 2012-12-05 2014-06-13 삼성전자주식회사 촬영 장치 및 그 촬영 방법
KR20160004113A (ko) * 2014-07-02 2016-01-12 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR20170133010A (ko) 2016-05-25 2017-12-05 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR101933185B1 (ko) 2012-05-23 2018-12-27 현대모비스 주식회사 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법
KR101964864B1 (ko) 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225761A1 (en) * 2008-08-07 2010-09-09 Sanyo Electric Co., Ltd. Maneuvering Assisting Apparatus
KR101933185B1 (ko) 2012-05-23 2018-12-27 현대모비스 주식회사 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법
KR20140033803A (ko) 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20140072800A (ko) * 2012-12-05 2014-06-13 삼성전자주식회사 촬영 장치 및 그 촬영 방법
KR20160004113A (ko) * 2014-07-02 2016-01-12 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR20170133010A (ko) 2016-05-25 2017-12-05 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR101964864B1 (ko) 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136807A (ko) * 2020-05-08 2021-11-17 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박
KR20210136806A (ko) * 2020-05-08 2021-11-17 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박
KR102428892B1 (ko) * 2020-05-08 2022-08-04 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박
KR102428886B1 (ko) * 2020-05-08 2022-08-04 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박
KR20220028273A (ko) 2020-08-28 2022-03-08 삼성중공업 주식회사 스마트 선박용 비전 시스템
KR20220084790A (ko) * 2020-12-14 2022-06-21 건국대학교 산학협력단 3차원 공간정보 생성을 위한 병렬처리 장치 및 방법
KR102520375B1 (ko) 2020-12-14 2023-04-11 건국대학교 산학협력단 3차원 공간정보 생성을 위한 병렬처리 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102052013B1 (ko) 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법
JP5213880B2 (ja) パノラマ画像処理システム
CN113301274B (zh) 一种船舶实时视频全景拼接方法及系统
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US8855441B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
EP2482557B1 (en) Driving support display device
US9667864B2 (en) Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
US9185281B2 (en) Camera platform system
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
JP2009100095A (ja) 画像処理装置及び画像処理方法
WO2014034364A1 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
JP2009151524A (ja) 画像表示方法および画像表示装置
CN107113376A (zh) 一种图像处理方法、装置及摄像机
JP7038729B2 (ja) 画像合成装置および画像合成方法
US20180268521A1 (en) System and method for stitching images
JP2010041530A (ja) 操縦支援装置
US9682655B2 (en) Method and device for operating a vehicle
JP6628389B2 (ja) 操船支援システム及びそのシステムを搭載した船舶
JP6965450B2 (ja) 撮影計画提示装置および方法
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
US11323635B2 (en) Imaging device including distance calculator for ship and ship including the imaging device
JP2020148811A (ja) 船舶の撮影装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP2019186597A (ja) 移動体の周辺確認システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant