KR20210037030A - 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법 - Google Patents

선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법 Download PDF

Info

Publication number
KR20210037030A
KR20210037030A KR1020190118458A KR20190118458A KR20210037030A KR 20210037030 A KR20210037030 A KR 20210037030A KR 1020190118458 A KR1020190118458 A KR 1020190118458A KR 20190118458 A KR20190118458 A KR 20190118458A KR 20210037030 A KR20210037030 A KR 20210037030A
Authority
KR
South Korea
Prior art keywords
image
actual
initial
pixels
ship
Prior art date
Application number
KR1020190118458A
Other languages
English (en)
Other versions
KR102258207B1 (ko
Inventor
김대희
김현빈
공태인
김성진
이은규
Original Assignee
주식회사 삼우이머션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 삼우이머션 filed Critical 주식회사 삼우이머션
Priority to KR1020190118458A priority Critical patent/KR102258207B1/ko
Publication of KR20210037030A publication Critical patent/KR20210037030A/ko
Application granted granted Critical
Publication of KR102258207B1 publication Critical patent/KR102258207B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것으로서, 광각 카메라를 통해 입력된 화상 이미지를 후처리 가공한 후에 픽셀 간의 실제 떨어진 거리를 일치시켜 화상 병합하고, 이 화상 병합한 영상 이미지와 자선 주위에 탐색된 위험물을 동시에 운용자에게 보여주도록 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것이다. 이를 위해 선박의 기 설정된 장소에 배치된 복수의 광각 카메라부로부터 픽셀 간의 거리측정을 위한 기준 이미지가 포함된 각각의 초기 영상 이미지를 각각 획득하여 초기 영상 이미지를 가공하고, 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 기준 이미지를 통해 도출하는 단계, 복수의 광각 카메라로부터 실제 영상 이미지를 각각 획득하여 실제 영상 이미지를 가공하고, 각각의 가공된 실제 영상 이미지를 병합하는 단계, 및 선박의 주변에 위치한 타선의 위치정보 및 움직임 정보를 토대로 제1 삽입 객체 이미지를 생성하고, 해안선 정보를 토대로 제2 삽입 객체 이미지를 생성하여 병합 이미지와 함께 표시함으로써 시각화 하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법이 개시된다.

Description

선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법{Method for providing every side viewing angle}
본 발명은 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것으로서, 보다 상세하게는 광각 카메라를 통해 입력된 화상 이미지를 후처리 가공한 후에 픽셀 간의 실제 떨어진 거리를 일치시켜 화상 병합하고, 이 화상 병합한 영상 이미지와 자선 주위에 탐색된 위험물을 동시에 운용자에게 보여주도록 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것이다.
일반적으로 선박은 육상의 운송수단과 달리 질량이 크고, 급격한 가/감속 운동이 불가능하고, 유체 위에서 운동하는 선박은 제동거리가 길기 때문에 선박의 접안 및 이안 시는 충돌의 위험성이 가장 높다.
차량의 AVM(Around View Moniter)은 차량의 주차 시 충돌 위험을 줄이기 위해 시야를 제공하는 시스템으로서 4개(혹은 그 이상)의 카메라에서 입력된 화상을 평면화상으로 변형하여 병합함으로써 전방위 시야를 제공한다. 이때, 초광각 카메라는 화상 중앙에서 멀어질수록 화상의 왜곡이 심해지고 실제 화상 정보를 담지 못하는 영역이 발생하므로 차체로부터 충분한 거리의 평면화상을 얻을 수 없는 문제점이 있다.
한편, 선박은 유체 위에서 운동하므로 제동거리가 차량보다 훨씬 크지고, 따라서 차량보다 훨씬 넓은 범위의 평면 화상을 얻어야 할 필요성이 대두된다.
대한민국 등록특허공보 10-1812994(발명의 명칭 : 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법)
따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 체스보드 등을 이용하여 획득된 영상 이미지의 화소 간 거리를 맞추고, 이를 통해 실제 영상 이미지를 병합하여 제공함과 동시에 자선 주위의 위험물을 동시에 운용자에게 표시할 수 있어 충돌 위험을 방지할 수 있는 발명을 제공하는데 그 목적이 있다.
그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 본 발명의 목적은, 선박의 기 설정된 장소에 배치된 복수의 광각 카메라부로부터 픽셀 간의 거리측정을 위한 기준 이미지가 포함된 각각의 초기 영상 이미지를 각각 획득하여 초기 영상 이미지를 가공하고, 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 기준 이미지를 통해 도출하는 단계, 복수의 광각 카메라로부터 실제 영상 이미지를 각각 획득하여 실제 영상 이미지를 가공하고, 각각의 가공된 실제 영상 이미지를 병합하는 단계, 및 선박의 주변에 위치한 타선의 위치정보 및 움직임 정보를 토대로 제1 삽입 객체 이미지를 생성하고, 해안선 정보를 토대로 제2 삽입 객체 이미지를 생성하여 병합 이미지와 함께 표시함으로써 시각화 하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법을 제공함으로써 달성될 수 있다.
또한, 기준 이미지는 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 측정하기 위해 복수의 광각 카메라가 비추는 영역에 임의로 각각 배치한 거리 측정용 기준 객체의 영상 이미지이다.
또한, 초기 영상 이미지를 가공하는 단계는 광각 카메라부로부터 기준 이미지가 포함된 초기 영상 이미지를 획득하는 단계, 초기 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및 투사 변환을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성하는 단계를 포함한다.
또한, 픽셀 간의 실제 거리 도출은 방사 왜곡 보정된 이미지에 포함된 기준 이미지의 4개 꼭지점을 인식하는 단계, 기준 이미지의 4개 꼭지점을 초기 평면 화상 이미지의 임의의 영역에 배치 결정함으로써 도출된 꼭지점 배치 좌표를 도출하는 단계, 꼭지점 배치 좌표를 기준으로 투사변환 행렬식을 통해 변환상수 8개를 산출하는 단계, 8개의 변환상수와 좌표변환식을 통해 방사 왜곡 보정된 이미지를 초기 평면 화상 이미지로 좌표 변환하는 단계, 및 기준 이미지의 실제 크기 정보와 초기 평면 화상 이미지에 포함된 기준 이미지의 픽셀 수를 이용하여 평면 화상 이미지의 픽셀 간의 실제 거리를 도출하는 단계를 포함한다.
또한, 실제 영상 이미지를 가공하는 단계는 광각 카메라부로부터 기준 이미지가 포함되지 않은 실제 영상 이미지를 획득하는 단계, 실제 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및 투사 변환을 이용하여 방사 왜곡 보정된 실제 영상 이미지를 평면 화상으로 변환하여 실제 평면 화상 이미지를 생성하는 단계를 포함한다.
또한, 실제 영상 이미지를 병합하는 단계는 복수의 실제 평면 화상 이미지를 기 설정된 알고리즘을 통해 이미지 병합한다.
또한, 시각화 하는 단계는 제1,2 삽입 객체 이미지를 픽셀 간의 실제 거리 정보를 기초로 병합 이미지와 함께 표시한다.
전술한 바와 같은 본 발명에 의하면 체스보드 등을 이용하여 획득된 영상 이미지의 화소 간 거리를 맞추고, 이를 통해 실제 영상 이미지를 병합하여 제공함과 동시에 자선 주위의 위험물을 동시에 운용자에게 표시할 수 있어 접안 및 이안 보조를 위한 주변 환경을 시각화 하여 충돌 위험을 방지할 수 있는 효과가 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 선박의 기 설정된 장소 10개소에 각각 광각 카메라를 설치하고, 각 광각 카메라의 영상 이미지를 일예를 들어 도시한 것이고,
도 2는 본 발명의 일실시예에 따른 방사 왜곡 보정을 설명하기 위한 도면이고,
도 3은 본 발명의 일실시예에 따른 투사 변환을 이용하여 평면 화상으로 변환한 것을 도시한 것이고,
도 4는 본 발명의 일실시예에 따른 알파 맵 알고리즘을 통해 화상을 병합하고, 각 화상의 경계를 도시한 것이고,
도 5는 본 발명의 일실시예에 따른 해안선 및 타선의 아이콘과 함께 병합 영상을 운용자에게 표시하는 화면을 나타낸 것이고,
도 6은 본 발명의 일실시예에 따른 타선의 움직임에 따른 각각의 다양한 아이콘 모양을 일예로서 도시한 것이고,
도 7(a) 및 (b)는 각 영역에서 촬영된 이미지(체스보드 및 주차라인 등)의 화면상 크기가 다른 것을 도시한 것이고, 도 7(c) 및 (d)는 이미지의 크기를 일치시킨 것을 도시한 것이고,
도 8(a)는 제1 광각 카메라와 제2 광각 카메라가 서로 대칭된 위치에 대칭된 각도로 배치되어 있음을 나타내고, 도 8(b)는 제1 광각 카메라에서 촬영된 영상 이미지이고, 도 8(c)는 제2 광각 카메라에서 촬영된 영상 이미지이고,
도 9는 제2 광각 카메라에 의해 촬영된 체스보드가 포함된 이미지를 투사 변환한 것이고,
도 10은 제1 광각 카메라에 의해 촬영된 체스보드가 포함되지 않은 이미지를 제2 광각 카메라의 투사 변환 좌표를 이용하여 대칭이동한 것을 도시한 것이고,
도 11(a) 및 (b)는 임의의 장소에서 체스보드(11)를 배치하여 광각 카메라를 통해 촬영한 이미지를 나타낸 것이고,
도 12는 도 11의 영상을 투사 변환한 도면이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다. 또한, 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다.
본 발명의 일실시예에 따른 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법은 선박의 접안 및 이안 시에 선박의 주변영역에 대한 전방위 시야를 효과적으로 표시하여 충돌 위험을 방지하기 위한 발명에 관한 것이다. 이하에서는 첨부된 도면을 참고하여 본 발명의 일실시예에 따른 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법을 설명하기로 한다.
선박의 주변영역에 대한 전방위 시야를 제공하기 위해 도 1에 도시된 바와 같이 선박의 기 정해진 10개소에 광각 카메라를 설치한다. 광각 카메라는 각각 구획된 영역에서 선박의 전방, 후방, 좌측, 및 우측 영역을 각각 촬영한다. 복수의 광각 카메라에서 촬영된 영상 이미지는 도 4에 도시된 바와 같이 이미지 병합되어 운용자에게 표시된다. 도 1은 총 10개의 광각 카메라를 위해 촬영한 것을 도시한 것이나 선박의 주변영역을 전방위 촬영할 수 있다면 선박의 설치 환경에 따라 광각 카메라의 개수는 달라질 수 있다. 각각의 촬영된 영상은 영상 이미지 후처리 가공을 필요로 한다. 선박의 기 설정된 10개소에 광각 카메라가 설치되면 다음과 같이 전방위 시야 제공방법을 제공할 수 있다.
먼저, 광각 카메라부로부터 촬영된 영상의 이미지의 픽셀 간의 실제 거리를 도출하는 단계를 수행한다. 즉, 자선의 주위에 충돌 위험물(일예로서 타 선박)이 있는 경우에 이 충돌 위험물의 위치 및 방향을 전방위 영상과 함께 정확하게 표시하기 위해서는 광각 카메라로부터 얻은 이미지의 픽셀 간의 실제 거리를 산출해야 한다.
영상 이미지의 픽셀 간의 실제 거리를 도출하기 위해, 도 1에 도시된 바와 같이 10대의 광각 카메라가 선박의 기 설정된 위치에 설치되어 각각 선박의 주변영역을 촬영한다. 이때, "체스판(11)"과 같은 거리 측정용 기준 이미지를 임의적으로 배치하여 촬영하도록 함으로써 촬영 영상 이미지(110c)에 체스판(11)이 함께 촬영되도록 한다. 체스판(11)을 광각 카메라의 촬영영역에 임의 배치시에 체스판(11)의 실제 크기 정보를 알고 있기 때문에 픽셀 간의 실제 거리를 도출할 때 이 크기 정보가 사용된다. 상술한 체스판(11)은 설명의 편의를 위하여 일예를 들어 설명한 것으로서 카메라의 촬영영역의 다른 사물과 구별 또는 식별될 수 있는 다른 객체를 미리 임의로 배치하는 것도 가능하다.
광각 카메라부를 통해 촬영된 기준 이미지가 포함된 각각의 초기 영상 이미지는 이하에서 후처리 가공을 필요로 한다. 초기 영상 이미지를 가공하는 단계는 초기 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및 투사 변환을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성하는 단계를 포함한다. 이하에서 자세히 설명하기로 한다.
방사 왜곡 보정 단계는 방사 왜곡 보정부를 통해 수행된다. 광각 카메라부를 통해 촬영된 기준 이미지가 포함된 각각의 초기 영상 이미지는 도 2(a) 또는 도 2(c)에 도시된 바와 같이 영상 이미지가 곡률지게 된다. 이러한 영상 이미지의 곡률을 방사 왜곡 보정을 통해 도 2(b) 또는 도 2(d)와 같이 이미지 보정을 한다.
좀 더 자세히 수학식을 통해 설명하면, 방사 왜곡 보정(Radial Distortion Correction) 행렬변환식을 이용하여 xp_u, yp_u를 각각의 xp_d, yp_d에 대응시켜 화상의 곡면 왜곡을 보정한다. xp_u, yp_u는 각각 보정이 완료된 이미지의 임의 좌표의 x성분과 y성분을 의미한다. xp_d, yp_d는 각각 원본 이미지의 해당 좌표의 x성분과 y성분을 의미한다.
Figure pat00001
상술한 수학식 1에서 xn_u, yn_u는 보정이 완료된 이미지의 정규화 좌표의 x성분, y성분이고, fx, fy는 수평 초점거리와 수직 초점거리(초점거리: 카메라 장치의 렌즈로부터 이미지 센서까지의 거리)이며(단위는 픽셀(pixel)), cx, cy는 주점(카메라 렌즈의 중심에서 이미지 센서에 내린 수선의 발의 영상좌표)의 좌표의 x성분, y성분이며(단위는 픽셀), skew_c는 비대칭계수(이미지 센서의 Y축 방향이 실제 영상의 세로축과 이루는 각도의 tan값)이고, xp_u, yp_u는 보정이 완료된 이미지 좌표의 x성분, y성분이다.
수학식 1로부터 다음과 같이 수학식 2를 구할 수 있다.
Figure pat00002
또한, xn_u와 yn_u로부터 해당 좌표의 이미지 중심에서부터의 거리 ru를 다음의 수학식 3과 같이 구할 수 있다.
Figure pat00003
xn_d와 yn_d는 각각 원본 이미지의 정규화 좌표의 x성분과 y성분이며, 수학식 2와 수학식 3으로부터 다음의 수학식 4를 구할 수 있다.
Figure pat00004
이때, k1,k2,k3는 이미지에서 얻는 방사왜곡계수(Radial Distortion Coeffic ient)로서 중심으로부터의 일정 거리에 따라 왜곡되는 정도를 나타내며, p1,p2는 이미지에서 얻는 접선왜곡계수(Tangential Distortion Coefficient)로서 이미지 센서와 렌즈간의 수평 불일치로 나타나는 왜곡을 나타낸다.
xp_d와 yp_d는 각각 원본 이미지 좌표의 x성분, y성분이며, xp_u와 yp_u에 들어갈 원본 이미지 좌표를 다음의 수학식 5와 같이 구할 수 있다.
Figure pat00005
이상의 과정을 통해 방사 왜곡 보정에 필요한 각종 상수들(fx, fy, cx, cy, skew_c, k1, k2, k3, p1, p2)로부터 방사 왜곡 보정 이후의 이미지의 좌표(xp_u, yp_u)에 대응하는 방사 왜곡 보정 이전의 이미지의 좌표(xp_d, yp_d)를 산출할 수 있다.
상술한 수학식 1 내지 수학식 5를 거쳐 도 2(a) 또는 도 2(c)의 곡률 화상을 도 2(b) 또는 도 2(d)로 방사 왜곡 보정을 할 수 있다. 다만, 도 2에는 체스판(11)이 도시되어 있지는 않았으나 방사 왜곡 보정의 원리는 동일하게 적용된다.
방사 왜곡 보정 후에 투사 변환부는 투사 변환 알고리즘을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성한다. 상술한 방사 왜곡 보정을 거치면 도 3(a) 또는 도 3(c)와 같이 보정 가공이 된다. 도 3(a) 또는 도 3(c)의 이미지를 도 3(b) 또는 도 3(d)의 평면 이미지로 변환하기 위해 투사 변환을 이용한다. 투사 변환(Perspective Transform)을 이용하기 위해 도 3(c)에 도시된 체스보드(11, Chess Board)의 네 꼭짓점을 인식하여 꼭지점 좌표(x1,y1),(x2,y2),(x3,y3),(x4,y4)를 산출한다.
다음으로, 체스보드(11)의 네 꼭짓점을 도 3(d)의 이미지의 임의의 선택된 영역에 배치 결정함으로써 꼭짓점 배치 좌표인 화면상 좌표 (x'1,y'1),(x'2,y'2),(x'3,y'3), (x'4,y'4)를 산출한다.
다음으로, 꼭짓점 배치 좌표를 기준으로 다음의 투사변환 행렬식인 수학식 6을 통해 변환상수 8개를 산출한다.
Figure pat00006
이때, 우변의 8*8 행렬은 투사 변환 행렬이며, x1,x2,x3,x4,y1,y2,y3,y4는 각각 투사 변환 이전 이미지의 꼭짓점 좌표의 x성분과 y성분을 뜻하고, x'1,x'2,x'3,x'4, y'1,y'2,y'3,y'4는 각각 투사 변환 이후 이미지의 꼭짓점 배치 좌표의 x성분과 y성분을 뜻하고, a,b,c,d,e,f,g,h는 각각 투사 변환 수행 시 필요한 8개의 변환상수들이다.
다음으로, 변환상수 8개와 좌표변환 식인 수학식 7을 이용하여 방사 왜곡 보정된 이미지를 투사 변환하여 초기 평면 화상 이미지로 좌표 변환한다. 이와 같이 투사 변환을 이용하면 도 3(d)와 같이 평면 화상으로 변환된다.
Figure pat00007
x,y는 투사 변환 이전 이미지의 임의의 좌표의 x성분과 y성분이며, x',y'는 투사 변환 이후의 x,y에 대응하는 좌표의 x성분과 y성분이고, 8개의 변환상수를 이용하여 (x1,y1)과 같은 특정 좌표가 아닌 임의의 좌표에 대한 변환 좌표를 산출할 수 있다.
이상의 과정을 통하여 4개의 기준 좌표(x1,y1),(x2,y2),(x3,y3),(x4,y4)와 4개의 변환좌표(x'1,y'1),(x'2,y'2),(x'3,y'3),(x'4,y'4)를 이용하여 임의의 변환 전 좌표(x,y)에 대응하는 변환 후 좌표(x',y')를 산출할 수 있다.
도 3(d)와 같이 투사 변환이 완료되면 영상 이미지는 평면 화상으로 변환된다. 따라서 도 3(d)와 같은 투사변환 완료된 이미지의 픽셀 간의 실제 거리 도출은 체스보드(11)의 실제 크기 정보와 투사 변환이 완료된 평면 이미지에 포함된 체스보드 이미지의 픽셀 수를 이용하여 평면 화상 이미지의 픽셀 간의 실제 거리를 도출한다.
한편, 10대의 광각 카메라부로부터 입력된 각각의 영상 이미지를 상술한 수학식 1 내지 수학식 7에 의해 투사 변환되어 도 3(d)와 같은 초기 평면 화상 이미지를 생성하고, 또한, 각각의 이미지의 픽셀 간의 실제 거리가 일치된다. 각 이미지의 픽셀 간의 실제 거리가 일치되기 때문에 영상 이미지를 병합할 수 있는 장점이 있다.
여기서, 도 7(a) 및 (b)에 도시된 바와 같이 제1 영역과 제2 영역에서 각각 촬영한 체스보드(11)의 화면상 크기가 다름을 알 수 있으며, 이렇게 되면 두 이미지를 영상 병합하여 각 픽셀의 떨어진 거리가 실제 거리와 매칭되도록 할 수 없다. 따라서 두 이미지에 같은 비율의 적용을 위해 한쪽 이미지의 크기를 조절한다. 즉, 도 7(c) 및 (d)에 도시된 바와 같이 오른쪽 이미지의 체스보드와 왼쪽 이미지의 체스보드가 같은 크기가 되도록 이미지를 확대하면(양쪽 이미지 상의 주차라인의 넓이가 거의 비슷해짐을 확인할 수 있음) 체스보드의 화면 상 크기가 같음을 알 수 있고, 결론적으로 각 픽셀의 떨어진 거리를 일치시킬 수 있다.
한편, "체스보드(11)"를 각 카메라의 영역에 모두 배치할 수 있는 경우에는 상술한 설명을 통해 투사 변환을 수행한다. 이와 달리 광각 카메라의 설치 환경에 따라 "체스보드(11)"을 배치할 수 없는 경우(일예로서 카메라가 바다를 비추는 경우)에는 다음의 2가지 경우를 나누어 설명하기로 한다.
제1 예로서, 체스보드가 포함된 이미지의 투사 변환시의 좌표 값을 이용하여 대칭되는 이미지를 대칭 이동한다. 즉, 도 8(a)에 도시된 대칭 위치 및 대칭 각도로 배치된 제1,2 광각 카메라를 통해 획득한 제1,2 이미지는 도 8(b) 및 도 8(c)와 같다. 제1 이미지는 체스보드(11)가 포함되지 않은 이미지이고, 제2 이미지는 체스보드(11)가 포함된 이미지이다. 먼저, 체스보드(11)가 포함된 제2 이미지를 방사 왜곡 보정 한 후에 도 9와 같이 투사 변환한다(이하에서 방사 왜곡 보정은 생략). 이때, 제2 이미지의 투사 변환시에 앞서 설명한 것과 같이 4개의 기준 좌표(x1,y1),(x2,y2),(x3,y3),(x4,y4)와 4개의 변환 좌표(x'1,y'1), (x'2,y'2),(x'3,y'3),(x'4,y'4)를 얻을 수 있다.
다음으로, 제2 이미지의 투사 변환시에 얻은 4개의 기준 좌표와 4개의 변환 좌표를 다음의 수학식 8에 적용하여 제1 이미지의 투사 변환을 수행할 수 있다.
Figure pat00008
xnew와 ynew는 체스보드 없이 투사변환을 수행할 제1 이미지의 새로운 기준 좌표의 x성분과 y성분이고, x'new와 y'new는 체스보드 없이 투사변환을 수행할 이미지의 새로운 변환 좌표의 x성분과 y성분이며, sizew는 이미지의 가로 픽셀 수, sizeh는 이미지의 세로 픽셀 수를 의미한다.
제2 예로서, 앞서 대칭을 이용할 수도 없는 경우에는 체스보드를 설치가 가능한 임의의 지점에 설치하여 투사 변환 상수를 구한 후에 실제 광각 카메라를 임의로 설치한 카메라의 조건과 같게 설치함으로써 이 투사 변환 상수를 이용하여 투사 변환을 수행할 수 있다. 따라서 체스보드를 배치할 수 없는 곳에서도 투사 변환이 가능하다.
즉, 도 11(a) 및 (b)는 임의의 장소에서 체스보드(11)를 배치하여 광각 카메라를 통해 촬영한 이미지를 나타낸 것이다. 도 11(b)의 이미지를 투사 변환하면 도 12와 같다. 이때, 투사 변환에 따른 8개의 변환상수를 얻을 수 있다. 다음으로 도 11과 같은 카메라의 설치 조건과 동일한 조건으로 선박의 기 정해진 장소에 광각 카메라를 설치한다. 이렇게 함으로써 체스보드를 배치할 수 없는 경우에 앞서 구한 8개의 변환상수를 이용하여 초기 영상 이미지의 투사 변환을 수행할 수 있다.
다음으로, 초기화 단계에서 도 3(d)의 이미지의 픽셀 간의 실제 거리 값을 산출한 후에 각 광각 카메라로부터 "체스보드(11)"가 포함되지 않은 실제 영상 이미지를 각각 획득하여 실제 영상 이미지를 후처리 가공한다. 이때, 실제 영상 이미지를 방사 왜곡 보정 가공하는 단계는 앞서 설명한 수학식 1 내지 5를 동일하게 이용하여 가공처리 한다. 그리고 투사 변환 단계에서는 실제 영상 이미지를 후처리 가공하기 때문에 체스보드(11)가 포함되지 않는다. 이에 따라 투사 변환을 수행하기 위해서 체스보드의 꼭지점 좌표를 얻을 수가 없다. 따라서 기존의 체스보드가 포함되었을 때의 8개의 변환상수 값을 가지고 수학식 7에 의해 투사 변환을 수행한다.
한편, 투사 변환을 수행하면 총 10대의 광각 카메라에 의해 실제 평면 화상 이미지가 10개가 생성된다. 그리고 도 4에 도시된 바와 같이 영상 병합부는 각각의 후처리 가공된 실제 영상 이미지 10개를 알파 맵 알고리즘을 이용하여 이미지 병합한다. 알파 맵 알고리즘은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 종래기술이 참조될 수 있다.
다음으로, 시각화부는 병합된 이미지와 선박 주변에 존재하는 위험물에 대한 정보를 함께 표시하여 시각화한다. 위험물은 자선 주변에 존재하는 타 선박이거나 또는 선박이 접안 또는 이안 시에 부딪힐 수 있는 해안선 등일 수 있다. 타 선박에 대한 위치정보 및 움직임 정보는 AIS 정보를 통해 얻을 수 있고, 해안선 정보는 전자해도를 통해 얻을 수 있다. 타 선박을 일예로 들어 병합된 이미지와 타 선박에 대한 정보를 함께 표시하여 시각화 하는 방법에 대해 이하에서 설명하기로 한다.
먼저, AIS 정보 공유를 통해 자선과 타선의 실제 좌표를 획득한다. 자선의 좌표를 기준으로 타선의 좌표를 계산하여 상대 좌표를 산출한다. 상대 좌표를 이용해서 자선의 중심으로부터 타선의 상대거리 및 상대 움직임 방향을 산출한다. 이때, 상술한 바와 같이 이미지의 픽셀 당 실제 거리를 미리 산출하여 알고 있음으로 타선의 상대거리가 이미지의 픽셀 당 실제 거리에 맞게 표시될 수 있다. 따라서 도 5와 같이 자선을 중심으로 타선의 떨어진 거리를 이미지의 축척에 맞게 정확하게 표시할 수 있다.
도 5는 운용자가 보는 화면 영상을 나타낸 것으로서 자선의 주변영역에서 촬영된 이미지를 기초로 10개의 화상 이미지가 병합되어 표시되면서 동시에 해안선(도면의 보라색 선 참조)과 타선(도면의 "HANBADA" 참조)이 축척에 맞게 도시된 것을 나타낸 것이다. 도 5는 설명의 편의를 위하여 이미지를 도시한 것이나 지속적으로 광각 카메라로부터 촬영된 영상이 병합되어 시각화됨으로써 접안 또는 이안 시의 충돌을 방지해 줄 수 있다.
한편, 광각 카메라는 주변영역을 촬영할 수 있는 한계 범위가 있다. 따라서 도 5의 검정색 영역은 실제로 광각 카메라가 촬영하지 못하는 더 넓은 범위의 자선 주변영역을 나타내는 영상 화면이다. 즉, 도 5의 영상 화면에는 10대의 광각 카메라에서 촬영된 영상이 병합되어 표시되는 영상과, 광각 카메라가 촬영하지 못하는 더 넓은 주변영역을 나타내는 영상이 함께 병합 표시된다. 따라서 운용자가 실제 자선을 접안하거나 이안시에 광각 카메라로부터 촬영되는 주변영역 뿐만 아니라 더 넓은 범위의 영역에 존재하는 위험물에 대해서 동시에 폭넓게 인지할 수 있는 장점이 있다. 도 6에 도시된 아이콘은 타선의 다양한 움직임에 대해 시각적으로 신속히 운영자에게 전달하기 위한 이미지로서 도 6(a),(b)는 "사각형" 형상을 나타내며 타선이 정지하고 있다는 것을 나타내고, 도 6(c),(d)는 "동그라미" 형상을 나타내며 타선이 움직이고 있다는 것을 나타낸다. 대략 화살표 형상으로 이루어진 이미지는 타선의 방향을 나타낸다.
본 발명을 설명함에 있어 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다. 또한, 상술한 본 발명의 구성요소는 본 발명의 설명의 편의를 위하여 설명하였을 뿐 여기에서 설명되지 아니한 구성요소가 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 추가될 수 있다.
상술한 각부의 구성 및 기능에 대한 설명은 설명의 편의를 위하여 서로 분리하여 설명하였을 뿐 필요에 따라 어느 한 구성 및 기능이 다른 구성요소로 통합되어 구현되거나, 또는 더 세분화되어 구현될 수도 있다.
이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다. 또한, 본 발명과 관련된 공지 기능 및 그 구성 또는 본 발명의 각 구성에 대한 결합관계에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
11 : 체스판 또는 체스보드
110a,...,110j : 각각의 광각 카메라 촬영 영상 이미지

Claims (7)

  1. 선박의 기 설정된 장소에 배치된 복수의 광각 카메라부로부터 픽셀 간의 거리측정을 위한 기준 이미지가 포함된 각각의 초기 영상 이미지를 각각 획득하여 상기 초기 영상 이미지를 가공하고, 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 상기 기준 이미지를 통해 도출하는 단계,
    상기 복수의 광각 카메라로부터 실제 영상 이미지를 각각 획득하여 상기 실제 영상 이미지를 가공하고, 각각의 가공된 실제 영상 이미지를 병합하는 단계, 및
    상기 선박의 주변에 위치한 타선의 위치정보 및 움직임 정보를 토대로 제1 삽입 객체 이미지를 생성하고, 해안선 정보를 토대로 제2 삽입 객체 이미지를 생성하여 병합 이미지와 함께 표시함으로써 시각화 하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
  2. 제 1 항에 있어서,
    상기 기준 이미지는,
    상기 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 측정하기 위해 상기 복수의 광각 카메라가 비추는 영역에 임의로 각각 배치한 거리 측정용 기준 객체의 영상 이미지인 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
  3. 제 1 항에 있어서,
    상기 초기 영상 이미지를 가공하는 단계는,
    상기 광각 카메라부로부터 상기 기준 이미지가 포함된 초기 영상 이미지를 획득하는 단계,
    상기 초기 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및
    투사 변환을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
  4. 제 3 항에 있어서,
    상기 픽셀 간의 실제 거리 도출은,
    상기 방사 왜곡 보정된 이미지에 포함된 상기 기준 이미지의 4개 꼭지점을 인식하는 단계,
    상기 기준 이미지의 4개 꼭지점을 상기 초기 평면 화상 이미지의 임의의 영역에 배치 결정함으로써 도출된 꼭지점 배치 좌표를 도출하는 단계,
    상기 꼭지점 배치 좌표를 기준으로 투사변환 행렬식을 통해 변환상수 8개를 산출하는 단계,
    상기 8개의 변환상수와 좌표변환식을 통해 상기 방사 왜곡 보정된 이미지를 상기 초기 평면 화상 이미지로 좌표 변환하는 단계, 및
    상기 기준 이미지의 실제 크기 정보와 상기 초기 평면 화상 이미지에 포함된 기준 이미지의 픽셀 수를 이용하여 상기 평면 화상 이미지의 픽셀 간의 실제 거리를 도출하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
  5. 제 1 항에 있어서,
    상기 실제 영상 이미지를 가공하는 단계는,
    상기 광각 카메라부로부터 상기 기준 이미지가 포함되지 않은 실제 영상 이미지를 획득하는 단계,
    상기 실제 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및
    투사 변환을 이용하여 방사 왜곡 보정된 실제 영상 이미지를 평면 화상으로 변환하여 실제 평면 화상 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
  6. 제 5 항에 있어서,
    상기 실제 영상 이미지를 병합하는 단계는,
    복수의 실제 평면 화상 이미지를 기 설정된 알고리즘을 통해 이미지 병합하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
  7. 제 6 항에 있어서,
    상기 시각화 하는 단계는,
    상기 제1,2 삽입 객체 이미지를 상기 픽셀 간의 실제 거리 정보를 기초로 상기 병합 이미지와 함께 표시하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
KR1020190118458A 2019-09-26 2019-09-26 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법 KR102258207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190118458A KR102258207B1 (ko) 2019-09-26 2019-09-26 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190118458A KR102258207B1 (ko) 2019-09-26 2019-09-26 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법

Publications (2)

Publication Number Publication Date
KR20210037030A true KR20210037030A (ko) 2021-04-06
KR102258207B1 KR102258207B1 (ko) 2021-05-31

Family

ID=75472774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190118458A KR102258207B1 (ko) 2019-09-26 2019-09-26 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법

Country Status (1)

Country Link
KR (1) KR102258207B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055350A (ko) 2022-10-20 2024-04-29 삼성중공업 주식회사 선박 주변 감지 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130134086A (ko) * 2012-05-30 2013-12-10 동의대학교 산학협력단 광각 카메라를 이용한 영상 시스템 및 그 방법
KR20150073676A (ko) * 2013-12-23 2015-07-01 에스엘 주식회사 차량용 왜곡 보정 장치 및 방법
KR20150076645A (ko) * 2013-12-27 2015-07-07 한국해양과학기술원 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법
KR101812994B1 (ko) 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130134086A (ko) * 2012-05-30 2013-12-10 동의대학교 산학협력단 광각 카메라를 이용한 영상 시스템 및 그 방법
KR20150073676A (ko) * 2013-12-23 2015-07-01 에스엘 주식회사 차량용 왜곡 보정 장치 및 방법
KR20150076645A (ko) * 2013-12-27 2015-07-07 한국해양과학기술원 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법
KR101812994B1 (ko) 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102258207B1 (ko) 2021-05-31

Similar Documents

Publication Publication Date Title
KR102126241B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US9529371B2 (en) Image projection system and image projection method
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
JP5108605B2 (ja) 運転支援システム及び車両
US8587612B2 (en) Method and system for providing augmented reality based on marker tracking, and non-transitory computer-readable medium thereof
EP3096286A1 (en) Image processing apparatus, image processing method, and computer program product
US8169309B2 (en) Image processing apparatus, driving support system, and image processing method
US11692949B2 (en) Break analysis apparatus and method
CN107532917B (zh) 显示控制装置和显示控制方法
US11188768B2 (en) Object detection apparatus, object detection method, and computer readable recording medium
US20200021727A1 (en) Camera parameter estimation device, method, and program
JP2023075366A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
CN110956660A (zh) 定位方法、机器人以及计算机存储介质
US11373335B2 (en) Camera parameter estimation device, method and program
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
WO2008114264A2 (en) A method and apparatus for video image stabilization
JP2017047794A (ja) ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
JP2011064566A (ja) 距離推定装置
KR102258207B1 (ko) 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법
JP4679293B2 (ja) 車載パノラマカメラシステム
JP2011024079A (ja) 周辺表示装置
JP2011087319A (ja) 車載パノラマカメラシステム
EP3557858B1 (en) Imaging device and imaging method
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant