KR20220131847A - 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법 - Google Patents

선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법 Download PDF

Info

Publication number
KR20220131847A
KR20220131847A KR1020220034833A KR20220034833A KR20220131847A KR 20220131847 A KR20220131847 A KR 20220131847A KR 1020220034833 A KR1020220034833 A KR 1020220034833A KR 20220034833 A KR20220034833 A KR 20220034833A KR 20220131847 A KR20220131847 A KR 20220131847A
Authority
KR
South Korea
Prior art keywords
image
information
view
robot
processing method
Prior art date
Application number
KR1020220034833A
Other languages
English (en)
Other versions
KR102479795B9 (ko
KR102479795B1 (ko
Inventor
이동욱
Original Assignee
주식회사 타스글로벌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 타스글로벌 filed Critical 주식회사 타스글로벌
Priority to CA3204574A priority Critical patent/CA3204574A1/en
Priority to JP2023539076A priority patent/JP2024513145A/ja
Priority to CN202280008401.4A priority patent/CN116671098A/zh
Priority to BR112023017447A priority patent/BR112023017447A2/pt
Priority to US17/790,796 priority patent/US20240169485A1/en
Priority to PCT/KR2022/003963 priority patent/WO2022203340A1/ko
Priority to EP22733501.5A priority patent/EP4319152A4/en
Publication of KR20220131847A publication Critical patent/KR20220131847A/ko
Application granted granted Critical
Publication of KR102479795B1 publication Critical patent/KR102479795B1/ko
Publication of KR102479795B9 publication Critical patent/KR102479795B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B08B1/002—
    • B08B1/04—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B1/00—Cleaning by methods involving the use of tools
    • B08B1/10—Cleaning by methods involving the use of tools characterised by the type of cleaning tool
    • B08B1/12—Brushes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B1/00—Cleaning by methods involving the use of tools
    • B08B1/30—Cleaning by methods involving the use of tools by movement of cleaning members over a surface
    • B08B1/32—Cleaning by methods involving the use of tools by movement of cleaning members over a surface using rotary cleaning members
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, 복수의 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 있어서, 일렬로 배치된 복수의 카메라로부터 적어도 좌측 영상, 중앙 영상, 우측 영상을 획득하는 단계; 상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계; 상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 및 상기 탑뷰 우측 영상을 합성하여 하나의 와이드 탑뷰 영상을 생성하는 단계; 및 상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계를 포함하는, 영상 처리 방법에 관한 것이다. 이로써, 복수의 카메라 영상을 하나의 영상으로 합쳐서 로봇 조종자의 피로를 줄일 수 있게 된다.

Description

선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법{IMAGE PROCESSING METHOD FOR MAKING A PLURALITY OF CAMERA IMAGES INTO ONE IMAGE OF SHIP CLEANING ROBOT, COMPUTER READABLE RECORDING MEDIUM, COMPUTER PROGRAM, AND ROBOT CONTROLLING METHOD USING THE SAME}
본 발명은 선박청소로봇의 영상 처리 방법에 관한 것으로서, 보다 상세하게는 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 관한 것이다.
새로 건조한 선박이라도 바닷물에 닿는 순간부터 다양한 해양생물이 선체 하부 표면(이하 선체 표면으로 지칭함)에 부착되기 시작한다. 선체 표면에는 슬라임부터 해조류, 따개비, 홍합 등 다양한 해양생물이 부착되며, 부착되는 양에 따라서 배의 이동속도가 저하되고 유류비 지출이 10~30% 증가하기 때문에 선체 표면 청소는 반드시 필요하다.
해양생물이 부착되는 것을 방지하기 위해 선체 표면에 방오 도료를 코팅하지만, 해양생물이 부착되는 시간을 지연시키는 정도에 불과하며, 예를 들어 1년 정도의 시간이 지나면 물의 저항을 크게 높이는 따개비, 홍합과 같은 생물(이하 따개비로 지칭함)이 군락을 이루며 선체 표면에 부착되게 된다. 이러한 해양생물을 제거하기위해 잠수사나 선박청소로봇(이하 로봇으로 지칭함)을 이용해 선체 표면을 청소해야 한다.
햇빛이나 조명으로 바닷물 속을 비추면, 바닷물 속에 있는 미세한 먼지나 플랑크톤 등에 의해서 빛이 산란되어 육안이나 카메라의 식별거리가 짧아지게 된다. 선박청소가 이루어지는 항구 내의 바닷물에서 식별거리는 대부분 20~50cm이다. 이로써 로봇을 이용한 선체표면 청소시에는 식별거리가 20~50cm 정도되는 상황을 고려해야 한다. 예를 들어, 로봇의 정면 중앙에 광각이나 어안 렌즈를 사용한 카메라를 1개를 설치했다면, 식별거리는 보통 카메라 좌측에서 우측까지 약 40~100cm이다. 예를 들어, 로봇의 폭이 100cm이고 식별거리가 50cm인 경우, 하나의 카메라로 로봇의 좌측에서 우측까지 모두 확인 가능하지만, 식별거리가 20cm에서는 카메라 좌측부터 우측까지 40cm 범위만 볼 수 있기 때문에, 로봇의 중앙부분만 확인가능하고 좌측이나 우측은 볼 수가 없다.
선체표면을 청소하면 청소하지 않은 부분과 청소한 부분의 경계선(이하 청소 경계선으로 지칭함)이 뚜렷하다. 이 청소 경계선에 로봇에 설치된 청소 브러시의 좌측 끝이나 우측 끝부분을 걸쳐서 이동하는데, 식별거리가 20cm면 로봇 중앙의 카메라에 가깝게 청소 경계선을 놓고 진행해야 하기 때문에 청소 시간이 기존 대비 2배 이상 소요되는 문제가 있다. 이를 해결하기 위해서 카메라를 20~40cm 간격으로 여러 개를 배치할 수 있지만, 로봇 조종자가 카메라 여러 개를 번갈아 보면서 조종해야 하기에 조종자의 정신적인 피로가 증가한다.
이로써, 장시간 운전하는 로봇 조종자의 피로를 줄이기 위하여 카메라 여러 개의 영상을 하나의 영상으로 합치는 기술이 필요하다.
KR 10-1444387 B1 KR 10-2188721 B1
이로써, 본 발명의 목적은 복수의 카메라 영상을 하나의 영상으로 합쳐서 로봇 조종자의 피로를 줄일 수 있는, 영상 처리 방법을 제공하는 데 있다.
본 발명의 다른 목적은 영상의 어두운 부분을 밝게 변환하여 로봇 조종자의 피로를 줄일 수 있는, 영상 처리 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적은, 본 발명의 제1 측면에 따라,
복수의 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 있어서, 일렬로 배치된 복수의 카메라로부터 적어도 좌측 영상, 중앙 영상, 우측 영상을 획득하는 단계; 상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계; 상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 및 상기 탑뷰 우측 영상을 합성하여 하나의 와이드 탑뷰 영상을 생성하는 단계; 상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계를 포함하는, 영상 처리 방법에 의해 달성된다.
이때, 상기 좌측 영상, 상기 중앙 영상, 상기 우측 영상, 및 상기 최종 와이드 영상 각각은 하나의 소실점이 존재하는 원근뷰 영상이고, 상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 상기 탑뷰 우측 영상, 상기 와이드 탑뷰 영상 각각은 소실점이 없는 위에서 아래로 보는 것과 같은 탑뷰 영상인 것이 바람직하다.
또한, 상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계, 및 상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계는, 원근법 변환을 이용하는데, 상기 원근법 변환이 변환 행렬을 이용하는 경우라면, 상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계에서 이용하는 변환 행렬은, 상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계에서 이용하는 변환 행렬의 역행렬인 것을 특징으로 한다.
나아가, 상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 및 상기 탑뷰 우측 영상을 합성하여 하나의 와이드 탑뷰 영상을 생성하는 단계는, 상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상 및 상기 탑뷰 우측 영상 중 적어도 2 이상의 영상이 중복되는 영역 중 경계 영역은 반투명하게 처리하고 나머지 영역은 제거하는 단계를 포함하는 것이 바람직하다.
이에 더하여, 상기 일렬로 배치된 복수의 카메라로부터 적어도 좌측 영상, 중앙 영상, 우측 영상을 획득하는 단계는, 상기 좌측 영상, 상기 중앙 영상, 상기 우측 영상 각각에 대하여: 명도 정보, 채도 정보, 및 색상 정보를 획득하는 단계; 획득된 상기 명도 정보를 반전시켜 반전된 명도 정보를 획득하는 단계; 및 상기 반전된 명도 정보에 기초하여, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계; 상기 제1 보정 정보를 상기 명도 정보에 적용하여 변환된 명도 정보를 생성하는 단계; 및 상기 변환된 명도 정보, 상기 채도 정보 및 상기 색상 정보로 보정된 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 본 발명은, 상기 반전된 명도 정보에 기초하여, 채도 정보를 보정하기 위한 제2 보정 정보를 획득하는 단계; 및 상기 제2 보정 정보를 상기 채도 정보에 적용하여 변환된 채도 정보를 생성하는 단계를 더 포함하고, 상기 변환된 명도 정보, 상기 채도 정보 및 상기 색상 정보로 보정된 영상을 생성하는 단계에서 이용되는 채도 정보는, 상기 변환된 채도 정보로 대체될 수 있다.
나아가, 상기 반전된 명도 정보에 기초하여, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계 또는 채도 정보를 보정하기 위한 제2 보정 정보를 획득하는 단계는, 상기 최종 와이드 영상을 구성하는 각 화소에 대하여: 상기 반전된 명도 정보가 임계치 이상일 때에만, 0이 아닌, 명도 정보를 보정하기 위한 제1 보정 정보 또는 채도 정보를 보정하기 위한 제2 보정 정보를 각각 획득하는 것이 바람직하다.
이때, 상기 제1 보정 정보와 상기 제2 보정 정보는, 동일하거나 또는 상이할 수 있다.
상기 목적은, 또한 본 발명의 제2 측면에 따라,
상기의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체에 의해 달성된다.
나아가, 상기 목적은, 또한 본 발명의 제3 측면에 따라,
상기의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램에 의해 달성된다.
나아가, 상기 목적은 또한 본 발명의 제4 측면에 따라,
상기의 영상 처리 방법에 따라 획득되거나 생성된 어느 하나의 영상을 학습하여 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 제어모델을 구축하는 단계; 및 상기 구축된 제어모델을 이용해, 로봇에 배치된 복수의 카메라로부터 획득된 영상들을 상기의 영상 처리 방법에 따라 처리하여 생성된 최종 와이드 영상에 기초하여 상기 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 단계를 포함하는, 로봇 제어 방법에 의해 달성된다.
이때, 상기 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 단계는, 상기 로봇의 조종자에게 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하고 있음에 대해 표시하는 단계를 포함하고, 이러한 표시는 텍스트, 그림, 진동, 소리 및 조명 중 적어도 어느 하나를 이용하는 것을 포함할 수 있다.
상기한 바와 같은 본 발명의 복수의 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 따르면, 복수의 카메라 영상을 하나의 영상으로 합쳐서 로봇 조종자의 피로를 줄일 수 있다는 장점이 있다.
또한 본 발명의 복수의 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 따르면, 영상의 어두운 부분을 밝게 변환하여 로봇 조종자의 피로를 줄일 수 있다는 장점이 있다.
또한 본 발명의 상기의 영상 처리 방법을 이용한 로봇 제어 방법에 따르면, 로봇 조종자의 피로를 줄이면서 더 깔끔하게 선박을 청소할 수 있다는 장점이 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명에 따른 영상 처리 방법의 흐름도이다.
도 2는 본 발명에 따른 영상 처리 방법의 일 실시예를 보여주는 도면이다.
도 3은 종래 기술에 따른 영상 처리 방법을 예시적으로 보여주는 도면이다.
도 4는 본 발명에 따른 영상 처리 방법에서 생성되는 정보를 보여주는 도면이다.
도 5는 본 발명에 따른 영상 처리 방법으로 처리된 영상들의 일 예를 보여주는 도면이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예컨대, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
도 1은 본 발명에 따른 영상 처리 방법의 흐름도이다. 도면을 참조하면, 본 발명에 따른 영상 처리 방법은, 필수적으로 복수의 카메라 영상을 획득하고(S100) 그 각각에 대응하는 탑뷰 영상을 획득한 후(S200) 이를 조합하여 하나의 와이드 탑뷰 영상을 생성하여(S300) 최종적으로 최종 와이드 영상을 출력하는(S400) 단계를 포함한다.
이에 대해서는, 본 발명에 따른 영상 처리 방법의 일 실시예를 보여주는 도면인 도 2를 참조하여 상세하게 설명한다.
도면을 참조하면, 본 발명의 복수의 카메라 영상을 획득하는 단계(S100)는, 일렬로 배치된 복수의 카메라를 이용해 각각 촬영된 영상(이하 카메라 영상으로 지칭함)을 획득하는 단계를 포함한다.
이때 카메라 영상은, 하나의 소실점이 존재하는 원근뷰 영상(perspective-view image)이고, 또한 각각의 카메라를 이용해 촬영된 영상은, 그 배치된 위치에 따라, 좌측 영상, 중앙 영상, 및 우측 영상으로 지칭될 수 있다. 이는 본 실시예에서 3 대의 카메라를 이용하는 것에 기초하여 명명된 것으로서, 예를 들어 5 대의 카메라를 이용하는 경우에는, 좌측1 영상, 좌측2 영상, 중앙 영상, 우측1 영상, 우측2 영상 등으로 명명될 수 있을 것이고, 반드시 이에 한정되지는 않는다.
또한 본 발명의 대응하는 탑뷰 영상을 획득하는 단계(S200)는, 상기의 좌측 영상, 중앙 영상, 및 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계를 포함한다.
이때 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상은, 소실점이 없고, 바닥을 위에서 아래로 보는 것과 같은 탑뷰 영상(top-view image)이고, 원근뷰 영상에서 탑뷰 영상을 생성하기 위해서는, 원근법 변환을 이용한다. 멀리 있는 것은 작게 보이고, 가까이 있는 것은 크게 보이는 것이 원근법의 원리이다. 이러한 원근법의 원리를 적용해 이미지를 변환하는 방식이 원근법 변환(perspective transform)이다. 통상 원근법 변환에서는 영상 내에서 4 개의 점만을 이용하여 변환 행렬을 찾아 영상을 변환시켜 주는데, 이를 활용하게 되면 스캔한 것과 같은 평면 이미지를 만들 수 있고, 이러한 원근법 변환 방식은 자율주행 자동차에서 주행라인을 검출하는 용도인 레인-뷰의 영상처리에 활용되고 있으며, 그 외 다양한 용도로도 활용되고 있는 보편적인 기술이므로, 여기서는 더 자세한 설명은 생략한다.
다음으로, 하나의 와이드 탑뷰 영상을 생성하는 단계(S300)는, 상기의 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상을 합성하여 하나의 와이드 탑뷰 영상을 생성하는데, 예를 들어, 탑뷰 좌측 영상과 탑뷰 중앙 영상, 탑뷰 중앙 영상과 탑뷰 우측 영상과 같이, 적어도 2 이상의 영상이 중복되는 영역 중 경계 영역만 남기고 나머지 중복되는 영역은 모두 제거한 후, 영상들을 조합한다.
이때, 영상들의 조합은, 예를 들어, 적어도 2 이상의 영상이 중복되는 영역 중 경계 영역은 반투명하게 처리하고 나머지 영역은 영상에서 제거하거나, 또는 적어도 2 이상의 영상이 중복되는 영역 중 경계 영역은 하나의 영상에서만 남기고, 나머지 영상에서는 나머지 영역을 영상에서 제거할 때 같이 제거할 수 있다. 여기서 반투명하게 처리하는 것은, 원본 영상 - 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상 - 의 영상 정보, 예를 들어 색상 정보, 채도 정보, 명도 정보 등을 나타내는 수치를 절반으로 감소시킴으로써, 이후에 중복되는 경계 영역을 단순히 가산할 수 있도록 처리하는 것을 포함한다. 물론, 중복되는 경계 영역을 포함하는 영상 각각에 다른 가중치를 적용하여 가산하거나 또는 중복되는 경계 영역 중 남기거나 제거하는 부분이 서로 중첩되지 않도록 설정하는 것 또한 가능하다. 본 도면에서는 적어도 2 이상의 영상이 중복되는 영역 중 경계 영역에 해당되는 부분은 반투명하게 표현되어 있다.
마지막으로, 최종적으로 최종 와이드 영상을 출력하는 단계(S400)는, 상기에서 언급된 원근법 변환을 이용해 상기에서 합성되어 생성된 하나의 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하는 단계를 포함한다.
이때 만약 원근뷰 영상으로부터 대응하는 탑뷰 영상을 획득하는 단계(S200)에서 원근법 변환이 변환 행렬(A)을 이용하였다면, 와이드 탑뷰 영상으로부터 대응하는 최종 와이드 영상을 획득하는 이 단계(S400)에서 이용되는 변환 행렬은 이전 변환 행렬(A)의 역행렬인 것이 바람직하다.
이로써 본 발명의 영상 처리 방법에 기초하여 서로 다른 소실점을 갖는 복수의 카메라 영상들을 하나로 합성하는 기술을, 예를 들어 선박청소로봇에 적용하게 되면, 로봇 조종자의 피로를 크게 줄일 수 있게 된다.
한편, 선박청소로봇은 수동주행 또는 자율주행으로 동작하며, 특히 수동주행시에는 지상 또는 수상 위에서 사람이 로봇의 카메라 영상을 모니터로 보면서 이 로봇을 조종하게 된다.
로봇이 대형선박 바닥면을 주행하는 경우에 있어서는 대낮이라도 태양 빛이 도달하지 않아 로봇에 설치된 조명을 사용하면서 주행해야 하나, 이마저도 바닥물 속의 먼지, 플랑크톤 등과 같은 미세한 물체로 빛이 산란되거나, 바닷물에 흡수되어 멀리 도달하지 못하는 실정이다. 일반 카메라와 달리 미약한 빛도 감지가능한 초저조도 카메라를 이용해 촬영된 카메라 영상일지라도 로봇에 설치된 조명의 빛이 선체표면에 반사되어 카메라로 되돌아 오는 양이 적으면 모니터에 어둡게 표현되며, 로봇에서 거리가 멀어질수록 급격하게 어두워진다.
어두운 영역까지 식별가능하도록 하기 위해 카메라 영상의 채도를 증가시킬 수 있는데, 그러나 단순한 채도 증가는 색을 지나치게 진하게 만들고 가느다란 형상을 사라지게 하여 물체의 식별을 더 어렵게 만들 수도 있다. 이러한 종래 기술의 문제점은, 종래 기술에 따른 영상 처리 방법을 예시적으로 보여주는 도면인 도 3을 참조하여 설명한다. 도 3의 (a)는 예를 들어, 실제 선박표면을 청소중인 선박청소로봇의 카메라로 촬영된 원본 영상으로서, 어두운 영역(30a) 및 가느다란 형상을 포함하고 있는 미세한 영역(40a)을 포함하고 있다. 도 3의 (b)는 원본 영상에서 명도 정보 및 채도 정보의 수치 모두를 증가시킨 영상이고 도 3의 (c)는 원본 영상에서 명도 정보의 수치만을, 도 3의 (d)는 원본 영상에서 채도 정보의 수치만을 증가시킨 영상이다. 도 3의 (c)와 같이 어두운 영역을 밝게 하기 위해 명도를 증가시키면 전체적으로 흐릿해지고, 도 3의 (d)와 같이 흐릿한 부분을 선명하게 하기 위해 채도를 증가시키면 가느다란 형상들은 사라지는 형상 왜곡이 발생하게 된다. 따라서 어두운 영역을 밝게 하면서 흐릿한 부분을 선명하게 하기 위해 명도 및 채도를 모두 증가시키면 도 3의 (b)와 같이 어두운 영역(30b)은 밝아지는 효과가 있지만, 그 외 영역도 필요 이상으로 밝아져서 왜곡이 발생하고 또한 미세한 영역(40b)에서의 가느다란 형상은 사라지게 되는 문제가 발생한다.
보통 로봇 조종자는 모니터의 화면을 집중해서 장시간 봐야 하기 때문에 정신적 또는 육체적 피로도가 높다. 또한 로봇의 초당 이동거리는 식별 거리보다 길기 때문에 조종자는 대부분의 시간 동안 카메라 영상의 어두운 부분을 보면서 장애물이나 선박표면의 생물오손 상태를 판단하고 조작을 해야 하므로 조종자의 피로도가 높다.
이로써, 장시간 운전하는 로봇 조종자의 피로를 줄이기 위하여, 카메라 영상의 어두운 부분도 쉽게 식별가능하게 해주는 기술이 필요하다. 이때 이러한 어두운 부분도 쉽게 식별가능하게 해주는 기술은, 상기의 하나의 영상으로 합성하는 기술과 별개로 단독으로 사용가능하고, 또한 이와 함께 연계되어 사용되는 것도 가능하다.
도 4는 본 발명에 따른 영상 처리 방법에서 생성되는 정보를 보여주는 도면이고, 도 5는 본 발명에 따른 영상 처리 방법으로 처리된 영상들의 일 예를 보여주는 도면이다.
도 4를 참조하면, 본 발명에 따른 영상 처리 방법은, 원본 영상에 기초하여 명도 정보, 채도 정보, 및 색상 정보를 획득하는 단계(S500); 획득된 명도 정보를 반전시켜 반전된 명도 정보를 획득하는 단계(S600); 반전된 명도 정보에 기초하여, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계(S700); 제1 보정 정보를 명도 정보에 적용하여 변환된 명도 정보를 생성하는 단계(S800); 및 변환된 명도 정보, 채도 정보 및 색상 정보로 보정된 영상을 생성하는 단계(S900)를 포함한다.
여기서, 원본 영상에 기초하여 명도 정보, 채도 정보, 및 색상 정보를 획득하는 단계(S500)에 있어서 원본 영상은, 일렬로 배치된 복수의 카메라로부터 획득된 좌측 영상, 중앙 영상, 우측 영상 각각일 수 있거나, 또는 상기의 하나의 영상으로 합성하는 기술과 연계되어 사용되는 경우 그 단계들에서 획득되거나 생성된 영상, 예를 들어 최종 와이드 영상일 수 있다. 원본 영상은, 각 화소별 RGB 값이나, HSB(hue-saturation-brightness) 값 또는 HLS(hue-lightness-saturation) 값으로 나타낼 수 있고, RGB 값으로 표현된 경우에는 색상(hue) 정보, 명도(lightness) 정보, 및 채도(saturation) 정보를 각각 나타내는 HLS 값으로 변환되어 저장될 수 있다.
본 발명의 획득된 명도 정보를 반전시켜 반전된 명도 정보를 획득하는 단계(S600)에서 명도 정보는, 보통 개별 화소(pixel)에 대하여 가장 어두운 것을 0으로 가장 밝은 것은 255로, 256 단계로 표현되고, 이로써 예를 들어 12인 명도 정보의 반전된 명도 정보는 255-12=243가 될 수 있다. 이것은 도 5의 (c)가 도 5의 (a)의 원본 영상으로부터 획득된 명도 정보일 때, 도 5의 (d)가 반전된 명도 정보인 것으로부터 이해될 수 있다.
다음으로, 반전된 명도 정보에 기초하여, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계(S700)는, 반전된 명도 정보가 임계치 이상인 때에만, 0이 아닌, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계를 포함한다. 즉, 반전된 명도 정보가 임계치 이상인 때에는, 반전된 명도 정보가 임계치 이하인 때보다 명도 정보를 보정하기 위한 제1 보정 정보가 클 수 있고, 예를 들어 반전된 명도 정보가 임계치 이하인 때에는, 명도 정보를 위한 제1 보정 정보가 0일 수 있다. 이와 같은 적절한 수준으로의 명도 조정은 소정의 기준을 만족하는, 도 5의 (a)의 50a와 같은 어두운 영역이 아닌 부분(60a)까지 밝게 할 필요가 없는 경우에 유용할 수 있다. 여기서 임계치는, 필요에 따라 실험적으로 정의될 수 있다.
이어서, 이렇게 획득된 제1 보정 정보를 명도 정보에 적용하여 변환된 명도 정보를 생성하는 단계(S800) 및 변환된 명도 정보, 채도 정보 및 색상 정보로 보정된 영상을 생성하는 단계(S900)가 진행된다.
여기서, 본 발명의 영상 처리 방법은, 명도 조정으로 낮아지거나 높아진 채도를 적절한 수준으로 조정하기 위해, 반전된 명도 정보에 기초하여, 채도 정보를 보정하기 위한 제2 보정 정보를 획득하는 단계; 및 제2 보정 정보를 채도 정보에 적용하여 변환된 채도 정보를 생성하는 단계를 더 포함할 수 있고, 이때 변환된 명도 정보, 채도 정보 및 색상 정보로 보정된 영상을 생성하는 단계에서 이용되는 채도 정보는, 변환된 채도 정보로 대체될 수 있다. 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계(S700)에서와 유사하게, 반전된 명도 정보가 임계치 이상인 때에만, 0이 아닌, 채도 정보를 보정하기 위한 제2 보정 정보를 획득하는 단계를 포함할 수 있다. 즉, 반전된 명도 정보가 임계치 이상인 때에는, 반전된 명도 정보가 임계치 이하인 때보다 채도 정보를 보정하기 위한 제2 보정 정보가 클 수 있고, 예를 들어 반전된 명도 정보가 임계치 이하인 때에는, 채도 정보를 위한 제2 보정 정보가 0일 수 있다. 이는 소정의 기준을 만족하는, 도 5의 (b)의 60b와 같은 미세한 영역까지 선명하게 할 필요가 없는 경우에 유용할 수 있다. 여기서 임계치는, 필요에 따라 실험적으로 정의될 수 있다. 물론, 제1 보정 정보를 정의하는 기준으로서의 임계치와, 제2 보정 정보를 정의하는 기준으로서의 임계치는 달리 설정될 수 있고, 또한 제1 보정 정보와 제2 보정 정보도 달리 정의될 수 있다.
이로써 본 발명의 영상 처리 방법에 기초하여 원본 영상에서 색상과 형상의 왜곡을 최소화하면서 어두운 영역만 잘 보이도록 처리하기 위한 기술을, 예를 들어 선박청소로봇에 적용하게 되면, 도 5의 (b)와 같은 출력 영상을 획득할 수 있게 되어 결과적으로 로봇 조종자의 피로를 크게 줄일 수 있게 된다.
한편, 선박에는 선박청소로봇을 이용해 선박표면 청소시 충돌하거나 이동할 수 없는 부위인 만곡부 용골(bilge keel), 애노드(anode), 선수 프로펠러(bow thruster), 해수 상자(sea chest) 등이 있다. 로봇 조종자는 로봇 위치 추정 시스템을 통하여 로봇의 위치를 알 수 있으므로 해당 부위에 도달하기 전에 주의하며 조종을 한다.
선박표면에는 슬라임이나 해조류 이 외에 따개비나 홍합 등의 껍질을 가진 부착생물이 서식한다. 껍질을 가진 부착생물이 소규모일 경우에는 크게 문제가 없으나, 대규모로 서식하는 경우에는 로봇과 충돌하여 로봇이 정지되거나 또는 제거되지 않은 껍질을 가진 부착생물 위로 로봇이 타고 올라가게 되어 로봇이 선체표면에서 이탈할 수 있다. 슬라임이나 해조류일 경우에는 최대 주행속도로 청소가 가능하나, 껍질을 가진 부착생물의 경우 저속으로 청소를 진행하거나 청소 브러쉬의 회전수를 높여야 한다. 그러므로 로봇 조종자는 상황에 맞춰서 로봇의 주행속도나 청소 브러쉬의 회전수를 적절히 조종해야 하지만 장시간 집중하며 조종하는 것은 매우 힘들 수 있다.
이로써 장시간 운전하는 로봇 조종자의 피로를 줄이기 위하여 로봇에 설치된 카메라 영상을 분석하여 자동으로 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 인공지능 기술이 필요하다.
인공지능은, 딥러닝이나 머신러닝과 같은 학습을 통해 제작되는, PC에서 동작하는 프로그램으로서, 로봇 운영 프로그램에 포함되거나 또는 별도로 마련된 PC에 설치될 수 있다. 여기서 로봇 운영 프로그램은, 로봇에 동작을 명령하거나 로봇에 설치된 카메라로부터의 영상을 모니터에 표시하거나 로봇에 설치된 센서 등에 대한 데이터를 모니터에 표시하는 등 로봇 조종자가 전반적으로 로봇을 조종하는 데 필요한 필수 프로그램을 통칭한다. 특히 본 발명의 영상 처리 방법을 실행할 수 있는 선박청소로봇과 연관된 로봇 운영 프로그램에는 상황에 따른 로봇의 이동속도 및 청소 브러쉬 회전수가 정의되어 있으며, 운영 프로그램 실행시 하기의 제어모델에 따라 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하게 된다.
이로써, 장시간 운전하는 로봇 조종자의 피로를 줄이기 위하여, 자동으로 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 인공지능 기술이 필요하다. 이때 이러한 인공지능 기술은, 카메라 영상의 어두운 부분도 쉽게 식별가능하게 해주는 기술 및/또는 상기의 하나의 영상으로 합성하는 기술과 별개로 단독으로 사용가능하고, 또한 이와 함께 연계되어 사용되는 것도 가능하다.
이와 같이, 본 발명에 따른 로봇 제어 방법은, 상기의 영상 처리 방법에 따라 획득되거나 생성된 어느 하나의 영상을 학습하여 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 제어모델을 구축하는 단계; 및 구축된 제어모델을 이용해, 로봇에 배치된 복수의 카메라로부터 획득된 영상들을 상기의 영상 처리 방법에 따라 처리하여 생성된 최종 와이드 영상에 기초하여 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 단계를 포함할 수 있다.
또한, 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 단계는, 로봇의 조종자에게 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하고 있음에 대해 표시하는 단계를 포함하고, 이러한 표시는 텍스트, 그림, 진동, 소리 및 조명 중 적어도 어느 하나를 이용하는 것을 포함할 수 있다.
한편, 본 발명의 일 실시예들에 따른 영상 처리 방법은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
한편, 본 발명의 실시예에 따른 방법들은 적어도 부분적으로 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
요약하면, 본 발명의 복수의 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 따르면, 복수의 카메라 영상을 하나의 영상으로 합쳐서 로봇 조종자의 피로를 줄일 수 있게 된다. 또한 본 발명의 상기의 영상 처리 방법을 이용한 로봇 제어 방법에 따르면, 로봇 조종자의 피로를 줄이면서 더 깔끔하게 선박을 청소할 수 있게 된다.
일반적으로 본 명세서에서 사용된 용어는, 특히 청구항에서(예를 들어, 청구항의 본문) 일반적으로 "개방적인" 용어로 의도된다(예를 들어, "포함하는"은 "포함하나 이에 제한되지 않는"으로, "가지다"는 "적어도 그 이상으로 가지다"로, "포함하다"는 "포함하나 이에 제한되지 않는다"로 해석되어야 함) 도입된 청구항 기재에 대하여 특정한 개수가 의도되는 경우, 이러한 의도는 해당 청구항에서 명시적으로 기재되며, 이러한 기재가 부재하는 경우 이러한 의도는 존재하지 않는 것으로 이해된다.
본 발명의 특정 특징만이 본 명세서에서 도시되고 설명되었으며, 다양한 수정 및 변경이 당업자에 대하여 발생할 수 있다. 그러므로 청구항은 본 발명의 사상 내에 속하는 변경 및 수정을 포함하는 것으로 의도된다는 점이 이해된다.

Claims (12)

  1. 복수의 영상들을 하나의 영상으로 처리하는 영상 처리 방법에 있어서,
    일렬로 배치된 복수의 카메라로부터 적어도 좌측 영상, 중앙 영상, 우측 영상을 획득하는 단계;
    상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계;
    상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 및 상기 탑뷰 우측 영상을 합성하여 하나의 와이드 탑뷰 영상을 생성하는 단계; 및
    상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계를 포함하는,
    영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 좌측 영상, 상기 중앙 영상, 상기 우측 영상, 및 상기 최종 와이드 영상 각각은 하나의 소실점이 존재하는 원근뷰 영상이고, 상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 상기 탑뷰 우측 영상, 상기 와이드 탑뷰 영상 각각은 소실점이 없는 위에서 아래로 보는 것과 같은 탑뷰 영상인,
    영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계, 및 상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계는,
    원근법 변환을 이용하고,
    상기 원근법 변환이 변환 행렬을 이용하는 경우라면, 상기 좌측 영상, 상기 중앙 영상, 및 상기 우측 영상 각각을 탑뷰 좌측 영상, 탑뷰 중앙 영상, 및 탑뷰 우측 영상으로 생성하는 단계에서 이용하는 변환 행렬은, 상기 와이드 탑뷰 영상을 최종 와이드 영상으로 생성하여 출력하는 단계에서 이용하는 변환 행렬의 역행렬인 것을 특징으로 하는,
    영상 처리 방법.
  4. 제 3 항에 있어서,
    상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상, 및 상기 탑뷰 우측 영상을 합성하여 하나의 와이드 탑뷰 영상을 생성하는 단계는,
    상기 탑뷰 좌측 영상, 상기 탑뷰 중앙 영상 및 상기 탑뷰 우측 영상 중 적어도 2 이상의 영상이 중복되는 영역 중 경계 영역은 반투명하게 처리하고 나머지 영역은 제거하는 단계를 포함하는 것을 특징으로 하는,
    영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 일렬로 배치된 복수의 카메라로부터 적어도 좌측 영상, 중앙 영상, 우측 영상을 획득하는 단계는,
    상기 좌측 영상, 상기 중앙 영상, 상기 우측 영상 각각에 대하여:
    이전 단계들에서 획득되거나 생성된 어느 하나의 영상에 기초하여, 명도 정보, 채도 정보, 및 색상 정보를 획득하는 단계;
    획득된 상기 명도 정보를 반전시켜 반전된 명도 정보를 획득하는 단계;
    상기 반전된 명도 정보에 기초하여, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계;
    상기 제1 보정 정보를 상기 명도 정보에 적용하여 변환된 명도 정보를 생성하는 단계; 및
    상기 변환된 명도 정보, 상기 채도 정보 및 상기 색상 정보로 보정된 영상을 생성하는 단계를 더 포함하는,
    영상 처리 방법.
  6. 제 5 항에 있어서,
    상기 반전된 명도 정보에 기초하여, 채도 정보를 보정하기 위한 제2 보정 정보를 획득하는 단계; 및
    상기 제2 보정 정보를 상기 채도 정보에 적용하여 변환된 채도 정보를 생성하는 단계를 더 포함하고,
    상기 변환된 명도 정보, 상기 채도 정보 및 상기 색상 정보로 보정된 영상을 생성하는 단계에서 이용되는 채도 정보는, 상기 변환된 채도 정보로 대체되는 것을 특징으로 하는,
    영상 처리 방법.
  7. 제 6 항에 있어서,
    상기 반전된 명도 정보에 기초하여, 명도 정보를 보정하기 위한 제1 보정 정보를 획득하는 단계 또는 채도 정보를 보정하기 위한 제2 보정 정보를 획득하는 단계는,
    상기 최종 와이드 영상을 구성하는 각 화소에 대하여:
    상기 반전된 명도 정보가 임계치 이상일 때에만, 0이 아닌, 명도 정보를 위한 제1 보정 정보 또는 채도 정보를 위한 제2 보정 정보를 각각 획득하는 것을 특징으로 하는,
    영상 처리 방법.
  8. 제 7 항에 있어서,
    상기 제1 보정 정보와 상기 제2 보정 정보는, 상이한 것을 특징으로 하는,
    영상 처리 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
  10. 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램.
  11. 제 1 항 내지 제 8 항 중 어느 한 항의 영상 처리 방법에 따라 획득되거나 생성된 어느 하나의 영상을 학습하여 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 제어모델을 구축하는 단계; 및
    상기 구축된 제어모델을 이용해, 로봇에 배치된 복수의 카메라로부터 획득된 영상들을 제 1 항 내지 제 8 항 중 어느 한 항의 영상 처리 방법에 따라 처리하여 생성된 최종 와이드 영상에 기초하여 상기 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 단계를 포함하는,
    로봇 제어 방법.
  12. 제 11 항에 있어서,
    상기 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하는 단계는,
    상기 로봇의 조종자에게 로봇의 이동속도 및 청소 브러쉬 회전수를 조절하고 있음에 대해 표시하는 단계를 포함하고,
    이러한 표시는 텍스트, 그림, 진동, 소리 및 조명 중 적어도 어느 하나를 이용하는 것을 포함하는,
    로봇 제어 방법.
KR1020220034833A 2021-03-22 2022-03-21 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법 KR102479795B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CA3204574A CA3204574A1 (en) 2021-03-22 2022-03-22 Image processing method for processing plurality of camera images of ship cleaning robot to generate one image, computer readable recording medium, computer program, and robot control method using same
JP2023539076A JP2024513145A (ja) 2021-03-22 2022-03-22 船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法、コンピュータ判読可能記録媒体、コンピュータプログラム及びこれを利用したロボット制御方法
CN202280008401.4A CN116671098A (zh) 2021-03-22 2022-03-22 将船舶清扫机器人的多个相机图像处理为一个图像的图像处理方法、计算机可读记录介质、计算机程序及利用它的机器人控制方法
BR112023017447A BR112023017447A2 (pt) 2021-03-22 2022-03-22 Método de processamento de imagem de processamento de imagens de uma pluralidade de câmeras no robô de limpeza de navio em uma única imagem, meio de gravação legível por computador, programa de computador e método de controle de robô usando o mesmo
US17/790,796 US20240169485A1 (en) 2021-03-22 2022-03-22 Image Processing Method of Processing Images from a Plurality of Cameras in Ship Cleaning Robot Into Single Image, Computer Readable Recording Medium, Computer Program, and Robot Control Method Using the Same
PCT/KR2022/003963 WO2022203340A1 (ko) 2021-03-22 2022-03-22 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
EP22733501.5A EP4319152A4 (en) 2021-03-22 2022-03-22 IMAGE PROCESSING METHOD FOR PROCESSING A PLURALITY OF CAMERA IMAGES OF A SHIP CLEANING ROBOT TO GENERATE AN IMAGE, COMPUTER READABLE RECORDING MEDIUM, COMPUTER PROGRAM, AND ROBOT CONTROL METHOD USING SAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210036557 2021-03-22
KR1020210036557 2021-03-22

Publications (3)

Publication Number Publication Date
KR20220131847A true KR20220131847A (ko) 2022-09-29
KR102479795B1 KR102479795B1 (ko) 2022-12-22
KR102479795B9 KR102479795B9 (ko) 2023-03-23

Family

ID=83461858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220034833A KR102479795B1 (ko) 2021-03-22 2022-03-21 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법

Country Status (1)

Country Link
KR (1) KR102479795B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444387B1 (ko) 2012-05-04 2014-09-30 삼성중공업 주식회사 선저 청소 로봇 및 이의 제어 방법
KR20150123094A (ko) * 2014-04-24 2015-11-03 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법
KR20180006733A (ko) * 2016-07-11 2018-01-19 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444387B1 (ko) 2012-05-04 2014-09-30 삼성중공업 주식회사 선저 청소 로봇 및 이의 제어 방법
KR20150123094A (ko) * 2014-04-24 2015-11-03 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법
KR20180006733A (ko) * 2016-07-11 2018-01-19 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Also Published As

Publication number Publication date
KR102479795B9 (ko) 2023-03-23
KR102479795B1 (ko) 2022-12-22

Similar Documents

Publication Publication Date Title
Sanchez-Lopez et al. An approach toward visual autonomous ship board landing of a VTOL UAV
Moghimi et al. Real-time underwater image enhancement: a systematic review
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
JP6228670B2 (ja) 霧除去装置および画像生成方法
Ahn et al. Enhancement of deep-sea floor images obtained by an underwater vehicle and its evaluation by crab recognition
US20110205236A1 (en) Image processing apparatus and storage medium having stored therein an image processing program
KR101444387B1 (ko) 선저 청소 로봇 및 이의 제어 방법
CN104091366B (zh) 基于二维阴影信息的三维模型智能数字化生成方法和系统
JP2007241424A (ja) 画像処理装置および画像処理方法
WO2018186750A1 (en) Camera assisted control system for an underwater vehicle
Yar et al. Low cost assembly design of unmanned underwater vehicle (UUV)
KR0134701B1 (ko) 화상처리를 이용한 점묘화풍 화상 생성장치 및 그 방법
CN111833258A (zh) 一种基于双透射率水下成像模型的图像颜色校正方法
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
Burguera et al. Towards automatic visual sea grass detection in underwater areas of ecological interest
Yin et al. Multiscale fusion algorithm for underwater image enhancement based on color preservation
KR102479795B1 (ko) 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
Verma et al. Systematic review and analysis on underwater image enhancement methods, datasets, and evaluation metrics
Jamieson et al. DeepSeeColor: Realtime Adaptive Color Correction for Autonomous Underwater Vehicles via Deep Learning Methods
EP4319152A1 (en) Image processing method for processing plurality of camera images of ship cleaning robot to generate one image, computer readable recording medium, computer program, and robot control method using same
Cai et al. Underwater image processing system for image enhancement and restoration
CN116671098A (zh) 将船舶清扫机器人的多个相机图像处理为一个图像的图像处理方法、计算机可读记录介质、计算机程序及利用它的机器人控制方法
Borković et al. Underwater ROV software for fish cage inspection
Bhat et al. Fast under water image enhancement for real time applications
JP4807879B2 (ja) 入力された画像データから少なくとも１以上の認識対象画像を抽出するための画像認識装置、方法、プログラム及び情報記録媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]