KR101635408B1 - 복합 영상 생성 장치 및 방법 - Google Patents

복합 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101635408B1
KR101635408B1 KR1020140179041A KR20140179041A KR101635408B1 KR 101635408 B1 KR101635408 B1 KR 101635408B1 KR 1020140179041 A KR1020140179041 A KR 1020140179041A KR 20140179041 A KR20140179041 A KR 20140179041A KR 101635408 B1 KR101635408 B1 KR 101635408B1
Authority
KR
South Korea
Prior art keywords
image
sonar
optical
composite image
information
Prior art date
Application number
KR1020140179041A
Other languages
English (en)
Other versions
KR20160072295A (ko
Inventor
최승준
송영은
심승보
이창희
최윤규
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020140179041A priority Critical patent/KR101635408B1/ko
Publication of KR20160072295A publication Critical patent/KR20160072295A/ko
Application granted granted Critical
Publication of KR101635408B1 publication Critical patent/KR101635408B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 복합 영상 생성 장치 및 방법에 관한 것으로, 소나 영상에서 객체를 검출하는 소나영상 객체검출부; 및 소나 영상에서 검출한 객체를 광학 영상에 합성하여 복합 영상을 생성하는 복합영상 생성부를 포함하고, 복합영상 생성부는 객체의 위치 정보에 대응하는 광학 영상의 영상 영역에 객체를 합성하여 복합 영상을 생성하는 복합 영상 생성 장치를 개시한다.

Description

복합 영상 생성 장치 및 방법{DEVICE AND METHOD FOR GENERATING COMPOUND IMAGE}
본 발명은 복합 영상을 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는 광학 영상(optics image)에 소나 영상(SONAR image)을 합성하여 복합 영상(compound image)을 생성하는 장치 및 방법에 관한 것이다.
수중 소나는 초음파를 발생하고, 물체로부터 반사된 음파가 되돌아오는데 걸리는 시간과 반사된 음파의 세기를 이용하여 전방을 가시화하는 장치이다. 광학 카메라의 경우 수중에서 가시거리가 짧은 문제가 있기 때문에, 수중 ROV(remote operated vehicle)나 AUV(autonomous underwater vehicle)는 주로 이미징 소나(imaging SONAR)를 이용하여 전방의 장애물을 탐지하고 있다. 이미징 소나는 주파수가 다른 초음파를 동시에 발신하고, 물체에서 반사되어 돌아오는 반사파를 수신하여, 소나 영상을 생성한다. 이미징 소나는 측정 영역에 대하여 빠르게 소나 영상을 생성할 수 있는 이점을 갖는다. 그러나, 소나 영상은 광학 영상에 비해 고해상도의 영상을 제공하지 못하는 단점을 갖는다.
수중 광학 카메라는 색정보 제공이 가능하고, 근거리 정밀 작업에 필요한 고해상도 영상을 제공할 수 있는 이점을 갖지만, 지상보다 수중에서 현저하게 가시저리가 저하되는 단점을 갖는다. 더욱이, 광학 카메라의 가시거리는 깨끗한 수중 조건에서는 대략 10m 정도이지만, 해양과 같이 부유물이 많은 환경에서는 1m도 확보되지 않는 경우가 많다. 따라서, 현실적으로 수중 광학 카메라를 ROV나 AUV의 전방 장애물 탐지용으로 활용하는데에는 어려움이 따른다. 또한, 수중 광학 카메라는 광축 방향으로의 거리 정보가 소실되기 때문에, 소나 영상과 달리 물체의 거리 정보를 알기 어려운 문제를 갖는다.
본 발명은 광학 영상장치의 가시거리를 확장하는 것에 상응하는 효과를 얻을 수 있는 복합 영상 생성 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 다른 과제는 광학 영상과 소나 영상을 개별적으로 인식하는데에 따른 혼란 없이 하나의 복합 영상(합성 영상)을 통하여 작업 대상물이나 장애물 등의 객체의 존재를 손쉽게 파악하도록 하는 복합 영상 생성 장치 및 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 복합 영상 생성 장치는 소나 영상에서 객체를 검출하는 소나영상 객체검출부; 및 상기 소나 영상에서 검출한 객체를 광학 영상에 합성하여 복합 영상을 생성하는 복합영상 생성부를 포함하며, 상기 복합영상 생성부는 상기 객체의 위치 정보에 대응하는 광학 영상의 영상 영역에 상기 객체를 합성하여 상기 복합 영상을 생성한다.
상기 복합영상 생성부는 상기 소나 영상에서 검출한 객체가 상기 광학 영상에 반투명하게 표시되도록 상기 복합 영상을 생성할 수 있다.
상기 복합 영상 생성 장치는 제1 영역을 대상으로 상기 광학 영상을 획득하는 광학 영상장치; 상기 제1 영역 중 적어도 일부를 포함하는 제2 영역을 대상으로 상기 소나 영상을 획득하는 이미징 소나; 및 상기 광학 영상장치와 상기 이미징 소나의 좌표계를 정합하는 좌표계정합부를 더 포함할 수 있다.
상기 소나영상 객체검출부는, 상기 소나 영상에서 픽셀의 밝기 정보에 기초하여 객체 영역을 추출하는 객체추출부; 상기 객체에 이르는 거리 정보를 산출하는 거리산출부; 상기 소나 영상으로부터 상기 객체의 수평방향 폭 정보를 산출하는 폭산출부; 및 상기 소나 영상에서 상기 객체 영역에 대한 그림자 영역을 검출하고, 상기 그림자 영역의 정보를 이용하여 상기 객체의 높이 정보를 계산하는 높이산출부를 포함할 수 있다.
상기 복합영상 생성부는, 상기 소나 영상으로부터 검출된 객체의 거리 정보와 상기 광학 영상장치의 내부 파라미터 정보에 따라 상기 객체의 폭과 높이를 변환하여 상기 광학 영상에 투영함으로써 상기 복합 영상을 생성할 수 있다.
상기 광학 영상장치의 가시거리를 벗어난 영역에 위치한 객체는 상기 광학 영상에 합성되어 표시될 수 있다.
본 발명의 다른 일 측면에 따르면, 소나 영상에서 객체를 검출하는 단계; 및 상기 소나 영상에서 검출한 객체를 광학 영상에 합성하여 복합 영상을 생성하는 단계를 포함하고, 상기 복합 영상을 생성하는 단계는 상기 객체의 위치 정보에 대응하는 광학 영상의 영상 영역에 상기 객체를 합성하여 상기 복합 영상을 생성하는 복합 영상 생성 방법이 제공된다.
상기 객체를 검출하는 단계는, 상기 소나 영상에서 픽셀의 밝기 정보에 기초하여 객체 영역을 추출하는 단계; 추출된 객체에 이르는 거리 정보와 상기 객체의 수평방향 폭 정보를 산출하는 단계; 및 상기 소나 영상에서 상기 객체 영역에 대한 그림자 영역을 검출하고, 상기 그림자 영역의 정보를 이용하여 상기 객체의 높이 정보를 산출하는 단계를 포함할 수 있다.
상기 복합 영상을 생성하는 단계는, 상기 소나 영상으로부터 검출된 객체에 이르는 거리 정보와 상기 광학 영상을 획득한 광학 영상장치의 내부 파라미터 정보에 따라 상기 객체의 폭과 높이를 변환하여 상기 광학 영상에 투영함으로써 상기 복합 영상을 생성할 수 있다.
본 발명의 실시 예에 의하면, 광학 영상장치의 가시거리를 벗어난 영역에 위치한 객체가 광학 영상에 합성되어 복합 영상으로 표시될 수 있다. 따라서, 광학 영상의 가시거리를 확장하는 것에 상응하는 효과를 얻을 수 있으며, 광학 영상과 소나 영상을 개별적으로 인식하는데에 따른 혼란 없이 하나의 복합 영상(합성 영상)을 통해 객체의 위치를 손쉽게 파악하여 수중로봇 등의 제어를 행할 수 있다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 복합 영상 생성 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 복합 영상 생성 장치를 구성하는 소나영상 객체검출부의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 복합 영상 생성 방법의 흐름도이다.
도 4는 본 발명의 실시 예에 따른 복합 영상 생성 방법에 의하여 광학 영상장치와 이미징 소나를 이용하여 광학 영상과 소나 영상을 획득하는 것을 개략적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 복합 영상 생성 방법에 의하여 소나 영상에서 객체를 검출하는 것을 설명하기 위한 소나 영상의 예시도이다.
도 6은 이미징 소나를 이용하여 객체들에 대한 2차원 소나 영상을 획득하는 것을 개략적으로 보여주는 측면도이다.
도 7은 도 3에 도시된 단계 S30을 설명하기 위한 2차원 소나 영상 데이터의 예시도이다.
도 8은 광학 영상장치에 의해 획득된 광학 영상을 예시적으로 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따른 복합 영상 생성 방법에 의해 생성된 복합 영상을 예시적으로 보여주는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
본 발명의 실시 예에 따른 복합 영상 생성 장치는 소나 영상에서 객체를 검출하고, 소나 영상에서 검출한 객체를 광학 영상에 융합되도록 합성함으로써 복합 영상(융합 영상)을 생성한다. 객체는 객체의 위치에 대응하는 광학 영상의 영역 상에 합성되어 복합 영상으로 표시될 수 있다. 객체의 수평방향 폭, 높이는 소나 영상에 의해 산출된 객체의 거리 정보와 광학 영상을 획득한 광학 영상장치의 내부 파라미터에 따라 변환되어 광학 영상에 합성될 수 있다.
본 발명의 실시 예에 의하면, 광학 영상의 가시거리에서 벗어난 객체를 소나 영상에 의해 검출하여 광학 영상에 표시함으로써, 광학 영상의 가시거리를 확장하는 효과를 얻을 수 있다. 또한, 본 발명의 실시 예에 의하면, 광학 영상과 소나 영상을 개별적으로 인식하는데에 따른 혼란 없이 하나의 복합 영상(합성 영상)을 통해 객체의 위치를 손쉽게 파악하여 수중로봇 등의 제어를 행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 복합 영상 생성 장치(100)의 구성도이다. 도 1을 참조하면, 복합 영상 생성 장치(100)는 좌표계 정합부(110), 소나영상 객체검출부(120), 복합영상 생성부(130) 및 출력부(140)를 포함한다. 복합 영상 생성 장치(100)는 광학 영상장치(10)에 의해 획득된 광학 영상과, 이미징 소나(20)에 의해 획득된 소나 영상으로부터 복합 영상을 생성한다.
광학 영상장치(10)는 제1 영역을 대상으로 광학 영상을 획득할 수 있다. 이미징 소나(20)는 제1 영역 중 적어도 일부를 포함하는 제2 영역을 대상으로 소나 영상을 획득할 수 있다. 일 실시 예로, 광학 영상장치(10)와 이미징 소나(20)는 동일한 방향으로 광학 영상과 소나 영상을 획득하도록, 결합될 수 있다. 광학 영상장치(10)는 예를 들어, CCD 카메라 혹은 CMOS 카메라 등의 영상촬영장치를 포함할 수 있다.
일 실시 예로, 이미징 소나(20)는 주파수가 다른 초음파를 동시에 발신하고, 물체에서 반사되어 돌아오는 반사파를 수신하여, 2차원 소나 영상을 생성할 수 있다. 이미징 소나(20)는 초음파가 물체로부터 반사되어 되돌아오는데 걸리는 시간과 반사되어 되돌아온 초음파의 세기를 이용하여 2차원 소나 영상을 생성할 수 있다. 2차원 소나 영상에는 객체(물체)에 이르는 거리와 방위각 정보가 포함되어 있다
광학 영상장치(10)는 2차원 광학 영상을 획득하고, 이미징 소나(20)는 2차원 소나 영상을 획득한다. 다만, 본 발명의 실시 예에 따른 복합 영상 생성 장치는 3차원 광학 영상에 3차원 소나 영상을 합성하여 복합 영상을 생성하는 것도 가능하다. 예를 들어, 3차원 광학 영상은 다수의 카메라를 이용하여 획득된 복수의 광학 영상을 정합하여 생성될 수 있다. 예를 들어, 3차원 소나 영상은 2차원 소나 영상에서 검출된 객체의 높이를 산출하여 객체의 3차원 정보를 측정함으로써 획득될 수 있다.
좌표계 정합부(110)는 광학 영상장치(10)와 이미징 소나(20)의 좌표계를 정합한다. 좌표계 정합은 캘리브레이션(calibration)을 통해 수행될 수 있다. 예를 들어, 광학 영상장치(10)와 이미징 소나(20)에 의해 공통타겟들에 대한 광학 영상과 소나 영상을 획득하고, 광학 영상과 소나 영상에서 공통타겟들의 영상 위치를 비교하여 상호간의 좌표계 변환관계를 얻을 수 있다. 좌표계 정합에 의하여, 광학 영상장치(10)와 이미징 소나(20)에 의해 획득된 광학 영상과 소나 영상 중의 적어도 하나는 공통의 좌표계를 갖도록 변환될 수 있다.
소나 영상에서 객체를 검출하기에 앞서, 가우시안 필터(Gaussian filter) 등의 영상 처리 기법을 이용하여 소나 영상의 노이즈(noise)를 제거할 수 있다. 소나영상 객체검출부(120)는 소나 영상에서 객체를 검출한다. 도 2는 본 발명의 일 실시 예에 따른 복합 영상 생성 장치(100)를 구성하는 소나영상 객체검출부(120)의 구성도이다. 도 2를 참조하면, 소나영상 객체검출부(120)는 객체추출부(121), 거리산출부(122), 폭산출부(123) 및 높이산출부(124)를 포함한다.
객체추출부(121)는 소나 영상에서 픽셀의 밝기 정보에 기초하여 객체를 추출한다. 즉, 소나 영상에서 일정 밝기 이상의 픽셀(pixel)을 추출하여 객체(물체)를 추출하고, 구분(segmentation) 영상 처리 기술 등을 이용하여 객체의 영역을 구분할 수 있다. 거리산출부(122)는 소나 영상 데이터를 분석하여 객체에 이르는 거리 정보를 산출한다. 폭산출부(123)는 소나 영상으로부터 객체의 수평방향 폭 정보를 산출한다. 높이산출부(124)는 소나 영상에서 객체에 상응하는 객체 영역 후방의 그림자 영역을 검출하고, 검출한 그림자 영역의 길이 정보, 이미징 소나(20)의 상하방향 기울기각 및 객체에 이르는 거리 정보를 이용하여 객체의 높이 정보를 계산한다.
복합영상 생성부(130)는 소나영상 객체검출부(120)에 의해 소나 영상에서 검출된 객체를 광학 영상의 특정 영상 영역에 합성함으로써 복합 영상을 생성한다. 소나 영상에서 검출된 객체는 광학 영상장치(10)에 의해 직접적으로 촬영되는 것과 같은 모습을 갖도록 변환되어 광학 영상에 합성될 수 있다. 복합영상 생성부(130)는 소나 영상에서 검출한 객체가 광학 영상에 반투명하게 표시되도록 복합 영상을 생성할 수 있다.
복합영상 생성부(130)는 소나 영상으로부터 검출된 객체의 거리 정보와 광학 영상장치(10)의 카메라 렌즈 초점거리와 같은 내부 파라미터 정보에 따라 객체의 폭과 높이를 변환하여 광학 영상에 투영(projection)함으로써 복합 영상을 생성할 수 있다. 출력부(140)는 복합영상 생성부(130)에 의해 생성된 복합 영상을 디스플레이 화면 등을 통해 출력한다.
본 발명의 실시 예에 의하면, 광학 영상장치(10)의 가시거리를 벗어난 영역에 위치한 객체가 광학 영상에 합성되어 표시될 수 있다. 따라서, 광학 영상의 가시거리를 확장하는 것에 상응하는 효과를 얻을 수 있다. 또한, 본 발명의 실시 예에 의하면, 광학 영상과 소나 영상을 개별적으로 인식하는데에 따른 혼란 없이 하나의 복합 영상(합성 영상)을 통해 객체의 위치를 손쉽게 파악하여 수중로봇 등의 제어를 행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 복합 영상 생성 방법의 흐름도이다. 도 1 및 도 3을 참조하면, 먼저 좌표계 정합부(110)는 광학 영상장치(10)와 이미징 소나(20)의 좌표계를 캘리브레이션(calibration)을 통하여 정합하고(S10), 복합 영상의 생성을 위해, 먼저 광학 영상장치(10)와 이미징 소나(20)를 이용하여 2차원 광학 영상과 2차원 소나 영상을 획득한다(S20).
도 4는 본 발명의 실시 예에 따른 복합 영상 생성 방법에 의하여 광학 영상장치(10)와 이미징 소나(20)를 이용하여 광학 영상과 소나 영상을 획득하는 것을 개략적으로 보여주는 도면이다. 광학 영상장치(10)와 이미징 소나(20)는 근거리에 인접되도록 배치될 수 있다. 광학 영상장치(10)와 이미징 소나(20)의 상대적인 위치는 고정될 수 있다. 광학 영상장치(10)는 이미징 소나(20)보다 짧은 가시거리를 가질 수 있다. 광학 영상장치(10)는 제1 영역(11)을 대상으로 광학 영상을 획득할 수 있다. 이미징 소나(20)는 제1 영역(11) 중의 적어도 일부를 포함하는 제2 영역(21)을 대상으로 소나 영상을 획득할 수 있는 위치 및 방향에 배치될 수 있다.
다시 도 3을 참조하면, 소나 영상이 획득된 후, 소나영상 객체검출부(120)는 소나 영상에서 객체들(30~34)를 검출한다(S30). 도 5는 본 발명의 실시 예에 따른 복합 영상 생성 방법에 의하여 소나 영상에서 객체를 검출하는 것을 설명하기 위한 소나 영상의 예시도이다. 소나영상 객체검출부(120)는 예를 들어, 소나 영상에서 픽셀의 밝기 정보에 기초하여 객체들(31~34)을 추출하고, 소나 영상 데이터를 분석하여 객체에 이르는 거리 정보(D)를 산출하고, 소나 영상으로부터 객체의 수평방향 폭 정보(W)를 산출하고, 소나 영상에서 객체에 상응하는 객체 영역 후방의 그림자 영역을 검출하여, 그림자 영역의 길이 정보(H)와 객체에 이르는 거리 정보(D), 이미징 소나(20)의 기울기각 등의 정보를 이용해 객체의 높이 정보를 계산할 수 있다.
도 6은 이미징 소나(20)를 이용하여 객체들(32~33)에 대한 2차원 소나 영상을 획득하는 것을 개략적으로 보여주는 측면도이고, 도 7은 도 3에 도시된 단계 S30을 설명하기 위한 2차원 소나 영상 데이터의 예시도이다. 도 1, 도 3, 도 6 및 도 7을 참조하면, 소나영상 객체검출부(120)는
2차원 소나 영상 데이터에서 밝기가 제1 기준값(T0) 이상인 영역을 객체 영역(OA)으로 검출하고, 객체 영역(OA)의 후방 측에서 객체 영역(OA)에 인접하면서 제1 기준값(T0) 이하로 설정되는 제2 기준값(TS) 이하의 밝기를 갖는 영역을 객체 영역(OA)에 대한 그림자 영역(SA)으로 검출할 수 있다(S20).
소나영상 객체검출부(120)는 이미징 소나(20)의 음파의 진행 방향(수평방위각)별로 그림자 영역(SA)을 탐지할 수 있다. 객체 영역(OA)과 그림자 영역(SA)이 아닌 영역은 바닥 영역(BA)으로 검출된다. 도 7의 예에서, 그림자 영역(SA)의 시작점으로부터 그림자 영역(SA)의 종료점(Send) 간의 거리가 그림자 영역(SA)의 거리 정보로 산출된다. 그림자 영역(SA)의 시작점은 객체 영역(OA)의 종료점(Oend)과 일치할 수 있다.
2차원 소나 영상에서 그림자 영역(SA)이 검출되면, 소나영상 객체검출부(120)는 검출된 그림자 영역(SA)의 길이 정보(Send-Oend), 이미징 소나(20)의 기울기각(φ) 및 객체에 이르는 거리 등의 정보를 이용하여 객체(32,33)의 높이 정보를 산출한다. 그림자 영역(SA)의 길이는 객체(32,33)의 높이에 비례하기 때문에, 그림자 영역(SA)의 길이 정보로부터 객체(32,33)의 높이 정보를 산출할 수 있다. 예를 들어, 소나영상 객체검출부(120)는 아래의 식 1에 따라 객체의 높이 정보(z0)를 산출할 수 있다.
[식 1]
Figure 112014120898805-pat00001
위의 식 1에서, z0는 객체의 높이 정보, φ는 이미징 소나(20)의 상하방향 기울기각, θ는 이미징 소나(20)의 수평 음파 각도, k는 비례상수, Ostart는 객체 영역의 시작점, Ostart는 객체 영역의 시작점, 즉 2차원 소나 영상 데이터에서 밝기(intensity)가 제1 기준값(T0) 보다 높아지는 지점, Intensityi는 객체 영역의 밝기, Oend는 객체 영역의 시작점(Ostart) 이후 2차원 소나 영상 데이터에서 밝기가 제1 기준값(T0) 보다 낮아지는 객체 영역의 종료점, Send는 객체 영역의 종료점(Oend) 이후 2차원 소나 영상 데이터에서 밝기가 제2 기준값(TS) 보다 높아지는 지점, k는 비례상수, R은 객체에 이르는 거리로서, 객체에 대한 높이 측정 지점을 나타낸다.
객체의 경사각(높이 증가율)이 클수록 객체로부터 반사되어 되돌아오는 초음파 세기가 커져서 2차원 소나 영상 데이터에서 밝기 값이 증가되고, 반대로 객체의 경사각(높이 증가율)이 작을수록 객체에서의 초음파 반사각이 커져서 객체로부터 반사되어 되돌아오는 초음파 세기가 줄어들게 되므로 2차원 소나 영상 데이터에서 밝기 값이 감소된다. 따라서, 객체의 측정 지점에 대한 높이는 상기 식 1에서와 같이, 해당 객체 영역의 시작점(Ostart)에서 객체에 대한 높이 측정 지점(R)까지 2차원 소나 영상 데이터의 밝기(intensity) 값의 적분값(다시 말해, 객체의 위치별 높이 증가율의 누적합)으로부터 정확하게 산출될 수 있다.
복합영상 생성부(130)는 객체의 위치 정보에 대응하는 광학 영상 영역에 객체를 합성하여 복합 영상을 생성한다. 복합영상 생성부(130)는 소나영상 객체검출부(120)에 의해 소나 영상에서 검출된 객체의 폭, 높이, 객체에 이르는 거리 정보에 따라, 객체의 크기를 변환하여 광학 영상에 합성함으로써 복합 영상을 생성할 수 있다(S40).
복합영상 생성부(130)는 소나 영상에서 검출한 객체가 광학 영상에 반투명하게 표시되도록 복합 영상을 생성할 수 있다. 복합영상 생성부(130)는 소나 영상으로부터 검출된 객체의 거리 정보와 광학 영상장치(10)의 내부 파라미터 정보(예를 들어, 카메라 초점거리 등)에 따라 객체의 폭과 높이를 변환하여 광학 영상에 투영함으로써 복합 영상을 생성할 수 있다.
일 실시 예로, 복합영상 생성부(130)는 광학 영상장치(10)의 가시거리에서 벗어난 소나 영상의 객체만을 광학 영상에 합성하고, 광학 영상장치(10)의 가시거리 내에 위치한 객체에 대하여는 소나 영상의 객체 정보를 광학 영상에 합성하지 않을 수 있다. 이는 광학 영상장치(10)의 가시거리 내에 위치한 객체의 경우 광학 영상에 이미 나타나 있기 때문에, 추가적으로 소나 영상에서 검출한 객체를 광학 영상에 합성할 경우 오히려 혼란감이 가중될 수 있기 때문이다.
도 8은 광학 영상장치(10)에 의해 획득된 광학 영상(12)을 예시적으로 보여주는 도면이다. 도 4 및 도 8을 참조하면, 광학 영상장치(10)의 가시거리 내에 위치한 전방 객체는 광학 영상(12)에 나타나지만, 광학 영상장치(10)의 가시거리에서 벗어난 후방 객체들(31~34)은 광학 영상(12)에 나타나지 않는 것을 알 수 있다. 도 9는 본 발명의 실시 예에 따른 복합 영상 생성 방법에 의해 생성된 복합 영상(13)을 예시적으로 보여주는 도면이다.
도 4 및 도 9를 참조하면, 후방 객체들(31~34)은 가시거리가 큰 이미징 소나(20)에 의해 획득된 소나 영상으로부터 검출될 수 있으며, 소나 영상에서 검출된 후방 객체들(31~34)을 광학 영상(12)에 합성하여 복합 영상(13)을 생성함으로써, 광학 영상장치(10)에 의해 촬영될 수 없는 후방 객체들(31~34)을 복합 영상(13)을 통해 확인할 수 있다. 복합 영상(13)에는 후방 객체들(31~34)이 반투명한 형태 혹은 광학 영상의 객체들과 구별되는 별도의 색상이 부여되도록 표시될 수 있다. 복합 영상(130)에는 소나 영상으로부터 검출 가능한 후방 객체들(31~34)에 이르는 거리값과 같은 정보들(L1~L4)을 나타내는 정보표시부(41~44)가 추가적으로 표시될 수도 있다.
본 발명의 실시 예에 의하면, 광학 영상장치(10)의 가시거리를 벗어난 영역에 위치한 객체가 광학 영상에 합성되어 표시될 수 있다. 따라서, 광학 영상의 가시거리를 확장하는 것에 상응하는 효과를 얻을 수 있으며, 광학 영상과 소나 영상을 개별적으로 인식하는데에 따른 혼란 없이 하나의 복합 영상(합성 영상)을 통하여 작업 대상물이나 장애물 등의 객체의 위치를 손쉽게 파악하고 수중 로봇 등을 조정할 수 있다.
본 발명의 실시 예에 따른 방법은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
10: 광학 영상장치 20: 이미징 소나
30,31,32,33,34: 객체(물체) 100: 복합 영상 생성 장치
110: 좌표계 정합부 120: 소나영상 객체검출부
121: 객체추출부 122: 거리산출부
123: 폭산출부 124: 높이산출부
130: 복합영상 생성부 140: 출력부

Claims (7)

  1. 소나 영상에서 객체를 검출하는 소나영상 객체검출부; 및
    상기 소나 영상에서 검출한 객체를 광학 영상에 합성하여 복합 영상을 생성하는 복합영상 생성부를 포함하고,
    상기 소나영상 객체검출부는 상기 소나 영상에서 상기 광학 영상을 촬영한 광학 영상장치의 가시거리를 벗어난 영역에 위치한 객체를 검출하고,
    상기 복합영상 생성부는 상기 소나 영상에서 검출된 객체의 위치 정보에 대응하는 광학 영상의 영상 영역에 상기 객체를 합성하여 상기 복합 영상을 생성하는 복합 영상 생성 장치.
  2. 제1 항에 있어서,
    상기 복합영상 생성부는 상기 소나 영상에서 검출한 객체가 상기 광학 영상에 반투명하게 표시되도록 상기 복합 영상을 생성하는 복합 영상 생성 장치.
  3. 제1 항에 있어서,
    제1 영역을 대상으로 상기 광학 영상을 획득하는 상기 광학 영상장치;
    상기 제1 영역 중 적어도 일부를 포함하는 제2 영역을 대상으로 상기 소나 영상을 획득하는 이미징 소나; 및
    상기 광학 영상장치와 상기 이미징 소나의 좌표계를 정합하는 좌표계정합부를 더 포함하는 복합 영상 생성 장치.
  4. 제3 항에 있어서,
    상기 소나영상 객체검출부는,
    상기 소나 영상에서 픽셀의 밝기 정보에 기초하여 객체 영역을 추출하는 객체추출부;
    상기 객체에 이르는 거리 정보를 산출하는 거리산출부;
    상기 소나 영상으로부터 상기 객체의 수평방향 폭 정보를 산출하는 폭산출부; 및
    상기 소나 영상에서 상기 객체 영역에 대한 그림자 영역을 검출하고, 상기 그림자 영역의 정보를 이용하여 상기 객체의 높이 정보를 계산하는 높이산출부를 포함하는 복합 영상 생성 장치.
  5. 제4 항에 있어서,
    상기 복합영상 생성부는,
    상기 소나 영상으로부터 검출된 객체에 이르는 거리 정보와 상기 광학 영상장치의 내부 파라미터 정보에 따라 상기 객체의 폭과 높이를 변환하여 상기 광학 영상에 투영함으로써 상기 복합 영상을 생성하는 복합 영상 생성 장치.
  6. 삭제
  7. 소나 영상에서 객체를 검출하는 단계; 및
    상기 소나 영상에서 검출한 객체를 광학 영상에 합성하여 복합 영상을 생성하는 단계를 포함하고,
    상기 소나 영상에서 객체를 검출하는 단계는, 상기 소나 영상에서 상기 광학 영상을 촬영한 광학 영상장치의 가시거리를 벗어난 영역에 위치한 객체를 검출하고,
    상기 복합 영상을 생성하는 단계는 상기 소나 영상에서 검출된 객체의 위치 정보에 대응하는 광학 영상의 영상 영역에 상기 객체를 합성하여 상기 복합 영상을 생성하는 복합 영상 생성 방법.
KR1020140179041A 2014-12-12 2014-12-12 복합 영상 생성 장치 및 방법 KR101635408B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140179041A KR101635408B1 (ko) 2014-12-12 2014-12-12 복합 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140179041A KR101635408B1 (ko) 2014-12-12 2014-12-12 복합 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160072295A KR20160072295A (ko) 2016-06-23
KR101635408B1 true KR101635408B1 (ko) 2016-07-04

Family

ID=56353030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140179041A KR101635408B1 (ko) 2014-12-12 2014-12-12 복합 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101635408B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726254B1 (ko) * 2016-09-09 2017-04-26 엘아이지넥스원 주식회사 자율 부상형 표적 정보 획득 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101952290B1 (ko) * 2017-09-11 2019-02-27 포항공과대학교 산학협력단 다중 빔 초음파 카메라를 이용한 3차원 공간데이터 획득방법
CN113792755B (zh) * 2021-08-12 2024-05-14 上海理工大学 一种小波深度图像融合环境感知与目标识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798413B1 (ko) * 2006-10-24 2008-01-28 (주)한국해양과학기술 해양에서 측량되는 자료를 3차원적 형태로 가시화하는시스템 및 이의 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3151472B2 (ja) * 1992-12-08 2001-04-03 日本電信電話株式会社 ３次元物体像の生成方法
KR100439009B1 (ko) * 2003-11-25 2004-07-02 주식회사 씨스캔 초음파 및 카메라 겸용 수중영상 취득 장치
KR101381218B1 (ko) * 2012-08-10 2014-04-02 삼성중공업 주식회사 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798413B1 (ko) * 2006-10-24 2008-01-28 (주)한국해양과학기술 해양에서 측량되는 자료를 3차원적 형태로 가시화하는시스템 및 이의 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726254B1 (ko) * 2016-09-09 2017-04-26 엘아이지넥스원 주식회사 자율 부상형 표적 정보 획득 장치 및 방법

Also Published As

Publication number Publication date
KR20160072295A (ko) 2016-06-23

Similar Documents

Publication Publication Date Title
EP2909811B1 (en) Improvements in and relating to gathering range and dimensional information underwater surveys
US10237532B2 (en) Scan colorization with an uncalibrated camera
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6940843B2 (ja) 水底観測システム
JP5989719B2 (ja) 浅水域観測システム
JP2016013793A5 (ko)
JP2012037491A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
US20170146343A1 (en) Outside Recognition Device
JP2011069965A (ja) 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
CN105975923B (zh) 用于跟踪人体对象的方法和系统
KR101635408B1 (ko) 복합 영상 생성 장치 및 방법
KR20150091779A (ko) 다중 센서를 이용한 영상 처리 시스템
JP2011145924A (ja) 移動装置及び方法
JP2016065422A (ja) 外界認識装置および外界認識装置を用いた掘削機械
Skinner et al. Towards real-time underwater 3D reconstruction with plenoptic cameras
KR20170019793A (ko) 어라운드뷰 제공 장치 및 방법
CN109886064A (zh) 确定可驾驶空间的边界的方法
JP2023029441A (ja) 計測装置、計測システムおよび車両
JP2015005925A (ja) 画像処理装置および画像処理方法
EP2826243B1 (en) Method and system for identifying depth data associated with an object
KR20220039101A (ko) 로봇 및 그의 제어 방법
JP2011053138A (ja) レーダ画像処理装置
JP2019215364A (ja) 水底観測システム
KR101356172B1 (ko) 원격 제어를 위한 3차원 영상 생성 장치 및 방법
JP6735594B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant