KR100957590B1 - 객체 영상 표출형 전방향 영상레이다 장치 - Google Patents

객체 영상 표출형 전방향 영상레이다 장치 Download PDF

Info

Publication number
KR100957590B1
KR100957590B1 KR1020090087358A KR20090087358A KR100957590B1 KR 100957590 B1 KR100957590 B1 KR 100957590B1 KR 1020090087358 A KR1020090087358 A KR 1020090087358A KR 20090087358 A KR20090087358 A KR 20090087358A KR 100957590 B1 KR100957590 B1 KR 100957590B1
Authority
KR
South Korea
Prior art keywords
image
radar
unit
distance
cameras
Prior art date
Application number
KR1020090087358A
Other languages
English (en)
Inventor
황재정
조상규
박길양
박상현
신진욱
박성환
Original Assignee
딕스비전 주식회사
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 딕스비전 주식회사, 군산대학교산학협력단 filed Critical 딕스비전 주식회사
Priority to KR1020090087358A priority Critical patent/KR100957590B1/ko
Application granted granted Critical
Publication of KR100957590B1 publication Critical patent/KR100957590B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 객체 영상 표출형 전방향 영상레이다 장치에 관한 것으로서, 더욱 상세하게는, 복수의 어안렌즈로 전방향 영상을 획득하여 주위에 있는 물체를 감지하고, 감지한 물체의 영상을 방향 및 거리에 맞는 레이다영상의 위치에 표시하여 출력하는 객체 영상 표출형 전방향 영상레이다 장치에 관한 것이다.
이를 위한 본 발명은, 전방향(全方向)에 있는 객체를 감지할 수 있는 객체 영상 표출형 전방향 영상레이다 장치에 있어서, 광축에 광각렌즈(120)를 구비한 카메라(110)를 복수개 마련하여 방사상에 등각도로 배치되게 구성한 촬상부(100); 영상를 화면상으로 출력하는 디스플레이부(400); 상기 촬상부(100)의 카메라(110)들로 촬상한 영상들을 언와핑(un-warping)한 카메라(110)별 보정 영상을 획득하고, 카메라(110)별 보정 영상에서 서로 중첩되지 아니하게 부분영상을 추출한 후에 추출한 부분영상을 병합하여 파노라마영상을 생성하는 파노라마영상 획득수단(210); 및 각 카메라(110)별 보정 영상에서 객체에 대응되는 객체 영상 조각을 추출하고, 보정 영상 내에서 객체 영상 조각의 위치를 파악한 후에, 동일한 객체 영상 조각이 포함된 두개의 보정 영상에서 객체 영상 조각의 위치에 따른 양안 시차(視差)에 근거하여 객체의 방향 및 거리를 추정하고, 객체가 위치한 방향 및 거리에 대응되도록 객체 영상 조각을 방사상에 배치한 레이다영상를 생성하는 레이다영상 획득수단(220); 을 구비하며, 획득한 상기 파노라마영상 및 레이다영상를 상기 디스플레이부(400)로 출력시키는 영상처리부(200); 를 포함하여 구성된다.
레이다, 전방향, 어안렌즈, 양안시차, 거리, 거리맵, 파노라마영상, 객체 영상, 요동감지, 비회전식, 영상감응

Description

객체 영상 표출형 전방향 영상레이다 장치{APARRATUS FOR DISPLAY OMNI-DIRECTIONAL IMAGE WITH OBJECT IMAGE}
본 발명은 객체 영상 표출형 전방향 영상레이다 장치에 관한 것으로서, 더욱 상세하게는, 복수의 어안렌즈로 전방향 영상을 획득하여 주위에 있는 물체를 감지하고, 감지한 물체의 영상을 방향 및 거리에 맞는 레이다영상의 위치에 표시하여 출력하는 객체 영상 표출형 전방향 영상레이다 장치에 관한 것이다.
일반적으로 레이다(RADAR)는, 지향성 안테나로 전파를 발사한 후에 발사한 전파가 어느 목표물에 반사되어 되돌아오게 되는 반사파를 감지하도록 구성되는 장비로서, 전파의 직진성을 이용하여 목표물이 위치한 방향을 파악하고, 전파의 정속성을 이용하여 전파의 왕복에 소요된 시간을 측정하여 거리를 파악할 수 있다.
또한 이러한 레이다는, 막대 형태의 바-스캐너(bar scanner)를 회전시키며 전방향(全方向)에 있는 목표물을 탐색할 수 있도록 형성된다.
하지만, 레이다는 목표물의 위치를 파악할 수는 있지만, 목표물이 어떠한 종류의 어떠한 유형을 갖는 물체인지 정확하게 보여주지 못하는 한계점이 있었다. 예 를 들어, 선박에 설치된 레이다로 선박 주위의 물체를 감지하더라도, 그 물체가 유조선, 화물선, 여객선, 어선 및 작업선 중에 어느 종류의 선박인지를 선박 조종자에게 알려줄 수 없는 한계가 있었던 것이다.
이와 같은 한계점에 의해, 선박 조종자는 주위에 있는 물체의 종류에 따라 항해 경로나 항해 방법을 결정하여 선박을 조종해야 하지만, 종래 레이다로는 물체의 종류를 알 수 없어서, 운항 형태를 미리 결정하지 못하고 보조원을 시켜서 육안으로 직접 선박의 후방 또는 양 측방을 확인한 후에 운항 형태를 결정하는 어려움도 있었다.
또한, 레이다에 의해 출력되는 화면에는 물체의 위치를 알려주는 흐릿한 영상 조각이 표출되지만, 이러한 영상 조각은 레이다에 숙련된 조종자만이 이해할 수 있는 정도에 불과할 뿐만 아니라, 실제로는 물체가 없는데도 알 수 없는 흐릿한 영상이 출력되어서 숙련된 조종자라도 오판할 수 있으며, 더욱이 레이다 영상에 숙달되지 않은 조종자가 물체의 유무를 판단하기에는 더욱 어려운 문제점도 있었다.
또한, 레이다는 바-스캐너(bar scanner)를 회전시켜 전방향 중에 있는 물체를 회전주기마다 반복 감지하도록 구성되어서, 물체의 실시간 움직임을 연속적으로 볼 수 없는 한계점도 있었으며, 특히, 빠르게 움직이는 물체와는 충돌할 우려가 더욱 커서 사고로 이어지는 문제점도 있었다.
한편, 파노라마영상을 제공하는 장치는, 전방향 영상을 한 화면에 펼쳐서 보여주는 장치로서, 모니터 하나로 전방향을 볼 수 있는 장점을 갖고 있어 자동차나 영상 감시장비 등에 적용되고 있다.
하지만, 종래의 파노라마영상 장치는 선박의 레이다 장치에 연계되도록 구성되지 못하여, 선박에서 효과적으로 적용되지 못한 한계가 있었다. 즉 종래 파노라마영상은 전방향 영상을 한 화면을 보여주어 사방을 용이하게 관찰할 수 있는 장점을 갖지만, 파노라마영상으로 보여지는 물체의 거리를 판단할 수 있는 레이다 장치에 연동되지 아니하여, 정확한 원근을 구별하기 어려운 문제점으로 인해, 물체의 위치 파악을 위한 레이다 장치와 같은 별도의 구성을 구성해야 하는 어려움이 있었던 것이다.
따라서 본 발명의 목적은, 주위에 있는 물체의 위치 및 방향을 파악할 수 있되, 물체의 종류 및 형태를 정확하게 보여줄 수 있는 객체 영상 표출형 전방향 영상레이다 장치를 제공하는 것이다.
본 발명의 다른 목적은, 회전식 카메라가 아닌 비회전식 카메라로 구성하여서, 주위에 있는 물체를 끊김이 없이 연속적으로 파악할 수 있는 객체 영상 표출형 전방향 영상레이다 장치를 제공하는 것이다.
본 발명의 또 다른 목적은, 파노라마영상을 표출하기 위한 구성과 연동되어, 전방향 영상과 물체의 위치 및 방향을 파악하기 위한 영상을 동시에 제공할 수 있는 객체 영상 표출형 전방향 영상레이다 장치를 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은, 전방향(全方向)에 있는 객체를 감지할 수 있는 객체 영상 표출형 전방향 영상레이다 장치에 있어서, 광축에 광각렌즈(120)를 구비한 카메라(110)를 복수개 마련하여 방사상에 등각도로 배치되게 구성한 촬상부(100); 영상를 화면상으로 출력하는 디스플레이부(400); 상기 촬상부(100)의 카메라(110)들로 촬상한 영상들을 언와핑(un-warping)한 카메라(110)별 보정 영상을 획득하고, 카메라(110)별 보정 영상에서 서로 중첩되지 아니하게 부분영상을 추출한 후에 추출한 부분영상을 병합하여 파노라마영상을 생성하는 파노라 마영상 획득수단(210); 및 각 카메라(110)별 보정 영상에서 객체에 대응되는 객체 영상 조각을 추출하고, 보정 영상 내에서 객체 영상 조각의 위치를 파악한 후에, 동일한 객체 영상 조각이 포함된 두개의 보정 영상에서 객체 영상 조각의 위치에 따른 양안 시차(視差)에 근거하여 객체의 방향 및 거리를 추정하고, 객체가 위치한 방향 및 거리에 대응되도록 객체 영상 조각을 방사상에 배치한 레이다영상를 생성하는 레이다영상 획득수단(220); 을 구비하며, 획득한 상기 파노라마영상 및 레이다영상를 상기 디스플레이부(400)로 출력시키는 영상처리부(200);를 포함하여 구성됨을 특징으로 한다.
상기 영상처리부(200)의 레이다영상 획득수단(220)은, 객체 영상 조각의 중심이 되는 픽셀 위치를 산출하고, 상기 산출한 픽셀 위치를 객체 영상 조각의 위치로 선정할 수도 있음을 특징으로 한다.
상기 영상처리부(200)는, 인접한 두개의 카메라(110)에 대응되는 두개의 보정 영상을 각각 격자망으로 구획하여 복수의 소영역으로 나누고, 두 보정 영상의 소영역별 양안 시차에 대응되는 거리값 및 방향값을 산출하여서, 산출한 소영역별 거리값 및 방향값을 거리맵 정보로 하여 사전에 저장시킨 데이터 저장부(230); 를 더욱 구비하고,
상기 영상처리부(200)의 레이다영상 획득수단(220)은, 객체 영상 조각의 중심 픽셀이 위치한 소영역을 판별하고, 판별한 소영역에 대응되는 거리값 및 방향값을 상기 데이터 저장부(230)에서 독출하는 것일 수도 있음을 특징으로 한다.
상기 레이다영상 획득수단(220)은, 두개의 보정 영상을 서로 광축이 평행한 영상에 대응되는 원근 투영 영상으로 각각 변환하고, 상기 원근 투영 영상을 양안 영상으로 하여 거리값 및 방향을 산출하는 것일 수도 있음을 특징으로 한다.
따라서, 상기와 같이 구성되는 본 발명은, 복수개의 어안렌즈로 촬상한 영상 데이터로부터 전방향에 있는 물체를 감지하고, 감지한 물체의 영상 조각을 레이다영상에 표출되게 하여, 조종자가 물체의 방향 및 거리는 물론이고, 물체를 촬상한 영상으로 물체 그대로 파악할 수 있으므로, 물체의 종류 및 형태를 정확하게 파악하여 대처할 수 있게 하는 효과를 거둔다.
또한, 본 발명은, 고정되게 설치된 복수개의 어안렌즈를 이용하여 실시간으로 연속 촬영하므로, 물체의 영상 조각을 끊김 없이 확인할 수 있고, 물체의 위치 변동도 연속적으로 파악할 수 있는 장점을 갖는다.
또한, 본 발명은, 본 발명이 설치된 본체(예를 들면, 실시예에서 설명한 선박)가 요동하더라도, 요동에 따른 변위만큼 보정된 흔들림이 없는 파노라마영상을 제공하여, 조종자가 용이하게 볼 수 있으며, 더욱이 파노라마영상의 획득과정에서 생성되는 영상으로 물체의 영상 조각을 추출하여 객체 표출형 레이다영상을 획득하므로, 조종자는 파노라마영상과 레이다영상을 보면서 주변의 물체를 더욱 정확하게 파악할 수 있는 이점도 갖는다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 첨부된 도면들에서 구성 또는 작용에 표기된 참조번호는, 다른 도면에서도 동일한 구성 또는 작용을 표기할 때에 가능한 한 동일한 참조번호를 사용하고 있음에 유의하여야 한다. 또한, 하기에서 본 발명을 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 객체 영상 표출형 전방향 영상레이다 장치의 블록구성도이다.
도 2는, 본 발명의 실시예에 있어서, 촬상부(100)에 복수개로 구비된 카메라(110) 및 광각렌즈(120)들의 배치 단면도이다.
도 3은, 본 발명의 실시예에 있어서, 광각렌즈(120)를 구비한 카메라(110)의 촬상 각도를 보여주는 도면이다.
상기 도 1에 도시된 객체 영상 표출형 전방향 영상레이다 장치는, 선박에 장착되어 전방향(全方向) 영상을 획득하고 획득한 영상을 해독하여서 선박의 주위에 있는 객체를 선박 조정자가 인지할 수 있도록 화면상으로 출력하는 장치이다.
이를 위한 본 발명의 실시예에 따른 객체 영상 표출형 전방향 영상레이다 장치는, 광축 상에 광각렌즈(120)를 구비한 카메라(110)를 8개 마련하여 방사상에 등각도로 배치하되 중심점에서 동일 거리에 배치하여 구성한 촬상부(100); 후술하는 영상처리부(200)에서 생성되는 파노라마영상 및 레이다영상을 화면상으로 출력하는 디스플레이부(400); 본 객체 영상 표출형 전방향 영상레이다 장치가 설치된 선박의 요동을 감지하는 요동감지부(300); 상기 8개의 카메라(110)에서 촬상하여 획득한 영상을 가공하여 파노라마영상 및 레이다영상을 생성하고 생성한 파노라마영상 및 레이다영상을 상기 디스플레이부(400)로 출력시키는 영상처리부(200); 를 포함하여 구성된다.
상기 촬상부(100)는, 전방향에 대한 시야각이 확보되는 위치에 설치되어서 선박 주위의 전방향 영상을 촬영할 수 있도록 구성되며, 도 2 및 도 3을 참조하여 설명하면 다음과 같다.
상기 도 2 및 도 3을 참조하면, 상기 촬상부(100)에 장착되는 8개의 카메라(110)는, 평단면이 정팔각형으로 이루어지는 케이스(101)의 각 측면에 하나씩 장착되되, 카메라(110)의 광축(102) 상에 구비된 광각렌즈(120)가 각 측면의 법선 방향을 향하도록 장착된다. 여기서, 상기 도 2 및 도 3에 도시된 각 광각렌즈(120)는 시야각이 180도인 어안렌즈로서, 각 광각렌즈(120)에서 촬상된 영상 중에서 광축(102)을 기준으로 45도의 시야각에 해당되는 영상을 순차적으로 합성하면 전방향에 대한 파노라마영상을 획득할 수 있게 된다.
그리고, 도 3에 도시된 바와 같이, 상기 8개의 카메라(110 :110-1~110-8)에 의해 촬영되는 영역은, 인접하는 2개의 카메라에 의해 중첩되게 촬영되는 영역(132)과, 인접하는 3개의 카메라에 의해 중첩되게 촬영되는 영역(133)과, 인접하 는 4개의 카메라에 의해 중첩되게 촬영되는 영역(134)과, 중첩되지 아니하고 하나의 카메라만으로 촬영되는 영역(131)으로 구분된다. 이때, 하나의 카메라만으로 촬영되는 영역(131)은, 촬상부(100)에 근접한 영역이고, 선박의 크기에 비해 촬상부(100)의 케이스(101)가 상대적으로 매우 작으므로, 평면상으로 보면 선박의 외곽선 범위 내에 있게 된다. 따라서, 양안 시차에 근거하여 선박 주위의 객체를 감지하기 위한 본 발명에는 상기 영역(131)에는 구애받지 아니한다.
결국, 본 발명의 실시예에 따른 촬상부(100)는, 근접한 영역(131)을 제외하고 전방향 영상을 중첩되게 촬영하므로, 후술하는 바와 같이, 양안 시차에 근거하여 선박 주위에 있는 객체까지의 거리를 산출할 수 있는 영상을 제공하는 것이다.
한편, 본 발명의 실시예에서는 촬상부(100)가 광각렌즈(120)를 구비한 8개의 카메라(110)를 구비하는 것으로 설명하였으나, 본 발명은 촬상부(100)에 구비되는 카메라(110)의 개수를 8개에 한정하는 것이 아님에 유의해야 한다. 즉, 본 발명은, 케이스(101)의 중심을 기준으로 방사상의 동일 거리에 등각도로 배치되는 5개 이상의 카메라(110)를 구비하고, 인접하는 카메라(110)는 서로 중첩되게 촬영할 수 있도록 광각렌즈를 구비하면 되는 것이다. 만약 촬상부(100)가 5개의 카메라(110)로 구성되면, 하나의 카메라(110)만으로 촬상되는 영역(131)이 넓어지므로, 선박의 크기가 촬상부(100)의 크기에 비해 상대적으로 크지 않으면 상기 영역(131)이 선박의 범위 내에 있게 되므로, 비교적 큰 선박에 적용할 수 있는 것이다. 바람직하게는, 광각렌즈의 시야각 내의 촬상 영역에서 테두리 부위의 정밀도가 낮은 점을 고려하면, 본 발명의 실시예에서와 같이 적어도 8개의 카메라(110)로 촬상부(100)를 구성 하는 것이 바람직하다.
또한, 카메라(110)에 구비되는 광각렌즈(120)는, 180도의 시야각을 갖는 어안렌즈에 한정되지 아니함에 유의해야 하며, 본 발명은 인접한 두개의 카메라(110)로 선박의 범위를 벗어난 영역을 중첩하여 촬영할 수 있는 광각렌즈(wide-angle lens)이면 되는 것이다.
또한, 상기 카메라(110)는, 초저조도 카메라로 구성되는 것이 바람직하다. 즉, 야간에도 주변의 객체를 촬상할 수 있는 초저조도 카메라를 사용하여 야간 운항을 자주 하는 선박에도 적용할 수 있게 하는 것이다.
상기 요동감지부(300)는, 선박이 바다에 떠 있는 상태에서, 선박이 좌우로 기울어지는 롤링(rolling), 선박이 앞뒤로 기울어지는 피칭(pitching) 또는 선박의 선수가 좌우로 움직이는 요잉(yawing) 등에 의해 요동될 경우에, 요동의 형태 및 정도를 측정하는 구성으로, 상기 도 1에 도시된 본 발명의 실시예에서는, 선박의 요동을 감지하는 자이로센서(310)와, 상기 자이로센서(310)에서 감지된 요동 감지신호에 근거하여 요동에 상응하는 디지털 요동감지 데이터를 생성하여 영상처리부(200)에 전달하는 자이로 센싱부(320)로 구성된다.
상기 영상처리부(200)는, 상기 촬상부(100)에 장착된 각 카메라(110)로부터 전달받는 영상을 가공하여 파노라마영상을 생성하는 파노라마영상 획득수단(210); 및 각 영상에서 객체 영상을 추출하여 방사상에 배치한 레이다영상을 생성하는 레 이다영상 획득수단(220); 상기 레이다영상를 생성할 때에 필요한 객체 영상의 배치정보를 거리맵 정보로서 저장하는 데이터 저장부(230); 을 구비하여서, 생성한 파노라마영상 및 레이다영상을 상기 디스플레이부(400)로 출력시킨다.
상기 파노라마영상 획득수단(210)은, 광각렌즈(120)의 굴절 특성에 의해 원형으로 왜곡되어 상기 카메라들(110:110-1~110-8)로 촬상되어 전달받는 각 영상을 언와핑(un-warping)하여서 평면형 영상으로 보정하는 언와핑부(211); 상기 요동감지부(300)로부터 요동감지 데이터를 전달받으면, 상기에서 언와핑한 영상을 요동감지 데이터에 맞게 수직 또는 수평 보정하고, 언와핑되고 요동 보정된 영상들에서 서로 중첩되지 아니하게 부분영상을 추출하는 요동 보정부(212); 추출한 부분영상들을 카메라(110)의 배치순서에 맞게 병합하여 파노라마영상을 생성하는 파노라마영상 생성부(213); 를 포함하여 구성된다.
상기 데이터 저장부(230)는, 상기 언와핑부(211) 및 요동 보정부(212)에 의해 보정된 영상에서 인접한 보정 영상 내의 중첩위치에 대응되는 방향값 및 거리값을 저장한다. 즉, 상기 데이터 저장부(230)에는, 보정 영상 내에 있는 객체 영상 조각의 위치에 따라 사전에 산출된 방향값 및 거리값이 거리맵 정보로서 저장되는 것이다. 상기 거리맵 정보에 대한 상세한 설명은 도 8 내지 도 11을 참조하여 상세히 설명한다.
여기서 거리맵 정보는, 보정 영상을 격자망으로 구획하여 복수의 소영역으로 나누어서, 나뉜 소영역의 중심점에 대한 방향값 및 거리값을 포함하도록 작성될 수 있다. 즉, 두개의 보정 영상에 각각 구획된 소영역들에 있어서, 두개의 보정 영상에서 한쪽 영상 내의 소영역 중심점과 다른쪽 영상 내의 소영역 중심점 간에 이루어지는 양안 시차에 따라 방향값 및 거리값을 산출하여 거리맵 정보로서 형성하는 것이다.
상기 레이다영상 획득수단(220)은, 상기 언와핑부(211) 및 요동 보정부(212)에 의해 보정된 각 카메라(110)별 보정 영상들에서 객체에 대응되는 객체 영상 조각을 추출하는 객체 영상 추출부(221); 추출한 객체 영상 조각이 포함된 두개의 보정 영상을 선택하여서, 선택된 보정 영상 내에서 객체 영상 조각의 위치를 추정하고 추정한 위치에 대응되는 방향 및 거리값을 상기 데이터 저장부(230)에서 독출하는 위치 추정부(222); 상기 추출한 객체 영상 조각을 방사상에 배치하되 상기 위치 추정부(222)에서 독출한 방향 및 거리값에 상응되게 배치한 레이다영상을 생성하는 레이다영상 생성부(223); 을 포함하여 구성된다.
다음으로, 파노라마영상의 생성과정을 도 4 및 도 5를 참조하여 구체적으로 설명한다.
도 4는 본 발명의 실시예에 따라 파노라마영상의 획득과정을 보여주는 도면이고, 도 5는 본 발명의 실시예에 따라 선박의 요동에 대한 보정 형태를 보여주는 도면이다.
상기 도 4를 참조하면 영상처리부(200)는, 광각렌즈(120)의 굴절 특성에 의해 원형(또는 타원형)으로 왜곡된 영상(10)들을 카메라들(110-1, 110-2, 110-3, 110-4, 110-5, 110-6, 110-7, 110-8)로부터 전달받으면, 파노라마영상 획득수단(210)의 언와핑부(211)로 각 영상(10)을 언와핑(un-warping)하여서 왜곡을 보상한 평면형 영상(20)을 획득하고, 요동감지부(300)로부터 요동감지 데이터의 전송이 없으면 상기에서 획득한 평면형 영상(20)을 요동이 보정된 영상(30)과 동일한 것으로 간주하여 요동 보정부(212)를 이용하여 보정 영상(30)에서 카메라(110)별로 할당된 범위의 부분영상(31)를 추출하고, 파노라마영상 생성부(213)를 이용하여 부분영상(31)들을 순차적으로 이어지게 한 파노라마영상(40)을 생성한다. 이때 카메라(110)별로 할당된 영상 범위(31)는, 본 발명의 실시예에서는 8개의 카메라를 구비하므로 45° 범위의 촬상각에 대응되며 보정 영상(30) 간에 서로 겹치지 아니하게 한다.
여기서, 상기 언와핑부(211)는, 광각렌즈(120)의 특성상 원형 또는 타원형으로 왜곡되게 촬상되는 영상(10)을 실제 영상과 같도록 보정하여 평면형 영상(20)을 획득하는 수단이며, 영상처리 방법 중에 공간 변형(spatial transformations) 기법을 적용한 구성으로 이루어질 수 있다. 이러한 공간 변형 기법으로는 어파인(affine) 변환, 원근(perspective) 변형, 메쉬워프(meshwarp), 범위 기반 와핑(warping) 등의 기법이 있으므로, 상기 언와핑수단(411)은 상기 기법들 중에서 선택적으로 적용할 수 있다.
또한, 영상처리부(200)는 선박의 요동에 따른 요동감지 데이터를 상기 요동 감지부(300)로부터 전달받으면, 상기 도 5에 도시된 바와 같이 추출할 부분영상(31)의 범위를 변경시킨다.
상기 도 5에 있어서, 5의 (a)는 선박이 요동하지 아니할 경우의 영상(30)이고, 도 5의 (b)는 선박이 롤링에 의해 우측으로 기울어졌을 때의 영상(30a)이고, 도 5의 (c)는 선박의 선수가 핏칭에 의해 하강했을 때의 영상(30b)이다.
이때, 상기 요동보정부(212)는, 요동감지 데이터가 선박의 우측 기울어짐 각도를 나타내는 데이터이면, 부분영상(31a, 파노라마영상을 형성하기 위한 영상 범위)을 추출할 때에, 요동감지 데이터에 맞는 각도만큼 좌측으로 기울여서 추출하는 것이다. 즉, 상기 요동보정부(212)는, 수평축에 대해 선박의 기울어짐이 발생하면 기울어지기 전에 획득할 수 있는 부분영상과 동일한 부분영상을 얻기 위하여, 수평 기울어짐에 반대되는 방향으로 추출범위 조정하는 것이다.
또한, 상기 도 5(c)에 도시된 바와 같이, 상기 요동보정부(212)는, 요동감지 데이터가 선박의 하강 깊이를 나타내는 데이터이면, 부분영상(31b)의 범위를 하강 깊이만큼 높여서 추출하는 것이다. 이와 같이, 파노라마영상에 사용되는 부분영상을 추출할 때에 요동을 보상한 부분영상을 추출함으로써, 선박이 순간적으로 요동하더라도 요동하기 전의 영상과 일치하는 범위의 영상을 획득할 수 있게 된다. 즉, 상기 요동보정부(212)는, 수직축에 대해 선박의 기울어짐이 발생하면 기울어지기 전에 획득할 수 있는 부분영상과 동일한 부분영상을 얻기 위하여 수직 기울어짐에 반대되는 방향으로 추출범위를 조정하는 것이다.
한편, 본 발명은 상기 도 5에서와 같이 부분영상(30, 30a, 30b)의 범위를 조 정하여 부분영상을 추출하지 아니하고, 먼저 언와핑한 영상(20)의 전체에 대해 요동을 보정한 후에 요동을 보정한 영상에서 동일한 범위의 영상을 추출하여 부분영상을 획득할 수도 있다.
다음으로, 레이다영상 획득수단(200)에 의한 레이다영상의 생성과정을 도 6 및 도 7을 참조하여 구체적으로 설명한다.
도 6은 본 발명의 실시예에 따라 격자망으로 구획된 영상에서 객체의 위치를 선정하는 과정을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따라 형성되는 레이다영상의 도면이다.
먼저, 레이더영상 획득수단(220)의 객체 영상 추출부(221)는, 언와핑부(211) 및 요동 보정부(212)에 의해 언와핑된 보정 영상 또는 요동이 보정된 영상(20-1, 20-2)에서 각 보정 영상별로 객체 영상 조각을 추출한다. 여기서, 상기 객체 영상 추출부(221)는 각 광각렌즈(120)별 영상에서 객체 영상 조각을 추출하는 구성으로서, 움직임 기반(motion-based) 기법이나 아니면 배경차(subtraction background) 기법을 적용한 구성으로 이루어질 수 있다. 움직임 기반 기법이란, 각 영상에서 콘트라스트(contrast) 또는 색상의 변화를 감지하여, 동일한 콘트라스트 또는 색상을 갖는 부분이 영상 내에서 이동하는 것임을 감지하면, 그 부분을 추출하여 객체 영상 조각으로 하는 것이다. 또한, 배경차 기법이란, 정해진 시간 간격으로 배경이 되는 영상을 데이터 저장부(230)에 버퍼링하고, 버퍼링한 화상 데이터와 현재 획득한 화상 데이터를 비교하여 차이가 나는 부분을 객체 영상 조각으로 추출하는 것이 다.
다음으로 레이더영상 획득수단(220)의 위치 추정부(222)는, 각 보정 영상별로 추출한 객체 영상 조각들 중에서 서로 일치하는 객체 영상 조각(50-1, 50-2)이 포함된 두개의 보정 영상(20-1, 20-2)을 선출하고, 선출한 두개의 보정 영상(20-1, 20-2)에서 객체 영상 조각(50-1, 50-2)의 위치를 추정한다. 여기서 보정 영상에서의 객체 영상 조각(50-1, 50-2) 위치란, 보정 영상(20-1, 20-2)으로 형성되는 화면 내에서 위치를 나타낸다. 이때, 객체 영상 조각(50-1, 50-2)의 중심이 되는 픽셀 위치(51-1, 51-2)를 산출하여 산출한 위치를 객체 영상 조각의 위치로 하는 것이 바람직하다.
그리고, 상기 위치 추정부(222)는, 두개의 보정 영상(20-1, 20-2)에서의 객체 영상 조각(50-1, 50-2)의 위치에 대응되는 방향값 및 거리값을 상기 데이터 저장부(230)에서 독출한다.
여기서, 상기 도 6에 도시된 바와 같이, 두개의 보정 영상(20-1, 20-2)을 각각 격자망(60)으로 구획하여 복수의 소영역으로 나누었을 때에, 상기에서 산출한 픽셀의 위치(51-1, 51-2)가 속하는 소영역을 찾고, 찾은 소영역에 대응되는 방향값 및 거리값을 상기 데이터 저장부(230)에서 독출하는 것이 바람직하다.
다음으로 레이다영상 생성부(223)는, 중심점(1)을 기준으로 객체 영상 조각(60)을 방사상에 배치한 레이다영상을 생성하며, 이때 레이다영상에 배치되는 객체 영상 조각의 위치는 상기 데이터 저장부(230)에서 독출한 방향값 및 거리값에 맞게 결정된다. 즉, 객체 영상 조각을 독출한 거리값에 비례하여 중심점(1)에서 떨어지게 하고 독출한 방향값에 맞는 방향에 배치하는 것이다.
바람직하게, 상기 도 7에 도시된 레이다영상에는, 중심점(1)에 선박을 표시하고 중심점(1)을 기준으로 하여 떨어진 거리를 나타내는 다수의 동심원(3)도 표시되어서, 선박을 중심으로 객체까지의 거리값도 짐작할 수 있게 되어 있고, 더욱 정확한 거리값을 알 수 있게 하기 위하여 객체 영상 조각의 하단에 거리값이 수치데이터(61)로 표시되어 있다. 또한, 선박의 진행방향(즉, 선박의 선단이 위치하는 방향)도 화살표(2)로 표시되어 선박의 진행방향에 대한 객체의 방향도 알 수 있게 되어 있다.
도 8 내지 도 11은, 영상처리부(200)의 데이터 저장부(230)에 저장되는 거리맵 정보를 설명하기 위한 도면이다.
가상의 객체(70)를 촬상부(100)로 촬상할 경우에 도 3에서 설명하였듯이 적어도 2개 또는 3개의 카메라(110)에 의해 가상의 객체(70)가 촬상되며, 도 8의 예시에서는 세개의 카메라(110-1, 110-2, 110-3)에 의해 촬상된다. 이때, 세개의 카메라(110-1, 110-2, 110-3) 중에 미리 선정된 두개의 카메라(110-1, 110-2)의 촬상 영상에 기초하여 획득할 수 있는 가상의 객체(70)까지의 거리(L)는, 두개의 카메라(110-1, 110-2) 간의 이격 거리와 양안 시차(視差)에 근거하여 산출할 수 있다.
본 발명의 실시예에서는, 두개의 카메라(110-1, 110-2)에 의해 획득된 두 영상에서 가상 객체(70)의 중심점이 각각 어느 위치에 있는 가에 따라 거리를 산출하 여 거리맵 정보로서 데이터 저장부에 저장한다. 또한, 영상의 모든 픽셀에 대한 거리값을 산출할 수 있지만, 이럴 경우에 거리맵 정보의 데이터 크기가 커지고 복잡하므로, 바람직하게, 도 9에서와 같이 영상(20-1, 20-2)을 격자망(60)으로 구획하여 복수의 소영역으로(70-1, 70-2)으로 나누어, 소영역의 중심점에 대한 거리값만을 산출한다. 즉, 어느 하나의 영상(20-1)에서 소영역(70-1)을 순차적으로 선택하고, 다른 하나의 영상(20-2)의 소영역(70-2)들을 상기 선택된 소역역(70-1)에 일대일 매칭시키며, 매칭된 소영역의 쌍(70-1, 70-2)의 중심점에 대한 근거하여 거리값을 산출하는 것이다. 여기서, 상기 도 9에 도시된 영상(20-1, 20-2)은 언와핑부(211)에 의해 언와핑(un-warping)된 영상이다.
이때, 두 카메라의 양안 시차에 근거하여 거리를 산출하는 방법은, 두 카메라의 이격거리 및 양안 시차에 따라 수학적으로 산출할 수 있으며, 양안 시차는 영상 상에 있는 가상 객체(70)의 픽셀 위치로써 알 수 있다.
바람직하게, 본 발명의 실시예에서는, 도 10과 도 11에 도시된 바와 같이 스테레오 비전 시스템(stereo vision system)을 적용하여 가상 객체(70)의 거리를 산출할 수 있음을 보여준다. 여기서, 종래 스테레오 비전 시스템(stereo vision system)은 동일 선상에 배치된 두 카메라, 즉 광축이 평행하도록 배치된 두 카메라를 사용하므로, 두 카메라의 광축이 평행하지 아니한 본 발명에는 종래의 스테레오 비전 시스템(stereo vision system)을 적용할 수 없다. 따라서, 본 발명의 실시예에서는, 도 10에 도시에 바에 근거하여 두 카메라(110-1, 110-2)의 영상을 광축이 평행한 영상으로 변환한다.
즉, 도 10을 참조하면, 촬상부(100)에 배치된 두 카메라(110-1, 110-2)의 광축(90-1, 90-2)은, 평행하지 아니하고 설정된 각(D)을 이루므로, 두 카메라(110-1, 110-2)에 각각 구비되는 촬상소자(80-1, 80-2)에 의해 촬상된 두 영상도 상기 각(D)을 이룬 방향의 영상으로 이루어진다.
이에, 본 발명은 두 카메라(110-1, 110-2)의 촬상소자(80-1, 80-2)에 의해 촬상된 두 영상을 각각 원근 투영(perspective projection) 또는 원근 변환(perspective transform) 방법으로 변환하여서, 평행 광축을 갖는 두 카메라로 촬상한 영상과 동일한 원근 투영 영상을 획득한다. 이때 변환하여 얻는 원근 투영 영상은, 도 10의 (b)에 도시된 바와 같이 가상의 촬상소자(81-1, 81-2)로 획득한 영상과 동일하게 된다. 예를 들면, 상기 도 2에 도시된 본 발명의 실시예에서는 각 촬상소자(80-1, 80-2)의 광축을 45°의 절반값인 22.5°로 기울인 가상의 촬상소자(81-1, 81-2)로 촬상한 영상과 동일하게 된다.
다음으로, 도 11을 참조하면, 상기에서 획득한 두개의 원근 투영 영상 상의 위치를 상기 가상의 촬상소자(81-1, 81-2) 상의 위치에 대응시켜서 스테레오 비전(stereo vision) 방식으로 거리값을 산출한다. 즉, 두개의 원근 투영 영상 상의 위치에 대응되는 두 가상의 촬상소자(81-1, 81-2) 상의 위치의 양안 시차에 따라 거리값을 산출한다.
여기서 종래의 스테레오 비전(stereo vision) 방식을 채용하면, 거리값은 광각렌즈 사이의 간격(d), 가상 촬상소자(81-1, 81-2)의 중심점에서 객체 영상 조각의 촬상 지점(원근 변환된 영상 상의 객체 영상 조각이 위치하는 지점에 대응되는 촬상 지점)까지의 거리(X1, X2), 가상 촬상소자(81-1, 81-2)의 중심점에서 광각렌즈(120-1, 120-2) 사이의 거리(f)에 의해 다음의 산출식으로 산출된다.
Figure 112009056871842-pat00001
이때, d 및 f의 값은 촬상부(100)를 구성할 때에 정해지는 값이므로, X1 및 X2의 값만 얻으면, 거리값을 산출할 수 있다.
이와 같이, 두개의 카메라(110-1, 110-2)에 의해 획득한 영상에서, 한쪽 영상(20-1)의 특정 소영역(70-1) 중심점과 다른쪽 영상(20-2)의 특정 소영역(70-2) 중심점 사이의 양안 시차에 근거하여 거리값을 산출하기 위해서, 두 중심점에 대응되는 원근 변환 영상 상의 위치를 추출하고 추출한 위치에 대응되는 가상 촬상소자 상의 위치도 추출하여 상기 식에 따라 거리값을 산출하는 것이다.
그리고, 이와 같이 사전에 소영역별로 산출한 거리값을 데이터베이스화하여 데이터 저장부(230)에 저장하는 것이다. 아울러, 영상(20-1, 20-2)에서 소영역(70-1, 70-2)의 중심점의 위치에 따라 방향값을 산출할 수 있고, 이때 산출한 방향값도 데이터 베이스화하여 데이터 저장부(230)에 저장한다. 여기서, 방향값은, X1에 대한 f의 비율과 X2에 대한 f의 비율에 근거하여 수학적으로 산출할 수 있다.
따라서, 본 발명에 따르면, 레이다영상 획득수단(220)의 위치 추정부(222)는 동일한 객체를 동시에 촬상한 두 영상 내에서 객체 영상 조각의 위치에 대응되는 거리값 및 방향값을 데이터 저장부(230)에서 독출할 수 있는 것이다.
또한, 레이다영상 획득수단(220)은, 거리맵 정보를 저장하지 아니하고, 대신에 객체 영상 조각의 위치를 추출하고 추출한 위치에 따라 상기 산출식과 같은 다양한 거리값 산출식에 의해 산출하여 거리값을 획득하고, 추출한 위치에 맞는 방향값도 산출하여 획득하도록 구성될 수도 있다. 이를 위해 상기 데이터 저장부(230)는, 보정 영상을 원근 투영 영상으로 변환하는 원근 투영 관계식을 미리 저장하고 있어야 하며, 이에 따라 레이다영상 획득수단(220)은, 파노라마영상 획득수단(210)의 보정영상을 원근 투영 관계식에 따라 원근 투영 영상을 획득하고, 획득한 원근 투영 영상을 양안 영상으로 하여 스테레오 비전(stereo vision) 방식을 수행하여 거리값 및 방향을 산출할 수 있는 것이다. 여기서, 원근 투영 관계식 및 거리값 산출식은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 선택적으로 정할 수 있는 것이므로 구체적으로 열거하지 않음에 유의해야 한다.
하지만, 영상 처리부(200)가 신속하게 거리값 및 방향값을 획득하기 위해서는, 상기와 같이 거리맵 정보를 미리 저장하고 있고, 저장한 거리맵 정보에서 해당되는 거리값 및 방향값을 획득하는 것이 바람직하다.
도 12는 본 발명의 다른 실시예에 있어서, 5개의 카메라(110)로 구성된 촬상부(100')의 단면을 보여주는 도면이다.
상기 도 12를 참조하면, 광각렌즈(120')를 구비한 카메라(110)를 방사상에 등각도로 배치하여 촬상부(100')를 구성하였음을 볼 수 있다. 즉, 5개의 카메 라(110)를 72°간격으로 방사상에 배치한 것이다. 또한, 카메라(110)에 구비되는 광각렌즈(120')는 160°의 촬상 범위를 갖는 렌즈이다.
이와 같이 구성됨에 따라, 상기 촬상부(100')에 의해 촬상되는 범위는, 하나의 카메라에 의해 촬상되는 제1 범위(131), 두개의 카메라에 의해 촬상되는 제2 범위(132), 및 3개의 카메라에 의해 촬상되는 제3 범위(133)으로 나누어지며, 따라서 제1 범위(131)보다 먼 거리에 해당되는 제2 범위(132)와 제3 범위(133)에 있는 객체의 거리는 2개의 카메라(110)에 의한 양안 시차에 근거하여 획득할 수 있는 것이다. 이때 상기 제1 범위(131)를 좁게 하기 위해서는 촬상 범위가 보다 큰 광각렌즈(120')를 사용해야 하며, 상기 도 12의 실시예에서 5개의 카메라(110)로 촬상부(100')를 구성하므로 상기 광각렌즈(120')는 적어도 144°보다는 큰 촬상범위를 갖어야 한다. 이는, 상기 광각렌즈(120')의 촬상범위가 144°이면 제3 범위(131)가 존재하지 아니하고 대신에 제1 범위(131)가 무한대 거리에 이르게 되어서 전방향에 대한 객체의 거리를 산출할 수 없기 때문이다.
이와 같이, 상기 도 12를 참조하면 본 발명은 5개의 카메라(110)로 촬상부(100)를 구성할 수 있을 뿐만 아니라, 어안렌즈 대신에 카메라(110)의 갯수에 따라 적절한 촬상범위를 갖는 광각렌즈를 채용하더라도 되는 것이다.
이상에서 설명한 바와 같이, 본 발명은 본 발명이 설치된 선박이 요동하더라도 요동감지부(300)의 감지신호에 따라 보정된 흔들리지 아니하는 파노라마영상을 출력하므로, 선박 조종자가 전방향 영상을 쉽게 인식할 수 있는 장점을 갖는다.
또한, 본 발명은, 복수개의 카메라(110)로 구성되는 촬상부(100)로 전방향 영상을 촬영하되 2개의 카메라(110)로 동일 객체를 촬상할 수 있어, 2개의 카메라(110)에 의해 촬상된 두 영상에서 양안시차에 따라 거리를 획득할 수 있으므로, 기존 레이다장비를 구비하지 아니하더라도 객체까지의 거리를 알 수 있다. 또한, 본 발명은 객체의 위치를 거리값 및 방향에 맞게 선박을 중심으로 하는 방사상 위치에 표시하되, 객체의 화상 조각으로 표시하므로 선박 조종자가 선박의 형태 및 종류를 용이하게 인지할 수 있게 하는 장점을 갖는다.
이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시 예로 도시하고 설명하였으나, 본 발명은 상기와 같이 구체적인 실시 예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
도 1은, 본 발명의 실시예에 따른 객체 영상 표출형 전방향 영상레이다 장치의 블록구성도.
도 2는, 본 발명의 실시예에 있어서, 촬상부(100)에 복수개로 구비된 카메라(110) 및 광각렌즈(120)들의 배치 단면도.
도 3은, 본 발명의 실시예에 있어서, 광각렌즈(120)를 구비한 카메라(110)의 촬상 각도를 보여주는 도면.
도 4는, 본 발명의 실시예에 따라 파노라마영상의 획득과정을 보여주는 도면.
도 5는, 본 발명의 실시예에 따라 선박의 요동에 대한 보정 형태를 보여주는 도면.
도 6은, 본 발명의 실시예에 따라 격자망으로 구획된 영상에서 객체의 위치를 선정하는 과정을 설명하기 위한 도면.
도 7은, 본 발명의 실시예에 따라 형성되는 레이다영상의 도면.
도 8 내지 도 11은 데이터 저장부(230)에 저장하기 위한 거리맵 정보의 생성과정을 보여주기 위한 도면.
도 12는 본 발명의 다른 실시예에 있어서, 5개의 카메라(110)로 구성된 촬상부(100')의 단면을 보여주는 도면.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 촬상부 110 : 카메라 120 : 광각렌즈
200 : 영상처리부
210 : 파노라마영상 획득수단 211 : 언와핑부
212 : 영상 보정부 213 : 파노라마영상 생성부
220 : 레이다영상 획득수단 221 : 객체 영상 추출부
222 : 위치 추정부 223 : 레이다영상 생성부
230 : 데이터 저장부
300 : 요동감지부 310 : 자이로센서 320 : 자이로 센싱부
400 : 디스플레이부

Claims (6)

  1. 삭제
  2. 전방향(全方向)에 있는 객체를 감지할 수 있는 객체 영상 표출형 전방향 영상레이다 장치에 있어서,
    광축에 광각렌즈(120)를 구비한 카메라(110)를 복수개 마련하여 방사상에 등각도로 배치되게 구성한 촬상부(100);
    영상를 화면상으로 출력하는 디스플레이부(400);
    상기 촬상부(100)의 카메라(110)들로 촬상한 영상들을 언와핑(un-warping)한 카메라(110)별 보정 영상을 획득하고, 카메라(110)별 보정 영상에서 서로 중첩되지 아니하게 부분영상을 추출한 후에 추출한 부분영상을 병합하여 파노라마영상을 생성하는 파노라마영상 획득수단(210); 및 각 카메라(110)별 보정 영상에서 객체에 대응되는 객체 영상 조각을 추출하고, 보정 영상 내에서 객체 영상 조각의 위치를 파악한 후에, 동일한 객체 영상 조각이 포함된 두개의 보정 영상에서 객체 영상 조각의 위치에 따른 양안 시차(視差)에 근거하여 객체의 방향 및 거리를 추정하고, 객체가 위치한 방향 및 거리에 대응되도록 객체 영상 조각을 방사상에 배치한 레이다영상를 생성하는 레이다영상 획득수단(220); 을 구비하며, 획득한 상기 파노라마영상 및 레이다영상를 상기 디스플레이부(400)로 출력시키는 영상처리부(200);
    를 포함하여 구성되되,
    상기 영상처리부(200)의 레이다영상 획득수단(220)은,
    객체 영상 조각의 중심이 되는 픽셀 위치를 산출하고, 상기 산출한 픽셀 위치를 객체 영상 조각의 위치로 선정하는 것임을 특징으로 하는 객체 영상 표출형 전방향 영상레이다 장치.
  3. 제 2항에 있어서,
    상기 영상처리부(200)는,
    인접한 두개의 카메라(110)에 대응되는 두개의 보정 영상을 각각 격자망으로 구획하여 복수의 소영역으로 나누고, 두 보정 영상의 소영역별 양안 시차에 대응되는 거리값 및 방향값을 산출하여서, 산출한 소영역별 거리값 및 방향값을 거리맵 정보로 하여 사전에 저장시킨 데이터 저장부(230); 를 더욱 구비하고,
    상기 영상처리부(200)의 레이다영상 획득수단(220)은,
    객체 영상 조각의 중심 픽셀이 위치한 소영역을 판별하고, 판별한 소영역에 대응되는 거리값 및 방향값을 상기 데이터 저장부(230)에서 독출하는 것임을 특징으로 하는 객체 영상 표출형 전방향 영상레이다 장치.
  4. 제 2항에 있어서,
    상기 레이다영상 획득수단(220)은,
    두개의 보정 영상을 서로 광축이 평행한 영상에 대응되는 원근 투영 영상으로 각각 변환하고, 상기 원근 투영 영상을 양안 영상으로 하여 거리값 및 방향을 산출하는 것임을 특징으로 하는 객체 영상 표출형 전방향 영상레이다 장치.
  5. 제 3항 또는 제 4항에 있어서,
    선박의 요동을 감지하는 요동감지부(300);를 더욱 구비하고,
    상기 영상처리부(200)의 파노라마영상 획득수단(210)은,
    상기 요동감지부(300)에서 감지된 요동 방향에 반대되는 방향으로 부분영상 추출범위를 조정하여 수직 또는 수평을 조정한 부분영상을 추출함으로써, 요동이 발생하기 전의 부분영상과 동일한 부분영상을 추출하는 것임을 특징으로 하는 객체 영상 표출형 전방향 영상레이다 장치.
  6. 제 3항 또는 제 4항에 있어서,
    선박의 요동을 감지하는 요동감지부(300);를 더욱 구비하고,
    상기 영상처리부(200)의 파노라마영상 획득수단(210)은,
    상기 요동감지부(300)에서 감지된 요동에 따라 각 카메라(110)별 언와핑한 영상에 대해 수직 또는 수평을 보정한 보정 영상에서 부분영상을 추출하여 파노라마영상을 생성하는 것임을 특징으로 하는 객체 영상 표출형 전방향 영상레이다 장치.
KR1020090087358A 2009-09-16 2009-09-16 객체 영상 표출형 전방향 영상레이다 장치 KR100957590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090087358A KR100957590B1 (ko) 2009-09-16 2009-09-16 객체 영상 표출형 전방향 영상레이다 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090087358A KR100957590B1 (ko) 2009-09-16 2009-09-16 객체 영상 표출형 전방향 영상레이다 장치

Publications (1)

Publication Number Publication Date
KR100957590B1 true KR100957590B1 (ko) 2010-05-13

Family

ID=42281652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090087358A KR100957590B1 (ko) 2009-09-16 2009-09-16 객체 영상 표출형 전방향 영상레이다 장치

Country Status (1)

Country Link
KR (1) KR100957590B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137553A1 (ko) * 2014-03-14 2015-09-17 (주)유일 선박의 이중 수평 확인 장치 및 방법
KR102075847B1 (ko) * 2018-11-14 2020-02-10 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
US10595004B2 (en) 2015-08-07 2020-03-17 Samsung Electronics Co., Ltd. Electronic device for generating 360-degree three-dimensional image and method therefor
CN113109805A (zh) * 2021-03-31 2021-07-13 中国船舶重工集团公司第七二三研究所 基于射光频回波信息的融合处理方法
CN113496184A (zh) * 2020-04-08 2021-10-12 北京京东乾石科技有限公司 目标检测方法及装置、计算机存储介质、电子设备
CN113740845A (zh) * 2021-08-30 2021-12-03 山西宇翔信息技术有限公司 用于特种车辆的高速小目标探测设备及安装方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100328397B1 (ko) * 2000-08-24 2002-03-13 김웅순 고해상도 파노라마 동영상의 획득 및 디스플레이 방법
KR20050046822A (ko) * 2002-10-18 2005-05-18 사르노프 코포레이션 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템
JP2006229789A (ja) 2005-02-18 2006-08-31 Toshiba Corp カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム
US7277118B2 (en) 1999-08-09 2007-10-02 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277118B2 (en) 1999-08-09 2007-10-02 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems
KR100328397B1 (ko) * 2000-08-24 2002-03-13 김웅순 고해상도 파노라마 동영상의 획득 및 디스플레이 방법
KR20050046822A (ko) * 2002-10-18 2005-05-18 사르노프 코포레이션 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템
JP2006229789A (ja) 2005-02-18 2006-08-31 Toshiba Corp カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137553A1 (ko) * 2014-03-14 2015-09-17 (주)유일 선박의 이중 수평 확인 장치 및 방법
US10595004B2 (en) 2015-08-07 2020-03-17 Samsung Electronics Co., Ltd. Electronic device for generating 360-degree three-dimensional image and method therefor
KR102075847B1 (ko) * 2018-11-14 2020-02-10 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
WO2020101072A1 (ko) * 2018-11-14 2020-05-22 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
CN113496184A (zh) * 2020-04-08 2021-10-12 北京京东乾石科技有限公司 目标检测方法及装置、计算机存储介质、电子设备
CN113109805A (zh) * 2021-03-31 2021-07-13 中国船舶重工集团公司第七二三研究所 基于射光频回波信息的融合处理方法
CN113740845A (zh) * 2021-08-30 2021-12-03 山西宇翔信息技术有限公司 用于特种车辆的高速小目标探测设备及安装方法

Similar Documents

Publication Publication Date Title
JP4488804B2 (ja) ステレオ画像の関連付け方法及び３次元データ作成装置
KR100957590B1 (ko) 객체 영상 표출형 전방향 영상레이다 장치
CN107111598B (zh) 使用超声深度感测的光流成像系统以及方法
JP5966935B2 (ja) 赤外線目標検出装置
JP6251142B2 (ja) 測定対象物の非接触検知方法及びその装置
US20170195655A1 (en) Rgb-d imaging system and method using ultrasonic depth sensing
CN102792333A (zh) 图像处理装置、方法、程序以及记录介质
WO2014171418A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR20160068461A (ko) 평면도에 히트맵을 표시하는 장치 및 방법
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
JP4193342B2 (ja) ３次元データ生成装置
JP6789899B2 (ja) 計測装置および計測装置の作動方法
JP2011174799A (ja) 撮影経路計算装置
JP2010256296A (ja) 全方位３次元空間認識入力装置
CN112907647B (zh) 一种基于固定式单目摄像机的三维空间尺寸测量方法
JP4752319B2 (ja) 画像認識装置及び画像認識方法
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US10783646B2 (en) Method for detecting motion in a video sequence
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
Lu et al. Image-based system for measuring objects on an oblique plane and its applications in 2-D localization
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
CN112351265B (zh) 一种自适应裸眼3d视觉伪装系统
JP5001400B2 (ja) 遮蔽物除去表示装置
RU2552123C2 (ru) Способ селекции объектов на удалённом фоне
JPH09231369A (ja) 画像情報入力装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180420

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 10