KR101864985B1 - 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법 - Google Patents

건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101864985B1
KR101864985B1 KR1020170020914A KR20170020914A KR101864985B1 KR 101864985 B1 KR101864985 B1 KR 101864985B1 KR 1020170020914 A KR1020170020914 A KR 1020170020914A KR 20170020914 A KR20170020914 A KR 20170020914A KR 101864985 B1 KR101864985 B1 KR 101864985B1
Authority
KR
South Korea
Prior art keywords
image
construction equipment
coordinates
end point
image acquisition
Prior art date
Application number
KR1020170020914A
Other languages
English (en)
Inventor
김영석
염동준
최준근
홍유나
김유준
유현석
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020170020914A priority Critical patent/KR101864985B1/ko
Application granted granted Critical
Publication of KR101864985B1 publication Critical patent/KR101864985B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법에 대한 것이다.
본 발명에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치는 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(α,γ,β,θ)로부터 촬영된 복수의 영상을 수신하는 영상 수신부; 상기 복수의 영상을 어라운드 뷰 형태의 영상으로 변환하는 영상 변환부; 상기 건설장비에 설치되어 상기 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서로부터 센싱된 각도값을 각각 수신하는 각도값 수신부; 상기 각도값을 반영하여 상기 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 상기 기울어진 지면에 의해 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 상기 복수의 영상별로 각각 도출하는 좌표 도출부; 상기 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 상기 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 상기 복수의 영상별로 각각 보정하는 영상 보정부; 및 상기 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력하는 출력부를 포함한다.

Description

건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법{APPARATUS FOR COMPENSATING AROUND VIEW IMAGE DISTORTION ACCORDING TO GRADIENT VARIATION OF CONSTRUCTION EQUIPMENT AND METHOD THEREOF}
본 발명은 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 건설장비가 기울어짐에 따라 발생하는 어라운드 뷰 영상의 왜곡을 보정하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법에 관한 것이다.
일반적으로 토공작업 환경에서는 도저, 로더, 굴삭기, 그레이더 등의 건설장비가 주로 활용된다. 이러한 건설장비는 수행할 수 있는 반경이 넓은 장점이 있는 반면, 장비 운전원에게 발생하는 사각지대가 넓다는 단점이 있다.
이러한 사각지대로 인해 추락 및 전도와 같은 안전사고가 빈번하게 발생되어, 사고에 대한 불안감으로 인해 장비 운용의 효율 또한 매우 저하되는 실정이다. 특히, 건설장비 운전원은 3D 직종으로 분류되어 신규 인력의 투입이 매우 저조한 실정이므로 숙련된 운전원의 부재는 이러한 문제를 더욱 심화시키고 있는 실정이다.
이러한 문제점을 해결하기 위하여 건설장비의 4면에 설치된 카메라를 통해 취득된 영상을 보정하여 어라운드 뷰(Around view) 영상으로 제공하는 AVM(Around View Monitoring) 기술이 개발되었는데, 이는 촬영된 영상을 조합하여 건설장비에 구비된 디스플레이 장치를 통해 건설 중장비의 주변 영상을 운전원에게 제공하는 장치이다.
그러나, 기존의 AVM은 지면의 형태나 재질을 고려하지 않고 일괄적인 어라운드 뷰 영상만을 제공하므로 공사 현장 대부분의 지면이 평탄하지 않은 점을 고려했을 때, 건설장비 자체의 자세가 변화됨에 따라 평탄한 지면에서 취득되는 영상과 차이가 발생하게 되어 왜곡된 영상이 생성되는 문제점이 있다.
이와 같은 어라운드 뷰 영상의 왜곡은 건설장비 운전원으로 하여금 장비 주변상황을 왜곡되게 인식하게 하며, 실제 운전원은 건설장비가 기울어진 각도에 따라 일부 물체는 건설장비로부터 실제 위치보다 가까이 있는 것으로, 일부 물체는 건설장비로부터 실제 위치보다 멀리 있는 것으로 판단하게 된다.
따라서 토공현장 내에서 어라운드 뷰 시스템을 사용하더라도 충돌 및 협착 등의 안전사고가 발생할 가능성이 매우 높아 이를 해결하기 위한 방안의 마련이 시급한 실정이다.
최근에는 이러한 문제를 해결하기 위한 방안으로 차량이 기울어짐에 따라 어라운드 뷰 영상의 클리핑 영역을 쉬프팅하는 방식을 활용하여 어라운드 뷰 영상의 왜곡을 보정하는 기술이 개발되었다. 그러나 이러한 기술은 차량이 전방 및 후방 즉, 피치(Pitch) 방향으로 기울어졌을 경우 발생하는 어라운드 뷰 영상의 왜곡만을 보정할 수 있기 때문에 좌측 및 우측 방향 즉, 롤(Roll) 방향으로 기울어졌을 경우 발생하는 어라운드 뷰 영상의 왜곡은 보정할 수 없어, 작업 특성상 전후좌우 방향으로 동시에 기울어질 가능성이 높은 토공현장에서는 적용할 수 없는 기술이다.
따라서 건설장비가 롤(Roll)방향과 피치(Pitch) 방향으로 동시에 기울어진 경우 발생하는 어라운드 뷰 영상의 왜곡을 보정하기 위한 기술의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-1637535호(2016.07.07. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 건설장비가 기울어짐에 따라 발생하는 어라운드 뷰 영상의 왜곡을 보정하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치는, 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(α, γ, β, θ)로부터 촬영된 복수의 영상을 수신하는 영상 수신부; 상기 복수의 영상을 어라운드 뷰 형태의 영상으로 변환하는 영상 변환부; 상기 건설장비에 설치되어 상기 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서로부터 센싱된 각도값을 각각 수신하는 각도값 수신부; 상기 각도값을 반영하여 상기 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 상기 기울어진 지면에 의해 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 상기 복수의 영상별로 각각 도출하는 좌표 도출부; 상기 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 상기 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 상기 복수의 영상별로 각각 보정하는 영상 보정부; 및 상기 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력하는 출력부를 포함한다.
상기 좌표 도출부는, 상기 건설장비가 평탄한 지면에 위치했을 때 상기 건설장비의 중심을 원점으로 놓은 좌표상에서 상기 복수의 카메라(α, γ, β, θ)가 설치된 각각의 위치 좌표와, 상기 복수의 카메라로부터 촬영되는 영상취득범위 외부 끝점(A, B, C, D) 각각의 좌표 및 내부 끝점(a, b, c, d) 각각의 좌표로부터 각각의 평면의 법선벡터를 이용하여 상기 제1 영상취득범위 끝점 좌표를 각 카메라의 영상별로 복수개씩 도출할 수 있다.
상기 좌표 도출부는, 상기 카메라(γ)에 대하여 아래의 수학식과 같이 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일하게 산출할 수 있다.
Figure 112017016010303-pat00001
,
Figure 112017016010303-pat00002
,
Figure 112017016010303-pat00003
,
Figure 112017016010303-pat00004
여기서, r은 상기 건설장비의 중심을 기준으로 전후좌우 영상취득반경이다.
상기 좌표 도출부는, 피치와 롤 방향의 각도값에 대한 회전행렬을 이용하여 상기 기울어진 지면에 위치한 건설장비에 설치된 복수의 카메라(α', γ', β', θ') 각각의 위치 좌표를 산출할 수 있다.
상기 좌표 도출부는, 상기 복수의 카메라(α', γ', β', θ') 각각의 위치 좌표와, 상기 복수의 카메라로부터 각각 촬영되는 영상취득범위 외부 끝점((A', B', C', D')과 (A'', B'', C'', D'')) 각각의 좌표 및 내부 끝점((a', b', c', d')과 (a'', b'', c'', d'')) 각각의 좌표를 이용하여 상기 복수의 카메라별 복수개의 영상취득경로 각각의 평면의 법선벡터와 상기 평면의 법선벡터로부터 각각의 평면 방정식을 산출할 수 있다.
상기 좌표 도출부는, 다음의 수학식으로부터 상기 카메라(γ')의 복수개의 영상취득경로 각각의 평면의 법선벡터와 상기 평면의 법선벡터로부터 각각의 평면 방정식을 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일한 방식으로 산출할 수 있다.
Figure 112017016010303-pat00005
,
Figure 112017016010303-pat00006
,
Figure 112017016010303-pat00007
,
Figure 112017016010303-pat00008
상기 좌표 도출부는, 상기 산출된 복수의 카메라(α', γ', β', θ') 각각에 대하여 각각의 평면 방정식과 z=0 평면의 접점을 이용하여 상기 제2 영상취득범위 끝점 좌표를 각각 도출하고, 다음의 비례관계를 이용하여 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 각 카메라별로 도출할 수 있다.
Figure 112017016010303-pat00009
“ :
Figure 112017016010303-pat00010
=
Figure 112017016010303-pat00011
:
Figure 112017016010303-pat00012
“*
여기서,
Figure 112017016010303-pat00013
“는 상기 제2 영상취득범위 끝점 좌표,
Figure 112017016010303-pat00014
는 상기 제1 영상취득범위 끝점 좌표,
Figure 112017016010303-pat00015
“*는 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표이다.
상기 좌표 도출부는, 상기 카메라(γ)에 대하여 아래의 수학식과 같이 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일하게 산출할 수 있다.
Figure 112017016010303-pat00016
,
Figure 112017016010303-pat00017
,
Figure 112017016010303-pat00018
,
Figure 112017016010303-pat00019
여기서, c''*, C''*, d'*, D'*은 카메라(γ)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
또한, 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 방법은, 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(α, γ, β, θ)로부터 촬영된 복수의 영상을 수신하는 단계; 상기 복수의 영상을 어라운드 뷰 형태의 영상으로 변환하는 단계; 상기 건설장비에 설치되어 상기 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서로부터 센싱된 각도값을 각각 수신하는 단계; 상기 각도값을 반영하여 상기 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 상기 기울어진 지면에 의해 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 상기 복수의 영상별로 각각 도출하는 단계; 상기 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 상기 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 상기 복수의 영상별로 각각 보정하는 단계; 및 상기 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 건설장비가 전후좌우 방향으로 기울어짐에 따라 발생하는 어라운드 뷰 영상의 왜곡을 보정함으로써, 운전원에게 보다 정확한 정보와 좋은 환경을 제공할 수 있어 안전성 및 작업 효율성 향상에 기여할 수 있는 효과가 있다.
또한 본 발명에 따르면, 건설 중장비 운전원의 진입 장벽을 낮추고, 건설장비 산업의 활성화에 기여할 수 있다.
도 1은 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 건설장비의 기울기 변화에 따른 왜곡된 어라운드 뷰 영상을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치의 영상 왜곡 보정 과정을 간략히 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 방법의 동작 흐름을 도시한 순서도이다.
도 5는 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 영상취득경로의 평면을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 복수의 카메라 각각의 설치 위치 좌표를 표시한 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 영상취득범위 외부 끝점 좌표 및 내부 끝점 좌표를 각각 나타낸 도면이다.
도 9 내지 도 12는 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 γ카메라에 대한 영상취득 경로 평면을 각각 나타낸 도면이다.
도 13은 본 발명의 실시예에 따른 롤(roll) 및 피치(pitch) 회전 각도체계를 나타낸 예시이다.
도 14는 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 복수의 카메라 각각의 설치 위치 좌표를 표시한 도면이다.
도 15는 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 영상취득범위 외부 끝점 및 내부 끝점 좌표를 각각 나타낸 도면이다.
도 16 내지 도 19는 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 γ카메라에 대한 영상취득 경로 평면을 각각 나타낸 도면이다.
도 20 내지 도 23은 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 γ카메라에 대한 제2 영상취득범위 끝점 좌표 영역을 각각 나타낸 도면이다.
도 24는 본 발명의 실시예에 따른 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표 산출 과정을 도시한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1 내지 도 4를 통해 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치(100)는, 영상 수신부(110), 영상 변환부(120), 각도값 수신부(130), 좌표 도출부(140), 영상 보정부(150) 및 출력부(160)를 포함한다.
먼저, 영상 수신부(110)는 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 복수의 영상을 수신한다.
이때, 카메라(200)는 건설장비(100)의 전후좌우면이 모두 촬영되도록 전방, 후방, 좌측 및 우측에 각각 설치되며, CCD 카메라가 적용될 수 있다.
즉, 4개의 카메라(200a, 200b, 200c, 200d)는 건설장비의 전방, 후방, 좌측 및 우측의 사각지대 없이 영상을 취득할 수 있는 화각을 지녀야 하며, 건설장비의 특성상 장비중심으로부터 8m이상의 거리에 있는 장애물 및 작업자를 어라운드 뷰(Around View) 영상으로 변환할 수 있는 해상도의 카메라가 적용되는 것이 바람직하다.
그리고 영상 변환부(120)는 복수의 영상을 어라운드 뷰 형태의 영상으로 변환한다.
즉, 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 영상들을 보정하여 복수의 보정 영상을 생성한 후 오버레이(overlay) 방식으로 합성 처리하여 어라운드 뷰 형태의 영상으로 변환한다.
상세히는, 각 카메라(200a, 200b, 200c, 200d)별 촬영 영역 정보와 각 촬영 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 기반으로 복수의 보정 영상을 오버레이 방식으로 합성 처리하여 건설장비의 주변 영상을 어라운드 뷰 형태의 영상으로 변환한다.
이를 더욱 상세히 설명하자면, 영상 변환부(120)는 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 영상들을 룩업 테이블(Look up Table)을 통해 영상 처리할 수 있으며, 각각의 영상으로부터 보정 영상을 생성한다. 여기서, 룩업 테이블은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용하여 생성될 수 있다. 그리고, 겹치는 오버레이 방식으로 보정 영상들을 합성 처리한다. 자세히는, 마스크 영상을 이용하여 오버레이 합성 처리를 하는데, 마스크 영상은 각 카메라(200) 별 영역 정보와 보정 영상을 구성하는 픽셀들에 대한 가중치(weight) 정보를 가진다. 따라서 보정 영상들 사이에 중복되는 영역에 포함되는 픽셀들의 가중치를 조절하여 중복 영역이 자연스럽게 표시되도록 한다.
이와 같이 영상 변환부(120)는 4개의 보정 영상을 오버레이 방식으로 합성 처리하여 건설장비의 주변 360°를 한 눈에 볼 수 있는 어라운드 뷰 형태의 영상으로 변환시킨다.
도 2는 본 발명의 실시예에 따른 건설장비의 기울기 변화에 따른 왜곡된 어라운드 뷰 영상을 나타낸 도면이다.
도 2에서와 같이 건설장비가 기울어진 경우에는 어라운드 뷰 영상이 왜곡되어 생성된다.
그리고 각도값 수신부(130)는 건설장비에 설치되어 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서(300)로부터 센싱된 각도값을 각각 수신한다.
여기서 센서(300)는 중력방향을 기준으로 얼마나 기울어져 있는지를 나타내는 롤과 피치를 측정하기 위해 가속도 센서와 자이로 센서가 적용될 수 있다
그리고 좌표 도출부(140)는 센서(300)로부터 수신한 각도값을 반영하여 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 기울어진 지면에 의해 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 복수의 영상별로 각각 도출한다.
도 3은 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치의 영상 왜곡 보정 과정을 간략히 도시한 도면이다.
도 3의 (a)는 평탄한 지면에 위치한 건설장비의 제1 영상취득 범위 끝점을 나타낸 것이고, (b)는 왜곡된 어라운드 뷰 영상을 나타낸 것이며, (c)는 왜곡된 영상에서의 제1 영상취득범위 끝점에서 제1 영상취득 범위 끝점으로 이동시켜 왜곡된 영상을 보정하는 것을 나타낸 것이고, (d)는 왜곡 보정이 완료된 영상을 나타낸 것이다.
제1 영상취득범위 끝점 좌표는 도 3에 도시한 것처럼, 건설장비가 평탄한 지면에 위치하여 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 영상에 왜곡이 발생하지 않았을 때의 영상취득범위 끝점 좌표를 의미한다.
먼저 좌표 도출부(140)는, 건설장비가 평탄한 지면에 위치했을 때 건설장비의 중심을 원점으로 놓은 좌표(0,0)상에서 복수의 카메라(200a, 200b, 200c, 200d)가 설치된 각각의 위치 좌표(α(αx,αy,αz), γ(γx,γy,γz), β(βx,βy,βz), θ(θx,θy,θz)) 와, 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영되는 영상취득범위 외부 끝점(A, B, C, D) 각각의 좌표(A(r,r,0), B(-r,r,0), C(-r,-r,0), D(r,-r,0)) 및 내부 끝점(a, b, c, d) 각각의 좌표(a(ax,ay,0), b(bx,by,0), c(cx,cy,0), d(dx,dy,0))로부터 각각의 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각 카메라(200a, 200b, 200c, 200d)의 영상별로 복수개씩 도출한다.
그 다음 좌표 도출부(140)는, 각 카메라(200a, 200b, 200c, 200d)에 대하여 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각각 산출한다.
그 다음 좌표 도출부(140)는, 피치와 롤 방향의 각도값에 대한 회전행렬을 이용하여 기울어진 지면에 위치한 건설장비에 설치된 복수의 카메라(200a, 200b, 200c, 200d) 각각의 위치 좌표를 산출한다.
이때, 롤 회전행렬과 피치 회전행렬은 각각 다음의 수학식 1과 같이 기 설정되어 있다.
Figure 112017016010303-pat00020
따라서, 각도값 수신부(130)로부터 수신한 롤과 피치 값을 위의 회전행렬에 대입하여 복수의 카메라(200a, 200b, 200c, 200d) 각각의 위치 좌표를 산출한다.
그 다음 좌표 도출부(140)는, 복수의 카메라(200a, 200b, 200c, 200d) 각각의 위치 좌표(α'(α'x,α'y,α'z), γ'(γ'x,γ'y,γ'z), β'(β‘x,β'y,β'z), θ'(θ‘x,θ'y,θ'z))와, 복수의 카메라(200a, 200b, 200c, 200d)로부터 각각 촬영되는 영상취득범위 외부 끝점((A', B', C', D')과 (A'', B'', C'', D'')) 각각의 좌표 및 내부 끝점((a', b', c', d')과 (a'', b'', c'', d'')) 각각의 좌표를 이용하여 복수의 카메라(200a, 200b, 200c, 200d)별 복수개의 영상취득경로 각각의 평면의 법선벡터와 평면의 법선벡터로부터 각각의 평면 방정식을 산출한다.
그 다음 좌표 도출부(140)는 γ카메라(200c)의 복수개의 영상취득경로 각각의 평면의 법선벡터와 평면의 법선벡터로부터 각각의 평면 방정식을 산출하고, 나머지 α, β, θ 카메라(200a, 200b, 200d)에 대해서도 동일한 방식으로 각각의 평면 방정식을 산출한다.
그 다음 좌표 도출부(140)는 산출된 복수의 카메라(200a, 200b, 200c, 200d) 각각에 대하여 각각의 평면 방정식과 z=0 평면의 접점을 이용하여 제2 영상취득범위 끝점 좌표를 각각 도출한다.
이때 제2 영상취득범위 끝점 좌표는 건설장비가 기울어진 지면에 위치하여 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 영상에 왜곡이 발생했을때의 영상취득범위 끝점 좌표이다.
그 다음 좌표 도출부(140)는 비례관계를 이용하여 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각 카메라(200a, 200b, 200c, 200d)별로 도출한다.
그 다음 좌표 도출부(140)는 복수의 카메라(200a, 200b, 200c, 200d)에 대하여 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각각 산출한다.
그리고 영상 보정부(150)는 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 복수의 영상별로 각각 보정한다.
즉, 도 3에서와 같이 영상 보정부(150)는 좌표 도출부(140)로부터 도출된 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표가, 제1 영상취득범위 끝점 좌표로 이동하도록 왜곡된 영상을 늘리거나 줄임으로써 영상 왜곡을 보정한다.
마지막으로 출력부(160)는 영상 보정부(150)에서 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력한다.
이때 출력부(160)는 건설장비의 운전석에 구비되는 모니터(미도시)를 통해 운전원에게 보정된 어라운드 뷰 영상을 제공할 수도 있다.
이하에서는 도 4 내지 도 24를 통해 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 방법에 대하여 자세히 설명한다.
도 4는 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따르면, 먼저 영상 수신부(110)는 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 복수의 영상을 수신한다(S410).
그 다음 영상 변환부(120)는 복수의 영상을 어라운드 뷰 형태의 영상으로 변환한다(S420).
그 다음 각도값 수신부(130)는 건설장비에 설치되어 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서(300)로부터 센싱된 각도값을 각각 수신한다(S430).
그 다음 좌표 도출부(140)는 S430 단계에서 수신한 각도값을 반영하여 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 기울어진 지면에 의해 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 복수의 영상별로 각각 도출한다(S440).
이때 제1 영상취득범위 끝점 좌표는 건설장비가 평탄한 지면에 위치하여 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 영상에 왜곡이 발생하지 않았을 때의 영상취득범위 끝점 좌표이다.
도 5는 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 영상취득경로의 평면을 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 복수의 카메라 각각의 설치 위치 좌표를 표시한 도면이다.
도 5에서와 같이 건설장비가 평탄한 지면에 위치했을 때 건설장비의 중심을 원점으로 놓은 좌표(0,0)상에서 복수의 카메라(200a, 200b, 200c, 200d)가 설치된 각각의 위치 좌표는 도 6에서와 같이 (α(αx,αy,αz), γ(γx,γy,γz), β(βx,βy,βz), θ(θx,θy,θz))이다.
도 7 및 도 8은 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 영상취득범위 외부 끝점 좌표 및 내부 끝점 좌표를 각각 나타낸 도면이다.
건설장비가 평탄한 지면에 위치한 경우의 영상취득범위 외부 끝점 좌표 및 내부 끝점 좌표는 각각 도 7 및 도 8과 같다.
복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영되는 영상취득범위 외부 끝점(A, B, C, D) 각각의 좌표는 도 7에서와 같이 (A(r,r,0), B(-r,r,0), C(-r,-r,0), D(r,-r,0))이고, 내부 끝점(a, b, c, d) 각각의 좌표는 도 8에서와 같이 (a(ax,ay,0), b(bx,by,0), c(cx,cy,0), d(dx,dy,0))이다.
이때, r은 건설장비의 중심을 기준으로 전후좌우 영상취득반경을 나타낸다.
따라서, 좌표 도출부(140)는 복수의 카메라(200a, 200b, 200c, 200d)가 설치된 각각의 위치 좌표와, 영상취득범위 외부 끝점 각각의 좌표 및 내부 끝점 각각의 좌표로부터 각각의 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각 카메라(200a, 200b, 200c, 200d)의 영상별로 복수개씩 도출한다.
도 9 내지 도 12는 본 발명의 실시예에 따른 건설장비가 평탄한 지면에 위치한 경우 γ카메라에 대한 영상취득경로 평면을 각각 나타낸 도면이다.
여기서, 카메라 1대당 4개의 영상취득경로 평면이 산출된다.
좌표 도출부(140)는 도 9 내지 도 12에서와 같이 γ카메라(200c)에 대하여 아래의 수학식 2와 같이 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 α, β, θ 카메라(200a, 200b, 200d)에 대해서도 동일하게 산출한다.
Figure 112017016010303-pat00021
Figure 112017016010303-pat00022
,
Figure 112017016010303-pat00023
,
Figure 112017016010303-pat00024
여기서, r은 상기 건설장비의 중심을 기준으로 전후좌우 영상취득반경이다.
도 13은 본 발명의 실시예에 따른 롤(roll) 및 피치(pitch) 회전 각도체계를 나타낸 예시이다.
롤 및 피치 회전 각도체계는 도 13과 같으며, 롤 회전행렬과 피치 회전행렬은 각각 수학식 1과 같이 기 설정되어 있다.
도 14는 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 복수의 카메라 각각의 설치 위치 좌표를 표시한 도면이다.
좌표 도출부(140)는, 피치와 롤 방향의 각도값에 대한 회전행렬에 대입하여 기울어진 지면에 위치한 건설장비에 설치된 복수의 카메라(200a, 200b, 200c, 200d) 각각의 위치 좌표를 다음의 수학식 3과 같이 산출한다.
Figure 112017016010303-pat00025
Figure 112017016010303-pat00026
,
Figure 112017016010303-pat00027
,
Figure 112017016010303-pat00028
도 15는 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 영상취득범위 외부 끝점 및 내부 끝점 좌표를 각각 나타낸 도면이다.
수학식 2로부터 산출된 복수의 카메라(200a, 200b, 200c, 200d) 각각의 위치 좌표와, 도 15에 나타낸 복수의 카메라(200a, 200b, 200c, 200d)로부터 각각 촬영되는 영상취득범위 외부 끝점((A', B', C', D')과 (A", B", C", D")) 각각의 좌표 및 내부 끝점((a', b', c', d')과 (a", b", c", d")) 각각의 좌표를 이용하여 복수의 카메라(200a, 200b, 200c, 200d)별 복수개의 영상취득경로 각각의 평면의 법선벡터와 평면의 법선벡터로부터 각각의 평면 방정식을 산출한다.
도 16 내지 도 19는 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 γ카메라에 대한 영상취득 경로 평면을 각각 나타낸 도면이다.
도 16 내지 도 19를 참고하여 같이 다음의 수학식 3으로부터 γ 카메라( 200a, 200b, 200d)의 복수개의 영상취득경로 각각의 평면의 법선벡터와 평면의 법선벡터로부터 각각의 평면 방정식을 산출하고, 나머지 α, β, θ 카메라(200a, 200b, 200d)에 대해서도 동일한 방식으로 산출한다.
이때, 카메라(200) 1대당 아래의 수학식 4와 같이 4개의 평면 방정식이 산출된다.
Figure 112017016010303-pat00029
Figure 112017016010303-pat00030
,
Figure 112017016010303-pat00031
,
Figure 112017016010303-pat00032
그 다음 좌표 도출부(140)는, 산출된 복수의 카메라(200a, 200b, 200c, 200d) 각각에 대하여 각각의 평면 방정식과 z=0 평면의 접점을 이용하여 제2 영상취득범위 끝점 좌표를 각각 도출한다.
이때 제2 영상취득범위 끝점 좌표는 건설장비가 기울어진 지면에 위치하여 복수의 카메라(200a, 200b, 200c, 200d)로부터 촬영된 영상에 왜곡이 발생했을 때의 영상취득범위 끝점 좌표이다.
도 20 내지 도 23은 본 발명의 실시예에 따른 건설장비가 기울어진 지면에 위치한 경우 γ카메라(200c)에 대한 제2 영상취득범위 끝점 좌표 영역을 각각 나타낸 도면이다.
제2 영상취득범위 끝점 좌표(C“, c“, D’, d')는 각각 도 20 내지 도 23의 영역을 참고하여 아래의 표 1과 같이 각각 도출한다.
Figure 112017016010303-pat00033
그 다음 좌표 도출부(140)는 다음의 수학식 5에 나타낸 비례관계를 이용하여 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각 카메라별(200a, 200b, 200c, 200d)로 도출한다.
Figure 112017016010303-pat00034
여기서,
Figure 112017016010303-pat00035
“는 제2 영상취득범위 끝점 좌표,
Figure 112017016010303-pat00036
는 제1 영상취득범위 끝점 좌표,
Figure 112017016010303-pat00037
“*는 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 의미한다.
도 24는 본 발명의 실시예에 따른 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표 산출 과정을 도시한 도면이다.
도 24에서 (A)는 평탄한 지면에 위치한 건설장비의 어라운드 뷰 영상을 나타낸 것이고, (B)는 기울어진 지면에 위치한 건설장비의 영상취득범위를 나타낸 것이며, (C)는 기울어진 지면에 위치한 건설장비의 왜곡된 어라운드 뷰 영상을 나타낸 것이다.
그 다음 좌표 도출부(140)는 γ카메라(200c)에 대하여 아래의 표 2와 같이 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각각 산출한다.
Figure 112017016010303-pat00038
여기서, C''*, c''*, D'*,d'*은 γ카메라(200c)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
그 다음 좌표 도출부(140)는 α카메라(200a)에 대하여 아래의 표 3과 같이 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각각 산출한다.
Figure 112017016010303-pat00039
여기서, A''*, a''*, B'* ,b'*은 α카메라(200a)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
그 다음 좌표 도출부(140)는 β카메라(200b)에 대하여 아래의 표 4와 같이 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각각 산출한다
Figure 112017016010303-pat00040
여기서, B''*, b''*, C'*,c'*은 β카메라(200b)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
그 다음 좌표 도출부(140)는 θ카메라(200d)에 대하여 아래의 표 5와 같이 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를 각각 산출한다.
Figure 112017016010303-pat00041
여기서, D''*, d''*, A'*,a'**은 θ카메라(200d)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
그 다음 영상 보정부(150)는 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 복수의 영상별로 각각 보정한다(S450).
즉 영상 보정부(150)는 S440 단계로부터 도출된 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표가, 제1 영상취득범위 끝점 좌표로 이동하도록 왜곡된 영상을 늘리거나 줄임으로써 영상 왜곡을 보정한다.
마지막으로 출력부(160)는 S450 단계에서 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력한다.
상술한 바와 같이, 본 발명의 실시예에 따른 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법은 건설장비가 전후좌우 방향으로 기울어짐에 따라 발생하는 어라운드 뷰 영상의 왜곡을 보정함으로써, 운전원에게 보다 정확한 정보와 좋은 환경을 제공할 수 있어 안전성 및 작업 효율성 향상에 기여할 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 건설 중장비 운전원의 진입 장벽을 낮추고, 건설장비 산업의 활성화에 기여할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 어라운드 뷰 영상 왜곡 보정 장치 110 : 영상 수신부
120 : 영상 변환부 130 : 각도값 수신부
140 : 좌표 도출부 150 : 영상 보정부
160 : 출력부 200a 내지 200d : 카메라
300 : 센서

Claims (16)

  1. 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(α, γ, β, θ)로부터 촬영된 복수의 영상을 수신하는 영상 수신부;
    상기 복수의 영상을 어라운드 뷰 형태의 영상으로 변환하는 영상 변환부;
    상기 건설장비에 설치되어 상기 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서로부터 센싱된 각도값을 각각 수신하는 각도값 수신부;
    상기 각도값을 반영하여 상기 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 상기 기울어진 지면에 의해 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 상기 복수의 영상별로 각각 도출하는 좌표 도출부;
    상기 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 상기 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 상기 복수의 영상별로 각각 보정하는 영상 보정부; 및
    상기 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력하는 출력부를 포함하고,
    상기 좌표 도출부는,
    상기 건설장비가 평탄한 지면에 위치했을 때 상기 건설장비의 중심을 원점으로 놓은 좌표상에서 상기 복수의 카메라(α, γ, β, θ)가 설치된 각각의 위치 좌표와, 상기 복수의 카메라로부터 촬영되는 영상취득범위 외부 끝점(A, B, C, D) 각각의 좌표 및 내부 끝점(a, b, c, d) 각각의 좌표로부터 각각의 평면의 법선벡터를 이용하여 상기 제1 영상취득범위 끝점 좌표를 각 카메라의 영상별로 복수개씩 산출하되,
    상기 카메라(γ)에 대하여 아래의 수학식과 같이 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일하게 산출하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치:
    Figure 112018013114193-pat00042
    ,
    Figure 112018013114193-pat00043
    ,
    Figure 112018013114193-pat00044
    ,
    Figure 112018013114193-pat00045

    여기서, r은 상기 건설장비의 중심을 기준으로 전후좌우 영상취득반경이다.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 좌표 도출부는,
    피치와 롤 방향의 각도값에 대한 회전행렬을 이용하여 상기 기울어진 지면에 위치한 건설장비에 설치된 복수의 카메라(α', γ', β', θ') 각각의 위치 좌표를 산출하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치:
  5. 제4항에 있어서,
    상기 좌표 도출부는,
    상기 복수의 카메라(α', γ', β', θ') 각각의 위치 좌표와, 상기 복수의 카메라로부터 각각 촬영되는 영상취득범위 외부 끝점((A', B', C', D')과 (A'', B'', C'', D'')) 각각의 좌표 및 내부 끝점((a', b', c', d')과 (a'', b'', c'', d'')) 각각의 좌표를 이용하여 상기 복수의 카메라별 복수개의 영상취득경로 각각의 평면의 법선벡터와 상기 평면의 법선벡터로부터 각각의 평면 방정식을 산출하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치.
  6. 제5항에 있어서,
    상기 좌표 도출부는,
    다음의 수학식으로부터 상기 카메라(γ')의 복수개의 영상취득경로 각각의 평면의 법선벡터와 상기 평면의 법선벡터로부터 각각의 평면 방정식을 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일한 방식으로 산출하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치:
    Figure 112017016010303-pat00046
    ,
    Figure 112017016010303-pat00047
    ,
    Figure 112017016010303-pat00048
    ,
    Figure 112017016010303-pat00049
  7. 제5항에 있어서,
    상기 좌표 도출부는,
    상기 산출된 복수의 카메라(α', γ', β', θ') 각각에 대하여 각각의 평면 방정식과 z=0 평면의 접점을 이용하여 상기 제2 영상취득범위 끝점 좌표를 각각 도출하고,
    다음의 비례관계를 이용하여 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 각 카메라별로 도출하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치:
    Figure 112017016010303-pat00050
    “ :
    Figure 112017016010303-pat00051
    =
    Figure 112017016010303-pat00052
    :
    Figure 112017016010303-pat00053
    “*
    여기서,
    Figure 112017016010303-pat00054
    “는 상기 제2 영상취득범위 끝점 좌표,
    Figure 112017016010303-pat00055
    는 상기 제1 영상취득범위 끝점 좌표,
    Figure 112017016010303-pat00056
    “*는 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표이다.
  8. 제7항에 있어서,
    상기 좌표 도출부는,
    상기 카메라(γ)에 대하여 아래의 수학식과 같이 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일하게 산출하는 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치:
    Figure 112017016010303-pat00057
    ,
    Figure 112017016010303-pat00058
    ,
    Figure 112017016010303-pat00059
    ,
    Figure 112017016010303-pat00060

    여기서, c''*, C''*, d'*, D'*은 카메라(γ)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
  9. 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치를 이용한 어라운드 뷰 영상 왜곡 보정 방법에 있어서,
    상기 건설장비의 전후좌우면에 각각 설치된 복수의 카메라(α, γ, β, θ)로부터 촬영된 복수의 영상을 수신하는 단계;
    상기 복수의 영상을 어라운드 뷰 형태의 영상으로 변환하는 단계;
    상기 건설장비에 설치되어 상기 건설장비가 피치(Pitch)와 롤(Roll) 방향으로 기울어진 각도를 각각 센싱하는 센서로부터 센싱된 각도값을 각각 수신하는 단계;
    상기 각도값을 반영하여 상기 건설장비가 평탄한 지면에 위치한 경우 촬영되는 제1 영상취득범위 끝점 좌표와, 기울어진 지면에 위치한 경우 촬영되는 제2 영상취득범위 끝점 좌표 및 상기 기울어진 지면에 의해 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 상기 복수의 영상별로 각각 도출하는 단계;
    상기 왜곡된 영상에서의 제1 영상취득범위 끝점 좌표를, 상기 제1 영상취득범위 끝점 좌표로 이동시켜 왜곡된 영상을 상기 복수의 영상별로 각각 보정하는 단계; 및
    상기 보정된 복수의 영상을 조합하여 어라운드 뷰 영상으로 출력하는 단계를 포함하고,
    상기 좌표를 각각 도출하는 단계는,
    상기 건설장비가 평탄한 지면에 위치했을 때 상기 건설장비의 중심을 원점으로 놓은 좌표상에서 상기 복수의 카메라(α, γ, β, θ)가 설치된 각각의 위치 좌표와, 상기 복수의 카메라로부터 촬영되는 영상취득범위 외부 끝점(A, B, C, D) 각각의 좌표 및 내부 끝점(a, b, c, d) 각각의 좌표로부터 각각의 평면의 법선벡터를 이용하여 상기 제1 영상취득범위 끝점 좌표를 각 카메라의 영상별로 복수개씩 산출하되,
    상기 카메라(γ)에 대하여 아래의 수학식과 같이 평면의 법선벡터를 이용하여 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일하게 산출하는 어라운드 뷰 영상 왜곡 보정 방법:
    Figure 112018013114193-pat00061
    ,
    Figure 112018013114193-pat00062
    ,
    Figure 112018013114193-pat00063
    ,
    Figure 112018013114193-pat00064

    여기서, r은 상기 건설장비의 중심을 기준으로 전후좌우 영상취득반경이다.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 좌표를 각각 도출하는 단계는,
    피치와 롤 방향의 각도값에 대한 회전행렬을 이용하여 상기 기울어진 지면에 위치한 건설장비에 설치된 복수의 카메라(α', γ', β', θ') 각각의 위치 좌표를 산출하는 어라운드 뷰 영상 왜곡 보정 방법.
  13. 제12항에 있어서,
    상기 좌표를 각각 도출하는 단계는,
    상기 복수의 카메라(α', γ', β', θ') 각각의 위치 좌표와, 상기 복수의 카메라로부터 각각 촬영되는 영상취득범위 외부 끝점((A', B', C', D')과 (A'', B'', C'', D'')) 각각의 좌표 및 내부 끝점((a', b', c', d')과 (a'', b'', c'', d'')) 각각의 좌표를 이용하여 상기 복수의 카메라별 복수개의 영상취득경로 각각의 평면의 법선벡터와 상기 평면의 법선벡터로부터 각각의 평면 방정식을 산출하는 어라운드 뷰 영상 왜곡 보정 방법.
  14. 제13항에 있어서,
    상기 좌표를 각각 도출하는 단계는,
    다음의 수학식으로부터 상기 카메라(γ')의 복수개의 영상취득경로 각각의 평면의 법선벡터와 상기 평면의 법선벡터로부터 각각의 평면 방정식을 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일한 방식으로 산출하는 어라운드 뷰 영상 왜곡 보정 방법:
    Figure 112017016010303-pat00065
    ,
    Figure 112017016010303-pat00066
    ,
    Figure 112017016010303-pat00067
    ,
    Figure 112017016010303-pat00068
  15. 제13항에 있어서,
    상기 좌표를 각각 도출하는 단계는,
    상기 산출된 복수의 카메라(α', γ', β', θ') 각각에 대하여 각각의 평면 방정식과 z=0 평면의 접점을 이용하여 상기 제2 영상취득범위 끝점 좌표를 각각 도출하고,
    다음의 비례관계를 이용하여 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 각 카메라별로 도출하는 어라운드 뷰 영상 왜곡 보정 방법:
    Figure 112017016010303-pat00069
    “ :
    Figure 112017016010303-pat00070
    =
    Figure 112017016010303-pat00071
    :
    Figure 112017016010303-pat00072
    “*
    여기서,
    Figure 112017016010303-pat00073
    “는 상기 제2 영상취득범위 끝점 좌표,
    Figure 112017016010303-pat00074
    는 상기 제1 영상취득범위 끝점 좌표,
    Figure 112017016010303-pat00075
    “*는 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표이다.
  16. 제15항에 있어서,
    상기 좌표를 각각 도출하는 단계는,
    상기 카메라(γ)에 대하여 아래의 수학식과 같이 상기 왜곡된 영상에서의 상기 제1 영상취득범위 끝점 좌표를 각각 산출하고, 나머지 카메라(α, β, θ)에 대해서도 동일하게 산출하는 어라운드 뷰 영상 왜곡 보정 방법:
    Figure 112017016010303-pat00076
    ,
    Figure 112017016010303-pat00077
    ,
    Figure 112017016010303-pat00078
    ,
    Figure 112017016010303-pat00079

    여기서, c''*, C''*, d'*, D'*은 카메라(γ)에 대한 왜곡된 영상에서의 제1 영상취득범위 끝점이다.
KR1020170020914A 2017-02-16 2017-02-16 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법 KR101864985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170020914A KR101864985B1 (ko) 2017-02-16 2017-02-16 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170020914A KR101864985B1 (ko) 2017-02-16 2017-02-16 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101864985B1 true KR101864985B1 (ko) 2018-06-05

Family

ID=62635582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170020914A KR101864985B1 (ko) 2017-02-16 2017-02-16 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101864985B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046826A (ko) 2018-10-25 2020-05-07 주식회사 인포웍스 중장비 어라운드 뷰 모니터링을 위한 영상 캘리브레이션 방법
KR20210151297A (ko) * 2020-06-04 2021-12-14 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245821A (ja) * 2009-04-06 2010-10-28 Denso Corp 車両用画像表示装置
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245821A (ja) * 2009-04-06 2010-10-28 Denso Corp 車両用画像表示装置
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
염동준 외 4명, "건설기계 어라운드 뷰 모니터링(AVM) 시스템의 파일럿타입 개발", 한국건설관리학회 2016년 17권 3호, 31 May 2016, pp.143-155(2016.05.31.)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046826A (ko) 2018-10-25 2020-05-07 주식회사 인포웍스 중장비 어라운드 뷰 모니터링을 위한 영상 캘리브레이션 방법
KR20210151297A (ko) * 2020-06-04 2021-12-14 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템
KR102362953B1 (ko) 2020-06-04 2022-02-16 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템

Similar Documents

Publication Publication Date Title
JP4193886B2 (ja) 画像表示装置
KR100939761B1 (ko) 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
WO2018225446A1 (ja) 地図変化点検出装置
KR101787897B1 (ko) Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법
WO2013145878A1 (ja) 作業機械用周辺監視装置
US10527413B2 (en) Outside recognition device
WO2017135081A1 (ja) 車載カメラ用校正システム
WO2010109730A1 (ja) カメラ校正装置
JP5612915B2 (ja) 移動体検出装置及び移動体検出方法
JP6321977B2 (ja) 重機用周辺監視装置
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
US10621743B2 (en) Processing-target image creating device, processing-target image creating method, and operation assisting system
US20090303024A1 (en) Image Processing Apparatus, Driving Support System, And Image Processing Method
KR101864985B1 (ko) 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
WO2017216998A1 (ja) 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
JP4572377B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP5147132B2 (ja) 撮影カメラの位置算出装置
JP5805574B2 (ja) 作業機械用周辺監視装置
JP6598552B2 (ja) 位置計測システム
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
KR101598193B1 (ko) 군 운용 차량의 주행 차선 표시 장치 및 그 방법
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant