KR20210083021A - 스테레오 카메라를 이용한 객체 위치 결정 시스템 - Google Patents

Abstract

본 발명은 스테레오 카메라를 이용한 객체 위치 결정 시스템에 관한 것이다. 보다 상세하게는, 작업 현장에 위치한 객체의 위치정보를 인력을 직접 투입하지 않고도 획득할 수 있고, 객체가 이동하더라도 객체를 실시간으로 트랙킹할 수 있어 객체의 위치 정보를 보다 신속하고 정확하게 취득할 수 있는 스테레오 카메라를 이용한 객체 위치 결정 시스템에 관한 것이다.

Description

스테레오 카메라를 이용한 객체 위치 결정 시스템{Object Positioning System Using Stereo Camera}

본 발명은 스테레오 카메라를 이용한 객체 위치 결정 시스템에 관한 것이다. 보다 상세하게는, 작업 현장에 위치한 객체의 위치정보를 인력을 직접 투입하지 않고도 획득할 수 있고, 객체가 이동하더라도 객체를 실시간으로 트랙킹할 수 있어 객체의 위치 정보를 보다 신속하고 정확하게 취득할 수 있는 스테레오 카메라를 이용한 객체 위치 결정 시스템에 관한 것이다.

일반적으로 조선소들은 선박의 대형화에 따라 선박조립에 사용되는 선박용 블럭들을 조선소 현장 내부에 보관 및 가공을 위해 배치 또는 적층시켜야 하는데 작업장이라는 제한된 부지의 문제로 빠르게 순환이 이루어져야 하므로 작업의 효율성을 증대시키기 위해 조선소 내의 블럭, 부품을 포함하는 객체의 위치 정보를 파악하는 것이 중요하다.

또한, 블럭이나 부품이 이동이나 재배치가 빈번히 발생하는 현장에서의 효율적인 작업을 위해, 객체 위치정보가 작업에 미치는 영향은 매우 큰 실정이다.

상기한 바와 같이 작업장에 객체 위치정보를 정확하게 파악하여 적재적소에 배치하기 위해 계획 대비 작업이 완벽하게 이루어지면 이상적이겠지만 조선소마다 많은 선박의 작업일정과 각 공정 간의 업무 중첩에 의해 현황 파악도 쉽지 않을 뿐더러 계획 대비 돌발 상황들이 자주 발생하고 있다.

이는 블럭이나 부품 위치의 실시간 파악이 불가하고 작업자의 시수를 증가시키며 장기적인 관점에서 생산성 저하를 야기시키는 요인이 되고 있다.

선행기술문헌 : KR등록특허공보 제10-1199940호(2012.11.09. 공고)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 작업 현장에 위치한 객체의 위치정보를 인력을 직접 투입하지 않고도 실시간으로 획득할 수 있는 스테레오 카메라를 이용한 객체 위치 결정 시스템을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템은 AGV에 장착되어 AGV의 주행 경로 상의 특정 화각 내 입체 화상을 획득하고, 화상 내 특정 지점까지의 거리 센싱이 가능한 스테레오카메라; 현재위치를 기반으로 GPS 위성으로부터 송출되는 위성신호를 실시간으로 수신하여 AGV의 위치정보를 제공하는 GPS; 정북을 기준으로 카메라의 촬영 각도를 센싱하는 자이로 및 방위각센서; 객체 영상을 입력하고, 영상 내 객체를 각기 바운딩 박스를 설정하여 객체의 인식 및 학습과정을 수행하는 객체인식학습부; 및 스테레오카메라로 촬영된 입체 화상에서 객체인식학습부로 학습된 객체를 인식하고, 객체의 위치 정보를 산출하는 객체인식 및 위치결정부를 포함할 수 있다.

또한, 객체인식 및 위치결정부는 스테레오카메라로부터 지정된 카메라 화각(θ1) 내 객체가 촬영되어 인식되면, 스테레오카메라에서 객체까지 거리(L1)를 수신하고, 카메라 화각(θ1)의 맞은편 각(θ2)을 산출하여 스테레오카메라 기준, 객체의 좌표를 연산하는 것을 포함할 수 있다.

또한, 객체인식 및 위치결정부는 GPS로부터 객체가 인지되었던 스테레오카메라 위치의 위도, 경도 값을 수신하여 스테레오카메라의 화각 내 위치한 객체의 실제 위도와 경도 값을 산출하되, 자이로 및 방위각센서를 이용하여 카메라 화각 방향과 실제 정북 방향과의 각도차를 반영하는 것을 포함할 수 있다.

본 발명에 의하면 작업 현장에 위치한 블럭, 부품을 포함하는 객체의 위치정보를 인력을 직접 투입하지 않고도 획득할 수 있고, 객체가 이동하더라도 실시간으로 트랙킹할 수 있어 객체의 위치 정보를 보다 신속하고 정확하게 취득할 수 있는 데 그 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 개념도,
도 2는 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 스테레오카메라에서 촬영한 부분을 나타낸 도면,
도 3은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 GPS를 통해 위도와 경도를 획득하는 것을 나타낸 도면,
도 4는 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 객체인식학습부에서 객체를 입력하고, 객체와 배경을 결합하여 학습시키는 것을 나타낸 도면,
도 5는 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 객체인식 및 위치결정부에서 객체를 인식한 것을 나타낸 도면,
도 6은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 객체인식 및 위치결정부에서 인식한 객체의 스테레오카메라와의 거리를 산출하는 것을 나타낸 도면, 및
도 7은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템의 객체인식 및 위치결정부에서 자이로 및 방위각센서를 이용하여 실제 정북방향과 스테레오카메라 화각 방향인 스테레오카메라 기준의 정북방향의 각도차를 반영하는 것을 나타낸 도면이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 개념도이고, 도 2는 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 스테레오카메라(10)에서 촬영한 부분을 나타낸 도면이며, 도 3은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 GPS(20)를 통해 위도와 경도를 획득하는 것을 나타낸 도면이고, 도 4는 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 객체인식학습부(40)에서 객체를 입력하고, 객체와 배경을 결합하여 학습시키는 것을 나타낸 도면이며, 도 5는 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 객체인식 및 위치결정부(50)에서 객체를 인식한 것을 나타낸 도면이고, 도 6은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 객체인식 및 위치결정부(50)에서 인식한 객체의 스테레오카메라(10)와의 거리를 산출하는 것을 나타낸 도면이며, 도 7은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)의 객체인식 및 위치결정부(50)에서 자이로 및 방위각센서(30)를 이용하여 실제 정북방향과 스테레오카메라(10) 화각 방향인 스테레오카메라(10) 기준의 정북방향의 각도차를 반영하는 것을 나타낸 도면이다.

본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 객체 위치 결정 시스템(100)은, 도 1 내지 도 7을 참조하면, 스테레오카메라(10), GPS(20), 자이로 및 방위각센서(30), 객체인식학습부(40), 및 객체인식 및 위치결정부(50)를 포함하여 이루어지고, 작업 현장에 위치한 객체의 위치정보를 인력을 직접 투입하지 않고도 획득할 수 있도록하며, 객체가 이동하더라도 객체를 실시간으로 트랙킹할 수 있어 객체의 위치 정보를 보다 신속하고 정확하게 취득할 수 있도록 한다.

이하, 스테레오카메라(10)부터 상세히 설명하기로 한다.

일반적으로, 스테레오카메라(10)는 두 눈의 시차로 거리와 입체를 지각하는 육안의 원리를 이용하였으며, 입체 화상을 기록하기 위해 사용된다. 본 발명에서 스테레오카메라(10)는 AGV에 장착되어 AGV의 주행 경로 상의 특정 화각 내 입체 화상을 획득하고, 화상 내 특정 지점까지의 거리 센싱이 가능하도록 한다.

특히, AGV에 장착된 본 발명의 스테레오카메라(10)는 특정 화각을 설정하여 그 부분만 촬영되도록 하는 데, 촬영되는 화각은 객체인식 및 위치결정부(50)에서 객체의 위치를 산출할 때 화각이 조건부로 적용되기 때문이고, 자세한 설명은 객체인식 및 위치결정부(50)의 객체 위치 산출의 설명과 함께하기로 한다.

일례로, 도 2를 참조하면, 스테레오카메라(10)를 이용하여 특정 부분을 인식한 상태를 나타낸 것으로, 파란 선이 화각 선이며, 파란 선 이내에서 촬영되고, 인식되는 부분은 초록선의 말단에 위치하여 스테레오카메라(10)로부터의 거리를 산출할 수 있도록 한다.

도 3을 참조하면, GPS(20)는 현재위치를 기반으로 GPS(20) 위성으로부터 송출되는 위성신호를 실시간으로 수신하여 AGV의 위치정보를 제공하며. 도 3에서는 해양기자재들 간의 통신을 위한 전기적 인터페이스 및 데이터프로토콜인 NMEA를 이용한 위도, 경도, 북위 등을 계산하였고, NMEA는 예시일 뿐, 변경실시 가능함은 물론이다.

자이로 및 방위각센서(30)는 정북을 기준으로 카메라의 촬영 각도를 센싱한다. 본 발명에서 자이로 및 방위각센서(30)의 기능에 대한 자세한 설명도 객체인식 및 위치결정부(50)의 객체 위치 산출과 함께 설명하기로 한다.

객체인식학습부(40)는 딥러닝을 기반으로 객체 영상을 입력하고, 영상 내 객체를 각기 바운딩 박스를 설정하여 객체의 인식 및 학습과정을 수행한다.

보다 상세하게는, 객체 영상을 입력하고, 각 영상마다 객체 부분을 설정하며, 객체의 바운딩 박스를 설정하고, 설정된 객체를 다양한 배경에 합성하여 객체가 인식되도록 학습하는 과정을 수행하도록 한다.

또한, 본 발명에서의 객체는 선박 블럭, 부품, 등 어느 것에 한정하지 않고 특정 객체로 사용될 수 있음은 물론이다.

일례로, 도 4와 같이, 객체의 형상을 만들어 이를 촬영하고, 객체의 형상만 추출하여 다양한 배경 이미지에 결합하여 객체를 선택하는 학습과정을 수행한다.

또한, 본 발명에서 객체인식학습부(40)는 YoLo 기반으로 객체를 검출하는 방법을 사용하는 딥러닝을 기반으로 하였으나, 여기에 제한두지 않고, 다양하게 변경실시 가능함은 물론이다.

객체인식 및 위치결정부(50)는 스테레오카메라(10)로 촬영된 입체 화상에서 객체인식학습부(40)로 학습된 객체를 인식하고, 객체의 위치 정보를 산출한다.

도 5를 참조하면, 객체인식 및 위치결정부(50)로 조선소 현장 내 객체를 인식한 다양한 사례를 볼 수 있다.

또한, 객체인식 및 위치결정부(50)는 스테레오카메라(10)로부터 지정된 카메라 화각(θ1) 내 객체가 촬영되어 인식되면, 스테레오카메라(10)에서 객체까지 거리(L1)를 수신하고, 카메라 화각(θ1)의 맞은편 각(θ2)을 산출하여 스테레오카메라(10) 기준, 객체의 좌표를 연산하는 것을 특징으로 한다.

보다 상세하게는, 도 6을 참조하면, 스테레오카메라(10)로부터 지정된 카메라 화각(θ1=40°) 내 객체(D)가 촬영되어 인식되면, 스테레오카메라(10)에서 객체까지 거리(L1)를 수신하고, 스테레오카메라(10) 위치에서 카메라 화각(θ1) 대비 일정 각도의 가상선(파란선,카메라기준 정북 방향)을 생성하되, 객체(D) 위치에서 수직 방향으로 가상선까지 접하도록 하여 카메라 화각(θ1)의 맞은편각(θ2)를 산출하고, 객체 위치에서 수직 방향으로 가상선까지 접하는 거리(L3)와 스테레오카메라(10) 위치에서 접점까지의 거리(L2)를 산출하여 스테레오카메라(10) 기준, 객체의 좌표를 연산하도록 한다.

본 발명에서는 스테레오카메라(10)의 화각은 40°스테레오카메라(10) 위치에서 카메라 화각(θ1) 대비 일정 각도는 20°라 설정하였고, 도 5에 도시된 객체의 위치를 아래에서 계산하고자 한다.

1. θ1 - 카메라 화각 : 40°

2. L1 - 스테레오카메라(10)에서 측정된 값

3. θ2

- △ABC에서 ∠CAB : θ1/2

- 선분 CB의 비율로 θ2 계산

4. L3 : L1길이값과 θ2 를 삼각함수(싸인법칙)를 이용하여 계산

△ADC에서 sin(θ2) = L3/L1

L3 = sin(θ2) * L1

5. L2

△ADC에서 피타고라스 정리 또는 코사인 법칙으로 계산

- 코사인 법칙 이용

cos(θ1/2) = L2 / L1

L2 = L2 / cos(θ1/2)

상기의 계산과정을 거처 최종적으로 가로 길이(L3), 세로 길이(L2)를 산출하도록 한다.

또한, 상기 예에서는 화각을 40°로 지정하여 계산하였지만, 화각은 각도는 변경실시 가능함은 물론이나, 화각이 지정되지 않으면 L2와 L3를 산출할 수 없기에 화각은 필수로 지정되어야만 한다.

또한, 도 7을 참조하면, 객체인식 및 위치결정부(50)는 GPS(20)로부터 객체가 인지되었던 스테레오카메라(10) 위치의 위도, 경도 값을 수신하여 스테레오카메라(10)의 화각 내 위치한 객체의 실제 위도와 경도 값을 산출하되, 자이로 및 방위각센서(30)를 이용하여 카메라 화각 방향과(L2,가상선,스테레오카메라(10)기준정북방향) 실제 정북 방향과의 각도 차를 반영하도록 한다.

또한, 본 발명에서 객체인식 및 위치결정부(50)의 정확한 객체 위치 결정을 위해서는 스테레오카메라(10)의 촬영한 방향이 어느 방향인지 확실시 되어야 하기에 자이로 및 방위각센서(30)를 구비하여 스테레오카메라(10)의 촬영 방향을 실제 정북 방향과 일치시키는 회전이동을 통해 객체의 위도와 경도를 포함하는 위치정보를 산출할 수 있다.

일례로, 회전이동을 통해 최종적으로 실제 정북 기준으로한 객체의 거리좌표(dx, dy)를 구하는 것은 회전변환행렬을 이용할 수 있고, 구해진 거리좌표를 이용하여 위도와 경도를 구해보도록 한다.

기존 산출된 값

var earth = 6378.137, // radius of the earth in kilometer

pi = Math.PI(3.141592.......)

m = (1 / ((2 * pi / 360) * earth)) / 1000; //1 meter in degree

=> 위도 계산

var new_latitude = Lat + (dy * m);

=> 경도 계산

var new_longitude = Lon + (dx * m) / cos( Lon * pi/180)

본 발명에서는 상기와 같이 위도와 경도를 산출할 수 있다는 일례고, 위도와 경도를 구하는 방식에 있어서는 다양하게 변경실시 가능함은 물론이다.

또한, 본 발명에서는 최초 객체의 위치는 사용자의 설정에 의해 지정되고, 최초 위치 설정 이후의 객체의 이동 시에는 객체인식 및 위치결정부(50)에서 객체의 위치정보를 산출하도록 한다.

또한, GPS(20)와 자이로 및 방위각센서(30)로 객체의 위치를 실시간으로 트랙킹할 수 있어 객체의 위치 정보를 보다 신속하고 정확하게 취득할 수 있는 장점이 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 - 스테레오카메라
20 - GPS
30 - 자이로 및 방위각센서
40 - 객체인식학습부
50 - 객체인식 및 위치결정부
100 - 스테레오 카메라를 이용한 객체 위치 결정 시스템

Claims (3)

1. AGV에 장착되어 AGV의 주행 경로 상의 특정 화각 내 입체 화상을 획득하고, 화상 내 특정 지점까지의 거리 센싱이 가능한 스테레오카메라;
   현재위치를 기반으로 GPS 위성으로부터 송출되는 위성신호를 실시간으로 수신하여 AGV의 위치정보를 제공하는 GPS;
   정북을 기준으로 카메라의 촬영 각도를 센싱하는 자이로 및 방위각센서;
   객체 영상을 입력하고, 영상 내 객체를 각기 바운딩 박스를 설정하여 객체의 인식 및 학습과정을 수행하는 객체인식학습부; 및
   스테레오카메라로 촬영된 입체 화상에서 객체인식학습부로 학습된 객체를 인식하고, 객체의 위치 정보를 산출하는 객체인식 및 위치결정부
   를 포함하는 스테레오 카메라를 이용한 객체 위치 결정 시스템.
2. 제1항에 있어서,
   객체인식 및 위치결정부는
   스테레오카메라로부터 지정된 카메라 화각(θ1) 내 객체가 촬영되어 인식되면, 스테레오카메라에서 객체까지 거리(L1)를 수신하고, 카메라 화각(θ1)의 맞은편 각(θ2)을 산출하여 스테레오카메라 기준, 객체의 좌표를 연산하는 것
   을 포함하는 스테레오 카메라를 이용한 객체 위치 결정 시스템.
3. 제2항에 있어서,
   객체인식 및 위치결정부는
   GPS로부터 객체가 인지되었던 스테레오카메라 위치의 위도, 경도 값을 수신하여 스테레오카메라의 화각 내 위치한 객체의 실제 위도와 경도 값을 산출하되, 자이로 및 방위각센서를 이용하여 카메라 화각 방향과 실제 정북 방향과의 각도차를 반영하는 것
   을 포함하는 스테레오 카메라를 이용한 객체 위치 결정 시스템.

Images