KR20240051489A - 차량용 카메라 원격 제어 방법, 장치 및 시스템 - Google Patents
차량용 카메라 원격 제어 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- KR20240051489A KR20240051489A KR1020220131211A KR20220131211A KR20240051489A KR 20240051489 A KR20240051489 A KR 20240051489A KR 1020220131211 A KR1020220131211 A KR 1020220131211A KR 20220131211 A KR20220131211 A KR 20220131211A KR 20240051489 A KR20240051489 A KR 20240051489A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- camera
- terminal
- location information
- calculating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004891 communication Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 차량용 카메라 원격 제어 방법, 장치 및 시스템에 관한 것으로, 차량에 구비된 단말로부터 상기 차량의 주변 영상을 수신하는 단계; 상기 차량의 위치정보를 획득하는 단계; 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 단계; 및 상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하는 단계;를 포함한다.
Description
본 발명은 차량용 카메라 원격 제어 방법, 장치 및 시스템에 관한 것으로서, 보다 상세하게는 차량의 이동 방향 및 위치정보를 원격으로 판단하여 차량의 사각지대로 카메라 방향을 제어하는 방법, 장치 및 시스템에 관한 것이다.
차량을 주행할 때 운전자가 미처 확인할 수 없는 사각지대가 발생할 수 있다. 예를 들어, 차량을 우회전할 때 차량의 우측 전방에 사각지대가 발생할 수 있다. 사각지대에 사람이나 전신주 등 객체가 존재하는 경우 교통사고가 발생될 수 있으므로 차량에는 이러한 사각지대를 운전자 대신 감지하여 사고 발생 가능성을 낮추는 기술들이 적용되어 있다. 차량에 객체를 감지할 수 있는 센서들을 탑재하여 사각지대의 객체를 감지할 수 있다.
한편, 직진, 우회전, 좌회전, 후진 등 차량의 주행 방향과 상관없이 객체를 확실하게 감지하기 위해서는 차량의 주변을 모두 아우를 수 있도록 전 방위에 센서들을 구비하거나 어라운드뷰와 같은 시스템을 탑재하여야 한다. 즉, 교통사고의 발생을 방지하기 위해서 많은 비용이 요구되는 단점이 존재한다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 차량의 이동 방향 및 위치정보를 원격으로 판단하여 차량의 사각지대로 카메라 방향을 제어하는 방법, 장치 및 시스템을 제공하는데 그 목적이 있다.
본 발명의 일 양태에 따르면, 서버에 의해 수행되는 차량용 카메라 원격 제어 방법을 제공한다. 상기 차량용 카메라 원격 제어 방법은, 차량에 구비된 단말로부터 상기 차량의 주변 영상을 수신하는 단계, 상기 차량의 위치정보를 획득하는 단계, 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 단계 및 상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하는 단계를 포함한다.
일 측면에서, 상기 차량의 주변 영상을 수신하는 단계는, 상기 단말에 포함된 상기 카메라가 촬영한 영상을 실시간으로 수신하는 단계를 포함한다.
다른 측면에서, 상기 차량의 이동 방향을 판단하는 단계는, 상기 차량의 주변 영상에 포함된 복수개의 프레임들 중 서로 연속하는 두 개의 프레임에 옵티컬 플로우 알고리즘을 적용하여 상기 두 개의 프레임 간의 차이에 대한 벡터값을 계산하는 단계 및 상기 벡터값을 기반으로 상기 이동 방향을 판단하는 단계를 포함한다.
또 다른 측면에서, 상기 벡터값을 계산하는 단계는, 상기 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하는 단계, 상기 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산하는 단계 및 상기 제 1 픽셀 좌표 및 상기 제 2 픽셀 좌표 간의 차이를 상기 벡터값으로 계산하는 단계를 포함한다.
또 다른 측면에서, 상기 제 1 픽셀 좌표를 계산하는 단계는, 상기 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 1 픽셀 좌표로 계산하는 단계를 포함하고, 상기 제 2 픽셀 좌표를 계산하는 단계는, 상기 제 2 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 2 픽셀 좌표로 계산하는 단계를 포함한다.
또 다른 측면에서, 상기 제 1 프레임에 포함된 적어도 하나의 기준 객체 및 상기 제 2 프레임에 포함된 적어도 하나의 기준 객체는 서로 동일한 객체인 것을 특징으로 한다.
또 다른 측면에서, 상기 차량의 위치정보를 획득하는 단계는, 상기 단말에 탑재된 GPS 수신기로부터 GPS 신호를 수신하는 단계, 상기 GPS 신호를 기반으로 상기 차량의 위도 및 경도를 판단하는 단계 및 지도정보 상에서 상기 차량의 위도 및 경도에 대응하는 위치를 상기 차량의 위치정보로 획득하는 단계를 포함한다.
또 다른 측면에서, 상기 카메라의 방향을 제어하는 단계는, 상기 이동 방향을 판단한 결과 및 상기 좌표를 판단한 결과를 매핑하여 상기 차량의 사각지대로 상기 카메라의 방향을 제어하는 단계를 포함한다.
본 발명의 다른 양태에 따르면, 단말에 의해 수행되는 차량용 카메라 원격 제어 방법을 제공한다. 상기 차량용 카메라 원격 제어 방법은, 카메라를 제어하여 차량의 주변 영상을 촬영하는 단계, 상기 차량의 위치정보를 획득하는 단계, 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 단계, 상기 이동 방향을 판단한 결과 및 상기 위치정보를 서버에 전송하는 단계; 및 상기 서버로부터 전송되는 신호를 기반으로 상기 카메라의 방향을 제어하는 단계를 포함한다.
일 측면에서, 상기 차량의 이동 방향을 판단하는 단계는, 상기 차량의 주변 영상에 포함된 복수개의 프레임들 중 서로 연속하는 두 개의 프레임에 옵티컬 플로우 알고리즘을 적용하여 상기 두 개의 프레임 간의 차이에 대한 벡터값을 계산하는 단계 및 상기 벡터값을 기반으로 상기 이동 방향을 판단하는 단계를 포함한다.
다른 측면에서, 상기 벡터값을 계산하는 단계는, 상기 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하는 단계, 상기 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산하는 단계 및 상기 제 1 픽셀 좌표 및 상기 제 2 픽셀 좌표 간의 차이를 상기 벡터값으로 계산하는 단계를 포함한다.
또 다른 측면에서, 상기 제 1 픽셀 좌표를 계산하는 단계는, 상기 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 1 픽셀 좌표로 계산하는 단계를 포함하고, 상기 제 2 픽셀 좌표를 계산하는 단계는, 상기 제 2 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 2 픽셀 좌표로 계산하는 단계를 포함한다.
또 다른 측면에서, 상기 제 1 프레임에 포함된 적어도 하나의 기준 객체 및 상기 제 2 프레임에 포함된 적어도 하나의 기준 객체는 서로 동일한 객체인 것을 특징으로 한다.
또 다른 측면에서, 상기 차량의 위치정보를 획득하는 단계는, GPS 수신기를 제어하여 GPS 신호를 수신하는 단계, 상기 GPS 신호를 기반으로 상기 차량의 위도 및 경도를 판단하는 단계 및 지도정보 상에서 상기 차량의 위도 및 경도에 대응하는 위치를 상기 차량의 위치정보로 획득하는 단계를 포함한다.
또 다른 측면에서, 상기 카메라의 방향을 제어하는 단계는, 상기 이동 방향을 판단한 결과 및 상기 좌표를 판단한 결과를 매핑하여 상기 차량의 사각지대로 상기 카메라의 방향을 제어하는 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 차량용 카메라를 원격으로 제어하는 서버를 제공한다. 상기 서버는, 차량에 구비된 단말로부터 상기 차량의 주변 영상을 수신하고, 상기 차량의 위치정보를 획득하는 통신장치 및 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하고, 상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하기 위한 신호를 생성하는 프로세서를 포함한다.
본 발명의 또 다른 양태에 따르면, 차량용 카메라를 제어하는 단말을 제공한다. 상기 단말은, 차량의 주변 영상을 촬영하는 카메라, 상기 차량의 위치정보를 획득하는 GPS 수신기, 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 프로세서 및 상기 이동 방향을 판단한 결과 및 상기 위치정보를 서버에 전송하는 통신장치를 포함하되, 상기 프로세서는 상기 서버로부터 전송되는 신호를 기반으로 상기 카메라의 방향을 제어한다.
일 측면에서, 상기 카메라를 고정하는 고정부를 더 포함하고, 상기 프로세서는 상기 신호를 기반으로 상기 고정부를 회전시킴으로써 상기 카메라의 방향을 조절한다.
본 발명의 또 다른 양태에 따르면, 차량용 카메라를 원격으로 제어하는 시스템을 제공한다. 상기 시스템은, 차량의 주변 영상을 촬영하고, 상기 차량의 위치정보를 획득하는 단말 및 상기 차량의 주변 영상 및 상기 위치정보를 수신하고, 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하고, 상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하기 위한 신호를 생성하는 서버를 포함한다.
본 발명의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 본 발명의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 방법, 장치 및 시스템은 차량 주변의 영상을 이용하여 사각지대를 즉시 모니터링하는 효과가 있다.
또한, 영상을 저장하지 않고 실시간으로 처리하여 불필요한 정보 노출을 방지하고 보완성을 강화하는 효과가 있다.
또한, 별도로 설계된 전용 장치 또는 시스템이 아닌 스마트폰과 같은 기존 장치를 그대로 차량에 적용 가능한 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 방법에 대한 순서도이다.
도 3은 본 발명의 다른 일 실시예에 따른 차량용 카메라 원격 제어 방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 서버에 대한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 단말에 대한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 시스템에 대한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 벡터값을 계산하는 것을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 방법에 대한 순서도이다.
도 3은 본 발명의 다른 일 실시예에 따른 차량용 카메라 원격 제어 방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 서버에 대한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 단말에 대한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 시스템에 대한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 벡터값을 계산하는 것을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
본 명세서에서 "A 또는 B(A or B)"는 "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 달리 표현하면, 본 명세서에서 "A 또는 B(A or B)"는 "A 및/또는 B(A and/or B)"으로 해석될 수 있다. 예를 들어, 본 명세서에서 "A, B 또는 C(A, B or C)"는 "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다.
본 명세서에서 사용되는 슬래쉬(/)나 쉼표(comma)는 "및/또는(and/or)"을 의미할 수 있다. 예를 들어, "A/B"는 "A 및/또는 B"를 의미할 수 있다. 이에 따라 "A/B"는 "오직 A", "오직 B", 또는 "A와 B 모두"를 의미할 수 있다. 예를 들어, "A, B, C"는 "A, B 또는 C"를 의미할 수 있다.
본 명세서에서 "A 및 B 중 적어도 하나(at least one of A and B)"는, "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 또한, 본 명세서에서 "적어도 하나의 A 또는 B(at least one of A or B)"나 "적어도 하나의 A 및/또는 B(at least one of A and/or B)"라는 표현은 "적어도 하나의 A 및 B(at least one of A and B)"와 동일하게 해석될 수 있다.
또한, 본 명세서에서 "적어도 하나의 A, B 및 C(at least one of A, B and C)"는, "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다. 또한, "적어도 하나의 A, B 또는 C(at least one of A, B or C)"나 "적어도 하나의 A, B 및/또는 C(at least one of A, B and/or C)"는 "적어도 하나의 A, B 및 C(at least one of A, B and C)"를 의미할 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 차량용 카메라 원격 제어 시스템(100)은 단말(110) 및 서버(120)를 포함한다. 도 1의 차량용 카메라 원격 제어 시스템(100)을 기반으로 하여, 차량용 카메라를 원격으로 제어하기 위한 비즈니스 모델(Business Model, BM)이 구현될 수 있다. 본 실시예에 따른 차량용 카메라 원격 제어 시스템(100)은 단말(110) 및 서버(120)를 수행주체로 하는 동작으로 설명되나, 다른 디바이스 또는 다른 서버에 의한 동작으로 치환될 수 있다.
단말(110)은 차량에 구비되어 차량의 주변 영상을 촬영할 수 있다. 단말(110)은 카메라를 포함할 수 있으며, 카메라를 제어하여 차량의 주변에 대한 영상을 촬영할 수 있다. 카메라가 촬영한 영상은 실시간 영상일 수 있으며, 촬영된 후 곧바로 서버(120)에 전송될 수 있다. 단말(110)은 스마트단말, 휴대단말, 모바일단말, PDA, PC, 노트북, IoT 디바이스를 포함할 수 있다.
단말(110)은 차량의 위치정보를 판단할 수 있다. 차량의 위치정보는 단말의 GPS 수신기가 획득한 GPS 신호를 기반으로 계산되는 것일 수 있다. 예를 들어, 단말에 탑재된 GPS 수신기가 위성로부터 GPS 신호를 수신하면, GPS 신호를 기반으로 차량의 위도 및 경도를 판단할 수 있다. 단말(110)은 차량의 위도 및 경도에 대응하는 위치를 차량의 위치정보로 판단할 수 있다. 단말(110)은 미리 지도정보를 포함할 수 있으며 지도정보 상에서 차량의 위도 및 경도에 대응하는 위치를 차량의 위치정보로 판단할 수 있다. 이와 같이 획득된 차량의 위치정보는 서버(120)에 전송될 수 있다. 단말(110)은 차량의 주변 영상과 위치정보를 함께 전송할 수 있다. 여기에서 차량의 주변 영상을 촬영한 시점과 위치정보를 판단한 시점은 서로 동일한 시점일 수도 있다. 물론, 완벽하게 동일한 시점에서 각각 획득한 것이 아니라 일정 범위의 오차값 이내의 시점에서 각각 획득된 영상과 위치정보를 동일 시점의 영상 및 위치정보로 간주할 수 있다. 만약, 단말(110)에서 차량의 위치정보를 판단하기 어려운 상태라면 GPS 신호를 서버(120)에 전송하여 서버(120)에서 차량의 위치정보를 획득하도록 할 수도 있다.
서버(120)는 단말로부터 차량의 주변 영상 및 위치정보를 수신할 수 있다. 서버(120)는 네트워크 서버, IoT 서버, 엣지 서버, 클라우드 서버를 포함할 수 있다. 단말(110) 및 서버(120)는 사전에 데이터 송수신을 위한 무선 네트워크 채널을 구축할 수 있으며, 채널을 통해 단말(110)이 차량 주변의 영상과 위치정보를 전송하고, 서버(120)가 차량 주변의 영상과 위치정보를 수신할 수 있다. 무선 네트워크 채널은 암호화된 채널일 수 있으며 무선 네트워크 채널 대신 전송하는 데이터를 암호화하여 전송할 수도 있다. 단말(110)을 통해 암호화되어 전송된 데이터는 서버(120)가 복호화할 수 있다. 단말(110) 및 서버(120)는 사전에 암호화 및 복호화를 위한 키를 공유할 수 있으며, 공유하는 키는 사전에 관리자로부터 입력되는 값에 따라 결정될 수 있다.
한편, 서버(120)는 차량의 주변 영상을 기반으로 차량의 이동 방향을 판단할 수 있다. 서버(120)는 수신된 차량의 주변 영상을 이용하여 차량이 어느 방향으로 이동하는지 판단할 수 있다. 여기에서 차량의 이동 방향은 직진, 우회전, 좌회전 및 후진을 포함할 수 있으며, 차량이 이동하는 현장에 따라 어느 한 방향이 아닌 복합적인 방향으로 이동할 수 있다.
서버(120)는 영상을 기반으로 차량의 이동 방향을 판단하기 위하여 옵티컬 플로우 알고리즘을 이용할 수 있다. 예를 들어, 차량의 주변 영상에 포함된 복수개의 프레임들 중 일부의 프레임에 옵티컬 플로우 알고리즘을 이용하여 영상 내 객체의 위치가 변화하는 것을 기반으로 차량의 이동 방향을 추정할 수 있다. 가령, 영상 내 객체가 왼쪽으로 이동하는 것으로 판단하였다면, 차량은 이와 반대로 오른쪽으로 이동하는 것으로 판단할 수 있다. 옵티컬 플로우 알고기즘을 최소한의 연산 코스트로 수행하기 위해 서버(120)는 영상 내 프레임들 중 서로 연속하는 두 개의 프레임에 옵티컬 플로우 알고리즘을 적용하여 두 개의 프레임 간의 차이에 대한 벡터값을 계산할 수 있다. 여기에서 벡터값은 영상 내 객체가 이동하는 방향에 대한 값을 의미한다. 서버(120)는 두 개의 프레임에 포함된 동일한 객체의 이동 방향을 비교하여 벡터값을 계산한 후, 벡터값을 기반으로 차량의 이동 방향을 판단할 수 있다.
한편, 상술한 바와 같이 벡터값은 영상 내 객체가 어디에서 어디로 이동하는지 나타내는 값이므로, 우선 두 개의 프레임에서 각각 객체를 식별해야 한다. 이에 따라,서버(120)는 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하고, 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산할 수 있다. 여기에서 제 1 픽셀 좌표 및 제 2 픽셀 좌표는 차량의 이동 방향을 판단하기 위해서 영상에서 기준이 되는 객체에 대한 픽셀값 또는 객체에 대한 바운딩박스 내지는 세그먼트를 의미한다. 즉, 영상에서 기준이 되는 객체의 위치가 어디인지를 내는 정보일 수 있다. 서버(120)는 제 1 프레임에서의 기준 객체의 위치를 제 1 픽셀 좌표로서 계산하고, 제 2 프레임에서의 기준 객체의 위치를 제 2 픽셀 좌표로서 계산할 수 있다. 당연하게도 두 개의 프레임의 기준 객체는 서로 동일한 객체를 의미한다. 서버(1200는 제 1 픽셀 좌표 및 제 2 픽셀 좌표 간의 차이를 벡터값으로 계산할 수 있다.
서버(120)는 차량의 이동 방향을 판단한 결과 및 위치정보를 기반으로 단말에 포함된 카메라의 방향을 제어할 수 있다. 서버(120)는 차량의 이동 방향을 판단한 결과 및 위치정보를 기반으로 차량이 어디에서 어느 방향으로 이동하는지 판단할 수 있다. 예를 들어, 사거리에서 좌회전하는지, 고속도로 출구로 빠져나가는지 판단할 수 있다. 서버(120)는 이러한 판단 결과를 기반으로 차량의 사각지대로 카메라의 방향을 제어할 수 있다. 위의 예시로 예를 들면, 차량이 사거리에서 좌회전할 때, 좌측 시야 밖의 사각지대로 카메라 방향을 회전하거나 고속도로 출구로 빠져나갈 때 우측 시야 밖의 사각지대로 카메라 방향을 회전할 수 있다. 서버(120)는 운전자의 시야 밖의 상황을 보다 빠르게 확인하기 위해서 단말에 제어신호를 전송하여 단말에 탑재된 카메라의 방향을 제어할 수 있다. 서버(120)는 차량의 이동 방향을 판단한 결과 및 좌표를 판단한 결과를 매핑하여 차량의 사각지대로 카메라의 방향을 제어할 수 있다. 서버(120)는 매핑된 정보에 대응하는 제어 명령셋을 포함할 수 있으며, 복수개의 제어 명령셋 중에서 매핑된 정보에 대응하는 특정 제어 명령을 단말(110)에 전송함으로써 카메라의 방향을 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 방법에 대한 순서도이다.
도 2를 참조하면, 차량용 카메라 원격 제어 방법은 S210 내지 S240 단계를 포함한다. 본 실시예에 따른 차량용 카메라 원격 제어 방법은 도 1을 통해 설명한 서버(120)에 의한 동작으로 설명되나, 단말(110)에 의한 동작 또는 서버(120)의 기능을 대체할 수 있는 다른 단말에 의한 동작으로 치환될 수 있다.
S210 단계에서 서버는 차량에 구비된 단말로부터 차량의 주변 영상을 수신한다. 서버는 차량의 단말과 무선 데이터 통신을 수행할 수 있으며 단말에서 실시간으로 전송되는 차량의 주변 영상을 수신할 수 있다.
S220 단계에서 서버는 차량의 위치정보를 획득한다. 차량의 위치정보는 단말을 통해 획득할 수 있다. 서버는 단말에서 계산된 차량의 위치정보를 획득할 수도 있고, 단말에서 전송된 GPS 신호를 수신하여 자신이 직접 차량의 위치정보를 획득할 수도 있다. 예를 들어, 서버가 단말의 GPS 수신기의 GPS 신호를 수신하고, GPS 신호를 기반으로 차량의 위도 및 경도를 판단하고, 지도정보 상에서 차량의 위도 및 경도에 대응하는 위치를 탐색하는 것으로 차량의 위치정보를 획득할 수 있다. S210 단계에서 수신한 차량의 주변 영상 및 S220 단계에서 획득하는 차량의 위치정보는 모두 차량에 구비된 단말로부터 전송된 정보를 토대로 획득하는 것이므로, 서버는 S210 및 S220 단계를 동시에 수행할 수 있다. 예를 들어, 단말에서 차량의 주변 영상 및 차량의 위치정보를 한번에 전송하면, 서버에서 이를 한번에 수신하는 것일 수 있다. 앞서 도 1을 통해 설명한 바와 같이 차량의 주변 영상 및 차량의 위치정보는 동일 시점에서 획득되는 정보일 수도 있고, 일정 기간 이내에 획득되는 정보일 수도 있다.
S230 단계에서 서버는 차량의 주변 영상을 기반으로 차량의 이동 방향을 판단한다. S230 단계는 차량의 주변 영상에 포함된 복수개의 프레임들 중 서로 연속하는 두 개의 프레임에 옵티컬 플로우 알고리즘을 적용하여 두 개의 프레임 간의 차이에 대한 벡터값을 계산하는 단계 및 벡터값을 기반으로 이동 방향을 판단하는 단계를 포함한다. 서버는 옵티컬 플로우 알고리즘을 수행 가능한 프로세서 내지는 CPU를 탑재할 수 있으며, 단말로부터 수신한 차량의 주변 영상에 옵티컬 플로우 알고리즘을 적용하여 차량의 이동 방향을 판단할 수 있다. 서버는 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하고, 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산하고, 제 1 픽셀 좌표 및 제 2 픽셀 좌표 간의 차이를 벡터값으로 계산함으로써 차량의 이동 방향을 추산할 수 있다. 여기에서 제 1 픽셀 좌표는 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 계산한 것을 의미하고, 제 2 픽셀 좌표는 제 2 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 계산한 것을 의미한다. 당연하게도 제 1 프레임의 기준 객체와 제 2 프레임의 기준 객체는 동일한 객체이며, 단말의 카메라가 고정된 시점에서 영상을 촬영함에 따라 차량의 이동 방향과 반대 방향으로 영상 내 기준 객체의 위치가 변화하면, 이를 벡터값으로 계산하고, 벡터값을 기반으로 차량의 이동 방향을 추산할 수 있다.
S240 단계에서 서버는 차량의 이동 방향을 판단한 결과 및 위치정보를 기반으로 단말에 포함된 카메라의 방향을 제어한다. 서버는 차량이 지도정보 상의 어느 위치에서 어느 방향으로 이동하는지 판단함에 따라 운전자의 사각지대 방향으로 카메라의 방향을 제어하기 위한 신호를 생성할 수 있다. 서버는 생성된 신호를 단말에 전송함으로써 카메라의 방향을 제어할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 차량용 카메라 원격 제어 방법에 대한 순서도이다.
도 3을 참조하면, 차량용 카메라 원격 제어 방법은 S310 내지 S350 단계를 포함한다. 본 실시예에 따른 차량용 카메라 원격 제어 방법은 차량에 구비된 단말에 의한 동작으로 설명되나, 단말의 역할을 대체할 수 있는 서버의 동작 또는 다른 단말에 의한 동작으로 치환될 수 있다.
S310 단계에서 단말은 카메라를 제어하여 차량의 주변 영상을 촬영한다. 앞서 도 2를 통해 설명한 S210 단계에서 차량의 주변 영상을 서버에 전송하기 이전까지의 과정을 동일하게 수행하는 것으로 S310 단계를 수행할 수 있다.
S320 단계에서 단말은 차량의 위치정보를 획득한다. 단말은 GPS 수신기를 탑재할 수 있으며 GPS 수신기가 위성으로부터 수신한 GPS 신호를 기반으로 위치정보를 획득할 수 있다. 단말은 GPS 신호가 나태는 위도 및 경도를 계산함으로써 차량의 위도 및 경도를 파악할 수 있으며, 차량의 위도 및 경도가 지도정보 상의 어느 위치인지 파악함으로써 차량의 위치정보를 획득할 수 있다.
S330 단계에서 단말은 차량의 주변 영상을 기반으로 차량의 이동 방향을 판단한다. 앞서 도 2의 S230 단계에서 서버가 수행한 연산 과정을 S330 단계에서 단말이 수행할 수 있다. 예를 들어, 단말이 차량의 주변 영상에 옵티컬 플로우 알고리즘을 적용하여 영상에 포함된 복수개의 프레임들 중 서로 연속하는 두 개의 프레임 간의 차이에 대한 벡터값을 계산하고, 벡터값을 기반으로 차량의 이동 방향을 판단할 수 있다. 벡터값은 두 개의 프레임 중 앞선 프레임인 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하고, 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산하고, 제 1 픽셀 좌표 및 제 2 픽셀 좌표 간의 차이를 계산함으로써 얻을 수 있다. 단말이 계산하는 벡터값은 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 제 1 픽셀 좌표로 계산하고, 제 2 프레임에 포함된 적어도 하나의 기준 객체(제 1 프레임의 기준 객체와 동일한 객체)에 대한 위치를 제 2 픽셀 좌표로 계산하고, 두 픽셀 좌표 간의 차이를 계산함으로써 획득될 수 있다.
도 4는 본 발명의 일 실시예에 따른 서버에 대한 블록도이다.
도 4를 참조하면 서버(400)는 통신장치(410) 및 프로세서(420)를 포함한다. 서버(400)는 도 1을 통해 설명한 서버로 구현될 수 있다.
통신장치(410)는 차량에 구비된 단말로부터 차량의 주변 영상을 수신하고, 차량의 위치정보를 획득한다. 통신장치(410)는 LTE, 4G, 5G 등의 무선 이동통신 기지국을 통해 차량에 구비된 단말로부터 차량의 주변 영상 및 위치정보를 수신할 수 있다. 예를 들어, 차량에 구비된 단말이 카메라를 이용하여 차량의 주변 영상을 촬영하고, GPS 수신기를 이용하여 차량의 위치정보를 획득한 후 영상과 위치정보를 기지국을 통해 통신장치(410)로 전송할 수 있다. 통신장치(410)는 차량에 구비된 단말로부터 차량의 주변 영상 및 위치정보를 실시간으로 수신할 수 있다. 통신장치(410)는 서버의 통신모듈 내지는 모뎀으로 구현될 수 있다.
프로세서(420)는 차량의 주변 영상을 기반으로 차량의 이동 방향을 판단하고, 이동 방향을 판단한 결과 및 위치정보를 기반으로 단말에 포함된 카메라의 방향을 제어하기 위한 신호를 생성한다. 차량의 이동 방향을 판단하기 위해서 프로세서(420)는 수신된 영상에 옵티컬 플로우 알고리즘을 적용할 수 있으며, 차량의 위치정보는 단말로부터 계산된 결과를 수신하거나 단말로부터 수신된 GPS 신호를 기반으로 자신이 차량의 위치정보를 직접 계산함으로써 획득할 수 있다. 프로세서(420)는 차량의 이동 방향 및 위치정보를 계산할 수 있는 CPU 또는 AP로 구현되어 서버(400)에 탑재될 수 있다. 프로세서(420)는 단말의 카메라 방향을 제어하기 위한 복수개의 제어신호셋을 가지고 있으며, 복수개의 제어신호셋 중 차량의 이동 방향을 판단한 결과 및 위치정보에 매칭되는 특정 제어신호를 카메라의 방향을 제어하기 위한 신호로 결정할 수 있다. 또는, 딥러닝 모델과 같은 알고리즘을 추가로 이용하여 카메라의 방향을 제어하기 위한 신호에 대응되는 데이터를 생성할 수도 있다. 예를 들어, 사전에 카메라 방향에 대한 예측 결과를 출력하도록 학습된 딥러닝 모델을 탑재한 후, 차량의 이동 방향을 판단한 결과 및 위치정보를 딥러닝 모델에 입력하여 카메라 방향을 예측하는 결과를 출력할 수 있다. 프로세서(420)는 이를 기반으로 카메라의 방향을 제어하기 위한 신호를 생성하고, 이를 단말에 전송함으로써 차량의 사각지대를 미리 확인할 수 있도록 제어할 수 있다.
한편, 상술한 작업 서버(400)는 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
도 5는 본 발명의 일 실시예에 따른 단말에 대한 블록도이다.
도 5를 참조하면 단말(500)은 카메라(510), GPS 수신기(520), 프로세서(530) 및 통신장치(540)를 포함한다. 단말(500)은 도 1을 통해 설명한 단말로 구현될 수 있다.
카메라(510)는 차량의 주변 영상을 촬영한다. 카메라(510)는 일반 광학 카메라, 디지털 카메라, 스마트폰 카메라를 포함할 수 있다. 카메라(510)는 단말(500)에 포함될 수도 있고 단말(500)과 유무선으로 연결될 수도 있다. 예를 들어, 스마트폰에 포함된 카메라를 이용하여 차량의 주변 영상을 촬영할 수도 있고, 단말(500)과 블루투스 페어링 된 카메라를 이용하여 차량의 주변 영상을 촬영할 수도 있다. 이하에는 스마트폰에 탑재된 카메라를 기준으로 설명한다.
GPS 수신기(520)는 차량의 위치정보를 획득한다. GPS 수신기(520)는 GPS 위성에서 브로드캐스팅되는 GPS 신호를 수신할 수 있는 장치, 모듈 또는 센서를 포함할 수 있다.
프로세서(530)는 차량의 주변 영상을 기반으로 차량의 이동 방향을 판단한다. 프로세서(530)는 단말(500의 CPU 또는 AP로 구현될 수 있다. 도 4에서 설명한 서버(400)의 프로세서(420)와 마찬가지로 단말(500)의 프로세서(530) 또한 마찬가지 방법으로 영상을 기반으로 차량의 이동 방향을 판단할 수 있다. 프로세서(530)는 차량의 이동 방향을 판단한 결과 및 위치정보를 서버에 전송한 후, 서버로부터 전송되는 신호를 기반으로 카메라(510)의 방향을 제어한다. 단말(500)에는 카메라(510)를 고정하는 고정부가 더 구비될 수 있으며, 프로세서(530)는 서버로부터 수신된 신호를 기반으로 카메라(510)의 방향을 차량의 사각지대로 회전시킬 수 있다. 예를 들어, 고정부는 짐벌(Gimbal)과 같이 스마트폰 몸체를 고정시킬 수 있는 장치일 수 있으며, 프로세서가 짐벌을 축 방향으로 회전시켜서 스마트폰 몸체가 차량의 사각지대 방향을 향하도록 제어하는 것일 수 있다. 서버로부터 수신되는 신호는 짐벌의 축 방향을 좌측 또는 우측으로 일정 이상 회전시키기 위한 제어 명령일 수 있으며, 프로세서(530)는 이를 기반으로 차량의 사각지대를 조기에 모니터링할 수 있도록 카메라의 방향을 제어할 수 있다. 단말(500)에는 짐벌의 축 방향을 제어하기 위한 어플리케이션이 설치될 수 있으며 프로세서(530)가 어플리케이션을 실행하여 짐벌의 축 방향을 제어함으로써 카메라의 방향을 제어할 수 있다.
통신장치(540)는 차량의 이동 방향을 판단한 결과 및 위치정보를 서버에 전송한다. 통신장치(540)는 LTE, 4G, 5G 등의 무선 이동통신 기지국을 통해 차량의 주변 영상 및 위치정보를 서버로 전송할 수 있다. 통신장치(540)는 단말의 통신모듈 내지는 모뎀으로 구현될 수 있다.
한편, 상술한 단말(500) 또한 컴퓨터, 차량에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
도 6은 본 발명의 일 실시예에 따른 시스템에 대한 블록도이다.
도 6을 참조하면 시스템(600)은 단말(610a~610e) 및 서버(620)를 포함한다. 시스템(600)은 도 1을 통해 설명한 시스템 구현될 수 있다. 시스템(600)은 단말(610a~610e)을 대체할 수 있는 다른 단말, 서버(620)를 대체할 수 있는 다른 서버를 더 포함할 수 있다.
단말(610a~610e)은 차량의 주변 영상을 촬영하고, 차량의 위치정보를 획득한다. 각각의 단말은 차량마다 하나씩 구비될 수 있다. 각 단말(610a~610e)은 카메라 및 GPS 수신기를 포함할 수 있으며 카메라를 이용하여 차량의 주변 영상을 촬영하고, GPS 수신기를 이용하여 GPS 신호를 수신함으로써 차량의 위치정보를 획득할 수 있다.
서버(620)는 단말(610a~610e)과 각각 통신하여 차량의 주변 영상 및 위치정보를 수신한다. 서버(620)는 각 단말 마다 서로 다른 무선통신 채널을 형성할 수 있다. 예를 들어, 단말1(610a)와 통신하는 채널, 단말2(610b)와 통신하는 채널, 단말3(610c)와 통신하는 채널, 단말4(610d)와 통신하는 채널, 단말5(610e)와 통신하는 채널을 각각 형성할 수 있다. 각 무선통신 채널들은 단말 별로 설정된 전용 채널일 수 있다. 물론 통합된 하나의 채널을 통해 각 단말로부터 전송되는 영상과 위치정보를 수신하는 것도 가능하다. 이 경우 어느 단말로부터 전송된 정보인지 확인하기 위해서 단말을 식별할 수 있는 정보를 별도로 더 수신할 수 있다. 예를 들어, 단말의 ID, 시리얼코드 등의 고유정보를 더 수신할 수 있다.
서버(620)는 차량의 주변 영상을 기반으로 차량의 이동 방향을 판단하고, 이동 방향을 판단한 결과 및 위치정보를 기반으로 단말에 포함된 카메라의 방향을 제어하기 위한 신호를 생성한다. 서버(620)는 원격지에서 차량의 주변 영상 및 위치정보를 수신한 후 카메라의 방향을 제어하기 위한 신호를 실시간으로 생성할 수 있다. 서버(620)는 생성한 신호를 단말(610)에 전송하여 단말이 카메라의 방향을 차량의 사각지대로 향하도록 제어하게 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 벡터값을 계산하는 것을 나타낸 도면이다.
도 7을 참조하면 서로 연속하는 두 개의 프레임에 각각 포함된 기준 객체의 위치 변화를 측정하여 벡터값을 계산할 수 있다. 이러한 연산은 도 1을 통해 설명한 단말에서 수행될 수도 있고, 서버에서 수행될 수도 있다.
먼저, 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산한다. 여기에서 제 1 픽셀 좌표는 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 의미한다. 도 7에 도시된 바와 같이 영상 내 교통표지판(701)을 기준 객체로 하여 제 1 픽셀 좌표를 계산한다고 가정하면, 교통표지판(701)을 나타내는 바운딩박스의 위치인 (X1, Y1) 좌표를 제 1 픽셀 좌표로 계산할 수 있다.
여기에서 픽셀 좌표를 계산하기 위한 기준이 되는 객체는 도 7에 도시한 바와 같이 영상 내 교통표지판(701)일 수도 있고, 도로 주변의 다른 건물이나 인프라 또는 사람일 수도 있다. 여기에서, 기준 객체가 이동이 가능한 객체(예컨대, 사람)인 경우 차량의 이동 방향과 별개로 객체 자체가 움직일 수 있다. 이 경우 객체의 움직임으로 인하여 영상 기반의 차량 이동 방향을 계산한 결과의 정확도가 낮아질 수 있다. 예를 들어, 차량이 우회전하는 상황에서 영상 속 사람도 우측으로 움직이는 경우, 정지한 상태의 객체를 기준으로 벡터값을 측정하는 것 보다 더 작은 벡터값이 산출될 수 있다. 따라서, 단말 또는 서버에 탑재된 옵티컬 플로우 알고리즘을 적용할 때 정지된 상태의 객체를 기준 객체로 판단할 수 있도록 사전에 학습시키는 과정이 선행될 수 있다. 가령, 두 개의 프레임에 대한 옵티컬 플로우 알고리즘을 수행하는 모델을 구축한 후, 모델이 정지된 상태의 객체를 기준 객체로 판단할 수 있도록 사전에 학습시킬 수 있다.
제 1 프레임에 대한 제 1 픽셀 좌표를 계산하는 것과 마찬가지 프로세스로 제 2 프레임에 대한 제 2 픽셀 좌표도 계산할 수 있다. 도 7에 도시된 바와 같이 (X2, Y2) 좌표를 제 2 픽셀 좌표로 계산할 수 있다.
여기에서 제 1 프레임과 제 2 프레임에 포함된 객체는 동일한 객체일 수 있다. 두 개의 프레임 각각의 객체 위치를 나타내는 픽셀 좌표를 계산하였으므로 도 7과 같이 두 객체의 위치 차이를 나타내는 벡터값을 계산할 수 있다. 예를 들어, 제 1 프레임의 기준 객체의 바운딩박스의 위치 및 제 2 프레임의 기준 객체의 바운딩박스 위치 간의 차이를 계산함으로써 벡터값을 계산할 수 있다. 이와 같이 계산한 벡터값을 기반으로 차량이 이동하는 방향을 판단할 수 있다. 여기에 차량의 위치정보를 결함함으로써 차량이 지도정보의 어느 위치에서 어느 방향으로 이동하는지 판단할 수 있다. 그리고 두 가지 데이터를 기반으로 차량에 구비된 카메라의 방향을 차량의 사각지대로 향하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 카메라 원격 제어 방법, 장치 및 시스템은 이해를 돕기 위하여 도면에 도시된 실시예를 참고하여 설명되었지만 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
Claims (19)
- 서버에 의해 수행되는 차량용 카메라 원격 제어 방법에 있어서,
차량에 구비된 단말로부터 상기 차량의 주변 영상을 수신하는 단계;
상기 차량의 위치정보를 획득하는 단계;
상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 단계; 및
상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 1 항에 있어서, 상기 차량의 주변 영상을 수신하는 단계는,
상기 단말에 포함된 상기 카메라가 촬영한 영상을 실시간으로 수신하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 1 항에 있어서, 상기 차량의 이동 방향을 판단하는 단계는,
상기 차량의 주변 영상에 포함된 복수개의 프레임들 중 서로 연속하는 두 개의 프레임에 옵티컬 플로우 알고리즘을 적용하여 상기 두 개의 프레임 간의 차이에 대한 벡터값을 계산하는 단계; 및
상기 벡터값을 기반으로 상기 이동 방향을 판단하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 3 항에 있어서, 상기 벡터값을 계산하는 단계는,
상기 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하는 단계;
상기 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산하는 단계; 및
상기 제 1 픽셀 좌표 및 상기 제 2 픽셀 좌표 간의 차이를 상기 벡터값으로 계산하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 4 항에 있어서, 상기 제 1 픽셀 좌표를 계산하는 단계는,
상기 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 1 픽셀 좌표로 계산하는 단계;를 포함하고,
상기 제 2 픽셀 좌표를 계산하는 단계는,
상기 제 2 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 2 픽셀 좌표로 계산하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 5 항에 있어서,
상기 제 1 프레임에 포함된 적어도 하나의 기준 객체 및 상기 제 2 프레임에 포함된 적어도 하나의 기준 객체는 서로 동일한 객체인 차량용 카메라 원격 제어 방법. - 제 1 항에 있어서, 상기 차량의 위치정보를 획득하는 단계는
상기 단말에 탑재된 GPS 수신기로부터 GPS 신호를 수신하는 단계;
상기 GPS 신호를 기반으로 상기 차량의 위도 및 경도를 판단하는 단계; 및
지도정보 상에서 상기 차량의 위도 및 경도에 대응하는 위치를 상기 차량의 위치정보로 획득하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 1 항에 있어서, 상기 카메라의 방향을 제어하는 단계는,
상기 이동 방향을 판단한 결과 및 상기 좌표를 판단한 결과를 매핑하여 상기 차량의 사각지대로 상기 카메라의 방향을 제어하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 단말에 의해 수행되는 차량용 카메라 원격 제어 방법에 있어서,
카메라를 제어하여 차량의 주변 영상을 촬영하는 단계;
상기 차량의 위치정보를 획득하는 단계;
상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 단계;
상기 이동 방향을 판단한 결과 및 상기 위치정보를 서버에 전송하는 단계; 및
상기 서버로부터 전송되는 신호를 기반으로 상기 카메라의 방향을 제어하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 9 항에 있어서, 상기 차량의 이동 방향을 판단하는 단계는,
상기 차량의 주변 영상에 포함된 복수개의 프레임들 중 서로 연속하는 두 개의 프레임에 옵티컬 플로우 알고리즘을 적용하여 상기 두 개의 프레임 간의 차이에 대한 벡터값을 계산하는 단계; 및
상기 벡터값을 기반으로 상기 이동 방향을 판단하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 10 항에 있어서, 상기 벡터값을 계산하는 단계는,
상기 두 개의 프레임 중 제 1 프레임에 대한 제 1 픽셀 좌표를 계산하는 단계;
상기 제 1 프레임에 후속하는 제 2 프레임에 대한 제 2 픽셀 좌표를 계산하는 단계; 및
상기 제 1 픽셀 좌표 및 상기 제 2 픽셀 좌표 간의 차이를 상기 벡터값으로 계산하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 11 항에 있어서, 상기 제 1 픽셀 좌표를 계산하는 단계는,
상기 제 1 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 1 픽셀 좌표로 계산하는 단계;를 포함하고,
상기 제 2 픽셀 좌표를 계산하는 단계는,
상기 제 2 프레임에 포함된 적어도 하나의 기준 객체에 대한 위치를 상기 제 2 픽셀 좌표로 계산하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 12 항에 있어서,
상기 제 1 프레임에 포함된 적어도 하나의 기준 객체 및 상기 제 2 프레임에 포함된 적어도 하나의 기준 객체는 서로 동일한 객체인 차량용 카메라 원격 제어 방법. - 제 9 항에 있어서, 상기 차량의 위치정보를 획득하는 단계는
GPS 수신기를 제어하여 GPS 신호를 수신하는 단계;
상기 GPS 신호를 기반으로 상기 차량의 위도 및 경도를 판단하는 단계; 및
지도정보 상에서 상기 차량의 위도 및 경도에 대응하는 위치를 상기 차량의 위치정보로 획득하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 제 9 항에 있어서, 상기 카메라의 방향을 제어하는 단계는,
상기 이동 방향을 판단한 결과 및 상기 좌표를 판단한 결과를 매핑하여 상기 차량의 사각지대로 상기 카메라의 방향을 제어하는 단계;를 포함하는 차량용 카메라 원격 제어 방법. - 차량용 카메라를 원격으로 제어하는 서버에 있어서,
차량에 구비된 단말로부터 상기 차량의 주변 영상을 수신하고, 상기 차량의 위치정보를 획득하는 통신장치; 및
상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하고, 상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하기 위한 신호를 생성하는 프로세서;를 포함하는 서버. - 차량용 카메라를 제어하는 단말에 있어서,
차량의 주변 영상을 촬영하는 카메라;
상기 차량의 위치정보를 획득하는 GPS 수신기;
상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하는 프로세서; 및
상기 이동 방향을 판단한 결과 및 상기 위치정보를 서버에 전송하는 통신장치;를 포함하되,
상기 프로세서는 상기 서버로부터 전송되는 신호를 기반으로 상기 카메라의 방향을 제어하는 단말. - 제 17 항에 있어서,
상기 카메라를 고정하는 고정부를 더 포함하고,
상기 프로세서는 상기 신호를 기반으로 상기 고정부를 회전시킴으로써 상기 카메라의 방향을 조절하는 단말. - 차량용 카메라를 원격으로 제어하는 시스템에 있어서,
차량의 주변 영상을 촬영하고, 상기 차량의 위치정보를 획득하는 단말; 및
상기 차량의 주변 영상 및 상기 위치정보를 수신하고, 상기 차량의 주변 영상을 기반으로 상기 차량의 이동 방향을 판단하고, 상기 이동 방향을 판단한 결과 및 상기 위치정보를 기반으로 상기 단말에 포함된 카메라의 방향을 제어하기 위한 신호를 생성하는 서버;를 포함하는 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220131211A KR20240051489A (ko) | 2022-10-13 | 2022-10-13 | 차량용 카메라 원격 제어 방법, 장치 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220131211A KR20240051489A (ko) | 2022-10-13 | 2022-10-13 | 차량용 카메라 원격 제어 방법, 장치 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240051489A true KR20240051489A (ko) | 2024-04-22 |
Family
ID=90881644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220131211A KR20240051489A (ko) | 2022-10-13 | 2022-10-13 | 차량용 카메라 원격 제어 방법, 장치 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240051489A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150026708A (ko) | 2013-08-30 | 2015-03-11 | 김동근 | 차량 사각지대 감시장치 |
-
2022
- 2022-10-13 KR KR1020220131211A patent/KR20240051489A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150026708A (ko) | 2013-08-30 | 2015-03-11 | 김동근 | 차량 사각지대 감시장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11609101B2 (en) | Image processing apparatus, image processing method, computer program and computer readable recording medium | |
| WO2020224375A1 (zh) | 定位方法、装置、设备和计算机可读存储介质 | |
| KR102499398B1 (ko) | 차선 검출 방법 및 장치 | |
| KR102464898B1 (ko) | 차량과 관련된 영상 정보를 공유하는 방법 및 장치 | |
| US10341633B2 (en) | Systems and methods for correcting erroneous depth information | |
| WO2017057042A1 (ja) | 信号処理装置、信号処理方法、プログラム、および、物体検出システム | |
| US20200234580A1 (en) | Moving object and driving support system for moving object | |
| US20170308989A1 (en) | Method and device for capturing image of traffic sign | |
| WO2014115563A1 (ja) | 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体 | |
| JP2016213815A (ja) | 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体 | |
| JP2019516955A (ja) | 自動化車両のためのｖ２ｘ物体−ロケーション検証システム | |
| KR101880185B1 (ko) | 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법 | |
| CN113165651B (zh) | 电子装置及其控制方法 | |
| US11557206B2 (en) | Information provision system, server, and mobile terminal | |
| KR20190076815A (ko) | 전자 장치의 이동체 포즈 추정 방법 | |
| KR20230018352A (ko) | 차량의 주행 경로를 결정하기 위한 방법 및 장치 | |
| WO2018017094A1 (en) | Assisted self parking | |
| KR20120067479A (ko) | 촬영 영상을 이용한 길 안내 시스템 및 방법 | |
| KR20210056632A (ko) | 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치 | |
| CN109691063B (zh) | 用于接收、处理和传输数据的方法和设备 | |
| KR20240051489A (ko) | 차량용 카메라 원격 제어 방법, 장치 및 시스템 | |
| JP6664411B2 (ja) | セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体 | |
| KR20130011350A (ko) | 차량 안전 운행 가이드 방법, 및 이를 위한 장치 및 시스템 | |
| CN113366485A (zh) | 通过与导航相关的感测进行认证 | |
| KR20170102191A (ko) | 촬영 영상을 이용한 길 안내 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |