KR20130130943A - 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법 - Google Patents

어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법 Download PDF

Info

Publication number
KR20130130943A
KR20130130943A KR1020120054615A KR20120054615A KR20130130943A KR 20130130943 A KR20130130943 A KR 20130130943A KR 1020120054615 A KR1020120054615 A KR 1020120054615A KR 20120054615 A KR20120054615 A KR 20120054615A KR 20130130943 A KR20130130943 A KR 20130130943A
Authority
KR
South Korea
Prior art keywords
camera
virtual
vehicle
image
information
Prior art date
Application number
KR1020120054615A
Other languages
English (en)
Other versions
KR101933185B1 (ko
Inventor
이민구
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120054615A priority Critical patent/KR101933185B1/ko
Publication of KR20130130943A publication Critical patent/KR20130130943A/ko
Application granted granted Critical
Publication of KR101933185B1 publication Critical patent/KR101933185B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 시뮬레이터에서 가상 뷰 영상을 이용하여 생성된 차량 모델 별 또는 차량의 물리적 정보에 따른 가상 합성 영상을 실제 뷰 영상이 촬영된 실제 합성 영상과 비교하여, 어라운드 뷰 모니터링용 카메라의 위치 및 각도를 매니퓰레이터를 이용하여 자동으로 조정 가능하게 한다.
또한, 차량 모델별 또는 차량의 물리적 정보에 따라 생성된 가상 합성 영상을 비교함으로써, 기존 차량에서 사용되던 카메라를 다른 차량 모델로 변경할 시에도 손쉽게 카메라의 위치 및 각도를 조정할 수 있다.

Description

어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법{System for automatic control of around view monitoring camera and methed thereof}
본 발명은 어라운드 뷰 모니터링용 카메라에 관한 것으로, 특히 카메라의 위치 자동 조정 기술에 관한 것이다.
차량 제조사들은 차량의 운전 성능 개선뿐만 아니라 안전에 필요한 다양한 장치들을 차량에 채용함으로써, 운전자의 편의 및 안전운전을 도모하고 있다. 이중 하나가 후방 감지 시스템으로, 차량이 대형화되고 갈수록 도로가 복잡해짐에 따라, 차량의 후진시 운전자가 겪는 어려움을 해소하기 위해 다양한 후방 감지 시스템이 적용되고 있다. 즉, 후방 카메라가 채용됨으로써, 운전자는 차량 후진시 후방 카메라를 통한 차량 후방 영상을 확인할 수 있다. 한편, 최근에는 차량 후방뿐만 아니라, 차량의 전방, 좌측 및 우측에 카메라가 장착되어 운전자가 주차 또는 주행시에 전후좌우를 모두 확인하며 안전 운행을 할 수 있도록 도와주고 있다. 일반적으로, 차량의 전후좌우에 장착된 카메라를 이용하여 운전자에게 영상을 제공해주는 시스템을 어라운드 뷰 시스템(Around View System, AVM)이라 한다.
이러한 AVM 시스템은 차량 개발 시점에 카메라들이 최초 설계 위치 및 각도로 정확히 배치되었음을 가정하여 설정된 것인데, 이 설정 상태는 실제 양산 라인을 거치면서 차량에 카메라 장착 과정에서 발생하는 공차로 인하여 제 품질을 유지하지 못하는 경우가 발생한다. 이러한 오차를 조정하기 위해 작업자는 도 1과 같이 격자 패턴이 있는 지면에 차량을 주차하고 카메라에 의해 촬영되는 영상 내 격자 패턴을 확인하면서 튜닝하게 된다. 그러나, 이러한 카메라 튜닝은 작업자가 일일이 카메라의 촬영 영상을 확인하면서 세부적으로 조정함으로써, 카메라 튜닝을 에 장시간이 소요된다. 이러한 공정상 발생하는 오차를 작업자 개입 없이 자동으로 정확하게 조정하여 차량 생산 효율을 높이기 위한 방법이 요구되고 있다.
또한, 기존에는 차종에 따라 카메라의 장착 위치가 고정된 상태에서 카메라의 각도변경만으로 카메라 튜닝 작업이 이루어짐으로써, 차종 변경에 따른 카메라 공용화가 불가능하거나, 가능하더라도 추가적인 튜닝 작업을 실시해야하는 문제점이 있다.
본 발명은 가상 뷰 영상 및 카메라 위치 조정부를 이용하여 어라운드 뷰 모니터링용 카메라의 위치를 자동으로 조정할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템은 차량의 주변 영역을 촬영하는 하나 이상의 카메라를 포함하는 촬영부, 상기 촬영부와 연결되며, 하나 이상의 프리즈마틱 조인트 및 다수의 레볼루트 조인트를 포함하는 카메라 위치 조정부, 및 상기 촬영부에 의해 촬영된 실제 뷰 영상을 한 화면으로 합성한 실제 합성 영상과 외부로부터 획득된 가상 합성 영상을 비교하고, 상기 비교 결과에 따라, 상기 카메라 위치 조정부를 제어하여 상기 촬영부의 위치 및 각도를 조정하는 제어부를 포함한다. 또한,상기 실제 합성 영상에 대응되는 가상 합성 영상을 획득하는 획득부를 더 포함하며, 상기 가상 합성 영상은 상기 차량의 물리적 정보에 근거하여 도출된 시뮬레이션 결과에 의해 생성된 영상이다. 상기 가상 합성 영상은, 상기 차량의 물리적 정보인 전폭, 전장 및 전고 정보에 근거하여 차량의 시뮬레이터를 3차원의 가상 공간에 생성하는 과정과, 상기 차량의 시뮬레이터 상에서, 복수의 가상 카메라에 대한 최적 위치 정보 및 상기 가상 카메라의 속성 함수에 근거하여 생성되는 복수의 가상 영상을 합성하는 과정을 통해 생성되는 것이되, 상기 최적 위치 정보는 상기 차량의 시뮬레이터 상에서 카메라의 촬영 사각지대를 최소화할 수 있도록 하는 상기 가상 카메라의 위치 정보를 의미한다. 상기 획득부는 상기 가상 카메라의 속성 함수를 토대로 생성된 상기 최적 위치 정보를 더 획득하고, 상기 최적 위치 정보는 상기 복수의 가상 카메라의 위치 정보에 대한 복수의 조합으로 구성되고, 상기 가상 합성 영상은 상기 복수의 조합 중 어느 하나의 조합에 대한 가상 영상을 합성한 것이다. 상기 최적 위치 정보는, 상기 차량의 물리적 정보에 근거하여 3차원적 좌표 상에서 렌더링된 사각형의 차량 시뮬레이터의 대각선 교차점을 원점으로 하여 상기 3차원 좌표 상에서 표시되는 것이다.
한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법은 차량의 촬영부에 의해 촬영된 실제 뷰 영상을 한 화면으로 합성하는 단계, 상기 실제 합성 영상과 외부로부터 획득된 가상 합성 영상을 비교하는 단계, 및 상기 비교 결과에 따라 카메라 위치 조정부를 제어하여 상기 촬영부의 위치 및 각도를 조정하는 단계를 포함한다. 상기 가상 합성 영상은, 상기 차량의 물리적 정보인 전폭, 전장 및 전고 정보에 근거하여 차량의 시뮬레이터를 3차원의 가상 공간에 생성하는 과정과, 상기 차량의 시뮬레이터 상에서, 복수의 가상 카메라에 대한 최적 위치 정보 및 상기 가상 카메라의 속성 함수에 근거하여 생성되는 복수의 가상 영상을 합성하는 과정을 통해 생성되는 것이되, 상기 최적 위치 정보는 상기 차량의 시뮬레이터 상에서 카메라의 촬영 사각지대를 최소화할 수 있도록 하는 상기 가상 카메라의 위치 정보를 의미한다.
상기 가상 카메라 속성 함수를 토대로 생성된 상기 최적 위치 정보를 획득하는 단계를 더 포함하되, 상기 최적 위치 정보는 상기 복수의 가상 카메라의 위치 정보에 대한 복수의 조합으로 구성되고, 상기 가상 합성 영상은 상기 복수의 조합 중 어느 하나의 조합에 대한 가상 영상을 합성한 것이며, 상기 최적 위치 정보를 획득하는 단계는, 3차원 좌표 상에서 상기 차량의 물리적 정보에 근거하여 사각형의 차량 시뮬레이터를 렌더링하는 단계, 상기 차량 시뮬레이터의 대각선 교차점을 원점으로 정의하는 단계, 및 상기 가상 합성 영상이 생성되기 위한 상기 가상 카메라의 최적 위치 좌표들의 집합 정보를 3차원 좌표 상에서 상기 원점 기준으로 획득하는 단계를 포함한다.
본 발명은 시뮬레이터에서 가상 뷰 영상을 이용하여 생성된 차량 모델 별 또는 차량의 물리적 정보에 따른 가상 합성 영상을 실제 뷰 영상이 촬영된 실제 합성 영상과 비교하여, 어라운드 뷰 모니터링용 카메라의 위치 및 각도를 매니퓰레이터를 이용하여 자동으로 조정하는 효과를 창출한다.
또한, 차량 모델별 또는 차량의 물리적 정보에 따라 생성된 가상 합성 영상을 비교함으로써, 기존 차량에서 사용되던 카메라를 다른 차량 모델로 변경할 시에도 손쉽게 카메라의 위치 및 각도를 조정할 수 있다.
도 1은 종래 어라운드 뷰 카메라 조정 방법 및 본 발명 설명을 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 가상 뷰 영상을 이용한 AVM용 카메라 위치 자동 조정 시스템 블록도.
도 3은 본 발명에 따른 차량의 카메라의 위치 자동 조정부 예시도.
도 4는 본 발명에 따른 가상 뷰 영상 예시도.
도 5는 본 발명에 따른 가상 카메라로부터 생성되는 가상 영상 예시도.
도 6은 본 발명에 따른 가상 영상을 합성한 가상 영상 예시도.
도 7은 본 발명에 따른 카메라 위치 좌표 획득 방법을 설명하기 위한 참조도.
도 8은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 가상 뷰 영상을 이용한 AVM용 카메라 위치 자동 조정 시스템 블록도이다.
어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템은 촬영부(100), 카메라 위치 조정부(200), 획득부(300), 및 제어부(400)를 포함한다. 촬영부(100)는 차량의 주변 영역의 영상을 촬영하기 위한 것으로서, 차량의 소정 위치에 장착되는 다수의 카메라를 포함한다. 일 실시예에 있어서, 이 촬영부(100)는 차량의 전방, 후방, 좌측방, 및 후측방의 4개의 소정 위치에 장착되어 차량의 주변 영역을 촬영할 수 있다. 본 발명의 일 실시예에서는 촬영부(100)가 차량의 전방, 후방, 좌측방, 및 후측방 영역을 촬영할 수 있도록 4개의 카메라로 구성되는 것으로 기재하였지만, 본 발명의 권리범위는 이에 한정되지 않는다. 본 발명에서는 설명의 편의를 위해 차량의 전방, 후방, 좌측방, 및 후측방에 각각 1개씩 총 4개의 카메라가 장착된 것으로 가정한다. 촬영부(100)에는 시스템 온 칩(System on Chip, SoC) 타입의 영상 처리 프로세서(Image Signal Processor, ISP)가 내장된다. 이 영상 처리 프로세서는 어라운드 뷰 모니터링 카메라의 영상을 후술하는 바와 같이 보정한다.
카메라 위치 조정부(200)는 매니퓰레이터로서, 촬영부(100)의 카메라의 각도 및 위치를 조정한다. 도 3에 도시된 바와 같이, 카메라 위치 조정부(200)는 다수의 레볼루트 조인트(Revolute Joint)와 하나 이상의 프리즈마틱 조인트(Prismatic Joint)로 구성된다. 또한, 카메라 위치 조정부(200)에는 조인트들을 제어하기 위한 다수의 모터도 포함될 수 있다. 카메라 위치 조정부(200)는 전술한 촬영부(100)의 4개의 카메라 각각에 개별적으로 연결되며, 4개의 카메라 각각에 연결된 4개의 카메라 위치 조정부(200)는 서로 독립적으로 동작한다. 카메라 위치 조정부(200) 끝단에는 레볼루트 조인트가 위치하게 되는데, 레볼루트 조인트에는 카메라가 장착될 수 있다. 한편, 범퍼 등과 같은 차량의 가장 바깥쪽에 장착된 전방 카메라 및 후방 카메라에 연결된 카메라 위치 조정부(200)는 레볼루트 조인트를 포함하지 않을 수도 있다.
획득부(300)는 외부로부터 데이터를 획득하기 위한 무선 또는 유선의 외부 입력 장치이다. 일 실시예에 있어서, 획득부(300)는 USB(Universal Serial Bus) 입력 장치 일 수 있다. 획득부(300)를 통해 본 발명에 따른 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템은 후술할 시뮬레이터로 생성되는 가상 합성 영상을 획득할 수 있다. 시뮬레이터는 컴퓨팅 장치에서 실행 또는 판독 가능한 응용 프로그램으로서, 주로 차량 정비 센터 또는 차량 부품 연구소 등에 있는 컴퓨팅 장치에 설치되어 활용될 수 있다. 시뮬레이터를 이용한 가상 합성 영상 생성 과정을 아래에 구체적으로 설명한다.
시뮬레이터는 먼저, 차량의 물리적 정보를 작업자로부터 입력 받는다. 차량의 물리적 정보라 함은, 차량의 전폭, 전장 및 전고 정보로서, 차량 모델 별로 각기 다른 값을 가진다. 일 실시예에 있어서, 시뮬레이터 내에는 차량 모델별 차량의 물리적 정보가 저장되어 있으며, 작업자에 의해 차량 모델 정보를 입력받으면 자동으로 그에 대응되는 물리적 정보가 획득될 수 있다. 차량 모델이 입력되면, 시뮬레이터는 다수의 가상 카메라들의 속성 함수에 근거하여 가상 뷰 영상이 촬영된 가상 영상을 생성한다. 여기서, 가상 뷰 영상이라 함은, 도 4에 도시된 바와 같이, 차량의 사방으로 소정 거리 떨어진 일정 높이의 눈금 패턴 벽 영상 및 격자 패턴 바닥 영상이다.
4개의 가상 카메라 각각에 대한 가상 영상, 즉 가상 뷰 영상을 가상 촬영한 차량의 전방 영상, 후방 영상, 좌측방 영상, 우측방 영상이 생성되면, 시뮬레이터는 각 가상 영상들 내 패턴 정보를 이용하여 각 가상 영상을 보정한다. 시뮬레이터는 가상 카메라의 위치가 따라서 다른 패턴을 가지는 다수의 가상 영상을 생성한다. 생성된 다수의 영상들 중 각 방향의 영상 하나씩을 합성하여 가상 합성 영상을 다수 생성한다. 예를 들어, 시뮬레이터는 도 5와 같이 차량의 4방향에 생성된 가상 영상을 도 6과 같이 한 화면으로 합성한다. 시뮬레이터는 합성된 다수의 가상 합성 영상들 중 최소한의 사각지대를 가지는 최적의 영상 하나를 도출한다.
한편, 획득부(300)는 상술한 과정을 통해 도출된 최적의 가상 합성 영상을 획득한다. 가상 합성 영상은 도 4에서 소정 높이(예를 들어, 5m) 상의 카메라에서 촬영된 영상과 같은 버드뷰(Bird View) 형태일 수 있다. 또한, 획득부(300)는 최적의 가상 합성 영상을 생성하기 위한 카메라의 최적 위치 정보도 획득할 수 있다. 카메라 최적 위치 정보는 x, y, z의 좌표 정보로 형성될 수 있으며, 다음과 같은 방법을 통해 획득될 수 있다.
먼저, 시뮬레이터는 위에서 획득된 차량 모델에 따른 차량의 물리적 정보에 근거하여 3차원 좌표상에서 도 7에 도시된 바와 같은 사각형 형상의 차량 시뮬레이터를 형성하고, 상기 차량 시뮬레이터를 3차원 공간 상에 렌더링한다. 다음으로, 시뮬레이터는 차량 시뮬레이터의 대각선 교차점을 원점으로 정의한다. 최적의 가상 합성 영상이 도출되기 위한 카메라의 위치 좌표는 상기 정의된 원점을 기준으로 (x,y,z)값으로 획득될 수 있다. 카메라 최적 위치 정보는 촬영부(100)의 4개의 카메라 위치 좌표가 하나의 집합을 이루는 다수개의 집합으로 획득될 수 있으며, 이 다수개의 집합 정보는 1순위부터 3순위까지 선정되어 차량 모델별 카메라 위치 후보 정보로 저장될 수 있다.
제어부(400)는 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템을 제어하기 위한 컨트롤러로서, 어라운드 뷰 모니터링용 카메라의 위치 조정을 위한 전반적인 프로세스를 수행한다. 제어부(400)는 논리적으로 위에서 언급한 영상 처리 프로세서를 포함하는 단위의 블록을 의미하는 것일 수 있다. 예를 들어, 제어부(400)는 일부(영상 처리 프로세서)만이 촬영부(100) 내에 구현되고, 그 외의 제어 구성은 별도의 모듈(예를 들어, 차량 헤드 유닛)에 구현될 수 있으며, 영상 처리 프로세서를 포함한 모든 구성이 별도의 모듈(예를 들어, 차량 헤드 유닛)에 구현될 수도 있다. 제어부(400)의 구성이 물리적으로 떨어져 구현된 경우, 통신을 통해 제어신호/데이터 송수신이 이루어짐은 물론이다. 여기서 통신 방식은 CAN(Controller Area Network)일 수 있다.
이후, 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템의 전반적인 동작을 설명한다.
먼저, 작업자로부터 차량 모델 정보가 입력되면, 제어부(400)는 입력된 차량 모델에 따른 가상 합성 영상 정보 및 카메라 최적 위치 정보를 획득부(300)를 통해 획득한다. 제어부(400)는 획득된 카메라 최적 위치 정보를 작업자에게 알려준다. 작업자는 카메라 위치 후보 1순위 내지 3순위 중 한 집합의 위치 좌표에 맞추어 촬영부(100)를 장착한다. 촬영부(100)가 장착되고, 작업자에 의해 카메라 위치 조정을 요청하는 요청 신호가 입력되면, 제어부(400)는 장착된 촬영부(100)로부터 수신되는 실제 뷰 영상을 한 화면에 합성하여 실제 합성 영상으로 생성한다. 제어부(400)는 생성된 실제 합성 영상 정보와 획득부(300)를 통해 수신되는 가상 합성 영상 정보를 비교한다. 실제 합성 영상과 가상 합성 영상의 비교 결과 일치하지 않으면, 제어부(400)는 카메라 위치 조정부(200)를 제어하여 촬영부(100)의 위치 및 각도를 조정한다. 촬영부(100)의 위치 및 각도를 조정하는 구체적인 방법은 다음과 같다.
먼저, 제어부(400)는 실제 뷰 영상을 분석하여 현재 카메라의 장착 위치 좌표 정보를 획득할 수 있다. 제어부(400)는 현재 카메라의 장착 위치 좌표 정보와 획득부(300)를 통해 획득된 카메라 위치 후보 정보를 이용하여 촬영부(100)가 이동해야하는 이동 궤적을 산출한다. 이동 궤적이 산출되면, 제어부(400)는 이동 궤적을 따라 카메라 위치 조정부(200)를 제어하여 촬영부(100)의 위치 및 각도를 조정한다. 여기서, 이동 궤적에는 좌우 이동 궤적, 상하 이동 궤적 및 회전 궤적이 포함될 수 있다. 이동 궤적에 따라 카메라 위치 조정부(200)인 매니퓰레이터를 조정하는 방법은 이미 널리 알려진 기술이므로 상세한 설명은 생략한다.
추가적으로, 제어부(400)는 카메라 위치 조정부(200) 제어시, 싱귤레이터 발생으로 인한 급격한 동작을 방지 및 경고한다. 또한, 제어부(400)는 카메라 위치 후보 좌표로 카메라를 이동시킬 수 있는 범위를 벗어나 촬영부(100)가 장착된 경우, 작업자에게 촬영부(100)의 재장착을 요청하는 요청 신호를 출력할 수 있다.
도 8은 본 발명의 일실시예에 따른 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법이다.
제어부(400)는 작업자로부터 차량의 모델 정보 또는 차량의 물리적 정보를 수신한다(S100). 차량의 모델 정보 또는 차량의 물리적 정보가 수신되면, 제어부(400)는 수신된 차량 모델에 따른 또는 차량의 물리적 정보에 따른 카메라 최적 위치 정보를 획득하여 작업자에게 알려준다(S200). 촬영부(100)가 장착되고 작업자에 의해 카메라 조정 요청 신호가 수신되면(S300), 제어부(400)는 장착된 촬영부(100)로부터 수신되는 실제 뷰 영상을 한 화면에 합성하여 실제 합성 영상으로 생성한다(S400). 제어부(400)는 생성된 실제 합성 영상과 획득부(300)를 통해 수신되는 가상 합성 영상을 비교한다(S500). 실제 합성 영상과 가상 합성 영상의 비교 결과 일치하지 않으면, 제어부(400)는 카메라 위치 조정부(200)를 제어하여 촬영부(100)의 위치 및 각도를 조정한다(S600)(S700). 촬영부(100)의 위치 및 각도를 조정하는 구체적인 방법은 다음과 같다. 먼저, 제어부(400)는 실제 뷰 영상을 분석하여 현재 카메라의 장착 위치 좌표 정보를 획득할 수 있다. 제어부(400)는 현재 카메라의 장착 위치 좌표 정보와 획득부(300)를 통해 획득된 카메라 위치 후보 정보를 이용하여 촬영부(100)가 이동해야하는 이동 궤적을 산출한다. 이동 궤적이 산출되면, 제어부(400)는 이동 궤적을 따라 카메라 위치 조정부(200)를 제어하여 촬영부(100)의 위치 및 각도를 조정한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 촬영부 200 : 카메라 위치 조정부
300 : 획득부 400 : 제어부

Claims (9)

  1. 차량의 주변 영역을 촬영하는 하나 이상의 카메라를 포함하는 촬영부;
    상기 촬영부와 연결되며, 하나 이상의 프리즈마틱 조인트 및 다수의 레볼루트 조인트를 포함하는 카메라 위치 조정부; 및
    상기 촬영부에 의해 촬영된 실제 뷰 영상을 한 화면으로 합성한 실제 합성 영상과 외부로부터 획득된 가상 합성 영상을 비교하고, 상기 비교 결과에 따라, 상기 카메라 위치 조정부를 제어하여 상기 촬영부의 위치 및 각도를 조정하는 제어부;
    를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템.
  2. 제1항에 있어서,
    상기 실제 합성 영상에 대응되는 가상 합성 영상을 획득하는 획득부;를 더 포함하며,
    상기 가상 합성 영상은 상기 차량의 물리적 정보에 근거하여 도출된 시뮬레이션 결과에 의해 생성된 영상인 것을 특징으로 하는 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템.
  3. 제2항에 있어서, 상기 가상 합성 영상은,
    상기 차량의 물리적 정보인 전폭, 전장 및 전고 정보에 근거하여 차량의 시뮬레이터를 3차원의 가상 공간에 생성하는 과정과,
    상기 차량의 시뮬레이터 상에서, 복수의 가상 카메라에 대한 최적 위치 정보 및 상기 가상 카메라의 속성 함수에 근거하여 생성되는 복수의 가상 영상을 합성하는 과정을 통해 생성되는 것이되,
    상기 최적 위치 정보는 상기 차량의 시뮬레이터 상에서 카메라의 촬영 사각지대를 최소화할 수 있도록 하는 상기 가상 카메라의 위치 정보를 의미하는 것
    인 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템.
  4. 제3항에 있어서,
    상기 획득부는 상기 가상 카메라의 속성 함수를 토대로 생성된 상기 최적 위치 정보를 더 획득하고,
    상기 최적 위치 정보는 상기 복수의 가상 카메라의 위치 정보에 대한 복수의 조합으로 구성되고, 상기 가상 합성 영상은 상기 복수의 조합 중 어느 하나의 조합에 대한 가상 영상을 합성한 것
    인 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템.
  5. 제3항에 있어서, 상기 최적 위치 정보는,
    상기 차량의 물리적 정보에 근거하여 3차원적 좌표 상에서 렌더링된 사각형의 차량 시뮬레이터의 대각선 교차점을 원점으로 하여 상기 3차원 좌표 상에서 표시되는 것
    인 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템.
  6. 차량의 촬영부에 의해 촬영된 실제 뷰 영상을 한 화면으로 합성하는 단계;
    상기 실제 합성 영상과 외부로부터 획득된 가상 합성 영상을 비교하는 단계; 및
    상기 비교 결과에 따라 카메라 위치 조정부를 제어하여 상기 촬영부의 위치 및 각도를 조정하는 단계;
    를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법.
  7. 제6항에 있어서, 상기 가상 합성 영상은,
    상기 차량의 물리적 정보인 전폭, 전장 및 전고 정보에 근거하여 차량의 시뮬레이터를 3차원의 가상 공간에 생성하는 과정과,
    상기 차량의 시뮬레이터 상에서, 복수의 가상 카메라에 대한 최적 위치 정보 및 상기 가상 카메라의 속성 함수에 근거하여 생성되는 복수의 가상 영상을 합성하는 과정을 통해 생성되는 것이되,
    상기 최적 위치 정보는 상기 차량의 시뮬레이터 상에서 카메라의 촬영 사각지대를 최소화할 수 있도록 하는 상기 가상 카메라의 위치 정보를 의미하는 것
    인 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법.
  8. 제7항에 있어서,
    상기 가상 카메라 속성 함수를 토대로 생성된 상기 최적 위치 정보를 획득하는 단계를 더 포함하되,
    상기 최적 위치 정보는 상기 복수의 가상 카메라의 위치 정보에 대한 복수의 조합으로 구성되고, 상기 가상 합성 영상은 상기 복수의 조합 중 어느 하나의 조합에 대한 가상 영상을 합성한 것
    인 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법.
  9. 제8항에 있어서, 상기 최적 위치 정보를 획득하는 단계는,
    3차원 좌표 상에서 상기 차량의 물리적 정보에 근거하여 사각형의 차량 시뮬레이터를 렌더링하는 단계;
    상기 차량 시뮬레이터의 대각선 교차점을 원점으로 정의하는 단계; 및
    상기 가상 합성 영상이 생성되기 위한 상기 가상 카메라의 최적 위치 좌표들의 집합 정보를 3차원 좌표 상에서 상기 원점 기준으로 획득하는 단계;
    를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 방법.
KR1020120054615A 2012-05-23 2012-05-23 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법 KR101933185B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120054615A KR101933185B1 (ko) 2012-05-23 2012-05-23 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120054615A KR101933185B1 (ko) 2012-05-23 2012-05-23 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130130943A true KR20130130943A (ko) 2013-12-03
KR101933185B1 KR101933185B1 (ko) 2018-12-27

Family

ID=49980332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120054615A KR101933185B1 (ko) 2012-05-23 2012-05-23 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101933185B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170138166A (ko) * 2016-06-07 2017-12-15 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법
KR20210099364A (ko) * 2020-02-04 2021-08-12 주식회사 한화 저상형 대차
CN113752958A (zh) * 2021-10-12 2021-12-07 浙江点辰航空科技有限公司 一种具有多角度调整摄像头的新型无人车
WO2023085493A1 (ko) * 2021-11-09 2023-05-19 한국전자기술연구원 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법
CN117611724A (zh) * 2024-01-19 2024-02-27 中汽数据(天津)有限公司 车辆视觉传感器仿真图像校正方法、系统、设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052013B1 (ko) 2019-06-12 2019-12-04 한국해양과학기술원 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010089745A (ja) * 2008-10-10 2010-04-22 Denso Corp 車載撮像装置の光軸調整システム
JP5505764B2 (ja) * 2009-02-23 2014-05-28 株式会社リコー 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170138166A (ko) * 2016-06-07 2017-12-15 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법
KR20210099364A (ko) * 2020-02-04 2021-08-12 주식회사 한화 저상형 대차
CN113752958A (zh) * 2021-10-12 2021-12-07 浙江点辰航空科技有限公司 一种具有多角度调整摄像头的新型无人车
CN113752958B (zh) * 2021-10-12 2023-09-12 苏州宇灵境数字科技有限公司 一种具有多角度调整摄像头的无人车
WO2023085493A1 (ko) * 2021-11-09 2023-05-19 한국전자기술연구원 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법
CN117611724A (zh) * 2024-01-19 2024-02-27 中汽数据(天津)有限公司 车辆视觉传感器仿真图像校正方法、系统、设备和介质

Also Published As

Publication number Publication date
KR101933185B1 (ko) 2018-12-27

Similar Documents

Publication Publication Date Title
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
KR101892595B1 (ko) 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수
KR101933185B1 (ko) 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
KR101023275B1 (ko) 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
US20120002057A1 (en) Camera calibration apparatus
JP5011049B2 (ja) 画像処理システム
CN106027887B (zh) 针对旋镜云台的枪球联动控制的方法、装置及电子设备
JP2010072807A (ja) 道路境界検出判断装置
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
CN110176038A (zh) 校准车辆的摄像头的方法和系统
US10602125B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
KR102057021B1 (ko) 패널 변환
JP2014074632A (ja) 車載ステレオカメラの校正装置及び校正方法
US20120075428A1 (en) Image processing apparatus
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
CN110766761A (zh) 用于相机标定的方法、装置、设备和存储介质
CN113781576B (zh) 多自由度位姿实时调整的双目视觉检测系统、方法、装置
JP7138856B2 (ja) 俯瞰映像提示システム
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
KR102278536B1 (ko) 영상 이미지를 이용하여 거리를 측정하기 위한 장치 및 방법
KR20130039838A (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant