KR102270316B1 - 스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템 - Google Patents

스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템 Download PDF

Info

Publication number
KR102270316B1
KR102270316B1 KR1020190135612A KR20190135612A KR102270316B1 KR 102270316 B1 KR102270316 B1 KR 102270316B1 KR 1020190135612 A KR1020190135612 A KR 1020190135612A KR 20190135612 A KR20190135612 A KR 20190135612A KR 102270316 B1 KR102270316 B1 KR 102270316B1
Authority
KR
South Korea
Prior art keywords
camera
cameras
vehicle
portable terminals
image
Prior art date
Application number
KR1020190135612A
Other languages
English (en)
Other versions
KR20200049643A (ko
Inventor
노병진
Original Assignee
(주)서울소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서울소프트 filed Critical (주)서울소프트
Publication of KR20200049643A publication Critical patent/KR20200049643A/ko
Application granted granted Critical
Publication of KR102270316B1 publication Critical patent/KR102270316B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257
    • H04N5/247
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 미개통된 잉여 스마트폰들을 활용하여, 모니터링 시스템을 구축하는 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템에 관한 것으로, 본 발명은 차량 외부의 영상을 획득하는 복수 개의 카메라와; 차량에 장착되어 상기 복수 개의 카메라로부터 영상 정보를 획득하고, 획득한 상기 영상 정보를 가공하는 제어유닛; 그리고 상기 제어유닛으로부터 영상 정보를 수신받는 휴대용 단말기들로 구성되는 멀티비젼을 포함하여 구성된다. 이와 같은 본 발명에 의하면, 본 발명에서는 어라운드뷰 모니터링 시스템으로부터 획득된 영상을 미개통 휴대 단말기를 통해 사용자에게 제공할 수 있으므로, AVM 시스템 구성의 비용을 현저히 절감시킬 수 있는 효과가 있다.

Description

스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템 {AVM SYSTEM HAVING MULTIVISION COMPRISE OF SMART DEVICES}
본 발명은 어라운드뷰 모니터링(AVM, Around View Monitoring) 시스템에 관한 것으로, 미개통된 잉여 스마트폰들을 활용하여, 모니터링 시스템을 구축하는 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템에 관한 것이다.
최근에는 차량 운전자 편의와 안전을 향상시키기 위한 방법으로 다양한 편의 시설과 이를 작동하고 제어하기 위한 장치 및 시스템이 개발되고 있으며, 특히 영상 카메라 시스템은 자동차의 광범위한 영역에서 사용되고 있다.
예를 들면, 자동차의 외부에 카메라를 설치하고 이를 이용하여 운전석 계기판의 디스플레이를 통하여 운전자가 차량 주변의 외부 영상을 확인하거나 차량 주변의 사물 및 차선 등을 인식하고 운전자에게 경고하는 등의 다양한 시스템이 개발되어 적용되고 있다.
이들 중 어라운드 뷰 모니터링 시스템은, 차량 외곽에 복수 개의 카메라를 설치하고 차량 주변을 촬영하여 운전자로 하여금 주행 및 주차를 원할히 하도록 지원하는 기능을 수행한다. 이러한 어라운드 뷰 모니터링 시스템의 출력 영상은, 복수의 카메라에서 촬영된 영상들이 영상 처리 과정을 거쳐서 차량의 위에서 보는 것과 같은 하나의 버드뷰(Bird View) 영상으로 합성되어 최종적으로 디스플레이된다.
한편, 디스플레이될 버드뷰 영상은 차량에 구비된 별도의 디스플레이장치에 의해 제공되고, 이와 같은 AVM 시스템 구성에 있어, 디스플레이장치가 차지하는 비용 비율이 높아 AVM 시스템의 비용이 증가되는 문제점이 있었다.
대한민국 특허등록 제10-1519288호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 차량에 장착된 카메라들에 의하여 획득된 어라운드뷰 영상을 미개통 휴대단말기와 연동하여 사용자의 요구에 맞춰 머티비젼을 구현하여 출력하도록 하는 다채널 AVM 시스템을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 차량 외부의 영상을 획득하는 복수 개의 카메라와; 차량에 장착되어 상기 복수 개의 카메라로부터 영상 정보를 획득하고, 획득한 상기 영상 정보를 가공하는 제어유닛; 그리고 상기 제어유닛으로부터 영상 정보를 수신받는 휴대용 단말기들로 구성되는 멀티비젼을 포함하여 구성된다.
이때, 상기 멀티비젼은, 미개통 휴대 단말기들이 조합되어 구성될 수도 있다.
그리고 상기 복수 개의 카메라는, 차량의 전방, 후방, 좌측전방, 좌측후방, 우측전방 및 우측후방에 각각 장착된 제1카메라, 제 2카메라, 제3카메라, 제4카메라, 제5카메라 및 제6카메라를 포함하고, 상기 제어유닛은, 상기 제1카메라 내지 제6카메라로부터 획득한 영상을 합성 또는 분할하여, 상기 멀티비젼 상에 설정된 영역에 선택적으로 배분하여 출력할 수도 있다.
또한, 상기 멀티비젼의 설정영역은, 차량의 운행모드에 의해 지정될 수도 있다.
그리고 상기 멀티비젼의 설정영역은, 사용자의 입력에 의해 지정될 수도 있다.
한편, 상기 복수 개의 카메라는, 차량의 전방, 후방, 좌측전방, 좌측후방, 우측전방 및 우측후방에 각각 장착된 제1카메라, 제2카메라, 제3카메라, 제4카메라, 제5카메라 및 제6카메라를 포함하고, 상기 제어유닛은, 상기 제1카메라 내지 제6카메라로부터 획득한 각 영상을 상기 제1카메라 내지 제6카메라에 각각 매칭된 스마트단말기를 통해 출력할 수도 있다.
그리고 상기 복수 개의 카메라와 상기 휴대용 단말기들의 매칭은, 상기 복수 개의 카메라의 설치위치에 대응하여, 상기 휴대용 단말기들의 배치위치에 따라 매칭되되; 상기 휴대용 단말기들의 배치위치 설정은, (A) 하나의 이미지를 상기 휴대용 단말기들의 개수에 따라 분할하여 분할 이미지들을 생성하는 단계와; (B) 상기 분할 이미지들을 상기 휴대용 단말기들에 무작위적으로 매칭하여 출력하는 단계와; (C) 상기 휴대용 단말기들에 입력된 사용자의 터치입력에 따라, 분할 이미지의 매칭 휴대용 단말기를 변경하는 단계와; (D) 상기 휴대용 단말기들에 입력된 사용자의 터치입력에 따라, 분할 이미지의 매칭 휴대용 단말기를 변경하는 단계; 그리고 (E) 상기 원본 이미지 상의 상기 분할 이미지들의 분할 위치정보에 따라, 변경되어 매칭된 상기 휴대용 단말기들의 배치위치가 판단되는 단계를 포함하여 수행될 수도 있다.
또한, 상기 복수 개의 카메라와 상기 휴대용 단말기들의 매칭은, 상기 휴대용 단말기들의 개수가 상기 카메라들의 개수 미만인 경우, 각각의 카메라에 서로 다른 가중치를 부여하여, 상기 가중치에 따라 휴대용 단말기를 할당하여 매칭하되; 상기 가중치는, 차량의 운행모드에 따라 각 카메라들에 다르게 부여될 수도 있다.
그리고 상기 휴대용 단말기들은, 각각 가속센서 및 자이로센서를 포함하여 구성될 수도 있다.
또한, 상기 제어유닛은, 각 휴대용 단말기들의 가속센서들의 측정값에 따라 차량의 사고 유무를 판별하되, 각 가속센서들의 가속도가 모두 기설정된 기준값 이하인 경우, 차량의 충돌사고로 판별할 수도 있다.
그리고 상기 제어유닛은, 각 휴대용 단말기들의 자이로센서들의 회전량 측정값에 따라 차량의 전복 유무를 판별하되, 자이로센서들의 평균 회전량 측정값이 기설정된 설정값 이상인 경우, 차량의 전복을 판별할 수도 있다.
한편, 상기 휴대용 단말기들은, 4개 이상의 휴대용 단말기들을 포함하여 구성되고; 상기 제어유닛은, 상기 휴대용 단말기들의 자이로센서들의 평균 회전량을 산출함에 있어, 전체 평균 회전량과 기설정된 비교값 이상의 회전량을 갖는 휴대용 단말기는 제외하여 상기 평균 회전량을 보정하여 산출할 수도 있다.
이때, 상기 제어유닛은, 상기 휴대용 단말기들의 자이로센서들의 평균 회전량을 산출함에 있어, 휴대용 단말기에 구비된 자이로센서의 회전량과, 매칭된 카메라로부터 수신되는 이미지의 회전량과 차이값이 기설정된 오차값 이상인 휴대용 단말기는 제외하여 상기 평균 회전량을 산출할 수도 있다.
위에서 살핀 바와 같은 본 발명에 의한 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템에서는 다음과 같은 효과를 기대할 수 있다.
즉, 본 발명에서는 어라운드뷰 모니터링 시스템으로부터 획득된 영상을 미개통 휴대 단말기를 통해 사용자에게 제공할 수 있으므로, AVM 시스템 구성의 비용을 현저히 절감시킬 수 있는 효과가 있다.
또한, 본 발명에서는 미개통 휴대 단말기를 통해 멀티비젼을 확장 구성할 수 있어, 사용자의 편의성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 의한 차량 어라운드뷰 모니터링 시스템의 구성을 개략적으로 도시한 예시도.
도 2는 본 발명의 구체적인 실시예에 의한 어라운드뷰 모니터링 시스템을 도시한 블록도.
도 3은 본 발명의 구체적인 실시예에 따른 어라운드뷰 모니터링 방법을 도시한 흐름도.
도 4는 본 발명의 구체적인 실시예에 따른 어라운드뷰 모니터링 예를 도시한 예시도.
이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템을 살펴보기로 한다.
설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
도 2에 이에 도시된 바와 같이, 본 발명에 의한 AVM 시스템은 차량(10)에 복수 개의 카메라(100)가 구비되어 있으며, 도 1에 도시된 바와 같이 차량의 전방에 장착된 전방카메라(110), 차량의 좌측전방에 장착된 좌측전방카메라(120), 차량의 우측전방에 장착된 우측전방카메라(130), 차량의 후방에 장착된 후방카메라(140), 차량의 좌측후방에 장착된 좌측후방카메라(220) 및 차량의 우측후방에 장착된 우측후방카메라(230)를 포함하여 구성된다.
즉, 본 발명에 의한 AVM 시스템은 6채널의 카메라를 구비한다.
한편, 제어유닛(200)은 촬영된 영상들을 가공하여 어라운드뷰 영상을 획득할 수 있다.
또한, 본 발명의 일 실시예에 따른 어라운드뷰 모니터링 시스템은 도 2에 도시된 바와 같이 제어유닛(200)이 휴대단말들과 연동되는데, 구체적으로 제어유닛(200)에 통신모듈(300)이 장착되어 카메라(100)로부터 획득한 영상 또는 카메라(100)로부터 획득한 영상을 가공한 결과물들을 휴대단말들(400, 500, 600, 700)로 송신한다.
이 경우, 차량(10)에 별도의 디스플레이 장치를 구비할 필요 없이 휴대용 단말기(300)의 디스플레이를 이용하여 어라운드뷰 영상 및 카메라(100)에서 촬영한 전방, 좌측, 우측 및 후방 영상을 각각 출력하는 것이 가능하다.
이때, 상기 휴대단말들은 멀티비젼을 구성하는데, 상기 휴대단말들은 미개통 스마트폰으로 구성되어, 상기 멀티비젼을 구성하고, 이에 따라 상기 휴대단말은 상기 제어유닛과 블루투스, Wi-Fi 등 통신방법으로 연동된다.
한편, 상기 제어유닛은, 상기 제1카메라 내지 제6카메라로부터 획득한 영상을 합성 또는 분할하여, 상기 멀티비젼 상에 설정된 영역에 선택적으로 배분하여 출력한다.
구체적으로 상기 제어유닛은 각 카메라로부터 촬영된 영상을 각 휴대단말들에 매칭시켜 출력한다.
이때, 상기 휴대용 단말기는 상기 카메라의 개수와 동일하게 구비될 수도 있으나, 상기 카메라의 개수보다 적은 수로 구비될 수 있다.
즉, 본원 발명은 AVM 시스템의 멀티비젼을 미개통 잔여 스마트폰을 이용하여 구성하는 것이므로, 사용자의 여건에 따라 상기 휴대용 단말기를 카메라 개수만큼 구비하지 못한 상태로 이용할 수도 있기 때문이다.
이에 이하에서는 휴대용 단말기들과 카메라의 매칭과정을 상기 휴대용 단말들의 개수에 따라 구분하여 설명하기로 한다.
먼저, 상기 휴대용 단말기가 상기 카메라의 개수와 동일하게 구비되는 경우를 설명하기로 한다.
이 경우, 이들 사이의 매칭은 기본적으로 각 카메라의 차량 설치위치와 상기 휴대용 단말기의 배열위치가 일치하도록 매칭하여 사용자의 직관적 시인성이 확보되도록 한다.
구체적인 예로, 상기 복수 개의 카메라가 차량의 전방, 후방, 좌측전방, 좌측후방, 우측전방 및 우측후방에 각각 장착된 제1카메라, 제2카메라, 제3카메라, 제4카메라, 제5카메라 및 제6카메라로 구성된다고 가정하고, 휴대용 단말기가 6개 구비된다고 하면, 상기 제어유닛은, 상기 제1카메라 내지 제6카메라로부터 획득한 각 영상을 상기 제1카메라 내지 제6카메라에 각각 매칭된 휴대용 단말기를 통해 출력한다.
이때, 상기 제어유닛은 상기 휴대용 단말기의 배치 위치를 알 수 없는데, 이를 파악되도록 하기 위하여, 본원 발명은 하나의 이미지를 휴대용단말기 개수에 대응하여 분할한 후, 각 분할된 이미지를 임의로 휴대용 단말기에 매칭시켜 출력한다.
이후, 사용자는 각 분할이미지가 원래의 배열 형태로 배열되도록 터치 명령(드레그 등)을 입력하여 각 분할이미지의 배열 형태를 변경하고, 변경된 정보에 따라 상기 제어유닛은 각 휴대용 단말기의 배치 위치를 식별한다.
이를 도 5를 참조하여 구체적으로 설명하면, 먼저, 상기 제어유닛은 (A) 하나의 이미지를 상기 휴대용 단말기들의 개수에 따라 분할하여 분할 이미지들을 생성한다.
이후, (B) 상기 분할 이미지들을 상기 휴대용 단말기들에 무작위적으로 매칭하여 출력한다. 이와 같이 무작위적인 매칭으로 분할 이미지가 출력된 예가 도 5의 좌측에 도시되어 있다.
다음으로, (C) 사용자는 전체 이미지가 원래의 이미지에 부합되도록 화면을 터치하여 분할이미지의 매칭 휴대용 단말기를 변경하고, (D) 상기 제어유닛은 상기 휴대용 단말기들에 입력된 사용자의 터치입력에 따라, 분할 이미지의 매칭 휴대용 단말기를 변경한다.
도시된 예에서는 차량의 전방 좌우측과 후방 좌우측을 변경하는 드레그 터치입력이 입력되는 실시예가 도시되어 있다.
이에 따라, 각 휴대용 단말기에 출력된 분할 이미지가 원래이미지의 배열과 동일하게 보정되면, (E) 상기 원본 이미지상의 상기 분할 이미지들의 분할 위치정보와 변경된 매칭 청보에 따라 상기 제어유닛은 상기 휴대용 단말기들의 실제 배치 위치를 판단한다.
이때, 상기 이미지는 도시된 예와 같이 꼭 차량이미지일 필요는 없고, 중복되는 패턴등의 이미지가 아닌 배티 형태를 직관적으로 파악하기 쉬운 것이면 족하고, 도형등의 이미지일 수도 있다.
이와 같은 매칭방법에 따라, 사용자는 직관적으로 용이하게 휴대용 단말기의 배치위치를 설정할 수 있게 된다.
한편, 상기 휴대용 단말기들의 개수가 상기 카메라들의 개수보다 작은 경우, 전체 카메라 취득영상을 각 휴대용 단말기들에 매칭시킬 수 없으므로, 각 카메라에 가중치를 두어, 가중치에 따라 우선적으로 상기 휴대용 단말기들에 매칭시킬 수 있다.
이때, 가중치는 차량의 운행모드에 따라 각 카메라들에 다르게 부여될 수 있다.
즉, 도 6에 도시된 바와 같이, 설치된 휴대용 단말기는 3개이고, 카메라는 전술한 바와 같이, 제1카메라 내지 제6카메라가 설치된 경우, 차량은 운행모드가 주행(D) 모드인 경우, 전방(제1카메라), 좌측전방(제3카메라), 우측전방(제5카메라)에 가중치를 높게 두어, 각 휴대용 단말기에 제1카메라, 제3카메라 및 제5카메라로부터 획득되는 영상이 출력되도록 한다.
반면에 차량의 운행모드가 후진(R) 모드인 경우, 후방(제2카메라), 좌측후방(제4카메라), 우측후방(제6카메라)에 가중치를 높게 두어, 각 휴대용 단말기에 제2카메라, 제4카메라 및 제6카메라로부터 획득되는 영상이 출력되도록 한다.
이에 따라, 차량의 운행 모드와 설치된 휴대용 단말기의 개수에 따라 최적의 카메라영상을 조합하여 AVM을 구현할 수 있는 장점이 있다.
한편, 상기 차량의 운행모드는 후진모드(R), 주행모드(D) 이외에 파킹모드(P) 또는 좌우측 차선변경모드 등에 따라 상기 가중치가 달리 설정될 수도 있다.
이하에서는 상기한 바와 같은 본 발명에 의한 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 제공 방법을 첨부된 도면을 참고하여 상세하게 설명한다.
도 4에 도시된 바와 같이, 본 발명에 의한 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 제공 방법은 먼저, 차량의 카메라(100)가 영상을 획득하는 것으로부터 시작된다(S100).
이후, 상기 제어유닛(200)이 멀티비젼을 구성하는 각 단말들의 출력조건(영역 구분)을 판별한다(S200).
이때, 영역의 구분은 전술한 바와 같이, 주행모드에 의해 구분될 수도 있고, 사용자의 설정에 의해 구분될 수 있다.
그리고 상기 제어유닛(200)은 획득된 영상을 각 단말들의 출력조건에 따라 각 단말에 분할영상을 생성하여 제공한다(S300, S400).
이에 따라 멀티비젼을 구성하는 각 단말들이 분할된 영상을 출력한다.
한편, 본 발명에 의한 다채널 AVM 시스템은, 구비된 휴대용 단말기들을 이용하여 차량의 사고 유무 및 사고 유형을 판단할 수 있다.
이때, 상기 제어모듈은 판단된 사고 유무 및 유형에 따라 구난/구조 메시지를 송출하도록 하는 것도 가능하다.
이를 위해 상기 휴대용 단말기들은 각각 가속센서 및 자이로센서를 포함하여 구성된다.
먼저, 상기 제어유닛의 사고유무 판별방법을 살피면, 상기 제어유닛은 각 휴대용 단말기들의 가속센서들의 측정값에 따라 차량의 사고 유무를 판별한다.
이때, 상기 제어유닛은 각 가속센서들의 가속도가 모두 기설정된 기준값 이하인 경우, 차량의 충돌사고로 판별한다.
여기서, 상기 기준값은 급감속을 의미하는 음의 값으로 설정되고, 차량의 급제동시 발생되는 감속값 보다 더 작게 설정되어, 물리적인 충돌이 발생되는 경우를 식별하도록 설정된다.
다음으로, 상기 제어유닛의 사고휴형 판별방법을 살피면, 본 발명에서는 상기 사고의 유형으로 차량의 전복여부를 판별한다.
이를 위해 상기 제어유닛은 각 휴대용 단말기들의 자이로센서들의 회전량 측정값에 따라 차량의 전복 유무를 판별하되, 자이로센서들의 평균 회전량 측정값이 기설정된 설정값 이상인 경우, 차량에 전복이 발생된 것으로 판단한다.
한편, 상기 차량 전복 유무의 판단 정확성을 향상시키기 위하여, 본 발명은 상기 휴대용 단말기들의 자이로센서들의 평균 회전량을 산출함에 있어, 전체 평균 회전량과 기설정된 비교값 이상의 회전량을 갖는 휴대용 단말기는 제외하여 상기 평균 회전량을 보정하여 산출하도록 할 수 있다.
이때, 상기 비교값은 휴대용 단말기들의 설치위치 등에 따라 동일한 차량 회전 내에서도 발생될 수 있는 각 휴대용 단말기의 회전량 편차를 나타내는 값으로, 이와 같은 경우, 거치대로부터 특정 휴대용 단말기가 떨어지거나 분리되어 구르는 경우, 이를 차량 전복으로 오인하여 판단하는 것을 방지하기 위함이다.
물론, 이와 같은 실시예를 적용하기 위하여는, 상기 휴대용 단말기가 적어도 3개 이상 구비되어야 하고, 실효성 있는 검증을 위하여는 4개 이상 구비되는 것이 바람직하다.
한편, 상기 차량 전복 유무의 판단을 더욱 정확하게 하기 위하여, 다음과 같은 실시예가 적용될 수도 있다.
즉, 본 발명은 상기 휴대용 단말기들의 자이로센서들의 평균 회전량을 산출함에 있어, 특정 휴대용 단말기는 제외하여 상기 평균 회전량을 산출하도, 제외되는 휴대용 단말기를 카메라로부터 취득되는 영상의 변화와 상기 휴대용 단말에 구비된 자이로센서로부터 측정되는 회전량을 대비하여 결정할 수 있다.
이를 구체적으로 살피면, 상기 제어유닛은, 상기 휴대용 단말기들의 자이로센서들의 평균 회전량을 산출함에 있어, 휴대용 단말기에 구비된 자이로센서의 회전량과, 매칭된 카메라로부터 수신되는 이미지의 회전량과 차이값이 기설정된 오차값 이상인 휴대용 단말기는 제외하여 상기 평균 회전량을 산출할 수 있다.
이때, 상기 오차값은 일반적인 차량의 진동(과속방지턱 등)이나 흔들림에 의해 발생될 수 있는 거치대(휴대용 단말기)의 회전량을 나타내는 값으로, 차량 외부에 부착된 카메라로부터 취득되는 영상의 회전량과 휴대용단말기의 회전량이 많이 차이가 발생되는 경우, 상기 휴대용 단말기는 차량과 일체로 부착되지 않은 것을 의미하고, 이에 따라 해당 휴대용 단말기의 회전량을 차량 전복 유무 판단에서 제외시켜 판단의 정확성을 향상시키는 것이다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 미개통된 잉여 스마트폰들을 활용하여, 모니터링 시스템을 구축하는 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템에 관한 것으로, 본 발명에 의하면 어라운드뷰 모니터링 시스템으로부터 획득된 영상을 미개통 휴대 단말기를 통해 사용자에게 제공할 수 있으므로, AVM 시스템 구성의 비용을 현저히 절감시킬 수 있는 효과가 있다.
10 : 차량 100 : 카메라
110 : 전방카메라 120 : 좌측전방카메라
130 : 우측전방카메라 140 : 후방카메라
220 : 좌측후방카메라 230 : 우측후방카메라
200 : 제어유닛 300 : 통신유닛
400 : 제1단말 500 : 제2단말
600 : 제3단말 700 : 제4단말

Claims (5)

  1. 차량 외부의 영상을 획득하는 복수 개의 카메라와;
    차량에 장착되어 상기 복수 개의 카메라로부터 영상 정보를 획득하고, 획득한 상기 영상 정보를 가공하는 제어유닛; 그리고
    상기 제어유닛으로부터 영상 정보를 수신받는 휴대용 단말기들로 구성되는 멀티비젼을 포함하여 구성되고:
    상기 제어유닛은,
    상기 복수 개의 카메라로부터 영상 정보를 상기 휴대용 단말기에 매칭시켜 출력하며:
    상기 멀티비젼은,
    미개통 휴대 단말기들이 조합되어 구성되고:
    상기 복수 개의 카메라는,
    차량의 전방, 후방, 좌측전방, 좌측후방, 우측전방 및 우측후방에 각각 장착된 제1카메라, 제2카메라, 제3카메라, 제4카메라, 제5카메라 및 제6카메라를 포함하고,
    상기 제어유닛은,
    상기 제1카메라 내지 제6카메라로부터 획득한 각 영상을 상기 제1카메라 내지 제6카메라에 각각 매칭된 스마트단말기를 통해 출력하며:
    상기 복수 개의 카메라와 상기 휴대용 단말기들의 매칭은,
    상기 복수 개의 카메라의 설치위치에 대응하여, 상기 휴대용 단말기들의 배치위치에 따라 매칭되되;
    상기 휴대용 단말기들의 배치위치는,
    (A) 하나의 이미지를 상기 휴대용 단말기들의 개수에 따라 분할하여 분할 이미지들을 생성하는 단계와;
    (B) 상기 분할 이미지들을 상기 휴대용 단말기들에 무작위적으로 매칭하여 출력하는 단계와;
    (C) 상기 휴대용 단말기들에 입력된 사용자의 터치입력에 따라, 분할 이미지의 매칭 휴대용 단말기를 변경하는 단계와;
    (D) 상기 휴대용 단말기들에 입력된 사용자의 터치입력에 따라, 분할 이미지의 매칭 휴대용 단말기를 변경하는 단계와;
    (E) 상기 이미지 상의 상기 분할 이미지들의 분할 위치정보에 따라, 변경되어 매칭된 상기 휴대용 단말기들의 배치위치가 판단됨을 특징으로 하는 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 복수 개의 카메라와 상기 휴대용 단말기들의 매칭은,
    상기 휴대용 단말기들의 개수가 상기 카메라들의 개수 미만인 경우, 각각의 카메라에 서로 다른 가중치를 부여하여, 상기 가중치에 따라 휴대용 단말기를 할당하여 매칭하되;
    상기 가중치는,
    차량의 운행모드에 따라 각 카메라들에 다르게 부여됨을 특징으로 하는 스마트단말기로 구성된 멀티비젼을 구비한 다채널 AVM 시스템.
KR1020190135612A 2018-10-29 2019-10-29 스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템 KR102270316B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180129907 2018-10-29
KR1020180129907 2018-10-29

Publications (2)

Publication Number Publication Date
KR20200049643A KR20200049643A (ko) 2020-05-08
KR102270316B1 true KR102270316B1 (ko) 2021-06-29

Family

ID=70677958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135612A KR102270316B1 (ko) 2018-10-29 2019-10-29 스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템

Country Status (1)

Country Link
KR (1) KR102270316B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230015201A (ko) 2021-07-22 2023-01-31 현대자동차주식회사 차량 영상 제어 장치 및 그 방법
KR102506812B1 (ko) * 2021-08-27 2023-03-07 김배훈 자율 주행용 차량

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140083389A (ko) * 2012-12-26 2014-07-04 주식회사 유비엠티 차량용 분할 영상 시스템
KR20150014553A (ko) * 2013-07-29 2015-02-09 삼성전자주식회사 멀티비전 스크린을 구성하는 방법 및 이를 지원하는 전자장치
KR20150047777A (ko) * 2013-10-25 2015-05-06 정세윤 스마트기기를 이용한 차량용 hud
KR101519288B1 (ko) 2014-03-21 2015-05-11 현대자동차주식회사 차량 주변 보안 모니터링 방법
KR20170099056A (ko) * 2016-02-23 2017-08-31 주식회사 맨스게러지 어라운드뷰 모니터링 시스템 및 어라운드뷰 모니터링 방법
KR20180028354A (ko) * 2016-09-08 2018-03-16 엘지이노텍 주식회사 다중 뷰 모드에서의 영상 디스플레이 방법

Also Published As

Publication number Publication date
KR20200049643A (ko) 2020-05-08

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
JP6254554B2 (ja) 情報提示システム
EP3357793A1 (en) Parking assist apparatus
US10336257B2 (en) Rear vision system for a vehicle and method of using the same
CN108025767A (zh) 用于为安全超车提供驾驶辅助的系统和方法
US20170088136A1 (en) Apparatus and method of controlling automatic driving of vehicle
KR102270316B1 (ko) 스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템
KR102554594B1 (ko) 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법
CN111565989B (zh) 用于车辆的自主驾驶的自主驾驶装置和方法
US9918205B2 (en) Communication system
JP2012523053A (ja) 少なくとも一つのドライバー支援機能を提供するデータ処理システム及び方法
US11822849B2 (en) Display device for a vehicle
GB2563331A (en) In-vehicle projected reality motion correction
CN107818581B (zh) 车辆的图像处理系统
JP2017016200A (ja) 画像処理装置、画像表示システム及び画像処理方法
CN110855825A (zh) 用于减轻晕动病的电子显示器调节
US11274934B2 (en) Information output device, output control method, and storage medium
KR102273591B1 (ko) 네비게이션 정보를 표시하는 웨어러블 단말기 및 네비게이션 장치 및 그 표시 방법
JP2019020312A (ja) 表示制御装置および表示制御方法
JP7168367B2 (ja) 事故通報装置
JP2018507479A (ja) 自動車用の運転者支援システム
JP2019081450A (ja) 表示装置、表示制御方法、及びプログラム
US10676104B2 (en) Driving assist device
KR102294049B1 (ko) 스마트 단말기를 이용한 사고 감응 및 대응 시스템
CN114291113B (zh) 风险阈值确定方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant