KR20220168313A - 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법 - Google Patents

차량용 어라운드 뷰 모니터 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR20220168313A
KR20220168313A KR1020210077885A KR20210077885A KR20220168313A KR 20220168313 A KR20220168313 A KR 20220168313A KR 1020210077885 A KR1020210077885 A KR 1020210077885A KR 20210077885 A KR20210077885 A KR 20210077885A KR 20220168313 A KR20220168313 A KR 20220168313A
Authority
KR
South Korea
Prior art keywords
vehicle
camera
image
panoramic
rotatable
Prior art date
Application number
KR1020210077885A
Other languages
English (en)
Inventor
이지헌
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210077885A priority Critical patent/KR20220168313A/ko
Publication of KR20220168313A publication Critical patent/KR20220168313A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법에 관한 것이다. 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터 시스템은 차량 주변에 대해 회전하면서 파노라마 영상을 촬영하는 회전형 카메라; 및 파노라마 영상에 대한 영상처리를 통해 차량의 탑 뷰(Top View) 영상을 생성하는 제어부;를 포함한다.

Description

차량용 어라운드 뷰 모니터 시스템 및 그 제어방법{AROUND VIEW MONITOR SYSTEM AND METHOD FOR CONTROLLING THE SAME}
본 발명은 차량의 주변을 보여주는 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법에 관한 것으로서, 더욱 상세하게는 회전형 카메라를 이용한 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법에 관한 것이다.
어라운드 뷰 모니터 시스템(Around View Monitor System; AVMS)은 차량에 부착된 카메라가 촬영한 차량 주변의 영상을 차량 내에 있는 모니터에 표시하여, 운전자가 모니터의 영상을 통해 차량 주변의 상황을 인지한 상태에서 운전을 할 수 있게 하는 시스템이다.
일반적으로 AVMS는 차량에 설치된 다채널 카메라가 송출하는 영상 정보를 병합하여 사용자에게 차량 위에서 내려다본 탑 뷰(Top View) 영상을 제공함으로써, 운전자가 차량 주변의 상황(사각지대 등)을 인지할 수 있게 한다.
이를 위해, 종래의 AVMS는 차량의 전방, 후방, 좌측 및 우측의 영상을 빠짐없이 보여주기 위해, 차량에 설치된 고정식 다채널(일반적으로 4개) 카메라의 영상을 병합함으로써 탑 뷰를 제공한다.
한편, 자동차 시장이 커지면서, 다양한 차량에 AVMS가 장착되고 있다. 특히, 대형 특장차 등의 경우, 그 차량 크기로 인해 영상 커버 면적이 더욱 넓어짐에 따라, 카메라 채널(즉, 카메라 개수)을 늘린 제품이 출시되고 있다. 즉, 현재 카메라가 6채널 이상인 AVMS 제품도 출시되고 있다.
하지만, 카메라의 영상데이터는 데이터 특성 상 데이터 사이즈가 클 수밖에 없으므로, AVMS에서 단순히 카메라 개수를 늘릴 경우, 그 영상처리 속도가 떨어질 수밖에 없어 실시간으로 구동하기 어려운 문제점이 발생한다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 차량 크기가 커져 그 영상 커버 면적이 넓어지더라도 회전형 카메라를 이용함으로써 영상 커버 면적에 상관없이 실시간의 구동이 가능한 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법을 제공하는데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시스템은 차량용 어라운드 뷰 모니터 시스템(Around View Monitor System)으로서, 차량 주변에 대해 회전하면서 파노라마 영상을 촬영하는 회전형 카메라; 및 파노라마 영상에 대한 영상처리를 통해 차량의 탑 뷰(Top View) 영상을 생성하는 제어부;를 포함한다.
상기 제어부는 회전형 카메라의 회전에 따라 수집되는 차량 주변 영상에 대한 영상처리를 통해 상기 파노라마 영상을 생성할 수 있다.
상기 제어부는 상기 회전형 카메라의 회전을 제어할 수 있다.
본 발명의 일 실시예에 따른 시스템은 차량의 고정된 위치에서 촬영하는 고정형 카메라를 더 포함할 수 있으며, 상기 제어부는 고정형 카메라의 영상과 회전형 카메라의 파노라마 영상에 대한 영상처리를 통해 상기 탑 뷰 영상을 생성할 수 있다.
상기 회전형 카메라는 상기 고정형 카메라의 비 촬영 영역에 대한 파노라마 영상을 촬영할 수 있다.
상기 회전형 카메라는 차량의 전후좌우 차량의 전후좌우 4면 중 적어도 2면에 대한 파노라마 영상을 촬영할 수 있다.
상기 회전형 카메라는 360도 카메라이고 차량의 전후좌우 4면에 대한 파노라마 영상을 촬영할 수 있다.
상기 회전형 카메라는 차량의 루프에 설치될 수 있다.
상기 회전형 카메라는 복수개가 차량에 설치될 수 있으며, 제1 및 제2 회전형 카메라는 동일 시간 동안 차량 주변의 다른 영역에 대한 파노라마 영상을 촬영할 수 있다.
상기 제어부는 제1 및 제2 회전형 카메라의 파노라마 영상을 교대로 이용하여 탑 뷰 영상을 생성할 수 있다.
상기 제어부는 동일 시간 동안의 제1 및 제2 회전형 카메라의 파노라마 영상을 동시에 이용하여 탑 뷰 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 제어방법은 차량용 어라운드 뷰 모니터 시스템(Around View Monitor System)에서 수행되는 제어방법으로서, 차량 주변에 대해 회전형 카메라가 회전하면서 파노라마 영상을 촬영하는 단계; 및 파노라마 영상에 대해 영상처리를 수행하여 차량의 탑 뷰(Top View) 영상을 생성하는 단계;를 포함한다.
상기와 같이 구성되는 본 발명은 차량 크기가 커져 그 영상 커버 면적이 넓어지더라도 회전형 카메라를 이용함으로써 영상 커버 면적에 상관없이 실시간으로 구동 가능한 차량용 어라운드 뷰 모니터 기술을 구현할 수 있는 이점이 있다.
즉, 본 발명은 종래 기술에서 다채널 카메라의 역할을 회전형 카메라로 대체함으로써, 카메라 채널수 증가에 따른 영상처리 속도 저하를 해결할 수 있는 이점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템(10)의 블록 구성도를 나타낸다.
도 2는 회전형 카메라(100)의 일 예를 나타낸다.
도 3은 회전형 카메라(100)의 영상을 이용하여 생성된 파노라마 영상에 대한 일 예를 나타낸다.
도 4는 파노라마 영상을 이용하여 생성된 차량의 탑 뷰(Top View) 영상에 대한 일 예를 나타낸다.
도 5 내지 도 8은 차량(V)에서 회전형 카메라(100)의 다양한 설치 위치에 대한 다양한 예들을 나타낸다.
도 9은 본 발명의 일 실시예에 따른 제어방법의 순서도를 나타낸다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 시스템(10)의 블록 구성도를 나타낸다.
본 발명의 일 실시예에 따른 시스템(10)은 차량용 어라운드 뷰 모니터 시스템(Around View Monitor System; AVMS)으로서, 도 1에 도시된 바와 같이, 회전형 카메라(100), 제어부(200) 및 디스플레이(300)를 포함한다. 또한, 본 시스템(10)은 필요에 따라 고정형 카메라(110)를 더 포함할 수도 있다.
도 2는 회전형 카메라(100)의 일 예를 나타낸다.
회전형 카메라(100)는 차량에 설치되되 차량 주변에 대해 회전 가능한 카메라이다. 특히, 회전형 카메라(100)는 제어부(200)의 제어에 따라 기 설정된 회전 각도로 회전하면서 파노라마 영상을 촬영할 수 있다. 예를 들어 도 2를 참조하면, 회전형 카메라(100)는 좌우 360도 회전이 가능하고, 동시에 상하 90도 회전이 가능한 카메라일 수 있으나, 이에 한정되는 것은 아니다. 즉, 회전형 카메라(100)는 차량의 전후좌우 4면 중 적어도 2면에 대한 파노라마 영상을 촬영할 수 있으며, 많을 경우 모든 4면에 대한 파노라마 영상을 촬영할 수 있다.
도 3은 회전형 카메라(100)의 영상을 이용하여 생성된 파노라마 영상에 대한 일 예를 나타내며, 도 4는 파노라마 영상을 이용하여 생성된 차량의 탑 뷰(Top View) 영상에 대한 일 예를 나타낸다.
제어부(200)는 회전형 카메라(100)의 회전 등의 동작을 제어할 수 있다. 물론, 제어부(200)는 회전형 카메라(100) 외에도 본 시스템(10)의 다른 구성의 구동을 제어할 수도 있다.
또한, 도 3을 참조하면, 제어부(200)는 다양한 파노라마 영상 알고리즘을 이용하여, 회전형 카메라(100)가 회전하면서 촬영한 영상으로부터 해당 파노라마 영상을 생성(합성)을 제어할 수 있다. 즉, 제어부(200)는 회전형 카메라(100)의 회전에 따라 수집되는 차량 주변 영상에 대한 파노라마 영상 알고리즘의 영상처리를 통해 파노라마 영상을 생성할 수 있다. 예를 들어, 파노라마 영상 알고리즘은 SURF 알고리즘, SIFT 알고리즘, 가변 적응형 필터를 적용한 V-SURF 알고리즘, 머신 러닝 모델을 이용한 알고리즘 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 도 4를 참조하면, 제어부(200)는 회전형 카메라(100)의 회전에 따라 합성된 파노라마 영상에 대한 영상처리를 통해 차량의 탑 뷰(Top View) 영상의 생성(합성)을 제어할 수 있다. 가령, 파노라마 영상에서 필요한 부분에 대해 축 변환, 회전 변환, 이동 변환, 또는 기하학적 변환 등의 영상처리를 수행함으로써, 탑 뷰 영상을 생성할 수 있다.
도 5 내지 도 8은 차량(V)에서 회전형 카메라(100)의 다양한 설치 위치에 대한 다양한 예들을 나타낸다.
도 5 내지 도 8을 참조하면, 차량 주변에 대한 보다 원활한 파노라마 영상 합성을 위해, 회전형 카메라(100)는 차량(V)의 루프에 설치될 수 있다.
가령, 도 5에 도시된 바와 같이, 하나의 회전형 카메라(100a)가 차량(V)의 루프 중심부에 설치될 수 있다. 또한, 도 6에 도시된 바와 같이, 2개의 회전형 카메라(100b, 100c)가 차량(V)의 루프 전후에 각각 설치될 수 있다. 또한, 도 7에 도시된 바와 같이, 2개의 회전형 카메라(100d, 100e)가 차량(V)의 루프 양측에 각각 설치될 수 있다. 또한, 도 8에 도시된 바와 같이, 2개의 회전형 카메라(100f, 100g)가 차량(V)의 루프 중심부 설치되되, 상부에 하나의 회전형 카메라(100d)가, 그 하부에 다른 하나의 회전형 카메라(100e)가 각각 설치될 수 있다.
다만, 본 발명이 이에 한정되는 것은 아니며, 하나 또는 필요에 따라 복수개의 회전형 카메라(100)가 차량의 전후좌우 4면 중 적어도 2면에 대한 파노라마 영상의 촬영이 가능한 위치에 설치될 수 있다.
한편, 도 3의 경우, 회전형 카메라(100a)가 360도 좌우 회전함으로써, 차량(V)의 전후좌우 4면에 대한 파노라마 영상의 생성이 가능하다.
반면, 복수개의 회전형 카메라를 구비한 경우, 파노라마 영상 대상 영역에 대해 보다 빠르게 해당 파노라마 영상을 생성하기 위해, 제1 및 제2 회전형 카메라가 동일 시간 동안 차량 주변의 다른 영역에 대한 파노라마 영상을 촬영할 수 있다.
가령, 도 6 내지 도 8에서, 제1 회전형 카메라가 좌측 부분, 제2 회전형 카메라가 우측 부분을 각각 담당하도록 나눠서, 각 좌측 및 우측 부분의 파노라마 영상을 동시에 생성할 수 있다. 이 경우, 제어부(200)는 동일 시간 동안의 제1 및 제2 회전형 카메라의 좌측 및 우측 부분의 파노라마 영상을 동시에 이용하여 탑 뷰 영상을 생성할 수 있다.
또는, 도 6 내지 도 8에서, 제1 회전형 카메라가 전방 부분, 제2 회전형 카메라가 후방 부분을 각각 담당하도록 나눠서, 각 전방 및 후방 부분의 파노라마 영상을 동시에 생성할 수 있다. 이 경우, 제어부(200)는 동일 시간 동안의 제1 및 제2 회전형 카메라의 전방 및 후방 부분의 파노라마 영상을 동시에 이용하여 탑 뷰 영상을 생성할 수 있다.
또는, 도 6 내지 도 8(특히, 도 8)에서, 제1 회전형 카메라가 360도 회전을 완료하는 시간과 제2 회전형 카메라가 360도 회전을 완료하는 시간을 각각 나눠서 파노라마 영상을 생성할 수 있다. 이 경우, 제어부(200)는 제1 및 제2 회전형 카메라의 파노라마 영상을 교대로 이용하여 탑 뷰 영상을 생성할 수 있다. 즉, 먼저 360도 회전을 완료한 제1 회전형 카메라의 파노라마 영상을 이용해 탑 뷰 영상을 생성 후, 다음으로 360도 회전을 완료한 제2 회전형 카메라의 파노라마 영상을 이용해 탑 뷰 영상을 생성할 수 있다.
한편, 본 시스템(10)는 차량(V)의 고정된 위치에서 촬영하는 고정형 카메라(110)를 더 포함할 수도 있다. 이때, 고정형 카메라(110)는 회전이 불가능하다. 다만, 제어부(200)는 고정형 카메라(110)의 영상과 회전형 카메라(100)의 파노라마 영상을 모두 이용하여, 즉 이들 각 영상에 대한 영상처리를 통해 탑 뷰 영상을 생성할 수 있다.
특히, 고정형 카메라(110)와 회전형 카메라(100) 간의 보다 효율적인 구동을 위해, 제어부(200)는 회전형 카메라(100)가 고정형 카메라(110)의 비 촬영 영역에 대해 회전 구동하도록 제어함으로써 해당 영역에 대한 파노라마 영상을 생성할 수 있다.
가령, 고정형 카메라(110)가 차량(V)의 전방을 촬영하도록 설치될 수 있다. 이 경우, 도 5 내지 도 8에서 전후좌우 4면 중에 전방을 제외한 나머지 3면에 대한 파노라마 영상을 회전형 카메라를 이용하여 촬영할 수 있다.
또한, 고정형 카메라(110)가 차량(V)의 후방을 촬영하도록 설치될 수도 있다. 이 경우, 도 5 내지 도 8에서 전후좌우 4면 중에 후방을 제외한 나머지 3면에 대한 파노라마 영상을 회전형 카메라를 이용하여 촬영할 수 있다.
제어부(200)는 본 시스템(10)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(20)는 후술할 제어방법의 수행을 제어할 수 있으며, 본 시스템(10)의 나머지 구성, 즉 카메라(100, 110), 디스플레이(300) 등에 대한 동작을 제어할 수 있다. 예를 들어, 제어부(200)는 하드웨어인 프로세서(processor) 또는 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
디스플레이(300)는 다양한 영상 데이터를 화면으로 표시하는 장치로서, 차량 내부의 전면에 설치될 수 있다. 즉, 디스플레이(300)는 카메라(100, 110)에서 촬영된 영상, 제어부(200)의 제어에 따라 생성(합성)된 파노라마 영상 및 탑 뷰 영상 등을 표시할 수 있다.
디스플레이(300)는 비발광형 패널이나 발광형 패널로 구성될 수 있다. 예를 들어, 디스플레이(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(130)는 입력부와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.
한편, 본 시스템(10)은 도면에 도시하지 않았지만, 입력부, 메모리 또는 통신부 등을 구성을 더 포함할 수도 있다.
입력부는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 예를 들어, 입력부는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
메모리는 본 시스템(10)의 동작에 필요한 각종 정보를 저장한다. 저장 정보로는 카메라(100, 110)에서 촬영된 영상 정보, 제어부(200)의 제어에 따라 생성(합성)된 영상 정보, 후술할 제어방법에 관련된 프로그램 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 메모리는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.
통신부는 다른 장치와의 통신을 수행하는 구성이다. 예를 들어, 통신부는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.
이하, 본 발명에 따른 제어방법에 대해 보다 상세하게 설명하도록 한다.
도 9은 본 발명의 일 실시예에 따른 제어방법의 순서도를 나타낸다.
본 제어방법은 차량용 어라운드 뷰 모니터 시스템에서 수행되는 제어방법으로서, S100 및 S200을 포함한다.
S100은 카메라(100, 110)를 이용하여 영상을 촬영하는 단계이다. 특히, 차량 주변에 대해 회전형 카메라(100)가 회전하면서 파노라마 영상을 촬영하는 단계이다.
이때, 제어부(200)는 회전형 카메라(100)의 촬영 영상을 이용하여 파노라마 영상을 생성(합성)할 수 있다. 즉, 도 5 내지 도 8에 따른 회전형 카메라(100)의 설치 위치에 따라 다양하게 파노라마 영상이 생성될 수 있으며, 이에 대한 설명은 이미 상술하였으므로 이하 생략하도록 한다.
또한, 고정형 카메라(110)가 구비된 경우, 해당 고정형 카메라(110)의 영상도 함께 촬영될 수 있다.
이후, S200은 파노라마 영상에 대해 영상처리를 수행하여 차량의 탑 뷰(Top View) 영상을 생성(합성)하는 단계이다.
이때, 도 5 내지 도 8에 따른 회전형 카메라(100)의 설치 위치에 따라 다양하게 파노라마 영상이 생성될 수 있으며, 이에 따라 생성된 파노라마 영상을 다양하게 이용하여 탑 뷰 영상을 생성할 수 있다. 다만, 이에 대한 설명은 이미 상술하였으므로 이하 생략하도록 한다.
한편, 고정형 카메라(110)의 영상이 함께 촬영된 경우, 해당 고정형 카메라(110)의 영상과 회전형 카메라(100)의 파노라마 영상을 함께 이용하여 탑 뷰 영상을 생성할 수 있으며, 이에 대한 설명은 이미 상술하였으므로 이하 생략하도록 한다.
상술한 바와 같이 구성되는 본 발명은 차량 크기가 커져 그 영상 커버 면적이 넓어지더라도 회전형 카메라를 이용함으로써 영상 커버 면적에 상관없이 실시간으로 구동 가능한 차량용 어라운드 뷰 모니터 기술을 구현할 수 있는 이점이 있다. 즉, 본 발명은 종래 기술에서 다채널 카메라의 역할을 회전형 카메라로 대체함으로써, 카메라 채널수 증가에 따른 영상처리 속도 저하를 해결할 수 있는 이점이 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 차량용 어라운드 뷰 모니터 시스템
100: 회전형 카메라 110: 고정형 카메라
200: 제어부 300: 디스플레이

Claims (12)

  1. 차량용 어라운드 뷰 모니터 시스템(Around View Monitor System)으로서,
    차량 주변에 대해 회전하면서 파노라마 영상을 촬영하는 회전형 카메라; 및
    파노라마 영상에 대한 영상처리를 통해 차량의 탑 뷰(Top View) 영상을 생성하는 제어부;
    를 포함하는 시스템.
  2. 제1항에 있어서,
    상기 제어부는 회전형 카메라의 회전에 따라 수집되는 차량 주변 영상에 대한 영상처리를 통해 상기 파노라마 영상을 생성하는 시스템.
  3. 제2항에 있어서,
    상기 제어부는 상기 회전형 카메라의 회전을 제어하는 시스템.
  4. 제1항에 있어서,
    차량의 고정된 위치에서 촬영하는 고정형 카메라를 더 포함하며,
    상기 제어부는 고정형 카메라의 영상과 회전형 카메라의 파노라마 영상에 대한 영상처리를 통해 상기 탑 뷰 영상을 생성하는 시스템.
  5. 제4항에 있어서,
    상기 회전형 카메라는 상기 고정형 카메라의 비 촬영 영역에 대한 파노라마 영상을 촬영하는 시스템.
  6. 제1항에 있어서,
    상기 회전형 카메라는 차량의 전후좌우 차량의 전후좌우 4면 중 적어도 2면에 대한 파노라마 영상을 촬영하는 시스템.
  7. 제1항에 있어서,
    상기 회전형 카메라는 360도 카메라이고 차량의 전후좌우 4면에 대한 파노라마 영상을 촬영하는 시스템.
  8. 제6항 또는 제7항에 있어서,
    상기 회전형 카메라는 차량의 루프에 설치되는 시스템.
  9. 제1항에 있어서,
    상기 회전형 카메라는 복수개가 차량에 설치되며,
    제1 및 제2 회전형 카메라는 동일 시간 동안 차량 주변의 다른 영역에 대한 파노라마 영상을 촬영하는 시스템.
  10. 제9항에 있어서,
    상기 제어부는 제1 및 제2 회전형 카메라의 파노라마 영상을 교대로 이용하여 탑 뷰 영상을 생성하는 시스템.
  11. 제9항에 있어서,
    상기 제어부는 동일 시간 동안의 제1 및 제2 회전형 카메라의 파노라마 영상을 동시에 이용하여 탑 뷰 영상을 생성하는 시스템.
  12. 차량용 어라운드 뷰 모니터 시스템(Around View Monitor System)에서 수행되는 제어방법으로서,
    차량 주변에 대해 회전형 카메라가 회전하면서 파노라마 영상을 촬영하는 단계; 및
    파노라마 영상에 대해 영상처리를 수행하여 차량의 탑 뷰(Top View) 영상을 생성하는 단계;
    를 제어방법.
KR1020210077885A 2021-06-16 2021-06-16 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법 KR20220168313A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210077885A KR20220168313A (ko) 2021-06-16 2021-06-16 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077885A KR20220168313A (ko) 2021-06-16 2021-06-16 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20220168313A true KR20220168313A (ko) 2022-12-23

Family

ID=84536180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210077885A KR20220168313A (ko) 2021-06-16 2021-06-16 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR20220168313A (ko)

Similar Documents

Publication Publication Date Title
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
EP2442548B1 (en) Control device, camera system, and program
US8690358B2 (en) Video projection device for mobile device having a first projection surface integral with a surface of the mobile device
US20160330363A1 (en) Positioning Apparatus for Photographic and Video Imaging and Recording and System Utilizing the Same
EP2929511B1 (en) Annular view for panorama image
JP2015193280A (ja) 車両制御装置及び車両制御方法
JP2005020748A (ja) 監視カメラ制御用仮想ジョイスティックシステム及び制御方法
JP2007158919A (ja) 画像表示装置及び画像表示方法
CN102450007A (zh) 图像处理设备、电子设备和图像处理方法
CN1404696A (zh) 用于摄像机监视系统的监视设备
JP2006303651A (ja) 電子装置
WO2018121193A1 (zh) Vr设备的控制方法、装置及遥控器
CN103019638A (zh) 显示装置、投影仪以及显示方法
CN206323415U (zh) 一种带可旋转摄像头的电子设备
WO2014027567A1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP5168186B2 (ja) 画像処理装置
KR101843943B1 (ko) 차량용 카메라 미러 장치
CN110351475A (zh) 摄像系统、信息处理设备及其控制方法和存储介质
KR20220168313A (ko) 차량용 어라운드 뷰 모니터 시스템 및 그 제어방법
JP2017211639A (ja) レンズモジュール
KR102415454B1 (ko) Xr을 이용한 무한공간 구현 및 컨트롤 제어 시스템
JP2007047436A (ja) 遠隔指示システム
US11184547B2 (en) Imaging device, method for controlling imaging device, and recording medium
WO2022016323A1 (zh) 拍摄系统及其控制方法和装置、计算机存储介质
WO2023223734A1 (ja) 制御装置、移動体、制御方法、及び制御プログラム