KR101796986B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR101796986B1
KR101796986B1 KR1020150177981A KR20150177981A KR101796986B1 KR 101796986 B1 KR101796986 B1 KR 101796986B1 KR 1020150177981 A KR1020150177981 A KR 1020150177981A KR 20150177981 A KR20150177981 A KR 20150177981A KR 101796986 B1 KR101796986 B1 KR 101796986B1
Authority
KR
South Korea
Prior art keywords
distance
moving
vehicle
driver
image
Prior art date
Application number
KR1020150177981A
Other languages
English (en)
Other versions
KR20170070455A (ko
Inventor
한재선
김성운
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150177981A priority Critical patent/KR101796986B1/ko
Publication of KR20170070455A publication Critical patent/KR20170070455A/ko
Application granted granted Critical
Publication of KR101796986B1 publication Critical patent/KR101796986B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/02—Arrangement of instruments
    • B60K2350/2013—
    • B60K2350/2017—
    • B60K2350/352—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • B60Y2400/3044—Vibration sensors

Abstract

개시된 실시예는 차량 진동에 의한 운전자의 눈의 이동을 감지하고, 눈의 이동방향 및 이동거리에 따라 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하는 차량 및 그 제어방법을 제공한다. 일 실시예에 따른 차량은 3차원 영상을 표시하는 클러스터 디스플레이부; 차량의 내부에 마련되고 운전자의 눈을 포함하는 영상을 획득하는 카메라; 및 상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동방향과 이동거리를 산출하고, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 프로세서;를 포함한다.

Description

차량 및 그 제어방법 {VEHICLE AND CONTROL METHOD FOR THE VEHICLE}
개시된 실시예는 차량에 관한 것이다.
차량의 주행과 관련된 정보를 운전자에게 알려주기 위한 계기판이 최근에는 디스플레이로 구현되고 있다.
디스플레이로 구현된 계기판은 운전자로 하여금 기존 계기판이 갖고 있던 입체감을 느끼기 어렵게 한다. 이는 차량의 고급감의 저하로 이어질 수 있다.
이에 최근에는 계기판을 디스플레이로 구현 시, 3차원 영상으로 구현하기 위한 기술이 개발되고 있다.
개시된 실시예는 차량 진동에 의한 운전자의 눈의 이동을 감지하고, 눈의 이동방향 및 이동거리에 따라 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은 3차원 영상을 표시하는 클러스터 디스플레이부; 차량의 내부에 마련되고 운전자의 눈을 포함하는 영상을 획득하는 카메라; 및 상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동방향과 이동거리를 산출하고, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 프로세서;를 포함한다.
또한, 상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈 사이의 거리를 산출하고, 상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 증가하면, 상기 산출된 눈의 이동거리보다 감소된 거리만큼 상기 3차원 영상을 이동시켜 표시할 수 있다.
또한, 상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈 사이의 거리를 산출하고, 상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 감소하면, 상기 산출된 눈의 이동거리보다 증가된 거리만큼 상기 3차원 영상을 이동시켜 표시할 수 있다.
또한, 상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈 사이에서 상기 눈의 이동방향 및 이동거리 산출 대상이 되는 기준점을 결정하고, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 기준점의 이동거리에 대응하는 거리만큼 상기 기준점의 이동방향의 반대방향으로 이동시켜 표시할 수 있다.
또한, 차량의 병진운동 및 회전운동을 검출하도록 마련된 관성센서;를 더 포하하고, 상기 프로세서는 상기 관성센서의 검출 데이터에 기초하여 차량의 진동을 검출할 수 있다.
또한, 상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동이 검출되고, 상기 관성센서의 검출 데이터에 기초하여 차량의 진동이 검출되면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시할 수 있다.
또한, 상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동이 검출되고, 상기 관성센서의 검출 데이터에 기초하여 차량의 진동이 검출되지 않으면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하지 않을 수 있다.
일 실시예에 따른 차량은, 3차원 영상을 표시하는 클러스터 디스플레이부; 차량의 내부에 마련되고 운전자의 눈을 포함하는 영상을 획득하는 카메라; 차량의 병진운동 및 회전운동을 검출하도록 마련된 관성센서; 및 상기 카메라에서 획득한 영상과 상기 관선센서의 검출 데이터로부터 운전자의 눈의 이동 여부 및 차량의 진동여부를 결정하고, 상기 운전자의 눈의 이동과 상기 차량의 진동이 검출되면 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 눈의 이동거리에 대응하는 거리만큼 상기 눈의 이동방향의 반대방향으로 이동시켜 표시하는 프로세서;를 포함한다.
또한, 상기 프로세서는 상기 눈의 이동이 검출되었으나, 상기 차량의 진동이 검출되지 않으면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하지 않을 수 있다.
일 실시예에 따른 차량의 제어방법은 카메라에서 운전자의 눈을 포함하는 영상을 획득하고; 상기 영상으로부터 상기 운전자의 눈의 이동방향과 이동거리를 산출하고; 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것;을 포함한다.
또한, 상기 영상으로부터 상기 운전자의 눈의 이동방향과 이동거리를 산출하는 것은, 상기 영상으로부터 운전자의 눈 사이에서 상기 눈의 이동방향 및 이동거리 산출 대상이 되는 기준점을 결정하고; 상기 기준점의 이동방향과 이동거리를 산출하는 것;을 포함할 수 있다.
또한, 상기 영상으로부터 운전자의 눈 사이의 거리를 산출하는 것;을 더 포함할 수 있다.
또한, 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것은, 상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 증가하면, 상기 산출된 눈의 이동거리보다 감소된 거리만큼 상기 3차원 영상을 이동시켜 표시하는 것;을 포함할 수 있다.
또한, 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것은, 상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 감소하면, 상기 산출된 눈의 이동거리보다 증가된 거리만큼 상기 3차원 영상을 이동시켜 표시하는 것;을 포함할 수 있다.
또한, 관성센서에서 검출된 데이터에 기초하여 차량에 진동의 진동을 검출하는 것;을 더 포함할 수 있다.
또한, 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것은, 상기 차량의 진동이 검출되면, 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것;을 포함할 수 있다.
또한, 상기 차량의 진동이 검출되지 않으면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하지 않는 것;을 더 포함할 수 있다.
개시된 실시예에 따른 차량 및 그 제어방법에 따르면, 차량의 진동이 발생해도 클러스터 디스플레이부에 표시되는 3차원 영상을 볼 때 운전자가 느끼는 어지러움이 경감될 수 있다.
도 1은 일 실시예에 따른 차량의 외관도이다.
도 2는 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 3 및 도 4는 일 실시예에 따른 차량의 제어 블록도이다.
도 5는 일 실시예에 따른 차량의 카메라에서 획득한 운전자 영상에서 기준점을 나타낸 도면이다.
도 6은 도 5의 기준점의 이동에 대응하여 클러스터 디스플레이부에서 영상을 이동시켜 표시하는 것을 개념적으로 나타낸 도면이다.
도 7은 관성센서를 포함하는 차량의 제어블록도이다.
도 8은 카메라와 관성센서에서 획득한 정보를 이용하여 운전자의 눈의 움직임을 결정하는 것을 나타낸 그래프이다.
도 9은 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량의 외관도이고, 도 2는 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(80), 차량(100) 내부를 외부로부터 차폐시키는 도어(71), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.
차륜(51, 52)은 차량(100)의 전방에 마련되는 전륜(51), 차량(100)의 후방에 마련되는 후륜(52)을 포함한다.
구동 장치(80)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 포함할 수 있다.
도어(71)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.
윈드쉴드 글래스(windshield glass)라고 불리는 전면 유리(30)는 본체(100)의 전방 상측에 마련된다. 차량(100) 내부의 운전자는 전면 유리(30)를 통해 차량(100)의 전방을 볼 수 있다. 또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함한다. 차량(100) 내부의 운전자는 사이드 미러(81, 82)를 통해 차량(100)의 측면 및 후방의 상황을 눈으로 확인할 수 있다.
이외에도 차량(100)은 차량(100) 주변의 장애물 등을 감지하여 차량(100) 주변의 상황을 운전자가 인식할 수 있도록 도움을 주는 다양한 센서를 포함할 수 있다. 또한, 차량(100)은 차량의 속도 등과 같은 차량의 주행정보를 감지할 수 있는 다양한 센서를 포함할 수 있다. 또한, 차량은 차선 등을 포함하는 차량의 주변 환경에 대한 영상을 획득하는 센서를 포함할 수 있다. 차량(100)의 주행정보나 차량(100) 주변의 상황을 감지할 수 있는 다양한 센서들에 대해서는 후술하도록 한다.
도 2에 도시된 바를 참조하면 차량(100)은 기어박스(120), 센터페시아(130), 스티어링 휠(140) 및 클러스터 디스플레이부(150) 등이 마련된 대시보드(dashboard)를 포함할 수 있다.
기어박스(120)에는 차량 변속을 위한 기어 레버(121)가 설치될 수 있다. 또한, 도면에 도시된 것처럼, 기어박스에는 사용자가 네비게이션(10)이나 오디오 장치(133) 등을 포함하는 멀티미디어 장치의 기능이나 차량(100)의 주요 기능의 수행을 제어할 수 있도록 마련된 다이얼 조작부(111)와 다양한 버튼들을 포함하는 입력부(110)가 설치될 수 있다.
센터페시아(130)에는 공조 장치(132), 오디오 장치(133) 및 네비게이션(10) 등이 설치될 수 있다.
공조 장치는 차량(100) 내부의 온도, 습도, 공기의 청정도, 공기의 흐름을 조절하여 차량(100)의 내부를 쾌적하게 유지한다. 공조 장치는 센터페시아(130)에 설치되고 공기를 토출하는 적어도 하나의 토출구를 포함할 수 있다. 센터페시아(130)에는 공조 장치 등을 제어하기 위한 버튼이나 다이얼 등이 설치될 수 있다. 운전자 등의 사용자는 센터페시아(130)에 배치된 버튼이나 다이얼을 이용하여 차량(100)의 공조 장치를 제어할 수 있다. 물론 기어박스(120)에 설치된 입력부(110)의 버튼들이나 다이얼 조작부(111)를 통해 공조장치를 제어할 수도 있다.
실시예에 따라서 센터페시아(130)에는 네비게이션(10)이 설치될 수 있다. 네비게이션(10)은 차량(100)의 센터페시아(130) 내부에 매립되어 형성될 수 있다. 일 실시예에 의하면 센터페시아(130)에는 네비게이션(10)을 제어하기 위한 입력부가 설치될 수도 있다. 실시예에 따라서 네비게이션(10)의 입력부는 센터페시아(130)가 아닌 다른 위치에 설치될 수도 있다. 예를 들어 네비게이션(10)의 입력부는 네비게이션(10)의 디스플레이(300) 주변에 형성될 수도 있다. 또한 다른 예로 네비게이션(10)의 입력부는 기어 박스(120) 등에 설치될 수도 있다.
스티어링 휠(140)은 차량(100)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림(141) 및 차량(100)의 조향 장치와 연결되고 림(141)과 조향을 위한 회전축의 허브를 연결하는 스포크(142)를 포함할 수 있다. 실시예에 따라서 스포크(142)에는 차량(100) 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작 장치(142a, 142b)가 마련될 수 있다. 또한 대시보드에는 차량(100)의 주행 속도, 엔진 회전수 또는 연료 잔량 등을 표시할 수 있는 각종 계기판 영상이 표시되는 클러스터 디스플레이부(150)가 설치될 수 있다. 운전자는 대시보드에 마련된 전술한 다양한 장치들을 조작하여 차량(100)을 운행할 수 있다.
개시된 실시예에 따른 클러스터 디스플레이부(150)는 차량 상태, 차량 주행과 관련된 정보, 멀티미디어 장치의 조작과 관련된 정보 등을 표시한다. 또한, 개시된 실시예에 따른 클러스터 디스플레이부(150)는 이러한 정보들을 3차원 영상으로 표시하여 운전자가 입체감을 느끼도록 할 수 있다. 클러스터 디스플레이부(150)는 무안경 방식의 3차원 디스플레이를 지원하도록 마련되어, 운전자는 3차원 영상을 확인하기 위한 별도의 3차원 안경을 착용하지 않아도 클러스터 디스플레이부(150)에 표시되는 3차원 영상을 확인할 수 있다. 무안경 방식의 3차원 디스플레이는 운전자의 왼쪽 눈과 오른쪽 눈에 형성되는 영상의 차이인 양안시차(binocular disparity)를 통해 운전자에게 입체감을 제공할 수 있다. 그러나, 차량의 진동에 의해 운전자의 시야가 흔들릴 경우, 운전자는 클러스터 디스플레이부(150)에서 제공하는 3차원 영상을 확인할 때 어지러움을 느낄 수 있다. 개시된 실시예는 이러한 문제를 해결하기 위해 운전자의 눈의 이동을 검출하고 그에 기초하여 클러스터 디스플레이부(150)에 표시되는 3차원 영상을 이동하여 표시하는 차량 및 그 제어방법을 제공한다. 이하 이에 대해 구체적으로 설명한다.
도 3 및 도 4는 일 실시예에 따른 차량의 제어 블록도이고, 도 5는 일 실시예에 따른 차량의 카메라(304)에서 획득한 운전자 영상에서 기준점을 나타낸 도면이다. 그리고, 도 6은 도 5의 기준점의 이동에 대응하여 클러스터 디스플레이부(150)에서 영상을 이동시켜 표시하는 것을 개념적으로 나타낸 도면이다.
도 3에 도시된 것처럼, 개시된 실시예에 따른 차량은 운전자의 영상을 획득할 수 있는 카메라(304), 차량의 병진운동이나 회전운동을 검출할 수 있는 관성센서(306), 카메라(304)에서 획득한 운전자의 영상 및 관성센서(306)에서 검출한 데이터 중 적어도 하나를 이용하여 운전자의 눈의 이동 및 차량의 진동 여부를 결정하고 클러스터 디스플레이부(150)를 제어하는 프로세서(317) 및 3차원 영상을 표시하고 프로세서(317)의 제어 하에 3차원 영상을 이동시켜 표시하는 클러스터 디스플레이부(150)를 포함한다.
카메라(304)는 도 4에 도시된 것처럼, 촬영방향이 운전자의 얼굴 또는 상체를 향하도록 클러스터 디스플레이부(150) 주변에 설치되어 운전자의 눈을 포함하는 영상을 획득할 수 있다. 또는 클러스터 디스플레이부(150)와 일체형으로 마련되어 클러스터 디스플레이부(150)에 포함될 수도 있다. 카메라(304)는 CCD 또는 CMOS 센서를 포함할 수 있다. 카메라(304)는 운전자의 눈을 포함하는 영상을 획득할 수 있도록 설치되면 족하므로 카메라(304)의 설치위치가 전술한 위치에 한정되는 것은 아니다.
또는 카메라 기능을 포함하는 스마트 폰과 같은 단말기가 카메라와 동일한 기능을 수행할 수도 있다. 이 경우, 프로세서(317)와 스마트폰은 무선으로 데이터 통신을 수행할 수 있고, 차량의 입출력단자와 연결된 경우 유선을 통해 데이터 통신을 수행할 수도 있다.
카메라(304)는 차량의 주행 중에 미리 정해진 프레임 레이트로 운전자의 영상을 지속적으로 획득할 수 있다.
카메라(304)에서 획득한 한 운전자의 영상은 프로세서(317)로 전송된다. 프로세서(317)는 도 4에 도시된 것처럼, 카메라(304)에서 획득한 영상으로부터 기준점과 눈 사이의 거리를 획득하는 등의 이미지 프로세싱을 수행하는 이미지 프로세서(317a)와, 이미지 프로세서에 획득한 데이터에 기초하여 클러스터 디스플레이부(150)에 표시되는 3차원 영상을 제어하기 위한 신호를 생성하는 메인 프로세서(317b)와, 메인 프로세서에서 생성된 제어신호에 따라 클러스터 디스플레이부(150)에 표시되는 3차원 영상을 이동시키는 그래픽 프로세서(317c)를 포함할 수 있다. 이하 이미지 프로세서, 메인 프로세서 및 그래픽 프로세서를 프로세서(317)로 통칭하여 설명한다.
카메라(304)에서 운전자의 영상을 획득하면, 도 5에 도시된 것처럼, 프로세서(317)는 기준점(R)과 운전자의 눈 사이의 거리(D)를 산출한다. 기준점은 운전자의 눈의 이동방향 및 이동거리 판단의 기준이 되는 포인트로, 운전자의 눈 사이의 중간지점 존재하는 포인트로 결정될 수 있다.
도 6에 도시된 것처럼, 카메라(304)에서 획득한 운전자의 영상에서 기준점이 화살표 방향으로 이동한 경우, 프로세서(317)는 눈의 이동방향을 기준점의 이동방향으로 결정하고, 결정된 눈의 이동방향에 기초하여 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향을 결정한다.
프로세서(317)는 도 6에 도시된 것처럼, 카메라(304)에서 획득한 영상에 기초한 눈의 이동방향과 반대방향으로 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향을 결정하여 눈의 이동에 의해 사용자가 느낄 수 있는 3차원 영상의 흔들림을 방지할 수 있다. 도 6에 도시된 화살표가 가리키는 방향이 이동방향를 나타내고, 화살표의 길이는 이동거리를 나타낸다. 도 6에 도시된 것처럼, 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향은 카메라 영상(CI)에서 기준점의 이동방향과 반대인 것을 알 수 있다.
한편, 카메라 영상(CI)에서 획득한 눈 사이의 거리는 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동거리의 산출에 이용될 수 있다.
카메라 영상(CI)에서 눈 사이의 거리가 길어질수록 운전자의 3차원 영상에 대한 민감도가 증가한다. 카메라 영상(CI)에서 눈 사이의 거리가 길어진다는 것은 운전자가 카메라(304) 방향으로 이동했다는 것을 나타내고, 이는 운전자의 눈이 클러스터 디스플레이부(150)에 가까워진 것을 의미할 수 있다. 즉, 클러스터 디스플레이부(150)에 보다 근접한 상태에서 3차원 영상을 확인하게 되므로, 운전자의 3차원 영상에 대한 민감도가 증가하게 된다. 이렇게 민감도가 증가할 경우, 기준점의 이동거리만큼 3차원 영상을 이동시켜 표시하게 되면, 운전자는 어지러움을 느낄 수 있으므로, 프로세서(317)는 3차원 영상의 이동거리가 기준점의 이동거리보다 짧아지도록 3차원 영상의 이동거리를 산출할 수 있다.
도 6은 민감도가 증가한 경우를 가정하여 도시한 것으로, 클러스터 디스플레이부(150)에 표시된 3차원 영상의 이동거리를 나타내는 화살표의 길이가 카메라 영상(CI)의 기준점의 이동거리를 나타내는 화살표의 길이보다 짧은 것을 알 수 있다.
반대로 카메라 영상(CI)에서 눈 사이의 거리가 짧아질수록 운전자의 3차원 영상에 대한 민감도가 감소한다. 카메라 영상(CI)에서 눈 사이의 거리가 짧아진다는 것은 운전자가 카메라(304)와 멀어지는 방향으로 이동했다는 것을 나타내고, 이는 운전자의 눈이 클러스터 디스플레이부(150)에서 멀어진 것을 의미할 수 있다. 즉, 클러스터 디스플레이부(150)에서 보다 멀어진 상태에서 3차원 영상을 확인하게 되므로, 운전자의 3차원 영상에 대한 민감도가 감소하게 된다. 이렇게 민감도가 감소할 경우, 기준점의 이동거리만큼 3차원 영상을 이동시켜 표시하게 되면, 3차원 영상을 이동시키는 효과가 저감될 수 있으므로, 프로세서(317)는 3차원 영상의 이동거리가 기준점의 이동거리보다 길어지도록 3차원 영상의 이동거리를 산출할 수 있다.
메모리(315)는 카메라 영상(CI)에서의 눈 사이의 거리 변화에 따라 산출된, 기준점 이동거리의 3차원 영상의 이동거리로의 변환비율이 미리 저장될 수 있다. 프로세서(317)는, 카메라 영상(CI)으로부터 눈 사이의 거리가 산출되면 메모리(315)에 저장된 정보를 이용하여 산출된 눈 사이의 거리에 대응하는 변환비율을 결정하고, 결정된 변환비율을 적용하여 3차원 영상의 이동거리를 산출할 수 있다.
프로세서(317)는 카메라 영상(CI)으로부터 획득한 기준점의 이동방향과 이동거리를 기초로 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향과 이동거리를 산출할 때, 카메라 영상(CI)으로부터 산출한 데이터를 클러스터 디스플레이부(150)의 해상도에 적합하게 변환하여 산출한다.
도 7은 관성센서(306)를 포함하는 차량의 제어블록도이고, 도 8은 카메라(304)와 관성센서(306)에서 획득한 정보를 이용하여 운전자의 눈의 움직임을 결정하는 것을 나타낸 그래프이다.
도 7에 도시된 것처럼, 개시된 실시예에 따른 차량은 차량의 병진운동 또는 회전운동을 검출하여, 차량에 발생하는 진동을 검출하는 관성센서(306)를 포함한다. 관성센서(306)는 차량의 병진운동을 검출할 수 있는 가속도 센서와 회전운동을 검출할 수 있는 자이로 센서를 포함할 수 있다.
카메라(304)의 영상을 이용하여 운전자의 눈의 이동을 검출하는 경우, 외란광에 의한 영향이나 얼굴인식 및 눈 인식 알고리즘의 오류에 의해 눈의 이동 검출에 에러가 발생할 수도 있다. 차량에 진동이 발생하지 않아서 운전자의 눈이 이동하지 않고 그대로 있음에도 눈이 이동한 것으로 검출되고, 그에 기초하여 클러스터 디스플레이부(150)의 3차원 영상이 이동하게 된다면 운전자는 3차원 영상이 흔들린다고 인식하게 되어, 오히려 어지러움을 느낄 수 있다.
프로세서(317)는 관성센서(306)에서 검출한 데이터를 이용하여 차량에 진동이 발생했는지 여부를 결정하고, 이에 따라 이미지 프로세싱 과정에서 발생할 수 있는 에러에 의한 3차원 영상의 잘못된 이동을 방지할 수 있다.
도 8에 도시된 것처럼, 카메라 영상(CI)으로부터 x축 방향으로 눈의 이동이 검출되었으나(점선부분), 관성센서(306)에서 검출된 데이터에는 눈의 이동이 검출된 시점에 x축 방향으로의 진동이 나타나지 않은 경우, 프로세서(317)는 카메라 영상(CI)으로부터 검출한 데이터를 보정한다(점선부분). 관성센서(306)의 검출 데이터로부터 차량의 진동이 발생하지 않을 것으로 결정되면, 프로세서(317)는 카메라 영상(CI)에서 이동이 검출되기 전의 신호의 평균값으로 해당 축 방향의 이동을 보정할 수 있다. 즉, 차량에 진동이 발생하지 않았음에도, 카메라 영상(CI)에서 눈의 이동이 검출된 경우, 프로세서(317)는 에러를 보정하여 불필요하게 클러스터 디스플레이부(150)의 3차원 영상이 이동되는 것을 방지할 수 있다.
도 9은 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
도 9에 도시된 것처럼, 카메라(304)에서 운전자의 영상을 획득하면(900), 프로세서(317)는 영상으로부터 운전자의 눈의 이동을 검출한다(910). 운전자의 눈의 이동이 검출되면, 프로세서(317)는 영상으로부터 운전자의 눈의 이동방향과 이동거리를 산출한다(920).
카메라(304)에서 운전자의 영상을 획득하면, 도 5에 도시된 것처럼, 프로세서(317)는 기준점(R)과 운전자의 눈 사이의 거리(D)를 산출한다. 기준점은 운전자의 눈의 이동방향 및 이동거리 판단의 기준이 되는 포인트로, 운전자의 눈 사이의 중간지점 존재하는 포인트로 결정될 수 있다.
도 6에 도시된 것처럼, 카메라(304)에서 획득한 운전자의 영상에서 기준점이 화살표 방향으로 이동한 경우, 프로세서(317)는 눈의 이동방향을 기준점의 이동방향으로 결정하고, 결정된 눈의 이동방향에 기초하여 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향을 결정한다.
프로세서(317)는 도 6에 도시된 것처럼, 카메라(304)에서 획득한 영상에 기초한 눈의 이동방향과 반대방향으로 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향을 결정하여 눈의 이동에 의해 사용자가 느낄 수 있는 3차원 영상의 흔들림을 방지할 수 있다.
한편, 카메라 영상(CI)에서 획득한 눈 사이의 거리는 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동거리의 산출에 이용될 수 있다.
카메라 영상(CI)에서 눈 사이의 거리가 길어질수록 운전자의 3차원 영상에 대한 민감도가 증가한다. 카메라 영상(CI)에서 눈 사이의 거리가 길어진다는 것은 운전자가 카메라(304) 방향으로 이동했다는 것을 나타내고, 이는 운전자의 눈이 클러스터 디스플레이부(150)에 가까워진 것을 의미할 수 있다. 즉, 클러스터 디스플레이부(150)에 보다 근접한 상태에서 3차원 영상을 확인하게 되므로, 운전자의 3차원 영상에 대한 민감도가 증가하게 된다. 이렇게 민감도가 증가할 경우, 기준점의 이동거리만큼 3차원 영상을 이동시켜 표시하게 되면, 운전자는 어지러움을 느낄 수 있으므로, 프로세서(317)는 3차원 영상의 이동거리가 기준점의 이동거리보다 짧아지도록 3차원 영상의 이동거리를 산출할 수 있다.
도 6은 민감도가 증가한 경우를 가정하여 도시한 것으로, 클러스터 디스플레이부(150)에 표시된 3차원 영상의 이동거리를 나타내는 화살표의 길이가 카메라 영상(CI)의 기준점의 이동거리를 나타내는 화살표의 길이보다 짧은 것을 알 수 있다. 반대의 경우에 대한 설명은 전술한 설명과 동일하므로 생략한다.
메모리(315)는 카메라 영상(CI)에서의 눈 사이의 거리 변화에 따라 산출된, 기준점 이동거리의 3차원 영상의 이동거리로의 변환비율이 미리 저장될 수 있다. 프로세서(317)는, 카메라 영상(CI)으로부터 눈 사이의 거리가 산출되면 메모리(315)에 저장된 정보를 이용하여 산출된 눈 사이의 거리에 대응하는 변환비율을 결정하고, 결정된 변환비율을 적용하여 3차원 영상의 이동거리를 산출할 수 있다.
프로세서(317)는 카메라 영상(CI)으로부터 획득한 기준점의 이동방향과 이동거리를 기초로 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향과 이동거리를 산출할 때, 카메라 영상(CI)으로부터 산출한 데이터를 클러스터 디스플레이부(150)의 해상도에 적합하게 변환하여 산출한다.
관성센서(306)에서 차량의 진동이 검출되면(930), 프로세서(317)는 클러스터 디스플레이부(150)에 표시되는 3차원 영상을 눈의 이동거리에 대응하는 거리만큼 눈의 이동방향의 반대방향으로 이동시켜 표시하고(940), 차량의 진동이 검출되지 않으면, 3차원 영상을 이동시키지 않고 제어를 종료한다.
프로세서(317)는 관성센서(306)에서 검출한 데이터를 이용하여 차량에 진동이 발생했는지 여부를 결정하고, 이에 따라 이미지 프로세싱 과정에서 발생할 수 있는 에러에 의한 3차원 영상의 잘못된 이동을 방지할 수 있다.
도 8에 도시된 것처럼, 카메라 영상(CI)으로부터 x축 방향으로 눈의 이동이 검출되었으나(점선부분), 관성센서(306)에서 검출된 데이터에는 눈의 이동이 검출된 시점에 x축 방향으로의 진동이 나타나지 않은 경우, 프로세서(317)는 카메라 영상(CI)으로부터 검출한 데이터를 보정한다(점선부분). 관성센서(306)의 검출 데이터로부터 차량의 진동이 발생하지 않을 것으로 결정되면, 프로세서(317)는 카메라 영상(CI)에서 이동이 검출되기 전의 신호의 평균값으로 해당 축 방향의 이동을 보정할 수 있다. 즉, 차량에 진동이 발생하지 않았음에도, 카메라 영상(CI)에서 눈의 이동이 검출된 경우, 프로세서(317)는 에러를 보정하여 불필요하게 클러스터 디스플레이부(150)의 3차원 영상이 이동되는 것을 방지할 수 있다.
관성센서(306)에서 검출된 데이터를 이용하여 차량에 진동이 발생했다고 결정되면, 프로세서(317)는 전술한 과정을 통해 산출한 클러스터 디스플레이부(150)에 표시되는 3차원 영상의 이동방향과 이동거리에 따라 3차원 영상을 이동시켜 표시한다.
304: 카메라
306: 관성센서
317: 프로세서
315: 메모리
150: 클러스터 디스플레이부

Claims (17)

  1. 3차원 영상을 표시하는 클러스터 디스플레이부;
    차량의 내부에 마련되고 운전자의 눈을 포함하는 영상을 획득하는 카메라; 및
    상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동방향과 이동거리를 산출하고, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 프로세서;를 포함하고,
    차량의 병진운동 및 회전운동을 검출하도록 마련된 관성센서;를 더 포함하고,
    상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동이 검출되고, 상기 관성센서의 검출 데이터에 기초하여 차량의 진동이 검출되면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하고,
    상기 프로세서는, 상기 운전자의 눈의 이동이 검출된 시점에 상기 관성센서에서 검출된 상기 데이터에 상기 차량의 진동이 나타나지 않은 경우, 상기 카메라에서 획득한 영상으로부터 산출된 데이터를 보정하는 차량.
  2. 제1항에 있어서,
    상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈 사이의 거리를 산출하고, 상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 증가하면, 상기 산출된 눈의 이동거리보다 감소된 거리만큼 상기 3차원 영상을 이동시켜 표시하는 차량
  3. 제1항에 있어서,
    상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈 사이의 거리를 산출하고, 상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 감소하면, 상기 산출된 눈의 이동거리보다 증가된 거리만큼 상기 3차원 영상을 이동시켜 표시하는 차량.
  4. 제1항에 있어서,
    상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈 사이에서 상기 눈의 이동방향 및 이동거리 산출 대상이 되는 기준점을 결정하고, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 기준점의 이동거리에 대응하는 거리만큼 상기 기준점의 이동방향의 반대방향으로 이동시켜 표시하는 차량.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 프로세서는 상기 카메라에서 획득한 영상으로부터 운전자의 눈의 이동이 검출되고, 상기 관성센서의 검출 데이터에 기초하여 차량의 진동이 검출되지 않으면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하지 않는 차량.
  8. 삭제
  9. 삭제
  10. 카메라에서 운전자의 눈을 포함하는 영상을 획득하고;
    상기 영상으로부터 상기 운전자의 눈의 이동방향과 이동거리를 산출하고;
    클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것;을 포함하고,
    관성센서에서 검출된 데이터에 기초하여 차량의 진동을 검출하는 것;
    상기 운전자의 눈의 이동이 검출된 시점에서 상기 관성센서에서 검출된 상기 데이터에 상기 차량의 진동이 나타나지 않은 경우, 상기 카메라에서 획득한 영상으로부터 산출된 데이터를 보정하는 것;을 더 포함하고,
    클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것은,
    상기 차량의 진동이 검출되면, 클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것;을 포함하는 차량의 제어방법.
  11. 제10항에 있어서,
    상기 영상으로부터 상기 운전자의 눈의 이동방향과 이동거리를 산출하는 것은,
    상기 영상으로부터 운전자의 눈 사이에서 상기 눈의 이동방향 및 이동거리 산출 대상이 되는 기준점을 결정하고;
    상기 기준점의 이동방향과 이동거리를 산출하는 것;을 포함하는 차량의 제어방법
  12. 제10항에 있어서,
    상기 영상으로부터 운전자의 눈 사이의 거리를 산출하는 것;을 더 포함하는 차량의 제어방법.
  13. 제12항에 있어서,
    클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것은,
    상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 증가하면, 상기 산출된 눈의 이동거리보다 감소된 거리만큼 상기 3차원 영상을 이동시켜 표시하는 것;을 포함하는 차량의 제어방법.
  14. 제12항에 있어서,
    클러스터 디스플레이부에 표시되는 3차원 영상을 상기 이동거리에 대응하는 거리만큼 상기 이동방향의 반대방향으로 이동시켜 표시하는 것은,
    상기 산출된 눈 사이의 거리가 미리 정해진 기준거리보다 감소하면, 상기 산출된 눈의 이동거리보다 증가된 거리만큼 상기 3차원 영상을 이동시켜 표시하는 것;을 포함하는 차량의 제어방법.
  15. 삭제
  16. 삭제
  17. 제10항에 있어서,
    상기 차량의 진동이 검출되지 않으면, 상기 클러스터 디스플레이부에 표시되는 3차원 영상을 이동시켜 표시하지 않는 것;을 더 포함하는 차량의 제어방법.
KR1020150177981A 2015-12-14 2015-12-14 차량 및 그 제어방법 KR101796986B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150177981A KR101796986B1 (ko) 2015-12-14 2015-12-14 차량 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150177981A KR101796986B1 (ko) 2015-12-14 2015-12-14 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170070455A KR20170070455A (ko) 2017-06-22
KR101796986B1 true KR101796986B1 (ko) 2017-12-12

Family

ID=59283244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150177981A KR101796986B1 (ko) 2015-12-14 2015-12-14 차량 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101796986B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026825A1 (ja) * 2018-08-01 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
CN111649739B (zh) 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221651A (ja) * 2014-05-23 2015-12-10 日本精機株式会社 表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221651A (ja) * 2014-05-23 2015-12-10 日本精機株式会社 表示装置

Also Published As

Publication number Publication date
KR20170070455A (ko) 2017-06-22

Similar Documents

Publication Publication Date Title
EP2974909B1 (en) Periphery surveillance apparatus and program
US10131277B2 (en) Surroundings monitoring apparatus
US10789845B2 (en) Parking assistance method and parking assistance device
US9895974B2 (en) Vehicle control apparatus
US20160091978A1 (en) Gesture recognition apparatus, vehicle having the same and method for controlling the same
US10928201B2 (en) Position estimation device
JP2016119570A (ja) 車両周辺監視装置
KR101805377B1 (ko) 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치
CN110945558B (zh) 显示控制装置
CN107791951B (zh) 显示控制装置
CN107303849B (zh) 显示控制器和用于控制显示控制器的显示控制方法
WO2018150642A1 (ja) 周辺監視装置
JP7091624B2 (ja) 画像処理装置
JP2012136206A (ja) 駐車制御システム、及び、駐車制御方法
JP2014045265A (ja) 車載撮像システム
US20210303878A1 (en) Obstacle detection apparatus, obstacle detection method, and program
KR101796986B1 (ko) 차량 및 그 제어방법
US11475676B2 (en) Periphery monitoring device
CN107534757B (zh) 车辆用显示装置以及车辆用显示方法
CN112349091A (zh) 特定区域检测装置
JP5651491B2 (ja) 画像表示システム、画像表示装置、及び、画像表示方法
JP7227106B2 (ja) 操作制御装置、操作制御方法、およびプログラム
JP2018076019A (ja) 画像処理装置
US10922977B2 (en) Display control device
CN109792509B (zh) 周边监控装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant