KR102506873B1 - 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법 - Google Patents

차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법 Download PDF

Info

Publication number
KR102506873B1
KR102506873B1 KR1020180083424A KR20180083424A KR102506873B1 KR 102506873 B1 KR102506873 B1 KR 102506873B1 KR 1020180083424 A KR1020180083424 A KR 1020180083424A KR 20180083424 A KR20180083424 A KR 20180083424A KR 102506873 B1 KR102506873 B1 KR 102506873B1
Authority
KR
South Korea
Prior art keywords
eyes
user
vehicle
cluster
screen
Prior art date
Application number
KR1020180083424A
Other languages
English (en)
Other versions
KR20200013150A (ko
Inventor
이지수
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180083424A priority Critical patent/KR102506873B1/ko
Priority to US16/151,554 priority patent/US10630966B2/en
Priority to CN201811256279.4A priority patent/CN110738087A/zh
Publication of KR20200013150A publication Critical patent/KR20200013150A/ko
Application granted granted Critical
Publication of KR102506873B1 publication Critical patent/KR102506873B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/60—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/02—Arrangement of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01536—Passenger detection systems using field detection presence sensors using ultrasonic waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/50—Control arrangements; Data network features
    • B60K2370/52—Control of displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers

Abstract

본 발명은 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법에 관한 것으로, 본 발명의 실시예에 따른 차량 입체 클러스터는 적어도 하나 이상의 양안을 검출하고, 상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하여 선별된 양안을 기준으로 입체 화면을 제공하도록 제어하는 프로세서; 및 상기 프로세서에 의해 제어되어 상기 입체 화면을 표시하는 표시부;를 포함할 수 있다.

Description

차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법{Vehicle cluster having a three-dimensional effect, system having the same and method providing a three-dimensional scene thereof}
본 발명은 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법에 관한 것으로, 보다 상세하게는 다중 양안 검출 시 실제 운전자의 양안을 선별하여 선명한 입체 화면을 제공할 수 있는 기술에 관한 것이다.
일반적으로 클러스터는 차량의 대시보드에 설치되며, 주행속도, 엔진회전수, 연료량 등의 게이지가 표시된다. 근래에는 3D 화면을 제공하는 입체 클러스터도 개발되고 있다.
기존의 차량 입체 클러스터는 카메라를 이용하여 운전자의 양안을 감지하고 양안의 시각차를 이용하여 입체 효과를 구현하는 방식으로 구현되고 있다.
그런데, 기존의 차량 입체 클러스터는 차량에 여러명의 탑승자가 존재하는 경우 탑승자들의 양안을 모두 검출하게 되어, 다중 양안에 대해 입체 화면을 제공함으로써 입체 화면의 선명도가 낮아져, 운전자에게 선명한 입체 화면을 제공할 수 없는 문제점이 있다.
본 발명의 실시예는 차량 내 다중 양안 검출 시 운전자의 양안만을 정확히 선별하여 운전자에게 선명한 입체 화면을 제공할 수 있는 차량 입체 클러스터 및 그를 포함한 시스템 및 그 입체 화면 제공 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 차량 입체 클러스터는 획득된 영상 데이터로부터 적어도 하나 이상의 양안을 검출하고, 상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하여 선별된 양안을 기준으로 입체 화면을 제공하도록 제어하는 프로세서; 및 상기 프로세서에 의해 제어되어 상기 입체 화면을 표시하는 표시부;를 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 차량 내 상기 제 1 사용자 이외의 제 2 사용자의 존재 여부를 판단하고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우, 상기 적어도 하나 이상의 양안 중 상기 제 1 사용자의 양안을 선별하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 차량 실내 움직임을 감지하는 초음파 센서 또는 시트 착석 여부를 감지하는 매트 센서로부터 수신한 센싱값을 이용하여 차량 내에 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 지를 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않는 경우, 현재 시간이 야간인지 여부를 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않으며, 현재 시간이 야간인 경우, 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않으며, 현재 시간이 주간인 경우, 비정상 상태로 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 비정상 상태로 판단된 경우, 상기 표시부를 통해 2D 화면을 제공하도록 제어하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 2D 화면이 제공되는 중에, 상기 비정상 상태가 정상 상태로 복귀한 것으로 판단되면, 상기 입체 화면으로의 변경여부를 상기 제 1 사용자가 선택할 수 있도록 상기 표시부에 팝업을 제공하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 오토라이트 센서로부터 수신한 정보 또는 네비게이션 장치로부터 수신한 정보 중 적어도 하나 이상을 이용하여 현재 시간이 야간인지 여부를 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 제 1 사용자의 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 특징점을 검출하고, 상기 랜드 마크 내의 양쪽 눈의 좌표를 트래킹하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 표시부는, 우안에 영상을 제공하는 우안 영상 픽셀과 좌안에 영상을 제공하는 좌안 영상 픽셀을 포함하는 영상 패널; 및 상기 영상 패널의 전면에 배치되고, 상기 프로세서에 의해 구동이 제어되는 배리어;를 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 제 1 사용자의 양안의 위치에 따라 상기 배리어의 구동을 제어하는 것을 포함할 수 있다.
본 발명의 실시예에 따른 시스템은 차량 내 탑승객의 존재유무를 감지하는 탑승객 감지 장치; 및 획득된 영상 데이터로부터 적어도 하나 이상의 양안을 검출하고, 상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하여 선별된 양안을 기준으로 입체 화면을 제공하는 차량 입체 클러스터;를 포함할 수 있다.
본 발명의 실시예에 따른 입체 화면 제공 방법은 획득된 영상 데이터로부터 적어도 하나 이상의 양안을 검출하는 단계; 상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하는 단계; 및 상기 선별된 제 1 사용자의 양안을 기준으로 입체 화면을 제공하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 제 1 사용자의 양안을 선별하는 단계는, 상기 검출된 양안이 적어도 두 개 이상이면, 차량 내 상기 제 1 사용자 이외의 제 2 사용자의 존재 여부를 판단하는 단계; 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우, 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 단계;를 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 제 1 사용자의 양안을 선별하는 단계는, 상기 검출된 양안이 적어도 두 개 이상이고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않는 경우, 현재 시간이 야간인지 여부를 판단하는 단계; 및 상기 현재 시간이 야간인 경우, 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 단계를 더 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 제 1 사용자의 양안을 선별하는 단계는, 상기 현재 시간이 주간인 경우, 비정상 상태로 판단하는 단계; 및 상기 제 1 사용자에 대해 2D 화면을 제공하는 단계;를 더 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 2D 화면을 제공하는 중에, 상기 제 1 사용자 이외의 제 2 사용자의 존재유무, 상기 현재 시간을 계속 판단하여, 상기 비정상 상태에서 정상 상태로 복귀한 경우, 상기 2D 화면을 입체 화면으로 변경 제공하기 위한 팝업 화면을 제공하는 것을 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 제 1 사용자 이외의 제 2 사용자의 존재 여부를 판단하는 단계는, 차량 실내 움직임을 감지하는 초음파 센서 또는 시트 착석 여부를 감지하는 매트 센서로부터 수신한 센싱값을 이용하여 차량 내에 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 지를 판단하는 것을 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 입체 화면을 제공하는 단계는, 상기 제 1 사용자의 양안의 위치에 따라 배리어 패턴의 구동을 제어하여 상기 입체 화면을 제공하는 것을 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 차량 입체 클러스터는 차량 내 다중 양안 검출 시 운전자의 양안만을 정확히 선별하여 운전자에게 선명한 입체 화면을 제공함으로써 운전자의 편의성을 증대시킬 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량 입체 클러스터 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 정면 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 탑승객 여부를 판단하기 위한 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 다중양안 중 제 1 사용자 양안을 선별하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 2D 화면 제공 중 입체 화면으로 전환을 권유하는 화면의 예시도이다
도 6은 본 발명의 일 실시 예에 따른 배리어 제어 방식의 입체 클러스터의 구조를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차량 입체 클러스터에서 입체 화면을 제공하기 위한 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 차량 입체 클러스터에서 양안을 검출하는 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 차량 내 승객 감지 시스템 및 오토라이트 센서를 활용하여 다중 양안을 감지하더라도 제 1 사용자(운전자)의 양안만 선별하여 제 1 사용자에게 선명한 입체 화면을 제공할 수 있도록 배리어를 제어하며, 비정상 상태일 때의 입체 화면 처리에 대해 개시한다.
이하, 도 1 내지 도 9를 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차량 입체 클러스터 시스템의 구성을 나타내는 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 정면 예시도이다.
본 발명의 일 실시 예에 따른 차량 입체 클러스터 시스템은 차량 입체 클러스터(100), 영상 획득부(200), 탑승객 감지 장치(300), 오토라이트 센서(400), 네비게이션 장치(500)를 포함한다.
차량 입체 클러스터(100)는 LCD의 3D 입체 기술을 차량의 클러스터에 접복하여 각종 정보, 경보 등을 입체 화면으로 표시함으로써 인지성을 높일 수 있다. 이러한 본 발명의 차량 입체 클러스터(100)는 통신부(110), 표시부(120), 저장부(130), 프로세서(140)를 포함한다.
통신부(110)는 영상 획득부(200), 탑승객 감지 장치(300), 오토라이트 센서(400), 네비게이션 장치(500) 등의 차량 내 장치들과 통신을 수행하며, CAN 통신 등과 같은 차량 통신을 수행할 수 있다.
표시부(120)는 2D 화면(평면 화면) 또는 3D 화면(입체 화면)을 표시한다. 표시부(120)의 구체적인 구조는 이하 도 3을 통해 설명하기로 한다. 표시부(120)는 액정 표시 장치(Liquid Crystal Display, LCD), 전계 발광 표시 장치(Light Emitting diode Display, LED), 유기 전계 발광 표시 장치(Organic Light Emitting diode Display, OLED), 플라즈마 영상 표시 장치(Plasma Display Panel, PDP) 및 전기 발광 표시 장치(Electroluminescent Display; EL) 중 어느 하나인 것을 특징으로 할 수 있다. 도 2를 참조하면, 표시부(120)는 차량의 연비정보, 속도정보, RPM정보, 평균연비 등 차량 주행과 관련된 정보 및 차량 주변의 정보를 표시할 수 있다.
저장부(130)는 프로세서(140)에 의해 산출된 정보, 영상 획득부(200), 탑승객 감지 장치(300), 오토라이트 센서(400), 네비게이션 장치(500) 등으로분터 수신한 정보를 저장한다. 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
프로세서(140)는 차량 실내의 탑승객들의 적어도 하나 이상의 양안을 검출하고, 적어도 하나 이상의 양안 중 제 1 사용자(운전자)의 양안을 선별하여 선별된 양안을 기준으로 입체 화면을 제공하도록 제어한다. 프로세서(140)는 IR 카메라(210)로부터 수신한 제 1 사용자의 얼굴과 눈의 위치를 파악하고, 파악된 제 1 사용자의 얼굴 및 눈의 위치에 따라 배리어를 제어한다.
이러한 기능을 수행하는 프로세서(140)는 소프트웨어의 명령을 실행하는 전기 회로로서, 이에 의해 이하에 설명되는 다양한 기능을 수행할 수 있으며, 차량의 ACU(에어백 제어 장치;Air-bag Control Unit), IBU(통합바디 제어기:Integrated Body Unit)) 등을 통해 구현될 수 있다.
이를 위해, 프로세서(140)는 영상 획득부(200)에서 획득한 영상 데이터로부터 양안의 좌표를 획득한다. 즉 프로세서(140)는 영상 획득부(200)로부터 수신한 영상 데이터에서 제 1 사용자의 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 특징점을 검출한다. 이때, 랜드 마크는 눈, 코, 입, 귀 등을 포함할 수 있다. 프로세서(140)는 랜드 마크 내의 양쪽 눈의 좌표(X, Y)를 트래킹한다.
프로세서(140)는 영상 데이터로부터 단일 양안이 검출되면, 해당 양안이 제 1 사용자의 양안인 것으로 판단하고, 제 1 사용자의 양안과 차량 입체 클러스터(100) 또는 IR 카메라(210)간의 거리를 기반으로 표시부(120) 내의 배리어를 제어하여 입체 화면을 제공할 수 있다. 이때, 입체화면을 구현하는 배리어는 제 1 사용자의 양안과 차량 입체 클러스터(100) 또는 IR 카메라(210)간의 거리에 따라 다르게 제어된다.
또한, 프로세서(140)는 영상 데이터로부터 여러 개의 양안 즉 다중양안이 검출되면, 제 1 사용자 외의 탑승객이 존재하는지를 판단하기 위해 초음파 센서(310) 및 매트 센서(320)의 감지 결과를 이용한다. 즉 프로세서(140)는 초음파 센서(310)를 통해 차량 내 객체의 움직임을 판단하고 매트 센서(320)를 통해 탑승객의 착좌를 판단한다. 또한, 프로세서(140)는 운전석 도어 스위치(미도시), 후석 도어 스위치(미도시) 등의 신호를 이용하여 탑승객의 존재여부를 판단할 수도 있다. 도 3은 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 탑승객 여부를 판단하기 위한 동작을 설명하기 위한 도면이다. 도 3을 참조하면, 초음파 센서(310)는 차량 실내 움직임 감지 결과를 IBU로 전달하고, IBU는 초음파 센서(310)의 감지결과를 이용하여 제 1 사용자 외의 탑승객 여부를 판단한다. 그 후, IBU는 ICU를 통해 표시부(120)로 입체 화면을 제공할 수 있다.
프로세서(140)는 다중 양안이 검출되고 제 1 사용자 외의 탑승객이 존재하는 경우 다중 양안들의 크기 및/또는 다중 양안 각각과 차량 입체 클러스터(100) 또는 차량 입체 클러스터(100)에 장착된 IR 카메라(210)간의 거리를 이용하여 다중 양안 중 제 1 사용자의 양안을 선별한다. 이때, 양안의 크기는 양안의 외곽라인(contour) 또는 좌/우 눈동자의 중앙점간의 거리일 수 있다. 즉 운전석에 위치한 제 1 사용자의 양안이 동승석이나 후석에 위치한 탑승객의 양안보다 차량 입체 클러스터(100)에 가까우므로, 프로세서(140)는 운전석에 위치한 제 1 사용자의 양안의 크기가 동승석이나 후석에 위치한 탑승객의 양안의 크기보다 크므로, 양안의 크기(외곽 라인 또는 좌/우 눈동자의 중앙점간의 거리)가 가장 큰 양안을 제 1 사용자의 양안으로 선별할 수 있다. 또한, 프로세서(140)는 차량 입체 클러스터(100)와 가장 가까운 거리의 양안이 제 1 사용자의 양안인 것으로 선별할 수 있다. 프로세서(140)는 이렇게 선별된 제 1 사용자의 양안의 위치 정보를 기반으로 표시부(120) 내의 배리어를 제어하여 입체 화면을 제공할 수 있다. 도 4은 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 다중양안 중 제 1 사용자 양안을 선별하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 제 1 사용자(60)와 IR 카메라(210) 간의 거리 D1과 후석 동승자인 제 2 사용자(70)와 IR 카메라(210) 간의 거리 D2를 비교하면 제 1 사용자(60)와 IR 카메라(210) 간의 거리 D1가 짧음을 알 수 있다. 즉 양안과 IR 카메라(210) 간의 거리가 가장 짧은 양안이 제 1 사용자 즉 운전자의 양안에 해당될 수 있다.
한편, 프로세서(140)는 다중 양안이 검출되었으나 제 1 사용자 외의 탑승객이 존재하지 않는 경우, 오토라이트 센서(400)로부터 수신한 정보 또는 네비게이션 장치(500)로부터 수신한 시간 정보를 이용하여 현재 시간이 야간인지 주간인지를 판단하거나, 오토라이트 센서(400)로부터 수신한 정보 및 네비게이션 장치(500)로부터 수신한 시간 정보를 함께 이용하여 현재 시간이 야간인지 주간인지를 판단할 수 있다.
또한, 프로세서(140)는 오토라이트 센서(400)로부터 수신한 차량 외부 조도값을 이용하여, 차량 외부의 조도값이 미리 정한 임계치와 비교하여 조도값이 미리 정한 임계치보다 낮으면 야간으로 판단할 수 있다. 또한, 프로세서(140)는 오토라이트 센서(400)로부터 조명 온신호를 수신하면 야간인 것으로 판단할 수 있다.
실내 조명에 비친 제 1 사용자의 얼굴이 창문에 비치거나 IR 카메라(210)가 비친 얼굴에서 얼굴 영역을 감지한 경우 차량 내에 제 1 사용자만 탑승하였는데도 불구하고 창문이나 IR 카메라(210)에 비친 가짜 양안이 검출되어 다중 양안이 검출될 수 있다. 이러한 현상은 특히 차량 외부가 어두운 야간 시간에 많이 발생한다. 이에 프로세서(140)는 다중 양안이 검출되었으나 제 1 사용자 외의 탑승객이 존재하지 않는 경우, 현재 시간이 야간이면 다중 양안 중 일부는 가짜 양안으로 판단하고 제 1 사용자의 실제 양안만을 선별할 수 있다. 프로세서(140)는 IR 카메라(210)와 촬영된 영상의 위치를 이용하여 야간에 창문에 비친 가짜 양안과 제 1 사용자의 실제 양안을 구분할 수 있고, 이외에도 다중 양안 중 실제 양안과 창문이나 카메라에 비친 가짜 양안을 구별할 수 있는 다양한 통상의 기술을 이용하여 구분할 수 있다.
반면에, 다중 양안이 검출되었으나 제 1 사용자 외의 탑승객이 존재하지 않으면서 주간인 경우로 판단되면 프로세서(140)는 야간에서와 같이 실내 거울에 비친 가짜 양안이 검출되거나 다른 탑승객이 없는데도 불구하고 다중 양안이 검출된 것이므로 비정상 상태로 판단하여, 입체 화면이 아닌 2D 화면을 제공한다.
프로세서(140)는 비정상 상태로 판단하고 2D 화면을 제공하는 중에, 양안검출, 제 1 사용자 외의 탑승객 존재여부 검출, 현재 시간의 변화 등을 계속 모니터링하여, 비정상 상태를 벗어나는 경우 즉 정상 상태로 복귀하는 경우 다시 입체 화면 제공을 위한 팝업 화면을 표시하여 제 1 사용자가 입체 화면의 제공을 선택할 수 있다. 여기서 정상 상태는, 다중 양안이 검출되고 제 1 사용자 외에 제 2 사용자가 존재하는 경우, 다중 양안이 검출되고 제 1 사용자 외에 제 2 사용자가 존재하지 않은 경우이면서 야간인 경우를 포함할 수 있다. 예를 들어, 다중 양안이 검출되었는데 차량 내에 제 1 사용자만 존재하고 시간이 주간 상태인 경우 비정상 상태로 판정되는 데, 일정 시간 경과후 다시 다중 양안이 검출되고, 제 1 사용자만 존재하는데 시간이 야간으로 변경되면 정상상태로 복귀한 것으로 판단될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 차량 입체 클러스터의 2D 화면 제공 중 입체 화면으로 전환을 권유하는 화면(700)의 예시도이다. 도 5를 참조하면 표시부(120)의 중앙부에 “입체 화면으로 전환하시겠습니까”의 질문과 “예”, “아니오”의 버튼이 표시될 수 있다. 입체 화면으로 전환을 원하는 경우, 제 1 사용자는 “예” 버튼을 터치할 수 있다.
영상 획득부(200)는 차량 실내의 운전석의 운전자(제 1 사용자), 동승석 및 후석의 탑승객의 얼굴을 촬영하여 영상 데이터를 차량 입체 클러스터(100)로 제공한다. 이를 위해 영상 획득부(200)는 IR 카메라(210)를 구비할 수 있다. 도 2를 참조하면 IR 카메라(210)가 차량 입체 클러스터(100)의 하단 중앙부에 장착될 수 있으며, 차량 입체 클러스터(100) 쪽 방향을 바라보는 사용자들(10, 20, 30)의 얼굴을 촬영할 수 있다.
탑승객 감지 장치(300)는 운전석 외의 동승석 또는 후석의 탑승객의 존재 여부를 감지하고 감지 결과를 차량 입체 클러스터(100)로 제공한다. 이를 위해 탑승객 감지 장치(300)는 초음파 센서(310) 및 매트 센서(320)를 구비할 수 있다. 초음파 센서(310)는 차량 실내의 객체의 움직임을 감지하고, 매트 센서(320)는 동승석, 후석의 시트에 장착되어 시트에 탑승객이 착좌하였는지, 사람인지 사물인지 여부를 감지할 수 있다. 다만 매트 센서(320)는 무게 감지 타입과 유전 타입으로 구분되는데, 무게 감지 타입의 매트 센서(320)는 30kg 이상의 착좌 여부를 판단하고 유전 타입의 매트 센서(320)는 전기 전도율로 착좌여부 및 사람과 사물을 구분할 수 있다. 도 1에서 하나의 초음파 센서(310) 및 매트 센서(320) 만을 도시하고 있으나, 복수개의 초음파 센서(310), 매트 센서(320)를 구비할 수 있고, 초음파 센서 및 매트 센서 대신에 또는 외에 탑승객을 감지할 수 있는 적외선 센서, 광센서, 접촉 센서 등 다양한 센서들을 구비할 수 있다.
오토라이트 센서(400)는 차량 실외의 조도값을 측정하여 차량 입체 클러스터(100)로 제공한다. 오토라이트 센서(400)는 빛의 밝기(조도)를 감지하기 위한 센서로, 광신호를 전기신호로 변환하여 프로세서(140)에 전달하는 역할을 하고, 포토 다이오드 등의 광전변환소자를 사용하여 외부 밝기에 비례하는 전기신호(전압)를 출력하도록 되어 있다.
네비게이션 장치(500)는 차량 입체 클러스터(100)로 시간 정보를 제공하며 차량의 AVN(Audio, video, navigation) 등을 포함할 수 있다.
이와 같이, 본 발명의 차량 입체 클러스터(100)는 다중 양안이 검출되더라도 제 1 사용자의 양안만 선별하여 배리어를 제어함으로써 제 1 사용자에 대해 선명한 입체 화면을 제공할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 배리어 제어 방식의 입체 클러스터의 구조를 설명하기 위한 도면이다.
도 6을 참조하면 도 1의 표시부(120)는 영상 패널(121) 및 배리어(122)로 구성된다. 표시부(120)는 영상 패널(LCD(Liquid Crystal Display);121) 위에 배리어(Barrier;122)가 구비된 패널이다. 여기서, LCD는 촬영된 영상을 출력하는 화면이고, 배리어는 사용자의 양쪽 눈에서 서로 다른 영상을 볼 수 있도록 하나의 영상을 가려주어 3D 영상과 같은 입체감을 조절하는 액정이다.
영상 패널(121)은 우안(12)에 영상을 제공하는 우안 영상 픽셀(125)과 좌안(11)에 영상을 제공하는 좌안 영상 픽셀(126)로 구성된다. 영상 패널(121)은 LCD 등으로 구현될 수 있다.
배리어(122)는 패럴렉스 배리어(Parallax Barrier)로서 LCD(Liquid Crystal Display) 타입의 배리어를 포함할 수 있으며, 광 차단부(123)와 광 투과부(124)가 교번되게 연속적으로 배치되며, 이러한 배리어(120)는 영상 패널(121)의 전면에 배치된다. 또한, 배리어(122)는 전극에 전압이 인가될 경우 액정 층이 빛을 차단하는 방식(Normally White)으로 동작될 수 있다.
사용자는 배리어(122)의 광 투과부(124)를 통하여 영상 패널(121)에 표시되는 이미지를 보게 되는데, 좌안과 우안은 동일한 광 투과부(124)를 통하더라도 영상 패널(121)의 다른 영역을 보게 된다. 즉, 사용자는 좌안과 우안이 광 투과부(124)를 통해서 각각 좌안 영상 픽셀과 우안 영상 픽셀에 표시되는 상이한 영상을 보게 되어 입체감을 느낄 수 있게 된다.
특히 패럴렉스 배리어를 이용한 3D 디스플레이 방식은 빛을 투과 또는 차단시키기 위한 가느다란 줄무늬 모양의 수직 슬릿을 일정한 간격으로 배열시킨 다음 그 앞 또는 뒤에 적당한 간격을 두고 좌우 영상을 교대로 배치하는 기술이다. 따라서 특정한 시점에서 이 슬릿을 통해 보면 기하광학적으로 좌우영상이 정확하게 분리돼 입체감을 느끼게 된다. 즉 모니터 화면 앞에 특수안경 기능을 하는 줄무늬 모양의 패럴렉스 배리어 광학판을 설치해서 사용자가 안경을 쓰지 않고도 입체 영상을 인식하도록 할 수 있다.
이와 같이, 배리어 제어를 통한 입체 효과는 우안과 좌안에 보이는 영상 패널(121)의 화면을 배리어(122)를 통해 구분해줘서 일종의 착시와 같은 입체 효과를 구현하는 것이다. 이에 프로세서(140)는 제 1 사용자의 양안과 영상 패널(121) 사이의 거리에 따라 배리어(122)가 온(ON)되어야 하는 위치를 결정한다. 즉 프로세서(140)는 제 1 사용자의 양안의 위치에 따라 교번적으로 배치되는 복수개의 광 차단부(123) 중 하나 이상을 선택적으로 온시켜 입체 화면을 제공할 수 있다. 이에 본 발명에서는 선택되어 온된 광차단부(123)에 의해 우안은 좌안이 보는 화면을 볼 수 없게 되고, 좌안은 우안이 보는 화면을 볼 수 없게 되어 입체 효과가 구현될 수 있다.
따라서 본 발명은 영상 데이터에 두 개 이상의 양안이 검출되는 경우 두 개 이상의 양안 중 제 1 사용자의 양안을 검출하고 검출된 제 1 사용자의 양안과 영상 패널(121) 간의 거리에 맞는 배리어 제어를 수행함으로써 선명한 입체 화면을 제공할 수 있다.
이하, 도 7을 참조하여 본 발명의 일 실시 예에 따른 차량 입체 클러스터에서 입체 화면을 제공하기 위한 방법을 설명하기 위한 순서도이다. 도 7은 본 발명의 일 실시 예에 따른 입체 클러스터에서 입체 화면을 제공하기 위한 방법을 설명하기 위한 순서도이다. 이하에서는 도 1의 차량 입체 클러스터(100)의 프로세서(140)가 도 7의 프로세스를 수행하는 것을 가정한다.
도 7을 참조하면, 차량 입체 클러스터(100)는 영상 획득부(200)로부터 수신한 영상 데이터로부터 양안을 검출한다(S101).
차량 입체 클러스터(100)는 검출된 양안이 다중 양안인지를 판단하고(S102), 다중 양안이 아닌 경우 즉 단일 양안인 경우 해당 양안이 제 1 사용자의 양안이라고 판단하고, 제 1 사용자의 양안의 위치에 맞게 배리어를 제어하고(S103), 입체 화면을 제공한다(S108).
한편, 검출된 양안이 다중 양안이면, 차량 입체 클러스터(100)는 차량 내에 제 1 사용자 외의 탑승객이 존재하는 지를 판단한다(S104). 이때, 차량 입체 클러스터(100)는 초음파 센서(310) 및 매트 센서(320)로부터 감지된 결과를 이용하여 제 1 사용자 외의 탑승객이 존재하는 지를 판단할 수 있다.
제 1 사용자 외의 탑승객이 존재하는 경우, 차량 입체 클러스터(100)는 양안들의 크기 및 양안들의 위치를 이용하여 제 1 사용자의 양안을 선별한다(S105). 즉 복수개의 양안 중 양안의 크기가 가장 크고 자신(차량 입체 클러스터 또는 차량 입체 클러스터에 장착된 IR 카메라)와의 거리가 가장 가까운 양안을 제 1 사용자 양안으로 판단할 수 있다. 이에 차량 입체 클러스터(100)는 선별된 제 1 사용자의 양안의 위치에 맞게 배리어를 제어하고(S103), 입체 화면을 제공한다(S108).
한편 상기 과정 S104의 판단 결과 제 1 사용자 외의 탑승객이 존재하지 않는 경우, 차량 입체 클러스터(100)는 현재 시간이 야간 상태인지를 판단한다(S106).
현재 시간이 야간 상태인 경우, 차량 입체 클러스터(100)는 복수개의 양안이 제 1 사용자의 양안 외에 창문에 비친 가짜 양안을 포함하는 것으로 판단하고 제 1 사용자의 양안을 선별하고(S105) 선별된 제 1 사용자의 양안의 위치에 맞게 배리어를 제어하고(S103), 입체 화면을 제공한다(S108).
한편 상기 과정 S106의 판단 결과, 현재 시간이 야간이 아닌 주간인 경우, 복수개의 양안이 검출될 수 있는 조건이 아닌데 다중 양안이 검출되었으므로 차량 입체 클러스터(100)는 비정상 상태로 판단하고 2D 화면을 제공하도록 배리어를 제어한다(S107). 이어 차량 입체 클러스터(100)는 2D 화면을 출력한다.
이하, 도 8을 참조하여 본 발명의 일 실시 예에 따른 차량 입체 클러스터에서 양안을 검출하는 방법을 설명하기 위한 순서도이다. 도 8은 본 발명의 일 실시 예에 따른 차량 입체 클러스터에서 양안을 검출하는 방법을 설명하기 위한 순서도이다. 이하에서는 도 1의 차량 입체 클러스터(100)의 프로세서(140)가 도 8의 프로세스를 수행하는 것을 가정한다.
차량 입체 클러스터(100)는 영상 획득부(200)로부터 얼굴을 촬영한 영상 데이터를 수신하고(S201), 수신한 영상 데이터 상에서 얼굴 영역을 검출한다(S202). 이때 얼굴 영상 데이터 상에서 얼굴 영역을 검출하는 기술은 통상의 다양한 기술을 기반으로 수행될 수 있다.
이어, 차량 입체 클러스터(100)는 얼굴 영역 내의 눈, 코, 입, 귀 등의 특징점을 검출하고(S204), 랜드 마크 내에서 양쪽 눈의 좌표를 트래킹함으로써 양안의 좌표값을 획득한다(S205).
이와 같이, 본 발명의 차량 입체 클러스터(100)는 다중 양안이 검출되더라도 제 1 사용자의 양안만 선별하여 배리어를 제어함으로써 제 1 사용자에 대해 선명한 입체 화면을 제공할 수 있다.
또한, 본 발명은 비정상 상태 판단 시 입체 화면을 평면 화면(2D화면)으로 자동 전환시켜 제 1 사용자가 클러스터 정보를 놓치지 않게 함으로써 안전 운전을 도와줄 수 있다.
또한, 본 발명은 차량에 기존에 설치되어 있는 초음파 센서, 매트 센서, 오토라이트 센서 등을 활용함으로써 별도의 원가 상승없이 선명한 입체 화면을 제공할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.
도 9를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 획득된 영상 데이터로부터 적어도 하나 이상의 양안을 검출하고, 상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하여 선별된 양안을 기준으로 입체 화면을 제공하도록 제어하는 프로세서; 및
    상기 프로세서에 의해 제어되어 상기 입체 화면을 표시하는 표시부를 포함하고,
    상기 프로세서는,
    상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 것을 특징으로 하는 차량 입체 클러스터.
  2. 청구항 1에 있어서,
    상기 프로세서는,
    차량 내 상기 제 1 사용자 이외의 제 2 사용자의 존재 여부를 판단하고,
    상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우,
    상기 적어도 하나 이상의 양안 중 상기 제 1 사용자의 양안을 선별하는 것을 특징으로 하는 차량 입체 클러스터.
  3. 청구항 2에 있어서,
    상기 프로세서는,
    차량 실내 움직임을 감지하는 초음파 센서 또는 시트 착석 여부를 감지하는 매트 센서로부터 수신한 센싱값을 이용하여 차량 내에 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 지를 판단하는 것을 특징으로 하는 차량 입체 클러스터.
  4. 삭제
  5. 청구항 2에 있어서,
    상기 프로세서는,
    상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않는 경우, 현재 시간이 야간인지 여부를 판단하는 것을 특징으로 하는 차량 입체 클러스터.
  6. 청구항 5에 있어서,
    상기 프로세서는,
    상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않으며, 현재 시간이 야간인 경우, 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 것을 특징으로 하는 차량 입체 클러스터.
  7. 청구항 5에 있어서,
    상기 프로세서는,
    상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않으며, 현재 시간이 주간인 경우, 비정상 상태로 판단하는 것을 특징으로 하는 차량 입체 클러스터.
  8. 청구항 7에 있어서,
    상기 프로세서는,
    상기 비정상 상태로 판단된 경우,
    상기 표시부를 통해 2D 화면을 제공하도록 제어하는 것을 특징으로 하는 차량 입체 클러스터.
  9. 청구항 8에 있어서,
    상기 프로세서는,
    상기 2D 화면이 제공되는 중에, 상기 비정상 상태가 정상 상태로 복귀한 것으로 판단되면, 상기 입체 화면으로의 변경여부를 상기 제 1 사용자가 선택할 수 있도록 상기 표시부에 팝업을 제공하는 것을 특징으로 하는 차량 입체 클러스터.
  10. 청구항 5에 있어서,
    상기 프로세서는,
    오토라이트 센서로부터 수신한 정보 또는 네비게이션 장치로부터 수신한 정보 중 적어도 하나 이상을 이용하여 현재 시간이 야간인지 여부를 판단하는 것을 특징으로 하는 차량 입체 클러스터.
  11. 청구항 1에 있어서,
    상기 프로세서는,
    상기 제 1 사용자의 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 특징점을 검출하고, 랜드 마크 내의 양쪽 눈의 좌표를 트래킹하는 것을 특징으로 하는 차량 입체 클러스터.
  12. 청구항 1에 있어서,
    상기 표시부는,
    우안에 영상을 제공하는 우안 영상 픽셀과 좌안에 영상을 제공하는 좌안 영상 픽셀을 포함하는 영상 패널; 및
    상기 영상 패널의 전면에 배치되고, 상기 프로세서에 의해 구동이 제어되는 배리어;
    을 포함하는 것을 특징으로 하는 차량 입체 클러스터.
  13. 청구항 12에 있어서,
    상기 프로세서는,
    상기 제 1 사용자의 양안의 위치에 따라 상기 배리어의 구동을 제어하는 것을 특징으로 하는 차량 입체 클러스터.
  14. 차량 내 탑승객의 존재유무를 감지하는 탑승객 감지 장치; 및
    획득된 영상 데이터로부터 적어도 하나 이상의 양안을 검출하고, 상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하여 선별된 양안을 기준으로 입체 화면을 제공하는 차량 입체 클러스터를 포함하고,
    상기 차량 입체 클러스터는,
    상기 적어도 하나 이상의 양안이 검출되고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 것을 특징으로 하는 시스템.
  15. 획득된 영상 데이터로부터 적어도 하나 이상의 양안을 검출하는 단계;
    상기 적어도 하나 이상의 양안 중 제 1 사용자의 양안을 선별하는 단계; 및
    상기 선별된 제 1 사용자의 양안을 기준으로 입체 화면을 제공하는 단계를 포함하고,
    상기 제 1 사용자의 양안을 선별하는 단계는,
    상기 검출된 양안이 적어도 두 개 이상이면, 차량 내 상기 제 1 사용자 이외의 탑승객인 제 2 사용자의 존재 여부를 판단하는 단계;
    상기 제 1 사용자 이외의 제 2 사용자가 존재하는 경우, 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 단계;
    를 포함하는 것을 특징으로 하는 입체 화면 제공 방법.
  16. 삭제
  17. 청구항 15에 있어서,
    상기 제 1 사용자의 양안을 선별하는 단계는,
    상기 검출된 양안이 적어도 두 개 이상이고, 상기 제 1 사용자 이외의 제 2 사용자가 존재하지 않는 경우, 현재 시간이 야간인지 여부를 판단하는 단계; 및
    상기 현재 시간이 야간인 경우, 상기 적어도 하나 이상의 양안들의 크기 및 상기 적어도 하나 이상의 양안들 각각과 상기 차량 입체 클러스터와의 거리를 이용하여 상기 제 1 사용자의 양안을 선별하는 단계
    를 더 포함하는 것을 특징으로 하는 입체 화면 제공 방법.
  18. 청구항 17에 있어서,
    상기 제 1 사용자의 양안을 선별하는 단계는,
    상기 현재 시간이 주간인 경우, 비정상 상태로 판단하는 단계; 및
    상기 제 1 사용자에 대해 2D 화면을 제공하는 단계;
    를 더 포함하는 것을 특징으로 하는 입체 화면 제공 방법.
  19. 청구항 18에 있어서,
    상기 2D 화면을 제공하는 중에, 상기 제 1 사용자 이외의 제 2 사용자의 존재유무, 상기 현재 시간을 계속 판단하여, 상기 비정상 상태에서 정상 상태로 복귀한 경우, 상기 2D 화면을 입체 화면으로 변경 제공하기 위한 팝업 화면을 제공하는 것을 특징으로 하는 입체 화면 제공 방법.
  20. 청구항 15에 있어서,
    상기 제 1 사용자 이외의 제 2 사용자의 존재 여부를 판단하는 단계는,
    차량 실내 움직임을 감지하는 초음파 센서 또는 시트 착석 여부를 감지하는 매트 센서로부터 수신한 센싱값을 이용하여 차량 내에 상기 제 1 사용자 이외의 제 2 사용자가 존재하는 지를 판단하고,
    상기 입체 화면을 제공하는 단계는,
    상기 제 1 사용자의 양안의 위치에 따라 배리어의 구동을 제어하여 상기 입체 화면을 제공하는 것을 특징으로 하는 입체 화면 제공 방법.
KR1020180083424A 2018-07-18 2018-07-18 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법 KR102506873B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180083424A KR102506873B1 (ko) 2018-07-18 2018-07-18 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법
US16/151,554 US10630966B2 (en) 2018-07-18 2018-10-04 Stereoscopic cluster for vehicle, system including the cluster, and method for providing stereoscopic screen
CN201811256279.4A CN110738087A (zh) 2018-07-18 2018-10-26 车辆的立体仪表盘、包括其的系统及提供立体画面的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083424A KR102506873B1 (ko) 2018-07-18 2018-07-18 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법

Publications (2)

Publication Number Publication Date
KR20200013150A KR20200013150A (ko) 2020-02-06
KR102506873B1 true KR102506873B1 (ko) 2023-03-08

Family

ID=69162184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083424A KR102506873B1 (ko) 2018-07-18 2018-07-18 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법

Country Status (3)

Country Link
US (1) US10630966B2 (ko)
KR (1) KR102506873B1 (ko)
CN (1) CN110738087A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540791B (zh) * 2018-04-25 2020-01-24 京东方科技集团股份有限公司 一种双视显示方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757579B1 (ko) * 2006-07-27 2007-09-10 현대자동차주식회사 자동차용 모니터의 밝기와 각도 조절장치 및 방법
KR101338649B1 (ko) * 2011-12-29 2013-12-06 대성전기공업 주식회사 차량 실내 상태 감지 장치 및 이의 제어 방법
KR101724924B1 (ko) * 2015-10-12 2017-04-07 현대자동차주식회사 차량용 3차원 디스플레이 장치 및 그 동작방법
KR101771944B1 (ko) * 2016-04-19 2017-08-28 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
WO2005106628A1 (ja) * 2004-04-30 2005-11-10 Access Co., Ltd. フレームページの表示方法、フレームページの表示装置およびプログラム
SE528518C2 (sv) * 2005-04-29 2006-12-05 Totalfoersvarets Forskningsins Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
KR101872859B1 (ko) * 2012-01-20 2018-06-29 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9342143B1 (en) * 2012-04-17 2016-05-17 Imdb.Com, Inc. Determining display orientations for portable devices
US9411160B2 (en) * 2013-02-12 2016-08-09 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
US9756319B2 (en) * 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
EP3170061A1 (en) * 2014-07-16 2017-05-24 Sony Corporation Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
KR102197536B1 (ko) * 2014-08-18 2020-12-31 엘지디스플레이 주식회사 이동 플리커가 감소된 입체영상 표시장치
US10321122B2 (en) * 2016-04-14 2019-06-11 Gentex Corporation Vehicle display system providing depth information
KR102319437B1 (ko) * 2016-11-14 2021-11-01 삼성전자주식회사 거리 결정 방법 및 디바이스
US10867164B2 (en) * 2018-06-29 2020-12-15 Intel Corporation Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757579B1 (ko) * 2006-07-27 2007-09-10 현대자동차주식회사 자동차용 모니터의 밝기와 각도 조절장치 및 방법
KR101338649B1 (ko) * 2011-12-29 2013-12-06 대성전기공업 주식회사 차량 실내 상태 감지 장치 및 이의 제어 방법
KR101724924B1 (ko) * 2015-10-12 2017-04-07 현대자동차주식회사 차량용 3차원 디스플레이 장치 및 그 동작방법
KR101771944B1 (ko) * 2016-04-19 2017-08-28 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법

Also Published As

Publication number Publication date
US20200029067A1 (en) 2020-01-23
KR20200013150A (ko) 2020-02-06
US10630966B2 (en) 2020-04-21
CN110738087A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
US11827152B2 (en) Vehicular vision system
US10315573B2 (en) Method for displaying information to vehicle driver
US11572017B2 (en) Vehicular vision system
US11503251B2 (en) Vehicular vision system with split display
US10321122B2 (en) Vehicle display system providing depth information
US20170305362A1 (en) Vehicle vision system with gesture determination
US20070003108A1 (en) Image processing device and method for parking support
JP2008210359A (ja) 操作装置
WO2016039256A1 (ja) 表示機能付きミラー装置および表示切替方法
US20190095686A1 (en) Vehicle safety system and operating method thereof
US11077793B2 (en) Rearview display device, rearview display method, and program
CN109951697B (zh) 用于控制车辆中的立体3d图像的方法和装置
US10248132B2 (en) Method and apparatus for visualization of an environment of a motor vehicle
KR102506873B1 (ko) 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법
CN105323539A (zh) 车用安全系统及其操作方法
US20240126095A1 (en) Image display device
WO2018109991A1 (ja) 表示装置、電子ミラー、表示装置の制御方法、プログラム、記録媒体
JP7164967B2 (ja) 表示制御装置及び表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right