KR102444666B1 - 차량용 3차원 입체 영상의 제어 방법 및 장치 - Google Patents

차량용 3차원 입체 영상의 제어 방법 및 장치 Download PDF

Info

Publication number
KR102444666B1
KR102444666B1 KR1020170175856A KR20170175856A KR102444666B1 KR 102444666 B1 KR102444666 B1 KR 102444666B1 KR 1020170175856 A KR1020170175856 A KR 1020170175856A KR 20170175856 A KR20170175856 A KR 20170175856A KR 102444666 B1 KR102444666 B1 KR 102444666B1
Authority
KR
South Korea
Prior art keywords
point
eyes
display device
user
image
Prior art date
Application number
KR1020170175856A
Other languages
English (en)
Other versions
KR20190074471A (ko
Inventor
이형석
김주혁
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170175856A priority Critical patent/KR102444666B1/ko
Priority to US15/995,344 priority patent/US10778964B2/en
Priority to CN201810844619.9A priority patent/CN109951697B/zh
Publication of KR20190074471A publication Critical patent/KR20190074471A/ko
Application granted granted Critical
Publication of KR102444666B1 publication Critical patent/KR102444666B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/371Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen

Abstract

차량용 표시 장치의 제어 방법은 표시 장치에 대응하는 좌석에 탑승한 사용자에 대한 정보로서 사용자 이미지를 생성하는 단계, 사용자 이미지에서 사용자의 두 눈 사이 중심점을 추출하고 중심점의 위치를 모니터링하는 단계, 및 모니터링된 중심점의 위치에 대응하여 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계를 포함할 수 있다.

Description

차량용 3차원 입체 영상의 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING 3D STEROSCOPIC IMAGE IN VEHICLE}
본 발명은 차량용 3차원 입체 영상의 제어 방법 및 장치에 관한 것으로, 더욱 상세하게는 3차원 입체 영상을 출력할 수 있는 차량용 디스플레이 장치에서 사용자가 불편함을 느낄 수 있는 경우 3차원 입체 영상을 2차원 평면 영상으로 변환하여 표시할 수 있는 차량용 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
3차원(Three-dimensional, 3D)영상이란 스테레오 영상을 의미할 수 있으며, 'stereo', '3D', 또는 'Stereophonic 3D' 등의 용어를 사용하여 일컬어질 수 있다. 사람은 3차원의 공간에 익숙해져 있는데, 입체 영상을 인식하는 것은 양쪽 눈의 차이로부터 시작될 수 있다. 이 차이를 양안시차(stereoscopic vision)라고 하는데, 무언가를 바라 볼 때 왼쪽 눈이 보는 2D 이미지와, 오른쪽 눈이 보는 2D 이미지가 사실 다르다. 동일한 물체 혹은 영역에 대한 각각의 눈이 각각 바라보는 2차원의 이미지는 투시각(perspective)과 소실점(vanishing point)에서 차이가 있다. 이 다른 두 개의 2차원 이미지가 뇌로 전달되면 비로소 하나의 입체 이미지로 인식되는 될 수 있다.
구체적으로, 눈 가까이 물체를 두고 그 물체를 바라보면 물체 뒤의 배경은 두 개로 보인다. 이번에는 반대로 배경에 초점을 맞추면 눈앞의 물체가 두 개로 보인다. 이는 초점거리가 달라지기 때문인데, 자연스럽게 눈동자의 각도도 변하게 되고 이를 폭주(輻輳, convergence)라고 한다. 이러한 정보들이 뇌에 동시에 전달되면, 뇌 내부에서 처리과정을 거쳐 사물을 입체로 인식하게 된다.
3차원 영상은 영상이 해당되는 쪽의 눈에 보이게 하는 방식에 따라서 액티브(Active) 방식 또는 패시브(Passive) 방식으로 디스플레이 될 수 있다. 각각의 방식 모두 사용자의 왼쪽, 오른쪽 눈에는 각각 다른 쪽 영상이 섞여 들어가지 않고 해당되는 쪽의 영상만 인식되도록 함으로써 물체가 두 개로 겹쳐 보이는 화면 겹침(crosstalk)이라는 현상을 방지할 수 있다.
액티브 방식의 경우, 디스플레이 장치는 좌,우에 해당하는 화면을 매우 빠른 속도로 교대로 보여 주며, 이에 맞춰 시청자가 착용한 입체 안경도 함께 움직일 수 있다. 즉, 왼쪽 카메라에 해당하는 화면은 왼쪽 눈에만 비쳐지도록 안경의 왼쪽이 열리고 오른쪽은 닫히며, 오른쪽 카메라가 찍은 화면이 나오면 안경의 오른쪽이 열리고 왼쪽은 닫힐 수 있다. 이 방식은 화면을 또렷하게 볼 수 있다는 장점이 있으나, TV와 안경의 움직임을 맞춰야 하는 고도의 기술이 필요하게 되어 차량용 디스플레이 장치로는 적합하지 않다.
패시브 방식의 경우, 디스플레이 장치는 한 화면에 좌우 영상을 동시에 보여 줄 수 있다. 하지만, 동시에 보여주는 경우 왼쪽, 오른쪽 눈으로 각각 전달되어야 할 정보를 구분할 수 없어서 입체로 인식할 수 없게 되므로, 디스플레이 장치 앞에 편광 필터를 붙일 수 있다. 편광 필터를 통해 왼쪽 눈으로 전달되어야 할 정보는 왼쪽으로, 오른쪽 눈으로 전달되어야 할 정보는 오른쪽 눈으로 전달이 될 수 있어, 사용자가 안경과 같은 별도의 기구를 착용할 필요가 없다.
하지만, 기존의 운전자에게 제공되는 3차원 영상은 운전자의 움직임, 위치 또는 주변 환경이 바뀌는 경우를 고려하지 않고 있다. 예를 들어, 운전자가 디스플레이 화면보다 약간 아래나 위쪽에서 시청하는 경우에는 영상이 겹쳐 보이는 화면 겹침(crosstalk) 현상이 발생할 수 있다. 이는 시야각으로 인하여 각각의 눈 쪽에는 보이지 않아야 할 영상이 보이기 때문에 발생할 수 있으며, 거리가 가까울 수록 이런 현상은 더욱 심해질 수 있다. 이로 인하여, 위 상황 발생 시에 운전자가 어지러움을 느낄 수 있어 주행 안전을 저해할 수 있다.
KR 10-2014-0008216 A WO 2015133707 A1
본 발명은 차량에 탑재되는 디스플레이 장치가 운전자 또는 사용자의 위치, 보다 구체적으로 미간의 위치를 모니터링하여 기 설정된 범위를 벗어나는 경우 3차원 입체 영상을 2차원 영상으로 변환하여 출력할 수 있는 장치와 방법을 제공할 수 있다.
또한, 본 발명은 차량에 탑재되는 디스플레이 장치가 해당 장치의 운전자 또는 사용자의 시선 위치를 감지하여 시선 위치에 대응하여 출력 모드를 자동 변환함으로써 3차원 입체 영상 또는 2차원 평면 영상을 선택적으로 표시할 수 있는 장치와 방법을 제공할 수 있다.
또한, 본 발명은 차량에 탑승하는 운전자 또는 사용자의 위치, 미간의 위치 또는 시선 위치 등에 대한 데이터를 기 설정하거나 수집하여, 운전자 또는 사용자에 대한 데이터 베이스를 구축하고 차량에 탑재된 디스플레이 장치가 2차원 혹은 3차원 영상을 출력을 결정하는 데 사용함으로써, 디스플레이 장치를 사용하는 사용자의 불편함을 줄일 수 있는 장치와 방법을 제공할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량용 표시 장치의 제어 방법은 표시 장치에 대응하는 좌석에 탑승한 사용자에 대한 정보로서 사용자 이미지를 생성하는 단계; 상기 사용자 이미지에서 상기 사용자의 두 눈 사이 중심점을 추출하고 상기 중심점의 위치를 모니터링하는 단계; 및 모니터링된 상기 중심점의 위치에 대응하여 상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계를 포함할 수 있다.
또한, 상기 표시 장치는 상기 차량의 계기판(Cluster)이며, 상기 사용자는 운전자일 수 있다.
또한, 상기 사용자 이미지는 상기 계기판에 배치된 카메라를 통해 생성되며, 상기 카메라는 차량의 시동이 켜지면 동작할 수 있다.
또한, 상기 카메라는 상기 계기판과 좌석의 거리에 대응하여 상기 운전자의 얼굴전체의 윤곽이 상기 이미지에 포함될 수 있는 화각을 가지며, 상기 얼굴전체의 윤곽에서 상기 두 눈을 인지하기 위해, 상기 이미지는 상기 두 눈 사이가 최소 32~60 픽셀(pixels) 이상이 될 수 있는 해상도를 가지며, 상기 얼굴전체는 최소 64 회색조 값(grayscales) 혹은 컬러 값을 가질 수 있다.
또한, 상기 중심점의 위치를 모니터링하는 단계는 상기 사용자 이미지에서 얼굴전체의 윤곽을 인지하는 단계; 상기 윤곽 내에 두 눈의 형태를 인지하는 단계; 상기 두 눈의 형태의 상기 중간점의 위치를 모니터링하는 단계를 포함할 수 있다.
또한, 상기 두 눈의 형태의 상기 중간점의 위치를 모니터링하는 단계는 상기 두 눈의 형태가 서로 가장 가까운 위치에 제1포인트와 제2포인트를 지정하는 단계; 및 상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정하는 단계를 포함할 수 있다.
또한, 상기 두 눈의 형태의 상기 중간점의 위치를 모니터링하는 단계는 상기 두 눈의 형태 각각에서 양 끝단을 인지하는 단계; 상기 두 눈의 형태 각각에서 상기 양 끝단의 중간점을 제1포인트와 제2포인트로 지정하는 단계; 및 상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정하는 단계를 포함할 수 있다.
또한, 상기 중심점의 위치를 모니터링하는 단계는 상기 두 눈의 형태를 연결하는 축의 기울기를 모니터링하는 단계를 더 포함할 수 있다.
또한, 상기 중심점의 위치를 모니터링하는 단계는 상기 두 눈의 형태가 인지되지 않는 경우, 상기 윤곽을 이용하여 상기 사용자의 데이터로부터 상기 중간점을 추정하는 단계를 더 포함할 수 있다.
또한, 상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계는 상기 중심점의 현재 위치와 이전 위치를 비교하여 위치 변화 값을 연산하는 단계; 및 상기 위치 변화 값에 대응하여 상기 표시 장치의 편광 필터의 값을 조정하는 단계를 포함할 수 있다.
또한, 상기 표시 장치는 서로 다른 두 이미지를 출력하고, 상기 편광 필터는 상기 사용자의 두 눈에 상기 두 이미지 각각을 전달할 수 있다.
또한, 상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계는 상기 현재 위치가 기 설정된 범위를 넘어서면, 상기 편광 필터는 상기 두 이미지 중 하나의 이미지를 차단하는 단계; 및 상기 현재 위치가 기 설정된 범위 이내로 진입하면, 상기 편광 필터는 상기 두 이미지 각각을 상기 사용자의 두 눈에 전달되도록 하는 단계를 더 포함할 수 있다.
또한, 상기 기 설정된 범위는 가로 방향, 세로 방향 및 회전 방향 각각에 대해 개별적으로 설정될 수 있다.
또한, 상기 출력 모드는 3차원 입체 이미지를 출력하는 제1모드; 및 2차원 입체 이미지를 출력하는 제2모드를 포함하고, 상기 중심점의 위치에 대응하여, 상기 제1모드와 상기 제2모드 사이의 변환이 자동으로 이루어질 수 있다.
또한, 상기 표시 장치는 상기 사용자에게 멀티미디어 컨텐츠를 제공하기 위한 멀티미디어 장치 또는 상기 사용자에게 지도 정보 또는 주행 경로에 대한 정보를 제공할 수 있는 내비게이션 장치 중 적어도 하나를 포함할 수 있다.
또한, 상기 사용자 이미지는 상기 멀티미디어 장치 또는 상기 내비게이션 장치에 배치된 카메라를 통해 생성되며, 상기 카메라는 상기 좌석에 안전벨트가 체결되거나 상기 좌석에 배치된 압력 센서를 통해 상기 사용자의 존재 여부가 확인되면 동작할 수 있다.
본 발명의 다른 실시예에 따른 차량용 표시 장치의 제어 장치는 사용자에게 정보를 제공하기 위한 표시 장치; 상기 표시 장치에 대응하는 좌석에 탑승한 사용자에 대한 사용자 이미지를 생성하는 카메라 장치; 상기 사용자 이미지에서 상기 사용자의 두 눈 사이 중심점을 추출하고 상기 중심점의 위치를 모니터링하는 위치 판단부; 및 모니터링된 상기 중심점의 위치에 대응하여 상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 제어부를 포함할 수 있다.
또한, 상기 카메라 장치는 상기 표시 장치의 좌우 방향의 중심 영역에 배치될 수 있다.
또한, 상기 표시 장치는 상기 차량의 계기판(Cluster)이며, 상기 사용자는 운전자일 수 있다.
또한, 상기 사용자 이미지는 상기 계기판에 배치된 카메라를 통해 생성되며, 상기 카메라는 차량의 시동이 켜지면 동작할 수 있다.
또한, 상기 카메라는 상기 계기판과 좌석의 거리에 대응하여 상기 운전자의 얼굴전체의 윤곽이 상기 이미지에 포함될 수 있는 화각을 가지며, 상기 얼굴전체의 윤곽에서 상기 두 눈을 인지하기 위해, 상기 이미지는 상기 두 눈 사이가 최소 32~60 픽셀(pixels) 이상이 될 수 있는 해상도를 가지며, 상기 얼굴전체는 최소 64 회색조 값(grayscales) 혹은 컬러 값을 가질 수 있다.
또한, 상기 위치 판단부는 상기 사용자 이미지에서 얼굴전체의 윤곽을 인지하고, 상기 윤곽 내에 두 눈의 형태를 인지하며, 상기 두 눈의 형태의 상기 중간점의 위치를 모니터링할 수 있다.
또한, 상기 위치 판단부는 상기 두 눈의 형태가 서로 가장 가까운 위치에 제1포인트와 제2포인트를 지정하고, 상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정할 수 있다.
또한, 상기 위치 판단부는 상기 두 눈의 형태 각각에서 양 끝단을 인지하고, 상기 두 눈의 형태 각각에서 상기 양 끝단의 중간점을 제1포인트와 제2포인트로 지정하며, 상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정할 수 있다.
또한, 상기 위치 판단부는 상기 두 눈의 형태를 연결하는 축의 기울기를 모니터링할 수 있다.
또한, 상기 위치 판단부는 상기 두 눈의 형태가 인지되지 않는 경우, 상기 윤곽을 이용하여 상기 사용자의 데이터로부터 상기 중간점을 추정할 수 있다.
또한, 상기 제어부는 상기 중심점의 현재 위치와 이전 위치를 비교하여 위치 변화 값을 연산하고, 상기 위치 변화 값에 대응하여 상기 표시 장치의 편광 필터의 값을 조정할 수 있다.
또한, 상기 표시 장치는 서로 다른 두 이미지를 출력하고, 상기 편광 필터는 상기 사용자의 두 눈에 상기 두 이미지 각각을 전달할 수 있다.
또한, 상기 제어부는 상기 현재 위치가 기 설정된 범위를 넘어서면, 상기 편광 필터는 상기 두 이미지 중 하나의 이미지를 차단하고, 상기 현재 위치가 기 설정된 범위 이내로 진입하면, 상기 편광 필터는 상기 두 이미지 각각을 상기 사용자의 두 눈에 전달되도록 할 수 있다.
또한, 상기 출력 모드는 3차원 입체 이미지를 출력하는 제1모드; 및 2차원 입체 이미지를 출력하는 제2모드를 포함할 수 있다.
또한, 상기 중심점의 위치에 대응하여, 상기 제어부는 상기 제1모드와 상기 제2모드 사이의 변환을 자동으로 수행할 수 있다.
또한, 상기 표시 장치는 상기 사용자에게 멀티미디어 컨텐츠를 제공하기 위한 멀티미디어 장치 또는 상기 사용자에게 지도 정보 또는 주행 경로에 대한 정보를 제공할 수 있는 내비게이션 장치 중 적어도 하나를 포함할 수 있다.
또한, 상기 사용자 이미지는 상기 멀티미디어 장치 또는 상기 내비게이션 장치에 배치된 카메라를 통해 생성되며, 상기 카메라는 상기 좌석에 안전벨트가 체결되거나 상기 좌석에 배치된 압력 센서를 통해 상기 사용자의 존재 여부가 확인되면 동작할 수 있다.
본 발명의 다른 실시예에 따른 차량용 계기판(Cluster)은 차량의 상태 정보를 표시할 수 있는 적어도 하나의 심볼, 텍스트, 숫자, 또는 이미지를 표시하는 패널; 상기 패널을 통해 표시되는 상기 적어도 하나의 심볼, 텍스트, 숫자, 또는 이미지를 3차원 입체 이미지 또는 2차원 평면 이미지 중 하나로 변환하는 편광 필름; 및 상기 편광 필름을 운전자의 위치에 대응하여 제어하는 제어부를 포함할 수 있다.
또한, 상기 운전자의 위치는 상기 운전자의 두 눈 사이의 중심점을 기준으로 결정되며, 차량용 계기판은 상기 중심점의 위치를 감지하고 모니터링하기 위한 카메라 장치를 더 포함할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.
본 발명은 차량에 탑승한 사용자가 디스플레이 장치를 사용하는 과정에서 경험할 수 있는 화면 겹침(cross-talk) 현상을 예방할 수 있다.
또한, 본 발명은 차량의 운전자가 디스플레이 장치에서 화면 겹침(cross-talk) 현상이 억제된 3차원 또는 2차원 영상을 제공받을 수 있어, 운전자가 주행 중 가질 수 있는 불편함 또는 거부감(예, 어지러움 등)을 줄여 주행 안전을 도모할 수 있다.
또한, 본 발명은 차량 내 디스플레이 장치를 사용하는 사용자에 맞추어 3차원 또는 2차원 영상이 선택적으로 제공될 수 있어, 차량에 탑승한 운전자 또는 탑승자들의 만족도를 높일 수 있고 차량의 상품성과 편의성을 개선할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도1은 차량용 표시 장치의 제어 방법의 제1예를 설명한다.
도2는 차량용 계기판에 표시되는 이미지 또는 영상을 설명한다.
도3은 중심점의 위치를 모니터링하는 방법을 설명한다.
도4는 사용자 이미지에서 중심점을 인지하는 예를 설명한다.
도5는 중심점을 결정하는 방법을 설명한다.
도6은 표시 장치의 출력 모드 또는 출력 영역을 변경하는 방법을 설명한다.
도7은 2차원(2D) 및 3차원(3D) 이미지 또는 영상의 전환을 설명한다.
도8은 영상 전환을 위한 방법을 설명한다.
도9는 사용자의 가로 방향, 세로 방향 움직임에 대한 조건을 설명한다.
도10은 사용자의 회전 방향 움직임에 대한 조건을 설명한다.
도11은 차량용 표시 장치의 제어 방법의 제2예를 설명한다.
도12는 차량용 표시 장치의 제어 장치를 설명한다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예의 설명에 있어서, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
본 발명의 실시예는 클러스터가 운전자에게 3D 입체 이미지 혹은 영상을 보여주는 경우에, 카메라(예, CCD 카메라 혹은 적외선 카메라 등)를 이용하여 변화되는 운전자의 위치(예, 두 눈의 중간점 혹은 미간 등)를 모니터링 할 수 있다. 실시간 모니터링 된 운전자의 위치와 기존에 저장되어 있는 다양한 사용자 조건을 포함하는 프로파일 혹은 데이터베이스(DB)와 비교하여 두 값의 차이가 일정 수준의 한계치를 넘어가게 되면 3D 입체 이미지 혹은 영상을 2D 평면 이미지 혹은 영상으로 자동으로 조정, 변경할 수 있어 운전자 혹은 사용자가 어지러움을 느끼지 않게 해 줄 수 있다.
도1은 차량용 표시 장치의 제어 방법의 제1예를 설명한다.
도시된 바와 같이, 차량용 표시 장치의 제어 방법은 표시 장치에 대응하는 좌석에 탑승한 사용자에 대한 정보로서 사용자 이미지를 생성하는 단계(72), 사용자 이미지에서 사용자의 두 눈 사이 중심점을 추출하고 중심점의 위치를 모니터링하는 단계(74), 및 모니터링되는 중심점의 위치에 대응하여 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계(76)를 포함할 수 있다.
실시예에 따라, 표시 장치는 차량의 계기판(Cluster)일 수 있다. 차량의 계기판은 운전자의 위치에 대응하여 3D 입체 이미지 혹은 영상을 2D 평면 이미지 혹은 영상을 선택적으로 표시할 수 있다.
차량의 계기판이 3D 입체 이미지 혹은 영상을 2D 평면 이미지 혹은 영상을 선택적으로 표시하기 위해 사용자의 위치를 수집할 필요가 있다. 사용자의 위치는 차량의 계기판에 배치된 카메라를 통해 수집되고 모니터링될 수 있다. 이러한 카메라는 차량의 시동이 켜지면 작동할 수 있다.
사용자의 얼굴을 인식할 뿐만 아니라 눈의 위치와 눈과 눈 사이의 중간점을 산출하기 위해서, 카메라는 일정한 수준의 사양을 갖출 필요가 있다. 예를 들어, 사용자의 위치(예, 두 눈의 중간점 혹은 눈썹 사이의 미간 등) 를 감지하기 위한 카메라는 표시 장치인 계기판과 운전석의 사이 거리에 대응하여 운전자의 얼굴전체의 윤곽이 이미지에 포함될 수 있는 화각을 가질 수 있다. 보다 구체적으로, 수집된 이미지를 통해 얼굴전체의 윤곽에서 두 눈을 인지하기 위해서는 카메라 장치가 생성하는 이미지는 두 눈 사이가 최소 32~60 픽셀(pixels) 이상이 될 수 있는 해상도를 가질 필요가 있다. 또한, 카메라 장치를 통해 생성된 사용자 이미지에서 얼굴전체는 최소 64 회색조 값(grayscales) 혹은 컬러 값을 가질 수 있다.
한편, 실시예에 따라, 표시 장치는 사용자에게 멀티미디어 컨텐츠를 제공하기 위한 멀티미디어 장치 또는 사용자에게 지도 정보 또는 주행 경로에 대한 정보를 제공할 수 있는 내비게이션 장치 중 적어도 하나를 포함할 수 있다. 차량의 탑승자가 이용할 수 있는 차량용 디스플레이 장치가 3차원 입체 영상 혹은 이미지를 출력할 수 있는 경우, 차량용 디스플레이 장치를 사용하는 사용자의 위치에 따라 화면 겹침(cross-talk) 현상이 발생할 수 있다. 이 경우, 차량의 사용자는 어지러움을 느낄 수 있기 때문에, 사용자의 위치에 대응하여 차량용 디스플레이 장치에서 출력되는 영상 혹은 이미지를 3차원 입체 혹은 2차원 평면 형식으로 사용자가 접할 수 있도록 제어할 수 있다.
사용자의 위치를 감지하기 위한 정보는 차량용 멀티미디어 장치 혹은 내비게이션 장치 등과 같은 차량용 디스플레이 장치에 배치된 카메라를 통해 생성될 수 있다. 이때, 카메라는 사용자가 착석하는 좌석에 안전벨트가 체결되거나 좌석에 배치된 압력 센서를 통해 사용자의 존재 여부가 확인되면 작동하거나 동작할 수 있다. 또한, 실시에에 따라, 카메라는 차량용 디스플레이 장치가 켜지는 경우에 함께 작동하거나 동작시킬 수도 있다.
도2는 차량용 계기판에 표시되는 이미지 또는 영상을 설명한다. 구체적으로, (a)는 2차원 평면 이미지 혹은 영상을 표시하는 차량용 계기판을 설명하고, (b)는 3차원 입체 이미지 혹은 영상을 표시하는 차량용 계기판을 설명한다. 운전자 또는 사용자는 자신의 위치에 대응하여 (a) 및 (b)에서 설명하는 2차원 평면 이미지 혹은 영상과 3차원 입체 이미지 혹은 영상 중 하나를 볼 수 있다.
도2의 (a) 및 (b)를 참조하면, 차량용 계기판(Cluster)은 차량의 상태 정보를 표시할 수 있는 적어도 하나의 심볼, 텍스트, 숫자, 또는 이미지를 표시하는 패널, 패널을 통해 표시되는 적어도 하나의 심볼, 텍스트, 숫자, 또는 이미지를 3차원 입체 이미지 또는 2차원 평면 이미지 중 하나로 변환하는 편광 필름, 및 편광 필름을 운전자의 위치에 대응하여 제어하는 제어부를 포함할 수 있다. 여기서 편광 필름은 패널의 상부에 배치될 수 있다. 패널은 3차원 입체 이미지 혹은 영상을 출력할 수 있는데, 패널과 편광 필름은 패시브 방식을 채택한 디스플레이 장치와 유사하게 동작할 수 있다. 하지만, 패시브 방식을 채택한 디스플레이 장치와 달리, 차량용 계기판의 편광 필름은 운전자 또는 사용자의 위치에 대응하여 제어될 수 있는 특징이 있다.
운전자의 위치는 운전자 또는 사용자의 두 눈 사이의 중심점을 기준으로 결정될 수 있다. 이를 위해, 도시되지 않았지만, 차량용 계기판에는 중심점의 위치를 감지하고 모니터링하기 위한 카메라 장치가 더 포함될 수 있다.
실시예에 따라, 3차원 입체 이미지 혹은 영상을 표시할 수 있는 계기판은 카메라로 운전자 얼굴 영상 및 위치 정보 취득하여 운전자의 현재 얼굴 위치를 계산하고, 영상으로부터 취득한 데이터에 기반하여 계기판에 포함된 편광 필름(Barrier)을 운전자에 맞게 조절할 수 있다. 특히, 운전자 또는 사용자의 얼굴 영상을 추적(Tracking)하여 편광 필름(Barrier)을 조정함으로써 3D 입체 이미지 또는 영상을 운전자에 보여줄 수 있다.
도2의 (a) 및 (b)를 참조하면, 차량용 계기판의 출력 모드는 3차원 입체 이미지를 출력하는 제1모드 및 2차원 입체 이미지를 출력하는 제2모드를 포함할 수 있다. 사용자의 위치로서 사용되는 중심점의 위치에 대응하여, 제1모드와 제2모드 사이의 변환이 자동으로 이루어질 수 있다.
도3은 중심점의 위치를 모니터링하는 방법을 설명한다.
도시된 바와 같이, 중심점의 위치를 모니터링하는 방법은 사용자 이미지에서 얼굴전체의 윤곽을 인지하는 단계(12), 윤곽 내에 두 눈의 형태를 인지하는 단계(14), 및 두 눈의 형태의 상기 중간점의 위치를 모니터링하는 단계(16)를 포함할 수 있다.
3차원 입체 이미지 또는 2차원 평면 이미지를 출력하기 위해, 사용자 이미지를 통해 얼굴전체의 윤곽을 인지하면 얼굴 내에 있는 두 눈의 위치를 감지하는 것뿐만 아니라 두 눈 사이의 중간점을 모니터링할 수 있다.
실시예에 따라, 두 눈의 형태의 상기 중간점의 위치를 모니터링하는 단계(16)는 두 눈의 형태가 서로 가장 가까운 위치에 제1포인트와 제2포인트를 지정하는 단계, 및 제1포인트와 제2포인트 사이의 중간을 중간점으로 설정하는 단계를 포함할 수 있다. 사람의 눈의 형태는 크기와 형태의 차이가 있으나, 얼굴 안에서 다른 영역(예, 코, 입 등)과는 분명히 구별될 수 있다. 따라서, 사용자 이미지에서 얼굴 윤곽을 인지한 후 얼굴 내 두 눈의 형태를 인식하면, 두 눈 사이의 거리가 서로에게 가장 가까운 위치를 기준으로 하여, 중간점을 설정할 수 있다.
한편, 보다 정확한 사용자의 눈의 위치를 기준으로 하기 위해서, 실시예에 따라, 두 눈의 형태의 상기 중간점의 위치를 모니터링하는 단계(16)는 두 눈의 형태 각각에서 양 끝단을 인지하는 단계, 두 눈의 형태 각각에서 양 끝단의 중간점을 제1포인트와 제2포인트로 지정하는 단계, 및 제1포인트와 제2포인트 사이의 중간을 중간점으로 설정하는 단계를 포함할 수 있다. 두 눈의 눈동자가 눈의 형태 내 중앙에 위치한다고 가정하는 경우, 이와 같이 결정된 중간점은 보다 정확한 운전자의 시선을 추적할 수도 있다.
도시되지 않았지만, 두 눈의 형태의 중심점의 위치를 모니터링하는 단계(16)는 두 눈의 형태를 연결하는 축의 기울기를 모니터링하는 단계를 더 포함할 수 있다. 축의 기울기를 모니터링하는 이유는 운전자 혹은 사용자가 좌, 우, 상, 하의 방향으로 움직이지 않아도 고개를 기울이거나 주행 중 상태에 따라 운전자 또는 사용자의 시선이 기울어질 수 있다. 사용자의 시선이 기울어지는 경우에도 화면 겹침(cross-talk) 현상이 발생할 수 있기 때문에, 사용자의 시선이 기 설정된 수준 이상으로 기울어지는 경우 3D 입체 영상을 2D 평면 영상으로 조정할 수도 있다.
또한, 두 눈의 형태의 중심점의 위치를 모니터링하는 단계(16)는, 두 눈의 형태가 인지되지 않는 경우, 윤곽을 이용하여 사용자의 데이터로부터 중간점을 추정하는 단계를 더 포함할 수 있다. 운전자 또는 사용자의 헤어 스타일, 안경 착용 유무 등의 이유로 얼굴 윤곽 내 두 눈의 형태를 정확히 감지하기 어려울 수 있다. 이 경우에는 사용자 이미지에서 얼굴 윤곽을 기준으로 중간점을 추정할 수 있다. 운전자 또는 사용자의 이미지를 바탕으로 두 눈의 형태를 인지하기 어려울 때에는 얼굴 윤곽 및 중간점을 산출한 기록을 바탕으로, 얼굴 윤곽(예, 좌우 폭 혹은 턱 등)을 바탕으로 중간점을 추정하여 사용자의 위치를 판단할 수 있다.
예를 들어, 운전자의 얼굴 전체 또는 일부를 가리는 물체가 있거나, 좌/우 눈이 제대로 감지가 안되는 경우 얼굴로 인지된 부위에 학습 데이터 베이스 혹은 사용자의 프로파일 기반으로 얼굴 좌우 길이에 비례하게 가상의 중심점을 만들어 현재 인지된 사용자의 위치로서 사용할 수 있다. 이 경우, 중심점 좌표와 기 설정된 범위(Boundary Condition) 조건과 비교한 값을 이용하여 신뢰 구간 (Confidence Level) 방식을 적용하여 사용자 위치에 대응하는 판단을 할 수 있다. 예를 들어, 신뢰 값이 50% 이하가 되면, 사용자 위치가 3차원 입체 영상을 보기에 적합하지 않은 상황이라고 판단하고 3차원 입체 영상을 2차원 평면 영상으로 변환할 수 있다.
도4는 사용자 이미지에서 중심점을 인지하는 예를 설명한다.
도4의 (a)를 참조하면, 사용자 또는 운전자가 차량에 탑승 후 차량의 전원을 켜는 경우 카메라를 동작 시켜 운전자의 영상 이미지를 추출할 수 있다.
도4의 (b)를 참조하면, 추출된 이미지에서 운전자의 얼굴 윤곽(30)을 감지한 후 얼굴 내 두 눈(32, 34)을 감지 한 후 두 눈(32, 34)의 중앙점(36)을 산출할 수 있다. 이러한 중앙점(36)은 차량용 계기판 혹은 멀티미디어 장치의 편광 필름을 제어하기 위해 사용될 수 있다.
도5는 중심점을 결정하는 방법을 설명한다.
도시된 바와 같이, 두 눈의 형태를 인지하는 경우, 한쪽 눈의 양 끝단(1, 2)과 다른 쪽 눈의 양 끝단(3,4)을 이미지로부터 찾을 수 있다. 이후, 각 눈의 양 끝단의 중간 위치를 결정할 수 있다. 예를 들면, 한쪽 눈의 양 끝단(1,2)의 중간 위치(5)와 다른 쪽 눈의 양 끝단(3,4)의 중간 위치(6)를 산출할 수 있다. 두 중간 위치(5, 6)의 중간 위치를 중간점(7)으로 결정할 수 있다.
한편 실시예에 따라, 사용자 또는 운전자의 두 눈 사이 중간점을 추출하기 위해 왼쪽 눈의 좌우 끝 2 Point와, 오른쪽 눈의 좌우 끝 2 Point를 추출하여 그 중간 지점을 중간점으로 결정할 수 있다.
도6은 표시 장치의 출력 모드 또는 출력 영역을 변경하는 방법을 설명한다.
도시된 바와 같이, 표시 장치의 출력 모드 또는 출력 영역을 변경하는 방법은 중심점의 현재 위치와 이전 위치를 비교하여 위치 변화 값을 연산하는 단계(22) 및 위치 변화 값에 대응하여 표시 장치의 편광 필터의 값을 조정하는 단계(24)를 포함할 수 있다.
3차원(3D) 입체 영상을 출력하기 위해, 표시 장치는 서로 다른 두 이미지를 출력할 수 있고, 표시 장치에 배치된 편광 필터는 사용자의 두 눈에 두 이미지 각각을 전달할 수 있도록 설계될 수 있다.
도7은 2차원(2D) 및 3차원(3D) 이미지 또는 영상의 전환을 설명한다. 구체적으로, (a)는 사용자의 위치가 좌, 우, 상, 하의 범위를 벗어나는 경우를 설명하고, (b)는 사용자의 위치가 기 설정된 범위 내에 존재하더라도 회전 방향의 범위를 벗어나는 경우를 설명한다.
차량용 표시 장치에 배치된 카메라를 통해 사용자 또는 운전자의 위치를 산출하여 도7의 (a) 및 (b)와 같이 하나의 점 형태로 추적할 수 있다. 카메라를 통해 사용자 또는 운전자의 위치를 인지할 수 있는 범위에는 사용자 또는 운전자가 3차원 입체 영상 혹은 이미지를 불편함없이 인지할 수 있는 3D 유지 영역, 및 사용자 또는 운전자가 3차원 입체 영상 혹은 이미지를 화면 겹침(cross-talk) 현상 등의 이유로 불편함을 느낄 수 있어 2차원 평면 영상 혹은 이미지가 제공될 수 있는 2D 전환 영역이 포함될 수 있다.
도7의 (a)를 참조하면, 사용자의 위치가 3D 유지 영역에서 2D 전환 영역으로 이동하거나 그 반대로 이동하는 경우, 차량용 표시 장치는 3D 입체 영상을 2D 평면 영상으로 혹은 그 반대로 조정할 수 있다.
또한, 도7의 (b)를 참조하면, 사용자의 위치가 3D 유지 영역에 머물러 있음에도 두 눈 사이의 축이 기 설정된 범위를 벗어나는 경우에도 경우, 차량용 표시 장치는 3D 입체 영상을 2D 평면 영상으로 혹은 그 반대로 조정할 수 있다.
여기서, 기 설정된 범위는 가로 방향, 세로 방향 및 회전 방향 각각에 대해 개별적으로 설정될 수 있다.
도8은 영상 전환을 위한 방법을 설명한다.
도시된 바와 같이, 표시 장치의 출력 모드를 변경하기 위한 영상 전환을 위한 방법은 현재 위치가 기 설정된 범위를 넘어서면, 편광 필터는 두 이미지 중 하나의 이미지를 차단하는 단계(26), 및 현재 위치가 기 설정된 범위 이내로 진입하면, 편광 필터는 두 이미지 각각을 사용자의 두 눈에 전달되도록 하는 단계(24)를 더 포함할 수 있다. 차량용 표시 장치로부터 출력되는 3D 입체 영상을 2D 평면 영상으로 혹은 그 반대로 조정하기 하기 위해서는 편광 필터를 제어하여 두 눈 중 한쪽 눈에 전달되는 이미지를 차단할 수 있고, 한쪽 눈에 전달되는 이미지가 차단되면 사용자는 2D 평면 영상을 통해 차량용 표시 장치에서 전달되는 정보를 인지할 수 있다.
도9는 사용자의 가로 방향, 세로 방향 움직임에 대한 조건을 설명한다.
도시된 바와 같이, 추출된 중간점 좌표(사용자 위치)가 3차원 입체 이미지 혹은 영상을 출력하는 차량용 계기판(40)의 유효 화각의 범위를 벗어나는 경우(Boundary Condition) 사용자 또는 운전자(38)가 화면 겹침(Cross Talk)에 의해 어지러움이 유발 될 수 있다고 판단하고 3차원(3D) 입체 영상을 2차원(2D) 평면 영상으로 전환할 수 있다.
예를 들어, 도9의 (a)를 참조하면, 사용자 또는 운전자(38)의 위치가 좌, 우 방향으로 이동하는 경우를 설명한다. 사용자 또는 운전자(38)와 차량용 계기판(40)의 거리가 750mm라고 가정할 때, 3차원 입체 영상의 유효 화각이 ±14도인 경우, 사용자 또는 운전자(38)가 좌, 우 방향으로 180mm의 범위 내에서 움직이는 경우, 화면 겹침(Cross Talk)에 의한 어지러움이 크지 않다고 판단할 수 있다. 한편, 사용자 또는 운전자(38)의 움직임을 감지하기 위한 카메라 장치의 감지 영역(예, ±20도)은 3차원 입체 영상의 유효 화각(예, ±14도)보다 클 수 있다.
또한, 도9의 (b)를 참조하면, 사용자 또는 운전자(38)의 위치가 상, 하 방향으로 이동하는 경우를 설명한다. 도7에 설명한 3D 유지 영역 혹은 2D 전환 영역과 같이, 사용자 또는 운전자(38)의 위치의 상, 하 방향의 범위(42)가 설정될 수 있다. 실시예에 따라, 사용자 또는 운전자(38)의 위치가 가운데 위치에서 위로 100mm를 올라간 경우나 아래로 70mm가 내려간 경우에 따라 3차원 입체 영상 혹은 2차원 평면 영상이 출력될 수 있다.
도10은 사용자의 회전 방향 움직임에 대한 조건을 설명한다.
사용자의 위치와 관련하여 두 눈의 사이를 연결한 축, 예를 들어 왼쪽 눈의 좌우 끝 2 Point의 중간 점과 오른쪽 눈의 좌우 끝 2 Point의 중간 점을 연결한 뒤 중간 지점을 기점으로 운전자의 고개의 기울어짐을 감지할 수 있다.
도10의 (a)와 (b)와 같이, 운전자의 고개의 기울어짐이 왼쪽 회전 방향 혹은 오른쪽 회전 방향으로 40도일 수 있으며, 만약 40도가 넘어가는 경우에는 운전자가 화면 겹침(Cross Talk)에 의한 어지러움을 느낄 수 있다고 판단하고 3차원(3D) 입체 영상을 2차원(2D) 평면 영상으로 전환할 수 있다. 여기서, 40도는 하나의 예로서, 차량용 표시 장치의 편광 필름의 성능에 따라 임계값은 달라질 수 있다.
도11은 차량용 표시 장치의 제어 방법의 제2예를 설명한다.
도시된 바와 같이, 차량용 표시 장치의 제어 방법은 시동(40) 이후에 사용자 설정을 확인(42)하여 3D로 동작할지 2D로 동작할지 확인할 수 있다. 3D 동작을 하기 위해 카메라를 동작(ON)시켜(44) 사용자 이미지를 전송한다(46). 전송된 사용자 이미지로부터 사용자 또는 운전자의 얼굴 영역을 검출(Face Detection)하게 된다(48).
이후, 두 눈을 전부 감지한 경우(50)에는 3D 유지 영역에 해당하는 기 설정된 영역 또는 조건(Boundary Condition)을 검사(52)하여 만족하는 경우에 얼굴 기울어짐을 측정한다(54).
예를 들어, 얼굴 기울어짐이 40도 이내인 경우에는 3D 영상 모드를 유지한다(56). 하지만, 두 눈이 검지 되지 않은 경우에는 사용자 데이터 베이스를 통해 가상 혹은 추정의 위치를 산출하고(60), 검출된 좌표가 센터를 중심으로 50% 영역내에 있는 경우(62) 3D 영상 모드를 유지한다(56). 만약 조건을 만족하지 않는 경우에는 3D 영상을 2D 영상으로 전환하게 된다(58).
여기서, 기 설정된 영역 또는 조건은 실제 차량에 탑재된 차량용 표시 장치와 차량 내부 공간의 사양에 따라 조건 범위를 조정할 수 있다.
도12는 차량용 표시 장치의 제어 장치를 설명한다.
도시된 바와 같이, 차량용 표시 장치의 제어 장치는 사용자에게 정보를 제공하기 위한 표시 장치(92), 표시 장치(92)에 대응하는 좌석에 탑승한 사용자에 대한 사용자 이미지를 생성하는 카메라 장치(94),사용자 이미지에서 사용자의 두 눈 사이 중심점을 추출하고 중심점의 위치를 모니터링하는 위치 판단부(96), 및 모니터링된 중심점의 위치에 대응하여 표시 장치(92)의 출력 모드 또는 출력 영역을 변경하는 제어부(98)를 포함할 수 있다.
실시예에 따라, 카메라 장치는 표시 장치의 좌우 방향의 중심 영역에 배치될 수 있다. 하지만, 카메라 장치는 표시 장치(92)의 3차원 입체 영상의 유효 화각보다 넓은 범위를 감지할 필요가 있으며, 이런 경우 카메라 장치의 위치는 차량 내에서 제한되지 않을 수 있다.
한편, 실시예에 따라, 표시 장치는 차량의 계기판(Cluster)일 수 있으며, 사용자는 운전자일 수 있다. 이 경우, 사용자 이미지는 차량용 계기판에 배치된 카메라를 통해 생성될 수 있으며, 차량용 계기판이 차량 시동이 켜지면 동작하듯이 카메라도 함께 동작할 수 있다.
보다 구체적으로, 카메라는 계기판과 좌석의 거리에 대응하여 운전자의 얼굴전체의 윤곽이 이미지에 포함될 수 있는 화각을 가질 수 있다. 또한, 얼굴전체의 윤곽에서 두 눈을 인지하기 위해, 카메라에서 출력되는 이미지는 두 눈 사이가 최소 32~60 픽셀(pixels) 이상이 될 수 있는 해상도를 가질 수 있다. 또한, 카메라 장치에서 출력되는 사용자 이미지에서 얼굴전체는 최소 64 회색조 값(grayscales) 혹은 컬러 값을 가질 수 있다.
한편, 위치 판단부(96)는 사용자 이미지에서 얼굴전체의 윤곽을 인지하고, 윤곽 내에 두 눈의 형태를 인지하며, 두 눈의 형태의 중간점의 위치를 모니터링할 수 있다. 실시예에 따라, 위치 판단부(96)는 두 눈의 형태가 서로 가장 가까운 위치에 제1포인트와 제2포인트를 지정하고, 제1포인트와 제2포인트 사이의 중간을 중간점으로 설정할 수 있다. 또한, 실시예에 따라, 위치 판단부(96)는 두 눈의 형태 각각에서 양 끝단을 인지하고, 두 눈의 형태 각각에서 양 끝단의 중간점을 제1포인트와 제2포인트로 지정하며, 제1포인트와 제2포인트 사이의 중간을 중간점으로 설정할 수도 있다.
또한, 위치 판단부(96)는 운전자의 기울어짐을 판단하기 위해 두 눈의 형태를 연결하는 축의 기울기를 모니터링할 수 있다.
또한, 위치 판단부(96)는 두 눈의 형태가 인지되지 않는 경우, 윤곽을 이용하여 사용자의 데이터로부터 중간점을 추정할 수 있다.
제어부(98)는 중심점의 현재 위치와 이전 위치를 비교하여 위치 변화 값을 연산하고, 위치 변화 값에 대응하여 표시 장치의 편광 필터의 값을 조정할 수 있다. 실시예에 따라, 제어부(98)는 위치 변화값을 지속적으로 연산하는 것이 아니라, 위치값을 기 설정된 좌표 혹은 맵에 대응하여 판단할 수도 있다.
표시 장치(92)는 3차원 입체 영상의 구현을 위해 서로 다른 두 이미지를 출력하고, 편광 필터는 사용자의 두 눈에 두 이미지 각각이 전달되도록 조절될 수 있다.
또한, 제어부(98)는 현재 위치가 기 설정된 범위를 넘어서면, 편광 필터는 두 이미지 중 하나의 이미지를 차단하고, 현재 위치가 기 설정된 범위 이내로 진입하면, 편광 필터는 두 이미지 각각을 사용자의 두 눈에 전달되도록 할 수 있다.
표시 장치는 편광 필터를 이용한 복수의 출력 모드를 가질 수 있다. 예를 들어, 출력 모드는 3차원 입체 이미지를 출력하는 제1모드, 및 2차원 입체 이미지를 출력하는 제2모드를 포함할 수 있다. 여기서, 사용자의 위치에 대응하는 중심점의 위치에 대응하여, 제어부(98)는 제1모드와 제2모드 사이의 전환을 자동으로 수행할 수 있다.
한편, 실시예에 따라, 표시 장치는 사용자에게 멀티미디어 컨텐츠를 제공하기 위한 멀티미디어 장치 또는 사용자에게 지도 정보 또는 주행 경로에 대한 정보를 제공할 수 있는 내비게이션 장치 중 적어도 하나를 포함할 수 있다. 이 경우에도 사용자 이미지는 상기 멀티미디어 장치 또는 상기 내비게이션 장치에 배치된 카메라를 통해 생성될 수 있다. 한편, 카메라는 좌석에 안전벨트가 체결되거나 좌석에 배치된 압력 센서를 통해 사용자의 존재 여부가 확인되면 동작할 수 있다.
종래 기술에서 운전자에게 제공되는 3차원(3D) 입체 영상은 사용자 혹은 운전자의 움직임, 위치 또는 주변 환경이 바뀌는 경우를 고려치 않고 있어, 사용자 혹은 운전자가 보는 화면이 이중으로 보이게 되는 화면 겹침(Cross-Talk) 현상으로 인하여 운전자가 어지러움을 느낄 수 있다. 전술한 실시예를 통하여, 차량의 계기판 혹은 차량용 디스플레이 장치가 사용자 혹은 운전자에게 3차원 입체(3D) 영상을 보여주는 경우에, 카메라를 이용하여 변화되는 운전자의 두 눈 사이의 중간점 혹은 두 눈썹 사이의 미간을 모니터링할 수 있다.
또한, 두 눈 혹은 두 눈썹을 파악하기 여려운 경우, 실시간 모니터링된 값과 기존에 저장되어 있는 다양한 사용자 조건 데이터 베이스와 비교하여 두 값의 차이가 일정 수준의 한계치를 넘어가게 되면 3차원(3D) 입체 영상을 2차원(2D) 평면 영상으로 자동으로 변경할 수 있어 운전자가 어지러움을 느끼지 않게 해 줄 수 있어 상품성 증대 및 주행 안전성을 높일 수 있다.
상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 포함된다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
90: 좌식 센서 88: 안전벨트 장치
92: 표시 장치 94: 카메라 장치
98: 제어부 96: 위치 판단부

Claims (26)

  1. 표시 장치에 대응하는 좌석에 탑승한 사용자에 대한 정보로서 사용자 이미지를 생성하는 단계;
    상기 사용자 이미지에서 상기 사용자의 두 눈 사이 중심점을 추출하고 상기 중심점의 위치를 모니터링하는 단계; 및
    모니터링된 상기 중심점의 위치에 대응하여 상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계를 포함하며,
    상기 중심점의 위치를 모니터링하는 단계는,
    상기 사용자 이미지에서 얼굴전체의 윤곽을 인지하는 단계;
    상기 윤곽 내에 두 눈의 형태를 인지하는 단계;
    상기 두 눈의 형태가 인지되는 경우, 상기 두 눈의 형태의 중간점을 상기 중심점으로 결정하는 단계; 및
    상기 두 눈의 형태가 인지되지 않는 경우, 상기 윤곽을 이용하여 상기 사용자의 기록된 얼굴 윤곽 및 중간점 산출 데이터로부터 상기 중심점을 추정하는 단계
    를 포함하는, 차량용 표시 장치의 제어 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 두 눈의 형태의 상기 중간점을 상기 중심점으로 결정하는 단계는
    상기 두 눈의 형태가 서로 가장 가까운 위치에 제1포인트와 제2포인트를 지정하는 단계; 및
    상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정하는 단계
    를 포함하는, 차량용 표시 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 두 눈의 형태의 상기 중간점을 상기 중심점으로 결정하는 단계는
    상기 두 눈의 형태 각각에서 양 끝단을 인지하는 단계;
    상기 두 눈의 형태 각각에서 상기 양 끝단의 중간점을 제1포인트와 제2포인트로 지정하는 단계; 및
    상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정하는 단계
    를 포함하는, 차량용 표시 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 중심점의 위치를 모니터링하는 단계는
    상기 두 눈의 형태를 연결하는 축의 기울기를 모니터링하는 단계
    를 더 포함하는, 차량용 표시 장치의 제어 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계는
    상기 중심점의 현재 위치와 이전 위치를 비교하여 위치 변화 값을 연산하는 단계; 및
    상기 위치 변화 값에 대응하여 상기 표시 장치의 편광 필터의 값을 조정하는 단계
    를 포함하는, 차량용 표시 장치의 제어 방법.
  8. 제7항에 있어서,
    상기 표시 장치는 서로 다른 두 이미지를 출력하고,
    상기 편광 필터는 상기 사용자의 두 눈에 상기 두 이미지 각각을 전달하는, 차량용 표시 장치의 제어 방법.
  9. 제8항에 있어서,
    상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 단계는
    상기 현재 위치가 기 설정된 범위를 넘어서면, 상기 편광 필터는 상기 두 이미지 중 하나의 이미지를 차단하는 단계; 및
    상기 현재 위치가 기 설정된 범위 이내로 진입하면, 상기 편광 필터는 상기 두 이미지 각각을 상기 사용자의 두 눈에 전달되도록 하는 단계
    를 더 포함하는, 차량용 표시 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 기 설정된 범위는 가로 방향, 세로 방향 및 회전 방향 각각에 대해 개별적으로 설정된, 차량용 표시 장치의 제어 방법.
  11. 제1항에 있어서,
    상기 출력 모드는 3차원 입체 이미지를 출력하는 제1모드; 및 2차원 입체 이미지를 출력하는 제2모드를 포함하고,
    상기 중심점의 위치에 대응하여, 상기 제1모드와 상기 제2모드 사이의 변환이 자동으로 이루어지는, 차량용 표시 장치의 제어 방법.
  12. 사용자에게 정보를 제공하기 위한 표시 장치;
    상기 표시 장치에 대응하는 좌석에 탑승한 사용자에 대한 사용자 이미지를 생성하는 카메라 장치;
    상기 사용자 이미지에서 상기 사용자의 두 눈 사이 중심점을 추출하고 상기 중심점의 위치를 모니터링하는 위치 판단부; 및
    모니터링된 상기 중심점의 위치에 대응하여 상기 표시 장치의 출력 모드 또는 출력 영역을 변경하는 제어부
    를 포함하며,
    상기 위치 판단부는
    상기 사용자 이미지에서 얼굴전체의 윤곽을 인지하며,
    상기 윤곽 내에 두 눈의 형태를 인지하며,
    상기 두 눈의 형태가 인지되는 경우, 상기 두 눈의 형태의 중간점을 상기 중심점으로 결정하며,
    상기 두 눈의 형태가 인지되지 않는 경우, 상기 윤곽을 이용하여 상기 사용자의 기록된 얼굴 윤곽 및 중간점 산출 데이터로부터 상기 중심점을 추정
    하는, 차량용 표시 장치의 제어 장치.
  13. 제12항에 있어서,
    상기 카메라 장치는 상기 표시 장치의 좌우 방향의 중심 영역에 배치되는, 차량용 표시 장치의 제어 장치.
  14. 삭제
  15. 제12항에 있어서,
    상기 위치 판단부는
    상기 두 눈의 형태가 서로 가장 가까운 위치에 제1포인트와 제2포인트를 지정하고,
    상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정하는, 차량용 표시 장치의 제어 장치.
  16. 제12항에 있어서,
    상기 위치 판단부는
    상기 두 눈의 형태 각각에서 양 끝단을 인지하고,
    상기 두 눈의 형태 각각에서 상기 양 끝단의 중간점을 제1포인트와 제2포인트로 지정하며,
    상기 제1포인트와 상기 제2포인트 사이의 중간을 상기 중간점으로 설정하는, 차량용 표시 장치의 제어 장치.
  17. 제12항에 있어서,
    상기 위치 판단부는
    상기 두 눈의 형태를 연결하는 축의 기울기를 모니터링하는, 차량용 표시 장치의 제어 장치.
  18. 삭제
  19. 제12항에 있어서,
    상기 제어부는
    상기 중심점의 현재 위치와 이전 위치를 비교하여 위치 변화 값을 연산하고,
    상기 위치 변화 값에 대응하여 상기 표시 장치의 편광 필터의 값을 조정하는, 차량용 표시 장치의 제어 장치.
  20. 제19항에 있어서,
    상기 표시 장치는 서로 다른 두 이미지를 출력하고,
    상기 편광 필터는 상기 사용자의 두 눈에 상기 두 이미지 각각을 전달하는, 차량용 표시 장치의 제어 장치.
  21. 제20항에 있어서,
    상기 제어부는
    상기 현재 위치가 기 설정된 범위를 넘어서면, 상기 편광 필터는 상기 두 이미지 중 하나의 이미지를 차단하고,
    상기 현재 위치가 기 설정된 범위 이내로 진입하면, 상기 편광 필터는 상기 두 이미지 각각을 상기 사용자의 두 눈에 전달되도록 하는,
    차량용 표시 장치의 제어 장치.
  22. 제12항에 있어서,
    상기 출력 모드는
    3차원 입체 이미지를 출력하는 제1모드; 및
    2차원 입체 이미지를 출력하는 제2모드
    를 포함하는, 차량용 표시 장치의 제어 장치.
  23. 제22항에 있어서,
    상기 중심점의 위치에 대응하여, 상기 제어부는 상기 제1모드와 상기 제2모드 사이의 변환을 자동으로 수행하는, 차량용 표시 장치의 제어 장치
  24. 제22항에 있어서,
    상기 사용자 이미지는 멀티미디어 장치 또는 내비게이션 장치에 배치된 상기 카메라 장치를 통해 생성되며,
    상기 카메라 장치는 상기 좌석에 안전벨트가 체결되거나 상기 좌석에 배치된 압력 센서를 통해 상기 사용자의 존재 여부가 확인되면 동작하는, 차량용 표시 장치의 제어 장치.
  25. 삭제
  26. 삭제
KR1020170175856A 2017-12-20 2017-12-20 차량용 3차원 입체 영상의 제어 방법 및 장치 KR102444666B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170175856A KR102444666B1 (ko) 2017-12-20 2017-12-20 차량용 3차원 입체 영상의 제어 방법 및 장치
US15/995,344 US10778964B2 (en) 2017-12-20 2018-06-01 Method and apparatus for controlling stereoscopic 3D image in vehicle
CN201810844619.9A CN109951697B (zh) 2017-12-20 2018-07-27 用于控制车辆中的立体3d图像的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170175856A KR102444666B1 (ko) 2017-12-20 2017-12-20 차량용 3차원 입체 영상의 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190074471A KR20190074471A (ko) 2019-06-28
KR102444666B1 true KR102444666B1 (ko) 2022-09-19

Family

ID=66815352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170175856A KR102444666B1 (ko) 2017-12-20 2017-12-20 차량용 3차원 입체 영상의 제어 방법 및 장치

Country Status (3)

Country Link
US (1) US10778964B2 (ko)
KR (1) KR102444666B1 (ko)
CN (1) CN109951697B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
KR20220002800A (ko) * 2020-06-30 2022-01-07 현대모비스 주식회사 운전자 부주의 경고 장치 및 방법
US11938817B2 (en) * 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
TWI796856B (zh) * 2021-12-02 2023-03-21 宏碁股份有限公司 減緩3d串擾的方法及3d顯示器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225118A1 (en) * 2007-03-16 2008-09-18 Honda Motor Co., Ltd. On-vehicle emergency call apparatus
US20090304232A1 (en) * 2006-07-14 2009-12-10 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
US20140152926A1 (en) * 2012-12-05 2014-06-05 Nlt Technologies, Ltd. Stereoscopic image display device
US20140192033A1 (en) * 2013-01-07 2014-07-10 Htc Corporation 3d image apparatus and method for displaying images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10242262A1 (de) 2002-09-12 2004-03-25 Daimlerchrysler Ag Stereo-Nachtsichtsystem für Fahrzeuge
JP4788786B2 (ja) 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置,プログラムおよび眠気検出方法
KR101628394B1 (ko) 2010-11-22 2016-06-08 현대자동차주식회사 운전자 시선 거리 추적 방법
KR101888082B1 (ko) * 2011-09-27 2018-09-10 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20140008216A (ko) 2012-07-11 2014-01-21 현대자동차주식회사 차량용 클러스터의 입체영상 구현장치 및 방법
JP2014092965A (ja) 2012-11-05 2014-05-19 Denso Corp 乗員監視装置
KR101386823B1 (ko) 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
KR20150065056A (ko) * 2013-12-04 2015-06-12 삼성디스플레이 주식회사 영상 표시 장치
JP6248208B2 (ja) * 2014-02-04 2017-12-13 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 視線方向を決定するための3d画像分析装置
KR101563976B1 (ko) 2014-03-03 2015-10-28 한국과학기술원 크로스톡 인지도를 기초로 한 크로스톡 저감 방법
US9858855B2 (en) * 2014-06-05 2018-01-02 International Business Machines Corporation Wearable display device
KR102199610B1 (ko) * 2014-09-03 2021-01-08 엘지디스플레이 주식회사 영상 표시 장치
US10664686B2 (en) * 2014-11-04 2020-05-26 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
KR102463169B1 (ko) * 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
KR20170103708A (ko) 2017-03-25 2017-09-13 이영종 파장에 따라 빛을 선택적으로 산란시키는 나노 입자가 첨가 혹은 코팅된 유리를 이용한 차량용 나이트비젼 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304232A1 (en) * 2006-07-14 2009-12-10 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
US20080225118A1 (en) * 2007-03-16 2008-09-18 Honda Motor Co., Ltd. On-vehicle emergency call apparatus
US20140152926A1 (en) * 2012-12-05 2014-06-05 Nlt Technologies, Ltd. Stereoscopic image display device
US20140192033A1 (en) * 2013-01-07 2014-07-10 Htc Corporation 3d image apparatus and method for displaying images

Also Published As

Publication number Publication date
US10778964B2 (en) 2020-09-15
US20190191149A1 (en) 2019-06-20
CN109951697A (zh) 2019-06-28
KR20190074471A (ko) 2019-06-28
CN109951697B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
KR102444666B1 (ko) 차량용 3차원 입체 영상의 제어 방법 및 장치
EP2914002B1 (en) Virtual see-through instrument cluster with live video
US10868976B2 (en) Method for operating smartglasses in a motor vehicle, and system comprising smartglasses
JP5874920B2 (ja) 車両周囲確認用モニター装置
KR101154018B1 (ko) 차량의 미러 각도 자동 조정 시스템 및 방법
CN105988220B (zh) 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
JP2015210297A (ja) 立体画像表示装置,立体画像表示方法,及び立体画像表示プログラム
US20190143815A1 (en) Drive assist device and drive assist method
WO2005088970A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
KR20120067854A (ko) 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
CN111267616A (zh) 一种车载抬头显示模块、方法及车辆
CN107272194A (zh) 抬头显示装置及其方法
US20230059458A1 (en) Immersive displays
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
US20210392318A1 (en) Gaze tracking apparatus and systems
US20190213933A1 (en) Head mounted display
CN115223231A (zh) 视线方向检测方法和装置
JP2007047735A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2019064407A (ja) 運転支援装置及び運転支援方法
JPH06235885A (ja) 立体映像表示装置
WO2023048213A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
KR101786581B1 (ko) 헤드업 디스플레이의 표시 제어 장치
WO2022230995A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP6677387B2 (ja) 立体画像表示装置及び立体画像表示方法
US20220049947A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant