KR102540918B1 - 차량의 사용자 영상 처리 장치 및 그 방법 - Google Patents

차량의 사용자 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR102540918B1
KR102540918B1 KR1020170172180A KR20170172180A KR102540918B1 KR 102540918 B1 KR102540918 B1 KR 102540918B1 KR 1020170172180 A KR1020170172180 A KR 1020170172180A KR 20170172180 A KR20170172180 A KR 20170172180A KR 102540918 B1 KR102540918 B1 KR 102540918B1
Authority
KR
South Korea
Prior art keywords
user
image
distance
camera
image frame
Prior art date
Application number
KR1020170172180A
Other languages
English (en)
Other versions
KR20190071280A (ko
Inventor
이병준
윤유진
류성숙
이활리
김삼용
김진권
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170172180A priority Critical patent/KR102540918B1/ko
Publication of KR20190071280A publication Critical patent/KR20190071280A/ko
Application granted granted Critical
Publication of KR102540918B1 publication Critical patent/KR102540918B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치는 조향휠의 소정 영역에 배치되고, 상기 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득하는 카메라, 및 상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하고, 상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리에 대응되는 베이스라인을 산출하고, 상기 베이스라인, 상기 제 1 이미지 프레임 및 제 2 이미지 프레임 간의 시차(disparity) 정보 및 상기 카메라의 초점거리를 이용하여 카메라-아이포인트 거리를 산출하고, 상기 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 컨트롤러를 포함할 수 있다.

Description

차량의 사용자 영상 처리 장치 및 그 방법{APPARATUS AND METHOD FOR PROCESSING USER IMAGE OF VEHICLE}
본 발명은 차량의 사용자 영상 처리 장치 및 그 방법에 관한 것이다.
운전자의 얼굴 위치를 검출하기 위한 일반적인 기술들은 2개 이상의 카메라(ex. 스테레오 카메라)를 사용하여 3D 이미지를 생성하고 생성된 3D 이미지를 이용하는 방식과 거리 인식을 위한 별도의 센서를 이용하여 ToF(Time Of Flight)를 측정하는 방식이 있다.
그러나 이러한 일반적인 기술들은 2개 이상의 카메라 또는 별도의 센서가 필요하므로 차량 탑재시 비용이 증가되는 문제가 있고, 얼굴 위치 검출을 위한 장치의 소형화 측면에서도 어려움이 있다.
본 발명의 일 목적은 사용자의 단안 카메라를 사용하여 실제 눈간 거리를 산출하고, 산출된 사용자의 실제 눈간 거리를 이용하여 카메라로부터 사용자 얼굴까지의 거리를 산출할 수 있는 차량의 사용자 영상 처리 장치 및 그 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치는 조향휠의 소정 영역에 배치되고, 상기 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득하는 카메라, 및 상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하고, 상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리에 대응되는 베이스라인을 산출하고, 상기 베이스라인 및 상기 제 1 이미지 프레임과 제 2 이미지 프레임 간의 시차(disparity) 정보를 이용하여 카메라-아이포인트 거리를 산출하고, 상기 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 컨트롤러를 포함할 수 있다.
일 실시예에서, 상기 컨트롤러는 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임을 이용하여 사용자의 이미지 상 눈간 거리 및 아이 포인트를 산출할 수 있다
일 실시예에서, 상기 아이 포인트는 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임에서 검출되는 상기 사용자의 두 눈의 중간 위치로 정의될 수 있다.
일 실시예에서, 상기 컨트롤러는 상기 복수의 이미지 프레임 중 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량을 이용하여 상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임을 추출할 수 있다.
일 실시예에서, 상기 컨트롤러는 상기 복수의 이미지 프레임 중 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량이 기준 변화량 이하이면서 변화량이 최소가되는 이미지 프레임들을 상기 제 1 이미지 프레임 및 제 2 이미지 프레임으로 추출할 수 있다.
일 실시예에서, 상기 컨트롤러는 상기 조향휠의 변화각과 상기 조향휠의 축거리를 이용하여 상기 베이스라인을 산출할 수 있다.
일 실시예에서, 상기 컨트롤러는 하기의 수학식 1을 이용하여 상기 사용자의 실제 눈간 거리를 산출할 수 있다.
[수학식 1]
Figure 112017124740954-pat00001
여기서, Yc는 사용자의 실제 눈간 거리, f는 카메라의 초점 거리, yi는 이미지 상 눈간 거리, Zc는 카메라-아이포인트 거리를 나타냄.
본 발명의 일 실시예에 따른 차량의 영상 처리 방법은 조향휠의 소정 영역에 배치된 카메라를 통해 상기 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득하는 단계, 상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계, 상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리에 대응되는 베이스라인을 산출하는 단계, 상기 베이스라인 및 상기 제 1 이미지 프레임과 제 2 이미지 프레임 간의 시차(disparity) 정보를 이용하여 카메라-아이포인트 거리를 산출하는 단계, 및 상기 산출된 카메라-아이포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임을 이용하여 사용자의 이미지 상 눈간 거리 및 아이 포인트를 산출하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 아이 포인트는 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임에서 검출되는 상기 사용자의 두 눈의 중간 위치로 정의될 수 있다.
일 실시예에서, 상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계는 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량을 이용하여 상기 복수의 이미지 프레임 중 상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임을 추출할 수 있다.
일 실시예에서, 상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계는 상기 복수의 이미지 프레임 중 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량이 기준 변화량 이하이면서 변화량이 최소가되는 이미지 프레임들을 상기 제 1 이미지 프레임 및 제 2 이미지 프레임으로 추출할 수 있다.
일 실시예에서, 상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리인 베이스라인을 산출하는 단계는 상기 조향휠의 변화각과 상기 조향휠의 축거리를 이용하여 상기 베이스라인을 산출할 수 있다.
일 실시예에서, 상기 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 단계는 하기의 수학식 1을 이용하여 상기 사용자의 실제 눈간 거리를 산출할 수 있다.
[수학식 1]
Figure 112017124740954-pat00002
여기서, Yc는 사용자의 실제 눈간 거리, f는 카메라의 초점 거리, yi는 이미지 상 눈간 거리, Zc는 카메라-아이포인트 거리를 나타냄.
본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치 및 그 방법은 단안 카메라를 사용하여 사용자의 실제 눈간 거리를 산출하고, 산출된 사용자의 실제 눈간 거리를 이용하여 카메라로부터 사용자 얼굴까지의 거리를 산출할 수 있다.
본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치 및 그 방법은 상출된 카메라로부터 사용자 얼굴까지의 거리를 HUD 각도 조절, 헤드레스트 각도 조절, 조향휠 위치/각도 조절, 시트 포지션 조절 등에 이용할 수 있으므로 스테레오 카메라를 사용하는 경우 대비 비용을 절감할 수 있고, 차량의 상품성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치의 카메라의 배치 및 동작을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치의 컨트롤러의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 방법을 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 방법을 실행하는 컴퓨팅 시스템을 보여준다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치를 보여주는 블록도이다. 도 2는 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치의 카메라의 배치 및 동작을 설명하기 위한 도면이다. 도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치의 컨트롤러의 동작을 설명하기 위한 도면이다.
도 1 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 장치(100)는 카메라(110) 및 컨트롤러(120)를 포함할 수 있다.
카메라(110)는 사용자 얼굴 영역을 촬영할 수 있다. 예를 들어, 사용자는 차량의 운전석에 착석하는 운전자일 수 있다. 카메라(110)는 사용자 얼굴 영역을 촬영할 수 있도록 조향휠의 소정 영역에 배치될 수 있다. 카메라(110)는 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영할 수 있다. 예를 들어, 조향휠이 이동하는 경우는 사용자의 조작에 따라 또는 사용자의 조향휠 위치 설정값에 따라 자동적으로 조향휠의 위치가 제어되는 경우를 포함할 수 있다.
카메라(110)는 조향휠의 이동에 따라 함께 이동될 수 있다. 카메라(110)는 조향휠에 따라 이동되는 경우 연속적으로 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득할 수 있다. 예를 들어, 카메라(110) 는 30 fps 또는 60 fps의 속도로 사용자 얼굴 영역을 촬영할 수 있으나, 이에 한정되는 것은 아니다. 카메라(110)는 획득된 복수의 이미지 프레임들을 컨트롤러(120)에 전달할 수 있다.
컨트롤러(120)는 복수의 이미지 프레임을 처리할 수 있다. 예를 들어, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴 영역의 변화량을 기준으로 제 1 이미지 프레임(210, 도 3 참조) 및 제 2 이미지 프레임(220, 도 3 참조)을 추출할 수 있다. 여기서, 제 1 이미지 프레임(210)은 카메라(110)의 제 1 위치(300, 도 3 참조)에서 촬영된 이미지 프레임일 수 있고, 제 2 이미지 프레임(220)은 카메라(110)의 제 2 위치(400, 도 3 참조)에서 촬영된 이미지 프레임일 수 있다.
예를 들어, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴의 크기 변화량, 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 사용자 얼굴의 각도 변화량을 이용하여 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)을 추출할 수 있다. 상기 변화량들은 카메라(110)의 촬영 위치 변화에 의해 발생될 수 있다. 구체적으로, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴의 크기 변화량이 기준 변화량 이하이면서 변화량이 최소가 되는 이미지 프레임들을 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)으로 추출할 수 있다. 상기 기준 변화량은 사용자에 의해 미리 설정될 수 있다. 또한, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량이 기준 변화량 이하이면서 변화량이 최소가 되는 이미지 프레임들을 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)으로 추출할 수 있다. 또한, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴의 각도 변화량이 기준 변화량 이하이면서 변화량이 최소가 되는 이미지 프레임들을 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)으로 추출할 수 있다.
컨트롤러(120)는 조향휠의 변화각(a, 도 2 및 도 3 참조)과 조향휠의 축거리(l, 도 2 참조)를 이용하여 베이스라인(b, 도 2 참조)을 산출할 수 있다. 예를 들어, 베이스라인(b)은 제 1 위치(300, 도 3 참조) 및 제 2 위치(400, 도 3 참조) 사이의 직선 거리로 정의될 수 있다. 예를 들어, 조향휠은 축거리(l)를 회전축으로하여 변화각(a)만큼 호를 그리면서 회전할 수 있으나, 일반적으로 조향휠의 회전각은 크기가 매우 작으므로 조향휠의 변화각(a) 만큼의 회전에 의해 정의되는 호의 길이와 제 1 위치(300) 및 제 2 위치(400) 사이의 직선거리는 실질적으로 동일한 것으로 가정될 수 있다.
컨트롤러(120)는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220)을 이용하여 사용자의 이미지 상 눈간 거리를 산출할 수 있다. 도 4를 참조하면, 컨트롤러(120)는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220) 상의 사용자 얼굴 영역에서 눈 영역들을 검출하고, 검출된 눈 영역들에서 눈동자 중심 사이의 거리를 산출함으로써 사용자의 이미지 상 눈간 거리(yi)를 산출할 수 있다.
컨트롤러(120)는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220)을 이용하여 아이 포인트를 산출할 수 있다. 예를 들어, 아이 포인트는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220)에서 검출되는 사용자의 두 눈의 중간 위치로 정의될 수 있다. 예를 들어, 아이 포인트는 2차원 좌표값으로 정의될 수 있다.
컨트롤러(120)는 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220) 간의 시차 정보를 이용하여 카메라-아이 포인트 거리를 산출할 수 있다. 여기서, 카메라-아이 포인트 거리는 카메라(110)와 사용자의 이미지 상의 아이 포인트 사이의 거리를 의미할 수 있다. 예를 들어, 컨트롤러(120)는 스테레오 영상에서 시차(disparity) 정보를 산출하는 방법을 이용하여 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220) 간의 시차 정보를 산출할 수 있다. 그리고, 컨트롤러(120)는 산출된 시차 정보와, 베이스라인(b)을 이용하여 카메라-아이 포인트 거리를 산출할 수 있다. 또는 컨트롤러(120)는 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)의 적어도 어느 하나의 특징점을 검출하고, 각 특징점에 대응되는 픽셀들의 시차 정보와 베이스라인(b)을 이용하여 카메라-아이 포인트 거리를 산출할 수 있다.
컨트롤러(120)는 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 카메라의 초점 거리를 이용하여 사용자의 실제 눈간 거리를 산출할 수 있다. 예를 들어, 컨트롤러(120)는 하기의 수학식 1을 이용하여 사용자의 실제 눈간 거리를 산출할 수 있다.
[수학식 1]
Figure 112017124740954-pat00003
여기서, Yc는 사용자의 실제 눈간 거리, f는 카메라의 초점 거리, yi는 이미지 상 눈간 거리, Zc는 카메라-아이 포인트 거리를 나타낸다.
상술한 바와 같이, 컨트롤러(120)는 단일의 카메라(110)를 이용하여 사용자의 얼굴 영역을 촬영하여 획득된 이미지 프레임들과, 스테레오 영상 처리 기법을 적절히 이용하여 사용자의 실제 눈간 거리를 산출할 수 있다. 컨트롤러(120)는 사용자의 실제 눈간 거리 값과, 추가적으로 사용자의 얼굴 영역을 촬영하여 획득되는 이미지 프레임에서 산출되는 눈간 거리를 이용하여 카메라와 사용자의 얼굴 사이의 거리(즉, 카메라와 사용자의 아이 포인트 사이의 거리(Zc))를 정확히 산출할 수 있다. 나아가, 컨트롤러(120)는 산출된 카메라와 사용자의 얼굴 사이의 거리를 사용자의 시인성을 높이기 위한 HUD 각도 조절, 헤드레스트 각도 조절, 조향휠 위치/각도 조절, 시트 포지션 조절에 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 방법을 보여주는 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 방법은 조향휠의 소정 영역에 배치된 카메라를 통해 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득하는 단계(S110), 복수의 이미지 프레임 중 사용자 얼굴 영역의 변화량을 기준으로 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계(S120), 조향휠의 변화각을 이용하여 제 1 위치 및 제 2 위치 사이의 직선 거리에 대응되는 베이스라인을 산출하는 단계(S130), 제 1 이미지 프레임 또는 제 2 이미지 프레임을 이용하여 사용자의 이미지 상 눈간 거리 및 아이 포인트를 산출하는 단계(S140), 베이스라인과 제 1 이미지 프레임 및 제 2 이미지 프레임 간의 시차(disparity) 정보를 이용하여 카메라-아이포인트 거리를 산출하는 단계(S150), 및 산출된 카메라-아이포인트 거리, 이미지 상 눈간 거리 및 카메라의 초점 거리를 이용하여 사용자의 실제 눈간 거리를 산출하는 단계(S160)를 포함할 수 있다.
이하에서 상기 S110 단계 내지 S160 단계가 도 1 내지 도 4를 참조하여 구체적으로 설명될 것이다.
S110 단계에서, 카메라(110)는 사용자 얼굴 영역을 촬영할 수 있다. 카메라(110)는 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영할 수 있다. 카메라(110)는 조향휠에 따라 이동되는 경우 연속적으로 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득할 수 있다. 예를 들어, 카메라(110) 는 30 fps 또는 60 fps의 속도로 사용자 얼굴 영역을 촬영할 수 있으나, 이에 한정되는 것은 아니다. 카메라(110)는 획득된 복수의 이미지 프레임들을 컨트롤러(120)에 전달할 수 있다.
S120 단계에서, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴 영역의 변화량을 기준으로 제 1 이미지 프레임(210, 도 3 참조) 및 제 2 이미지 프레임(220, 도 3 참조)을 추출할 수 있다. 여기서, 제 1 이미지 프레임(210)은 카메라(110)의 제 1 위치에서 촬영된 이미지 프레임일 수 있고, 제 2 이미지 프레임(220)은 카메라(110)의 제 2 위치에서 촬영된 이미지 프레임일 수 있다.
예를 들어, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴의 크기 변화량, 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 사용자 얼굴의 각도 변화량을 이용하여 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)을 추출할 수 있다. 상기 변화량들은 카메라(110)의 촬영 위치 변화에 의해 발생될 수 있다. 구체적으로, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴의 크기 변화량이 기준 변화량 이하이면서 변화량이 최소가 되는 이미지 프레임들을 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)으로 추출할 수 있다. 상기 기준 변화량은 사용자에 의해 미리 설정될 수 있다. 또한, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량이 기준 변화량 이하이면서 변화량이 최소가 되는 이미지 프레임들을 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)으로 추출할 수 있다. 또한, 컨트롤러(120)는 복수의 이미지 프레임 중 사용자 얼굴의 각도 변화량이 기준 변화량 이하이면서 변화량이 최소가 되는 이미지 프레임들을 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220)으로 추출할 수 있다.
S130 단계에서, 컨트롤러(120)는 조향휠의 변화각(a, 도 2 및 도 3 참조)과 조향휠의 축거리(l, 도 2 참조)를 이용하여 베이스라인(b, 도 2 참조)을 산출할 수 있다. 예를 들어, 베이스라인(b)은 제 1 위치(300, 도 3 참조) 및 제 2 위치(400, 도 3 참조) 사이의 직선 거리로 정의될 수 있다.
S140 단계에서, 컨트롤러(120)는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220)을 이용하여 사용자의 이미지 상 눈간 거리를 산출할 수 있다. 도 4를 참조하면, 컨트롤러(120)는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220) 상의 사용자 얼굴 영역에서 눈 영역들을 검출하고, 검출된 눈 영역들에서 눈동자 중심 사이의 거리를 산출함으로써 사용자의 이미지 상 눈간 거리(yi)를 산출할 수 있다. 또한, 컨트롤러(120)는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220)을 이용하여 아이 포인트를 산출할 수 있다. 예를 들어, 아이 포인트는 제 1 이미지 프레임(210) 또는 제 2 이미지 프레임(220)에서 검출되는 사용자의 두 눈의 중간 위치로 정의될 수 있다. 예를 들어, 아이 포인트는 2차원 좌표값으로 정의될 수 있다.
S150 단계에서, 컨트롤러(120)는 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220) 간의 시차 정보를 이용하여 카메라-아이 포인트 거리를 산출할 수 있다. 여기서, 카메라-아이 포인트 거리는 카메라(110)와 사용자의 이미지 상의 아이 포인트 사이의 거리를 의미할 수 있다. 예를 들어, 컨트롤러(120)는 스테레오 영상에서 시차(disparity) 정보를 산출하는 방법을 이용하여 제 1 이미지 프레임(210) 및 제 2 이미지 프레임(220) 간의 시차 정보를 산출할 수 있다. 그리고, 컨트롤러(120)는 산출된 시차 정보와, 베이스라인(b)을 이용하여 카메라-아이 포인트 거리를 산출할 수 있다.
S160 단계에서, 컨트롤러(120)는 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 카메라의 초점 거리를 이용하여 사용자의 실제 눈간 거리를 산출할 수 있다. 예를 들어, 컨트롤러(120)는 하기의 수학식 1을 이용하여 사용자의 실제 눈간 거리를 산출할 수 있다.
[수학식 1]
Figure 112017124740954-pat00004
여기서, Yc는 사용자의 실제 눈간 거리, f는 카메라의 초점 거리, yi는 이미지 상 눈간 거리, Zc는 카메라-아이 포인트 거리를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 방법을 실행하는 컴퓨팅 시스템을 보여준다.
도 6을 참조하면, 상술한 본 발명의 일 실시예에 따른 차량의 사용자 영상 처리 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량의 사용자 영상 처리 장치
110: 카메라
120: 컨트롤러
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스

Claims (14)

  1. 조향휠의 소정 영역에 배치되고, 상기 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득하는 카메라; 및
    상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하고, 상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리에 대응되는 베이스라인을 산출하고, 상기 베이스라인 및 상기 제 1 이미지 프레임과 제 2 이미지 프레임 간의 시차(disparity) 정보를 이용하여 카메라-아이포인트 거리를 산출하고, 상기 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 컨트롤러를 포함하는 차량의 사용자 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 컨트롤러는 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임을 이용하여 사용자의 이미지 상 눈간 거리 및 아이 포인트를 산출하는 것을 특징으로 하는 차량의 사용자 영상 처리 장치.
  3. 제 2 항에 있어서,
    상기 아이 포인트는 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임에서 검출되는 상기 사용자의 두 눈의 중간 위치로 정의되는 것을 특징으로 하는 차량의 사용자 영상 처리 장치.
  4. 제 1 항에 있어서,
    상기 컨트롤러는 상기 복수의 이미지 프레임 중 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량을 이용하여 상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임을 추출하는 것을 특징으로 하는 차량의 사용자 영상 처리 장치.
  5. 제 4 항에 있어서,
    상기 컨트롤러는 상기 복수의 이미지 프레임 중 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량이 기준 변화량 이하이면서 변화량이 최소가되는 이미지 프레임들을 상기 제 1 이미지 프레임 및 제 2 이미지 프레임으로 추출하는 것을 특징으로 하는 차량의 사용자 영상 처리 장치.
  6. 제 1 항에 있어서,
    상기 컨트롤러는 상기 조향휠의 변화각과 상기 조향휠의 축거리를 이용하여 상기 베이스라인을 산출하는 것을 특징으로 하는 차량의 사용자 영상 처리 장치.
  7. 제 1 항에 있어서,
    상기 컨트롤러는 하기의 수학식 1을 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 것을 특징으로 하는 차량의 사용자 영상 처리 장치.
    [수학식 1]
    Figure 112017124740954-pat00005

    여기서, Yc는 사용자의 실제 눈간 거리, f는 카메라의 초점 거리, yi는 이미지 상 눈간 거리, Zc는 카메라-아이포인트 거리를 나타냄.
  8. 조향휠의 소정 영역에 배치된 카메라를 통해 상기 조향휠이 이동하는 경우 사용자 얼굴 영역을 촬영하여 복수의 이미지 프레임을 획득하는 단계;
    상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계;
    상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리에 대응되는 베이스라인을 산출하는 단계;
    상기 베이스라인 및 상기 제 1 이미지 프레임과 제 2 이미지 프레임 간의 시차(disparity) 정보를 이용하여 카메라-아이포인트 거리를 산출하는 단계; 및
    상기 산출된 카메라-아이포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 단계를 포함하는 차량의 사용자 영상 처리 방법.
  9. 제 8 항에 있어서,
    상기 제 1 이미지 프레임 또는 제 2 이미지 프레임을 이용하여 사용자의 이미지 상 눈간 거리 및 아이 포인트를 산출하는 단계를 더 포함하는 것을 특징으로 하는 차량의 사용자 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 아이 포인트는 상기 제 1 이미지 프레임 또는 제 2 이미지 프레임에서 검출되는 상기 사용자의 두 눈의 중간 위치로 정의되는 것을 특징으로 하는 차량의 사용자 영상 처리 방법.
  11. 제 8 항에 있어서,
    상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계는 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량을 이용하여 상기 복수의 이미지 프레임 중 상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임을 추출하는 것을 특징으로 하는 차량의 사용자 영상 처리 방법.
  12. 제 11 항에 있어서,
    상기 복수의 이미지 프레임 중 상기 카메라의 제 1 위치에서 촬영된 제 1 이미지 프레임 및 상기 카메라의 제 2 위치에서 촬영된 제 2 이미지 프레임을 추출하는 단계는 상기 복수의 이미지 프레임 중 상기 사용자 얼굴의 크기 변화량, 상기 사용자 얼굴 영역에 포함된 신체 기관들 사이의 거리 변화량 또는 상기 사용자 얼굴의 각도 변화량이 기준 변화량 이하이면서 변화량이 최소가되는 이미지 프레임들을 상기 제 1 이미지 프레임 및 제 2 이미지 프레임으로 추출하는 것을 특징으로 하는 차량의 사용자 영상 처리 방법.
  13. 제 8 항에 있어서,
    상기 조향휠의 변화각을 이용하여 상기 제 1 위치 및 제 2 위치 사이의 직선 거리인 베이스라인을 산출하는 단계는 상기 조향휠의 변화각과 상기 조향휠의 축거리를 이용하여 상기 베이스라인을 산출하는 것을 특징으로 하는 차량의 사용자 영상 처리 방법.
  14. 제 8 항에 있어서,
    상기 산출된 카메라-아이 포인트 거리, 이미지 상 눈간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 단계는 하기의 수학식 1을 이용하여 상기 사용자의 실제 눈간 거리를 산출하는 것을 특징으로 하는 차량의 사용자 영상 처리 방법.
    [수학식 1]
    Figure 112017124740954-pat00006

    여기서, Yc는 사용자의 실제 눈간 거리, f는 카메라의 초점 거리, yi는 이미지 상 눈간 거리, Zc는 카메라-아이포인트 거리를 나타냄.
KR1020170172180A 2017-12-14 2017-12-14 차량의 사용자 영상 처리 장치 및 그 방법 KR102540918B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170172180A KR102540918B1 (ko) 2017-12-14 2017-12-14 차량의 사용자 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170172180A KR102540918B1 (ko) 2017-12-14 2017-12-14 차량의 사용자 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190071280A KR20190071280A (ko) 2019-06-24
KR102540918B1 true KR102540918B1 (ko) 2023-06-07

Family

ID=67056186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170172180A KR102540918B1 (ko) 2017-12-14 2017-12-14 차량의 사용자 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102540918B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065337B1 (ko) * 2019-07-19 2020-01-14 대한민국 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
EP3882810B1 (en) * 2020-03-16 2023-06-07 Carl Zeiss Vision International GmbH Computer implemented methods and devices for determining dimensions and distances of head features

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017503276A (ja) 2014-01-02 2017-01-26 イリテック インコーポレイテッド 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法
KR101991094B1 (ko) 2018-04-23 2019-06-19 주식회사 울프슨랩 거리 측정 방법, 거리 측정 장치, 컴퓨터 프로그램 및 기록매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025836A1 (en) * 2008-03-18 2011-02-03 Satoshi Tamaki Driver monitoring apparatus, driver monitoring method, and vehicle
KR102319437B1 (ko) * 2016-11-14 2021-11-01 삼성전자주식회사 거리 결정 방법 및 디바이스

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017503276A (ja) 2014-01-02 2017-01-26 イリテック インコーポレイテッド 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法
KR101991094B1 (ko) 2018-04-23 2019-06-19 주식회사 울프슨랩 거리 측정 방법, 거리 측정 장치, 컴퓨터 프로그램 및 기록매체

Also Published As

Publication number Publication date
KR20190071280A (ko) 2019-06-24

Similar Documents

Publication Publication Date Title
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
CN107945105B (zh) 背景虚化处理方法、装置及设备
US20130314511A1 (en) Image capture device controlled according to image capture quality and related image capture method thereof
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
TWI398720B (zh) 影像擷取方法與裝置
JP6739672B2 (ja) 体格推定装置および体格推定方法
US20190051010A1 (en) Spatial positioning device and positioning processing method and device
US11034305B2 (en) Image processing device, image display system, and image processing method
US8965105B2 (en) Image processing device and method
JP6694234B2 (ja) 距離測定装置
WO2014208052A1 (en) Image processing apparatus, image processing method, and program
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102540918B1 (ko) 차량의 사용자 영상 처리 장치 및 그 방법
US9807340B2 (en) Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
JP2015179499A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6406044B2 (ja) カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
US9830512B2 (en) Method and apparatus for tracking gaze
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
JP2009287936A (ja) 運転者眼球位置検出装置
WO2018235256A1 (ja) ステレオ計測装置及びシステム
EP3496390B1 (en) Information processing device, information processing method, and storage medium
KR101995985B1 (ko) 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치
JP2014134723A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant