KR100961906B1 - 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치 - Google Patents

안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치 Download PDF

Info

Publication number
KR100961906B1
KR100961906B1 KR1020090004166A KR20090004166A KR100961906B1 KR 100961906 B1 KR100961906 B1 KR 100961906B1 KR 1020090004166 A KR1020090004166 A KR 1020090004166A KR 20090004166 A KR20090004166 A KR 20090004166A KR 100961906 B1 KR100961906 B1 KR 100961906B1
Authority
KR
South Korea
Prior art keywords
rearview mirror
driver
image
angle
space
Prior art date
Application number
KR1020090004166A
Other languages
English (en)
Inventor
김학일
박기원
장지현
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020090004166A priority Critical patent/KR100961906B1/ko
Application granted granted Critical
Publication of KR100961906B1 publication Critical patent/KR100961906B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치에 관한 것으로, 해결하고자 하는 기술적 과제는 백미러에 비친 운전자의 안면을 촬영하고 운전자의 공간 위치를 파악함으로서 각 운전자에 대응하는 최적의 백미러 각도를 계산하는 백미러의 자동 제어 방법 및 장치를 제공하는데 있다.
이를 위해 본 발명은 자동차 내부에 설치된 카메라를 통해 백미러에 비친 운전자의 안면을 촬영하는 영상 입력 단계와, 상기 영상 입력 단계를 통해 촬영된 영상의 왜곡을 보정하는 영상 왜곡 보정 단계와, 상기 영상 왜곡 보정 단계를 통해 보정된 영상으로부터 운전자의 입술 위치를 파악하는 입술 위치 파악 단계와, 상기 입술 위치 파악 단계를 통해 파악된 운전자의 입술 위치를 통하여 운전자의 공간 위치를 파악하는 운전자 공간 위치 파악 단계와, 상기 운전자 공간 위치 파악 단계를 통해 파악된 운전자의 공간 위치에서 운전자가 백미러를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 산출하는 백미러 보정각도 계산 단계를 포함하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법을 개시한다.
안면인식, 자동차, 백미러, CCD 카메라, 후방 시야

Description

안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치{AUTOMATIC CONTROL METHOD AND DEVICE FOR CAR REAR VIEW MIRROR USING FACE DETECTION}
본 발명은 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치에 관한 것으로서, 백미러에 비친 운전자의 안면을 촬영하고 운전자의 공간 위치를 파악함으로서 각 운전자에 대응하는 최적의 백미러 각도를 계산하는 백미러의 자동 제어 방법 및 장치에 관한 것이다.
교통사고를 예방하기 위해서는 자동차 백미러의 최적 시야를 보장하도록 조정하는 것은 매우 중요하다. 따라서, 운전자가 운전석에 앉으면 제일 먼저 하는 일은 시트와 백미러를 조정하는 일이다. 운전자의 체형에 맞게 시트를 조정하고 백미러를 조정하는 일은 본인만 차량을 운전하는 경우는 한번 맞추어 놓고 차후 조정하는 일이 없다. 하지만, 여러 사람이 운전하는 차량의 경우 운전자가 탑승할 때마다 조정을 해주어야 한다. 특히, 백미러의 경우 최적의 시야가 확보되지 않으면 사고의 위험이 따를 수 있기 때문에 정확한 백미러의 조정이 안전 운전에 큰 도움을 줄 수 있다.
종래에는 운전자에 따라 조정되어야 하는 시트, 백미러에 관한 정보를 미리 메모리에 저장해두었다가, 나중에 이를 불러오는 방법으로 운전자 체형에 맞게 백미러를 조정하였다. 그러나, 상기 메모리에 저장되지 않은 운전자의 경우 탑승시 백미러를 다시 조정해야하는 문제점이 있었다.
본 발명은 상기한 바와 같은 과제를 해결하기 위해 안출된 것으로, 해결하고자 하는 기술적 과제는 백미러에 비친 운전자의 안면을 촬영하고, 운전자의 공간 위치를 파악함으로서 각 운전자에 대응하는 최적의 백미러 각도를 계산하는 백미러의 자동 제어 방법 및 장치를 제공하는데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법은 자동차 내부에 설치된 카메라를 통해 백미러에 비친 운전자의 안면을 촬영하는 영상 입력 단계와, 상기 영상 입력 단계를 통해 촬영된 영상의 왜곡을 보정하는 영상 왜곡 보정 단계와, 상기 영상 왜곡 보정 단계를 통해 보정된 영상으로부터 운전자의 입술 위치를 파악하는 입술 위치 파악 단계와, 상기 입술 위치 파악 단계를 통해 파악된 운전자의 입술 위치를 통하여 운전자의 공간 위치를 파악하는 운전자 공간 위치 파악 단계와, 상기 운전자 공간 위치 파악 단계를 통해 파악된 운전자의 공간 위치에서 운전자가 백미러를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 산출하는 백미러 보정각도 계산 단계를 포함할 수 있다.
상기 영상 입력 단계는 백미러의 후방으로서 자동차 내부의 천장에 설치된 카메라를 통해 백미러에 비친 운전자의 모습을 촬영할 수 있다.
상기 카메라는 CCD 카메라일 수 있다.
상기 영상 왜곡 보정 단계는 백미러의 초기 각도에 의하여 발생한 영상의 왜곡을 카메라의 촬영방향에 수직인 평면상의 영상으로 보정할 수 있다.
상기 입술 위치 파악 단계는 입력받은 RGB 영상을 YCbCr 색공간으로 변환하고, 피부색 참조맵의 Cb, Cr 값의 범위에 따라 얼굴영역을 검출하며, 검출된 얼굴영역 영상 중 Cr 값이 최대인 부분을 입술 위치로 파악할 수 있다.
상기 입술 위치 파악 단계는 Cb 값의 범위는 77 이상 127 이하, Cr 값의 범위는 133 이상 173 이하인 Cb, Cr 성분을 저장함으로서 얼굴영역을 검출할 수 있다.
상기 운전자 공간 위치 파악 단계는 운전자 입술 추출 영상으로부터 파악되는 운전자 입술의 좌우 위치를 통하여 공간상에서 운전자의 앞뒤 위치를 판단하며, 운전자 입술의 상하 위치를 통하여 공간상에서 운전자의 높이를 판단할 수 있다.
또한, 상기 백미러 보정각도 계산 단계를 통해 계산된 백미러의 보정각도 만 큼 백미러를 제어함으로서, 각 운전자에 대응하는 백미러의 최적각도가 되도록 백미러를 제어하는 백미러 제어 단계를 더 포함할 수 있다.
또한, 상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치은 2축 모터가 장착된 백미러와, 상기 백미러에 비친 운전자의 안면을 촬영하는 카메라와, 상기 카메라를 통해 전송 받은 디지털 영상의 왜곡을 보정하고, 상기 디지털 영상에서 운전자의 입술 위치를 파악하고, 상기 운전자 입술 위치를 통하여 운전자의 공간위치를 파악하며, 상기 운전자에 대응하는 백미러의 최적각도와 상기 백미러의 초기각도의 차이로서 상기 백미러의 보정각도를 산출하는 영상처리 프로세서와, 상기 영상처리 프로세서에서 산출된 백미러 보정각도에 따라 백미러에 장착된 2축 모터를 제어하는 모터 콘트롤러를 포함할 수 있다.
상기 카메라는 상기 백미러의 후방으로서 자동차 내부의 천장에 설치될 수 있다.
상기 카메라는 CCD 카메라일 수 있다.
영상처리 프로세서는 상기 카메라를 통해 전송 받은 디지털 영상의 왜곡을 보정하는 영상 왜곡 보정부와, 상기 영상 왜곡 보정부를 통하여 보정된 디지털 영상에서 운전자의 입술 위치를 파악하는 운전자 입술 위치 파악부와, 상기 운전자 입술 위치 파악부를 통하여 파악된 운전자 입술 위치를 통하여 운전자의 공간 위치를 파악하는 운전자 공간 위치 파악부와, 상기 운전자 공간 위치 파악부를 통하여 파악된 운전자의 공간 위치로부터 상기 운전자에 대응하는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 상기 백미러의 초기각도의 차이로써 상기 백미러의 보정각도를 계산하는 백미러 보정 각도 계산부를 포함할 수 있다.
상기 영상 왜곡 보정부는 백미러의 초기 각도에 의하여 발생한 영상의 왜곡을 카메라의 촬영 방향에 수직인 평면상의 영상으로 보정할 수 있다.
상기 운전자 입술 위치 파악부는 입력받은 RGB 영상을 YCbCr 색공간으로 변환하고, 피부색 참조맵의 Cb, Cr 값의 범위에 따라 얼굴영역을 검출하며, 검출된 얼굴영역 영상 중 Cr 값이 최대인 부분을 입술 위치로 파악할 수 있다.
상기 운전자 입술 위치 파악부는 Cb 값의 범위는 77 이상 127 이하, Cr 값의 범위는 133 이상 173 이하인 Cb, Cr 성분을 저장함으로써 얼굴영역을 검출할 수 있다.
상기 운전자 공간 위치 파악부는 상기 운전자 입술 위치 파악부를 통하여 파악된 운전자 입술 추출 영상으로부터 파악되는 운전자 입술의 좌우 위치를 통하여 공간상에서 운전자 앞뒤 위치를 판단하며, 운전자 입술의 상하 위치를 통하여 공간상에서 운전자의 높이를 판단할 수 있다.
상기 백미러 보정각도 계산부는 상기 운전자 공간 위치 파악부를 통하여 파악된 운전자의 공간 위치에서 운전자가 백미러를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 계산할 수 있다.
상기 모터 콘트롤러는 상기 영상처리 프로세서의 백미러 보정각도 계산부를 통하여 계산된 백미러 보정각도 만큼 상기 백미러에 장착된 2축 모터를 제어할 수 있다.
상기 모터 콘트롤러는 상기 백미러의 자동 제어를 마친후에는, 상기 백미러를 초기각도로 초기화할 수 있다.
상기한 바와 같이 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법에 의하면, 백미러에 비친 운전자의 안면을 촬영하고 운전자의 공간 위치를 파악함으로서 각 운전자에 대응하는 최적의 백미러 각도를 계산하는 백미러의 자동 제어 방법을 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
도 1은 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법의 순서도이다. 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법은 영상 입력 단계(S10), 영상 왜곡 보정 단계(S20), 입술 위치 파악 단계(S30), 운전자 공간 위치 파악 단계(S40), 백미러 보정각도 계산 단계(S50) 및 백미러 제어 단계(S60)를 포함한다.
상기 영상 입력 단계(S10)는 자동차 내부에 설치된 카메라를 통해 백미러에 비친 운전자의 안면(Face)을 촬영하는 단계이다. 즉, 상기 영상 입력 단계(S10)에서는 백미러 후방으로서 자동차 내부의 천장에 설치된 CCD 카메라를 통해 백미러에 비친 운전자의 모습을 촬영한다.
도 2는 백미러에 비친 운전자의 안면을 촬영한 이미지를 도시한 도이고, 도 3은 백미러의 각도성분 θ의 방향을 도시한 도이며, 도 4는 백미러의 각도성분 Φ의 방향을 도시한 도이다.
도 2에는 백미러 후방으로 25 cm가 되는지점의 자동차의 천장(Roof)에 상기 카메라를 설치하여 백미러에 비친 운전자의 안면을 촬영한 이미지가 도시되어 있다. 상기 백미러의 초기 각도는 θ= 20°, Φ= 12° 이고, 상기 θ 및 Φ의 방향은 도 3 및 도 4에 도시된 바와 같다.
상기 백미러의 초기 각도는 운전자들의 신장에 상관없이 입술 촬영이 가능하도록 설정된 것이며, 앞뒤로 슬라이딩(Sliding)될 수 있는 운전석 시트를 중앙 위치로 하였을때를 기준으로, 한국인의 평균 앉은 키가 89 cm 라는 점을 고려하여 θ=20°, Φ=12°로 설정하였다.
상기 영상 입력 단계(S10)에서 사용되는 카메라는 CCD 카메라(Charge-Coupled Device camera, CCD Camera)일 수 있다. 여기서 CCD 카메라는 디지털 카메라의 하나로, 전하 결합 소자(Charge-Coupled Device, CCD)를 사용하여 영상을 전기 신호로 변환함으로써 디지털 데이터로 플래쉬 메모리 등의 기억 매체에 저장할 수 있는 장치를 말한다. 그러나, 본 발명에서는 상기 카메라의 종류로서 본 발명을 한정하는 것은 아니다.
상기 영상 왜곡 보정 단계(S20)는 백미러의 초기 각도에 의하여 발생한 영상의 왜곡을 카메라의 촬영방향에 수직인 평면상의 영상으로 보정하는 단계이다.
즉, 백미러의 초기 각도가 있는 상태로 백미러에 비친 운전자를 촬영하게 되면, 백미러 모양과 백미러에 비친 운전자의 영상은 왜곡이 생긴다. 따라서, 상기 영상 왜곡 보정 단계(S20)에서는 이를 캘리브레이션(Calibration)을 통하여 보정한다. 이는 백미러가 초기 각도를 가지고 있어서 영상의 왜곡정도를 알 수 있으므로 가능하다.
도 5는 캘리브레이션 영상을 도시한 도이다.
도 5에 도시된 바와 같이, 상기 캘리브레이션을 통한 영상 왜곡 보정은 영상에서 빨간색의 테두리 선을 따라가는 백미러 형상을 파란색 사각형에 대응되도록 워핑(Warpaing)하는 방법으로 수행한다.
상기 입술 위치 파악 단계(S30)는 상기 영상 왜곡 보정 단계를 통해 보정된 영상으로부터 운전자의 입술 위치를 파악하는 단계이다. 즉, 상기 입술 위치 파악 단계(S30)에서는 입력받은 RGB 영상을 YCbCr 색공간으로 변환하고, 피부색 참조맵의 Cb, Cr 값의 범위에 따라 얼굴영역을 검출하며, 검출된 얼굴영역 영상 중 Cr 값이 최대인 부분을 입술 위치로 파악한다.
1) RGB 영상을 YCbCr 색공간으로 변환
YCbCr 색공간은 JPEG, MPEG 표준에서 사용되고 있다. 여기서 Y는 루마 성분(Luma component)을 Cb, Cr은 청색(Blue)과 적색(Red) 크로마 성분(Chroma component)을 나타낸다. Y 성분은 RGB의 가중 평균으로 계산한다.
상기 YCbCr 색공간은 밝기정보와 색정보가 구분되어 조명에 의한 영향이 적다. 또한, Cb, Cr 성분의 피부색 범위가 다른 색공간보다 조밀하여 얼굴색을 찾기 용이하다는 점에서 입력받은 RGB 영상을 YCbCr 색공간으로 변환한다.
2) 얼굴 영역 검출
특정한 범위에 해당하는 Cb, Cr 성분만을 저장함으로서 얼굴 영역만을 검출한다. 이러한 Cb, Cr 값의 범위는 77 ≤ Cb ≤ 127 및 77 ≤ Cb ≤ 127 이며, 상기 범위에 해당하는 Cb, Cr 성분만을 저장함으로서 피부색을 이용하여 얼굴 영역을 검출한다. 상기 Cb, Cr 값의 범위는 D.Chai가 제안한 피부색 참조 맵(D.Chai and K.M.Ngan, "Locating facial region of a head_and_shoulders color image" IEEE proc. Automatic Face and Gesture Recongnition, pp. 124-129, 1998)의 Cb, Cr 값의 범위를 참조하였다. 도 6에는 피부색을 이용한 얼굴 검출 이미지를 도시하였다.
3) 입술 위치 추출
입술 위치 추출을 위하여 "Face detection in color images"에서 제안한 'Mouth Map'을 이용하였다.(R.L. Hsu, M. Abdel-Mottaleb and A. Jain "Face detection in color images." IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 696-706, May 2002) 상기 'Mouth Map'을 참조한 결과, 얼굴 영역 중에서는 입술 부분이 통계적으로 Cr 성분의 값이 높게 나타남을 알 수 있었다. 상기와 같이 Cr 성분의 값이 최대인 부분을 추출하면 입술 위치를 파악할 수 있다. 도 7에는 입술 부분의 위치를 추출한 이미지를 도시하였다.
상기 운전자 공간 위치 파악 단계(S40)는 운전자 입술 추출 영상으로부터 파악되는 운전자 입술의 좌우 위치를 통하여 공간상에서 운전자의 앞뒤 위치를 판단하며, 운전자 입술의 상하 위치를 통하여 공간상에서 운전자의 높이를 판단한다.
운전석의 시트 위치는 제한적인바 운전자가 움직일 수 있는 앞뒤 궤적은 제한적이므로 운전자 입술의 좌우 위치로 운전자의 앞뒤 위치를 판단할 수 있다.
즉, 운전자의 입술 위치가 상기 백미러의 중앙으로부터 좌측에 있으면 운전자의 시트는 앞쪽에 있는 것이며, 운전자의 입술 위치가 상기 백미러 중앙으로부터 우측에 있으면 운전자의 시트는 뒤쪽에 있다고 판단할 수 있다.
아울러, 운전자 입술의 상하 위치로부터 운전자의 높이를 판단할 수 있다.
1) 운전자의 앞뒤 위치 판단
도 8에는 차량 위쪽에서 바라본 운전자의 모습이 도시되어 있다. 도 8에 표시된 각 기호의 의미는 다음과 같다.
O : 백미러의 원점
C : 카메라의 위치
D : 영상에 맺힌 운전자의 위치
DI : 영상에서 측정된 운전자의 중심에서 떨어진 거리
OF : 백미러에서 운전자까지의 가로 길이
θ : 백미러의 수평방향 조향 각도
G : 운전자 입술의 추정 위치
FG : 운전자가 움직일 수 있는 앞뒤 경로
수학식 1은 도 8을 통하여 구한 운전자 앞뒤 위치 계산 수식이다.
Figure 112009003269317-pat00001
Figure 112009003269317-pat00002
상기 수학식 1에서
Figure 112009003269317-pat00003
는 영상에서 중심으로부터 입술의 좌우 위치를 실제 백미러에 비친 길이로 환산한 것이다.
Figure 112009003269317-pat00004
= 0 인 경우가 백미러의 중앙에 운전자의 얼굴이 찍힌 경우이고,
Figure 112009003269317-pat00005
> 0 인 경우가 백미러 중심에서 우측에 얼굴이 찍힌 경우이다. 상기 수학시 1을 이용하면 촬영영상에서의 운전자 위치로 운전자의 공간상 앞뒤 위치를 계산할 수 있다.
2) 운전자의 입 높이 판단
도 9에는 차량 옆쪽에서 바라본 운전자의 모습이 도시되어 있다. 도 9에 표시된 각 기호의 의미는 다음과 같다.
O : 백미러의 원점
C : 카메라의 위치
D : 영상에 맺힌 운전자의 위치
DI : 영상에서 측정된 운전자의 입부터 중심까지의 거리
OF : 백미러에서 운전자 입까지의 높이
Φ : 백미러의 수평방향 조향 각도
G : 운전자 입술의 추정 위치
FG : 운전자 앞뒤위치 × cosθ
수학식 2는 도 9을 통하여 구한 운전자 입 높이 계산 수식이다.
Figure 112009003269317-pat00006
Figure 112009003269317-pat00007
상기 수학식 2에서
Figure 112009003269317-pat00008
는 영상에서 중심으로부터 입술의 상하 위치를 실제 백미러에 비친 길이로 환산한 것이다.
Figure 112009003269317-pat00009
> 0 인 경우가 영상에서 운전자 입술 위치가 백미러 중심의 위쪽에 있는 경우이다. 상기 수학식 2를 이용하면 영상에서의 운전자 위치로부터 운전자의 공간상 입술의 높이를 계산할 수 있다.
상기 백미러 보정각도 계산단계(S50)는 상기 운전자 공간 위치 파악 단계(S40)를 통해 파악된 운전자의 공간 위치에서 운전자가 백미러를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 산출하는 단계이다.
1) 최적의 θ각 구하기
도 10에는 최적의 θ각도를 계산하기 위한 운전자의 모습이 도시되어 있다.
최적의 시야가 확보되는 최적각도 θ는 수학식 3으로부터 계산된다.
Figure 112009003269317-pat00010
여기서 θ의 단위는 degree이다.
2) 최적의 Φ각 구하기
도 11에는 최적의 Φ각도를 계산하기 위한 운전자의 모습이 도시되어 있다.
최적의 시야가 확보되는 최적각도 Φ 는 수학식 4로부터 계산된다.
Figure 112009003269317-pat00011
3) 백미러 보정각도 계산
백미러 보정각도는 수학식 5로부터 계산된다.
Figure 112009003269317-pat00012
Figure 112009003269317-pat00013
즉, 최종적으로 백미러가 움직여야할 보정각도
Figure 112009003269317-pat00014
및
Figure 112009003269317-pat00015
는 최적의 시야를 위한 백미러의 최적각도 Φ 및 θ를 계산한 후, 상기 Φ 및 θ에서 각각 백미러의 초기 각도
Figure 112009003269317-pat00016
및
Figure 112009003269317-pat00017
을 뺀 값으로부터 계산할 수 있다.
상기 백미러 제어 단계(S60)는 상기 백미러 보정각도 계산 단계(S50)를 통해 계산된 백미러의 보정각도 만큼 백미러를 제어함으로써, 각 운전자에 대응하는 백미러의 최적각도가 되도록 백미러를 제어한다.
즉, 상기 백미러 제어 단계(S60)를 통하여 상기 백미러를 상기 보정각도 θ 및 Φ 만큼 이동시킴으로서 운전자의 위치에 따른 최적의 백미러 각도를 제공할 수 있다. 다만, 백미러의 자동제어와 관련된 기술은 공지된 기술을 채용할 수 있는바 본 발명에서는 이와 관련된 기술을 생략한다.
이하에서는 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치에 대해 설명한다. 다만, 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법에 대해 상술한 바 있으므로, 이하에서는 장치의 특징에 대해서만 간략히 설명한다.
도 13은 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치의 구성을 나타낸 블럭도이고, 도 14는 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치의 영상처리 프로세서의 구성을 나타낸 블록도이다.
도 13을 참조하면, 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치(1)는 백미러(100), 카메라(200), 영상처리 프로세서(300) 및 모터 콘트롤러(400)로 구성된다.
상기 백미러(100)는 2축 모터가 장착되며, 상기 2축 모터에 의해 상하 또는 좌우로 상기 백미러(100)의 기울기가 제어될 수 있다.
상기 카메라(200)는 상기 백미러(100)에 비친 운전자의 안면을 촬영한다.
상기 카메라(200)는 상기 백미러(100)의 후방으로서 자동차 내부의 천장에 설치될 수 있으며, CCD 카메라일 수 있으나, 상기 카메라(200)의 종류로서 본 발명을 한정하는 것은 아니다.
상기 영상처리 프로세서(300)는 도 14에 도시된 바와 같이, 영상 왜곡 보정부(310), 운전자 입술 위치 파악부(320), 운전자 공간 위치 파악부(330) 및 백미러 보정 각도 계산부(340)를 포함하여 구성될 수 있다.
상기 영상 왜곡 보정부(310)는 상기 카메라(200)를 통해 전송받은 디지털 영상의 왜곡을 보정하며, 보다 자세하게는 상기 백미러(100)의 초기 각도에 의하여 발생한 영상의 왜곡을 카메라의 촬영 방향에 수직인 평면상의 영상으로 보정한다.
상기 운전자 입술 위치 파악부(320)는 상기 영상 왜곡 보정부(310)를 통하여 보정된 디지털 영상에서 운전자의 입술 위치를 파악한다. 보다 자세하게는 입력 받은 RGB 영상을 YCbCr 색공간으로 변환하고, 피부색 참조맵의 Cb, Cr 값의 범위에 따라 얼굴영역을 검출하며, 검출된 얼굴영역 영상 중 Cr 값이 최대인 부분을 입술 위치로 파악한다.
상기 운전자 공간 위치 파악부(330)는 상기 운전자 입술 위치 파악부(320)를 통하여 파악된 운전자 입술 위치를 통하여 운전자의 공간 위치를 파악한다. 보다 자세하게는 상기 운전자 입술 위치 파악부(320)를 통하여 파악된 운전자 입술 추출 영상으로부터 파악되는 운전자 입술의 좌우 위치를 통하여 공간상에서 운전자 앞뒤 위치를 판단하며, 운전자 입술의 상하 위치를 통하여 공간상에서 운전자의 높이를 판단한다.
상기 백미러 보정 각도 계산부(340)는 상기 운전자 공간 위치 파악부(330)를 통하여 파악된 운전자의 공간 위치에서 운전자가 백미러를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 계산한다.
상기 모터 콘트롤러(400)는 상기 영상처리 프로세서(300)의 백미러 보정각도 계산부(340)를 통하여 계산된 백미러의 보정각도 만큼 상기 백미러에 장착된 2축 모터를 제어한다.
또한, 상기 모터 콘트롤러(400)는 상기 백미러의 자동 제어를 마친후에는, 상기 백미러를 초기각도로 초기화한다. 상기 백미러의 초기 각도는 상술한 바와 같이 θ= 20°, Φ= 12° 이고, 상기 θ 및 Φ의 방향은 도 3 및 도 4에 도시된 바와 같다.
상기 백미러의 초기 각도는 운전자들의 신장에 상관없이 입술 촬영이 가능하도록 설정된 것이며, 앞뒤로 슬라이딩(Sliding)될 수 있는 운전석 시트를 중앙 위치로 하였을때를 기준으로, 한국인의 평균 앉은 키가 89 cm 라는 점을 고려하여 θ=20°, Φ=12°로 설정하였다.
이하에서는, 본 발명에 따른 시뮬레이션 결과를 설명한다. 상기 시뮬레이션에서는 각각 세 명의 운전자가 위치를 바꾸어 가면서 실험을 하였다.
상기 시뮬레이션에의 평가 방법은 다음과 같다.
1) 백미러를 초기 위치에 놓고 운전자를 촬영하여 최적의 보정각도를 산출한다.
2) 상기 1)번의 운전자 상태에서 최적의 시야가 되도록 백미러를 움직인 후 재촬영한다.
3) 상기 2)번 촬영영상에서 현재 백미러의 각도를 구한다.
4) 상기 1)번과 3)번에서 구한 각도를 비교한다.
5) 오차범위
Figure 112009003269317-pat00018
이내이면 성공한 것으로 간주한다.
도 12에는 상기 시뮬레이션의 결과의 GUI(Graphic User Interface)를 도시하였으며, 표 1에서는 상기 시뮬레이션의 최종결과 평가표를 나타내었다.
운전자 키(cm) 계산치(θ,Φ) 평가치(θ,Φ) 오차(θ,Φ)
A 155 (22.7, 19.3) (22.8, 19) (0.1, 0.3)
B 170 (23, 13) (22.8, 12.5) (0.2, 0.5)
C 180 (16.9, 9.4) (17.1, 9.1) (0.2, 0.3)
상기 표 1의 계산치는 상기 평가 방법 1)의 최적 각도이고, 평가치는 상기 평가 방법 3)의 최적 시야일때의 현재 각도이다. 각 운전자에 대한 최대 오차는 A운전자의 경우 1.58 %, B운전자의 경우 4%, C운전자의 경우 3.3%이었으며, 상기 세 명의 운전자의 실험 결과는 모두 오차 범위이내임을 확인할 수 있었다.
이상과 같이 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
도 1은 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 방법의 순서도이다.
도 2는 백미러에 비친 운전자의 안면을 촬영한 이미지를 도시한 도이다.
도 3은 백미러의 각도성분 θ의 방향을 도시한 도이다.
도 4는 백미러의 각도성분 Φ의 방향을 도시한 도이다.
도 5는 캘리브레이션 영상을 도시한 도이다.
도 6은 피부색을 이용한 얼굴 검출 이미지를 도시한 도이다.
도 7은 입술 부분의 위치를 추출한 이미지를 도시한 도이다.
도 8은 차량 위쪽에서 바라본 운전자의 모습을 도시한 도이다.
도 9는 차량 옆쪽에서 바라본 운전자의 모습을 도시한 도이다.
도 10은 최적의 θ각도를 계산하기 위한 운전자의 모습을 도시한 도이다.
도 11은 최적의 Φ각도를 계산하기 위한 운전자의 모습을 도시한 도이다.
도 12는 본 발명에 따른 시뮬레이션의 GUI를 도시한 도이다.
도 13은 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치의 구성을 나타낸 블럭도이다.
도 14는 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치의 영상처리 프로세서의 구성을 나타낸 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
1: 본 발명에 따른 안면인식을 이용한 자동차 백미러의 자동 제어 장치
100: 백미러 200: 카메라
300: 영상처리 프로세서
310: 영상 왜곡 보정부 320: 운전자 입술 위치 파악부
330: 운전자 공간 위치 파악부 340: 백미러 보정각도 계산부
400: 모터 콘트롤러

Claims (19)

  1. 자동차 내부에 설치된 카메라(200)를 통해 백미러(100)에 비친 운전자의 안면을 촬영하는 영상 입력 단계(S10);
    상기 영상 입력 단계(S10)를 통해 촬영된 영상의 왜곡을 보정하는 영상 왜곡 보정 단계(S20);
    상기 영상 왜곡 보정 단계(S20)를 통해 보정된 영상으로부터 운전자의 입술 위치를 파악하는 입술 위치 파악 단계(S30);
    상기 입술 위치 파악 단계(S30)를 통해 파악된 운전자의 입술 위치를 통하여 운전자의 공간 위치를 파악하는 운전자 공간 위치 파악 단계(S40); 및
    상기 운전자 공간 위치 파악 단계(S40)를 통해 파악된 운전자의 공간 위치에서 운전자가 백미러(100)를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 계산하는 백미러 보정각도 계산 단계(S50)를 포함하되,
    상기 영상 입력 단계(S10)는 백미러(100)의 후방으로서 자동차 내부의 천장에 설치된 카메라(200)를 통해 백미러(100)에 비친 운전자의 모습을 촬영하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 카메라(200)는 CCD 카메라인 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  4. 제 1항에 있어서,
    상기 영상 왜곡 보정 단계는 백미러의 초기 각도에 의하여 발생한 영상의 왜곡을 카메라의 촬영방향에 수직인 평면상의 영상으로 보정하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  5. 제 1항에 있어서,
    상기 입술 위치 파악 단계는 입력받은 RGB 영상을 YCbCr 색공간으로 변환하고, 피부색 참조맵의 Cb, Cr 값의 범위에 따라 얼굴영역을 검출하며, 검출된 얼굴영역 영상 중 Cr 값이 최대인 부분을 입술 위치로 파악하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  6. 제 5항에 있어서,
    상기 입술 위치 파악 단계는 Cb 값의 범위는 77 이상 127 이하, Cr 값의 범위는 133 이상 173 이하인 Cb, Cr 성분을 저장함으로서 얼굴영역을 검출하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  7. 제 1항에 있어서,
    상기 운전자 공간 위치 파악 단계는 운전자 입술 추출 영상으로부터 파악되는 운전자 입술의 좌우 위치를 통하여 공간상에서 운전자의 앞뒤 위치를 판단하며, 운전자 입술의 상하 위치를 통하여 공간상에서 운전자의 높이를 판단하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  8. 제 1항에 있어서,
    상기 안면인식을 이용한 자동차 백미러의 자동 제어 방법은 상기 백미러 보정각도 계산 단계를 통해 계산된 백미러의 보정각도 만큼 백미러를 제어함으로서, 각 운전자에 대응하는 백미러의 최적각도가 되도록 백미러를 제어하는 백미러 제어 단계를 더 포함하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 방법.
  9. 2축 모터가 장착된 백미러;
    상기 백미러에 비친 운전자의 안면을 촬영하는 카메라;
    상기 카메라를 통해 전송 받은 디지털 영상의 왜곡을 보정하고, 상기 디지털 영상에서 운전자의 입술 위치를 파악하고, 상기 운전자 입술 위치를 통하여 운전자의 공간위치를 파악하며, 상기 운전자에 대응하는 백미러의 최적각도와 상기 백미러의 초기각도의 차이로서 상기 백미러의 보정각도를 산출하는 영상처리 프로세서;
    상기 영상처리 프로세서에서 산출된 백미러 보정각도에 따라 백미러에 장착된 2축 모터를 제어하는 모터 콘트롤러를 포함하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  10. 청구항 9에 있어서,
    상기 카메라는 상기 백미러의 후방으로서 자동차 내부의 천장에 설치되는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  11. 청구항 9에 있어서,
    상기 카메라는 CCD 카메라인 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  12. 청구항 9에 있어서,
    영상처리 프로세서는, 상기 카메라를 통해 전송 받은 디지털 영상의 왜곡을 보정하는 영상 왜곡 보정부;
    상기 영상 왜곡 보정부를 통하여 보정된 디지털 영상에서 운전자의 입술 위치를 파악하는 운전자 입술 위치 파악부;
    상기 운전자 입술 위치 파악부를 통하여 파악된 운전자 입술 위치를 통하여 운전자의 공간 위치를 파악하는 운전자 공간 위치 파악부;
    상기 운전자 공간 위치 파악부를 통하여 파악된 운전자의 공간 위치로부터 상기 운전자에 대응하는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 상기 백미러의 초기각도의 차이로써 상기 백미러의 보정각도를 계산하는 백미러 보정 각도 계산부를 포함하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  13. 청구항 12에 있어서,
    상기 영상 왜곡 보정부는 백미러의 초기 각도에 의하여 발생한 영상의 왜곡을 카메라의 촬영 방향에 수직인 평면상의 영상으로 보정하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  14. 청구항 12에 있어서,
    상기 운전자 입술 위치 파악부는 입력받은 RGB 영상을 YCbCr 색공간으로 변환하고, 피부색 참조맵의 Cb, Cr 값의 범위에 따라 얼굴영역을 검출하며, 검출된 얼굴영역 영상 중 Cr 값이 최대인 부분을 입술 위치로 파악하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  15. 청구항 14에 있어서,
    상기 운전자 입술 위치 파악부는 Cb 값의 범위는 77 이상 127 이하, Cr 값의 범위는 133 이상 173 이하인 Cb, Cr 성분을 저장함으로써 얼굴영역을 검출하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  16. 청구항 12에 있어서,
    상기 운전자 공간 위치 파악부는 상기 운전자 입술 위치 파악부를 통하여 파악된 운전자 입술 추출 영상으로부터 파악되는 운전자 입술의 좌우 위치를 통하여 공간상에서 운전자 앞뒤 위치를 판단하며, 운전자 입술의 상하 위치를 통하여 공간 상에서 운전자의 높이를 판단하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  17. 청구항 12에 있어서,
    상기 백미러 보정각도 계산부는 상기 운전자 공간 위치 파악부를 통하여 파악된 운전자의 공간 위치에서 운전자가 백미러를 통하여 차량의 정후방을 관측할 수 있는 백미러의 최적각도를 산출하고, 상기 백미러의 최적각도와 백미러의 초기각도의 차이로서 백미러의 보정각도를 계산하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  18. 청구항 17에 있어서,
    상기 모터 콘트롤러는 상기 영상처리 프로세서의 백미러 보정각도 계산부를 통하여 계산된 백미러 보정각도 만큼 상기 백미러에 장착된 2축 모터를 제어하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
  19. 청구항 9에 있어서,
    상기 모터 콘트롤러는 상기 백미러의 자동 제어를 마친후에는, 상기 백미러 를 초기각도로 초기화하는 것을 특징으로 하는 안면인식을 이용한 자동차 백미러의 자동 제어 장치.
KR1020090004166A 2009-01-19 2009-01-19 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치 KR100961906B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090004166A KR100961906B1 (ko) 2009-01-19 2009-01-19 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090004166A KR100961906B1 (ko) 2009-01-19 2009-01-19 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR100961906B1 true KR100961906B1 (ko) 2010-06-10

Family

ID=42369697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090004166A KR100961906B1 (ko) 2009-01-19 2009-01-19 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100961906B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122533A1 (ko) * 2018-12-11 2020-06-18 (주)미경테크 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
CN112572295A (zh) * 2020-12-01 2021-03-30 睿联汽车电子(芜湖)有限公司 一种基于dms摄像头自动控制汽车后视镜的系统及方法
CN112714720A (zh) * 2020-12-16 2021-04-27 华为技术有限公司 一种后视镜控制的方法以及相关设备
DE102020211339A1 (de) 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Verfahren und System zur automatischen Ausrichtung einer Rückspiegeleinheit
CN114750695A (zh) * 2022-04-12 2022-07-15 无锡宏日机电科技有限公司 一种追踪脸部的车用电子后视镜显示屏结构

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414708B1 (ko) 2000-07-07 2004-01-07 마츠시타 덴끼 산교 가부시키가이샤 화상합성장치 및 방법
KR100512855B1 (ko) 2003-03-10 2005-09-06 현대모비스 주식회사 차량의 미러 각도 자동 조정 장치 및 방법
JP2008081071A (ja) 2006-09-29 2008-04-10 Aisin Seiki Co Ltd 車両用ミラー位置調整装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414708B1 (ko) 2000-07-07 2004-01-07 마츠시타 덴끼 산교 가부시키가이샤 화상합성장치 및 방법
KR100512855B1 (ko) 2003-03-10 2005-09-06 현대모비스 주식회사 차량의 미러 각도 자동 조정 장치 및 방법
JP2008081071A (ja) 2006-09-29 2008-04-10 Aisin Seiki Co Ltd 車両用ミラー位置調整装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122533A1 (ko) * 2018-12-11 2020-06-18 (주)미경테크 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
DE102020211339A1 (de) 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Verfahren und System zur automatischen Ausrichtung einer Rückspiegeleinheit
CN112572295A (zh) * 2020-12-01 2021-03-30 睿联汽车电子(芜湖)有限公司 一种基于dms摄像头自动控制汽车后视镜的系统及方法
CN112572295B (zh) * 2020-12-01 2024-05-31 睿联汽车电子(芜湖)有限公司 一种基于dms摄像头自动控制汽车后视镜的系统及方法
CN112714720A (zh) * 2020-12-16 2021-04-27 华为技术有限公司 一种后视镜控制的方法以及相关设备
CN112714720B (zh) * 2020-12-16 2022-09-16 华为技术有限公司 一种后视镜控制的方法以及相关设备
CN114750695A (zh) * 2022-04-12 2022-07-15 无锡宏日机电科技有限公司 一种追踪脸部的车用电子后视镜显示屏结构

Similar Documents

Publication Publication Date Title
US9900488B2 (en) Electronic device and method for controlling cameras thereof which can automatically control a switching between a front camera and a rear camera according to blocking cases of the front camera and the rear camera of the electronic device
US7734165B2 (en) Imaging apparatus
KR102101438B1 (ko) 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
KR101142316B1 (ko) 화상 선택 장치 및 화상 선택 방법
CN101216883B (zh) 一种照相方法及照相装置
KR100961906B1 (ko) 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치
JP5068134B2 (ja) 対象領域分割方法及び対象領域分割装置
US20120133797A1 (en) Imaging apparatus, imaging method and computer program
US11036966B2 (en) Subject area detection apparatus that extracts subject area from image, control method therefor, and storage medium, as well as image pickup apparatus and display apparatus
WO2009109125A1 (zh) 图像处理方法及系统
US20060188130A1 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
WO2008054422A2 (en) Digital image processing using face detection and skin tone information
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
CN106875341B (zh) 畸变图像校正方法及其定位方法
CN104243793B (zh) 具影像辨识机制的摄像装置及方法
KR101352206B1 (ko) 영상구도를 자동조정하는 영상촬영 장치 및 방법
CN108289170B (zh) 能够检测计量区域的拍照装置、方法及计算机可读介质
JP6810589B2 (ja) 車載用投影装置
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
JP6525503B2 (ja) 画像処理装置および撮像装置
JP2007312206A (ja) 撮像装置及び、画像再生装置
US20120314044A1 (en) Imaging device
CN111698411A (zh) 脸部影像自动检测与拍摄方法
US7835552B2 (en) Image capturing apparatus and face area extraction method
JP6210946B2 (ja) エレベータかご内カメラの画角調整装置およびエレベータかご内カメラの画角調整方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090119

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100427

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100528

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100531

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100601

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130325

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140320

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140320

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150216

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160404

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20180531

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20200601

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20210630

Start annual number: 12

End annual number: 12

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230131

PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20230131

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20230201

Start annual number: 13

End annual number: 13

R401 Registration of restoration
PR1001 Payment of annual fee

Payment date: 20230530

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20240530

Start annual number: 15

End annual number: 15