KR20210036955A - 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치 - Google Patents

동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치 Download PDF

Info

Publication number
KR20210036955A
KR20210036955A KR1020217005670A KR20217005670A KR20210036955A KR 20210036955 A KR20210036955 A KR 20210036955A KR 1020217005670 A KR1020217005670 A KR 1020217005670A KR 20217005670 A KR20217005670 A KR 20217005670A KR 20210036955 A KR20210036955 A KR 20210036955A
Authority
KR
South Korea
Prior art keywords
image
face
target
driver
motion
Prior art date
Application number
KR1020217005670A
Other languages
English (en)
Inventor
얀지에 첸
페이 왕
첸 치안
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210036955A publication Critical patent/KR20210036955A/ko

Links

Images

Classifications

    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00228—
    • G06K9/00288—
    • G06K9/6256—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 검출 이미지에서 얼굴의 목표 부위를 검출하는 것과, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내는 것과, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하는 것을 포함하는 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치에 관한 것으로, 본 발명의 실시예는 상이한 검출 이미지에서의 면적이 상이한 얼굴에 적용 가능하며, 상이한 얼굴형의 얼굴에도 적용 가능하고, 본 발명의 실시예는 적용 범위가 넓으며, 목표 이미지는 해석하기 위한 충분한 정보를 포함하고, 잘라낸 목표 이미지의 면적이 지나치게 크고, 무용한 정보가 지나치게 많은 것에 의한 시스템 처리 효율의 저하와 같은 문제를 감소시킬 수 있다.

Description

동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치
본원은 2018년 9월 27일에 중국 특허국에 제출된 출원번호 201811132681.1, 발명의 명칭 「동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치」의 중국 특허출원의 우선권을 주장하고, 그 개시의 전부가 원용에 의해 본원에 포함된다.
본 발명은 이미지 처리 기술에 관한 것으로, 특히 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치에 관한 것이다.
동작 인식은 보안 분야에서 널리 응용되고 있다. 동작 인식의 정확률과 효율 등의 성능은 그 응용 분야에서 주목받고 있는 것이다.
본 발명은 동작 인식의 기술적 수단을 제공한다.
본 발명의 일 측면에 의하면, 검출 이미지에서 얼굴의 목표 부위를 검출하는 것과, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내는 것과, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하는 것을 포함하는 동작 인식 방법을 제공한다.
본 발명의 일 측면에 의하면, 운전자에 대한 검출 이미지를 취득하는 것과, 상기 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 것과, 인식된 동작에 기초하여 운전자의 상태를 결정하는 것을 포함하는 운전자 상태 해석 방법을 제공한다.
본 발명의 일 측면에 의하면, 검출 이미지에서의 얼굴의 목표 부위를 검출하기 위한 목표 부위 검출 모듈과, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내기 위한 목표 이미지 잘라내기 모듈과, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하기 위한 동작 인식 모듈을 포함하는 동작 인식 장치를 제공한다.
본 발명의 일 측면에 의하면, 운전자에 대한 검출 이미지를 취득하기 위한 운전자 이미지 취득 모듈과, 상기 동작 인식 장치를 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하기 위한 동작 인식 모듈과, 인식된 동작에 기초하여 운전자의 상태를 결정하기 위한 상태 인식 모듈을 포함하는 운전자 상태 해석 장치를 제공한다.
본 발명의 일 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 동작 인식 방법 및/또는 운전자 상태 해석 방법을 실행하도록 구성된 전자 기기를 제공한다.
본 발명의 일 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 동작 인식 방법 및/또는 운전자 상태 해석 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 일 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 상기 동작 인식 방법 및/또는 운전자 상태 해석 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예에서는 검출 이미지에서의 얼굴의 목표 부위를 인식하고, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내고, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식한다. 목표 부위의 검출 결과에 기초하여 목표 이미지를 잘라내는 것은 상이한 검출 이미지에서의 면적이 상이한 얼굴에 적용 가능하며, 상이한 얼굴형의 얼굴에도 적용 가능하다. 본 발명의 실시예는 적용 범위가 넓다. 목표 이미지는 해석하기 위한 충분한 정보를 포함하고, 또한 잘라낸 목표 이미지의 면적이 지나치게 크고, 무용한 정보가 지나치게 많은 것에 의한 시스템 처리 효율의 저하와 같은 문제를 감소시킬 수 있다.
이하의 도면을 참조하면서 예시적인 실시예에 대해 상세하게 설명함으로써 본 발명의 다른 특징 및 측면은 명확해진다.
명세서에 포함되고 또한 명세서의 일부를 구성하는 도면은 명세서와 함께 본 발명의 예시적인 실시예, 특징 및 측면을 나타내고, 추가로 본 발명의 원리를 해석하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 동작 인식 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 동작 인식 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 동작 인식 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 동작 인식 방법의 흐름도이다.
도 5는 본 발명의 실시예에 따른 동작 인식 방법의 흐름도이다.
도 6은 본 발명의 실시예에 따른 운전자 상태 해석 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따른 동작 인식 방법에서의 검출 이미지이다.
도 8은 본 발명의 실시예에 따른 동작 인식 방법에서의 얼굴 검출 결과의 모식도이다.
도 9는 본 발명의 실시예에 따른 동작 인식 방법에 있어서 목표 이미지를 결정하는 모식도이다.
도 10은 본 발명의 실시예에 따른 동작 인식 방법에 있어서 목표 이미지에 기초하여 동작 인식을 행하는 모식도이다.
도 11은 본 발명의 실시예에 따른 동작 인식 방법에 있어서 노이즈로 이미지 뉴럴 네트워크를 트레이닝하는 모식도이다.
도 12는 본 발명의 실시예에 따른 동작 인식 장치의 블록도이다.
도 13은 본 발명의 실시예에 따른 운전자 상태 해석 장치의 블록도이다.
도 14는 예시적인 실시예에 따른 동작 인식 장치의 블록도이다.
도 15는 예시적인 실시예에 따른 동작 인식 장치의 블록도이다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에 있어서, 동일한 부호가 동일 또는 유사한 기능의 요소를 나타낸다. 도면에 있어서 실시예의 다양한 측면을 나타냈지만, 특별히 언급이 없는 한, 비례에 따라 도면을 그릴 필요가 없다.
여기에서의 용어 「예시적」이란 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.
또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 나타낸다. 당업자라면 본 발명은 어떠한 구체적인 상세가 없어도 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자가 숙지하고 있는 방법, 수단, 요소 및 회로에 대해 상세한 설명을 하지 않는다.
도 1은 본 발명의 실시예에 따른 동작 인식 방법의 흐름도이다. 상기 동작 인식 방법은 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치, 또는 서버 등의 전자 기기에 의해 실행되어도 된다. 일부 가능한 실시형태에서는, 상기 동작 인식 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러냄으로써 실현되어도 된다.
도 1에 나타내는 바와 같이, 상기 동작 인식 방법은 이하의 단계를 포함한다.
단계(S10), 검출 이미지에서의 얼굴의 목표 부위를 검출한다.
가능한 실시형태에서는 상기 검출 이미지는 단일 장의 이미지를 포함해도 되고, 비디오 스트림 내의 프레임 이미지를 포함해도 된다. 상기 검출 이미지는 촬영 장치에 의해 직접 촬영한 이미지를 포함해도 되고, 촬영 장치에 의해 촬영한 이미지에 대해 노이즈 제거 등의 전처리를 행한 후의 이미지를 포함해도 된다. 검출 이미지는 가시광 이미지, 적외선 이미지, 근적외선 이미지 등의 다양한 이미지를 포함해도 되고, 본 발명은 이를 한정하지 않는다.
가능한 실시형태에서는 가시광 카메라, 적외선 카메라, 근적외선 카메라 중 하나 이상을 포함하는 카메라에 의해 상기 검출 이미지를 취득할 수 있다. 여기에서, 가시광 카메라는 가시광 이미지를 취득하기 위해 사용되고, 적외선 카메라는 적외선 이미지를 취득하기 위해 사용되며, 근적외선 카메라는 근적외선 이미지를 취득하기 위해 사용된다.
가능한 실시형태에서는 통상, 얼굴부에 기초하는 동작이 얼굴의 오관(五官)에 관한 것이다. 예를 들면, 흡연 또는 음식의 동작은 입 부분에 관한 것이고, 전화 통화 동작은 귀 부분에 관한 것이다. 얼굴의 목표 부위는 입 부분, 귀 부분, 코 부분, 눈 부분, 눈썹 부분 중 어느 하나 또는 이들의 조합을 포함해도 된다. 필요에 따라 얼굴의 목표 부위를 결정할 수 있다. 목표 부위는 하나의 부위를 포함해도 되고, 복수의 부위를 포함해도 된다. 얼굴 검출 기술을 사용하여 얼굴의 목표 부위를 검출할 수 있다.
단계(S20), 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라낸다.
가능한 실시형태에서는 얼굴부에 기초하는 동작는 목표 부위를 중심으로 해도 된다. 검출 이미지에서 얼굴 이외의 영역에 동작에 관한 물체를 포함해도 된다. 예를 들면, 흡연의 동작은 입 부분을 중심으로 하고, 담배가 검출 이미지에서 얼굴 이외의 영역에 출현 가능하다.
가능한 실시형태에서는 검출 이미지에서 차지하는 얼굴의 면적이 상이하고, 얼굴의 위치가 상이하고, 또한, 얼굴의 길이와 굵기도 상이하다. 소정 사이즈의 커팅 프레임에 의해 잘라내는 목표 이미지의 면적이 지나치게 작으면 목표 이미지에 충분한 분석 정보가 포함되지 않기 때문에, 동작 검출 결과가 부정확해질 우려가 있다. 잘라내는 목표 이미지의 면적이 지나치게 크면, 목표 이미지에 지나치게 많은 무용한 정보가 포함되기 때문에, 해석 효율이 저하될 우려가 있다.
예를 들면, 검출 이미지에서 인물 A의 얼굴이 차지하는 면적이 작고, 인물 B의 얼굴이 차지하는 면적이 크다. 소정 면적의 프레임을 사용하여 검출 이미지에서 목표 이미지를 잘라내는 경우, 면적이 충분한 인물 A의 입 부분의 목표 이미지를 잘라내는 것이 가능하지만, 면적이 충분한 인물 B의 입 부분의 목표 이미지를 잘라 낼 수 없고, 인물 B의 입 부분의 목표 이미지에 기초하여 정확한 동작 검출 결과를 취득할 수 없다. 또는 면적이 충분한 B의 입 부분의 목표 이미지를 잘라내는 것이 가능하지만, 잘라내는 A의 입 부분의 목표 이미지의 면적이 크기 때문에, A의 입 부분의 목표 이미지에 지나치게 많은 무용한 정보가 포함되어, 시스템의 처리 효율을 저감시킨다.
가능한 실시형태에서는, 목표 부위의 검출 결과에 기초하여 목표 부위의 얼굴에서의 위치를 결정할 수 있고, 목표 부위의 얼굴에서의 위치에 기초하여 목표 이미지의 잘라내는 사이즈 및/또는 잘라내는 위치를 결정할 수 있다. 본 발명의 실시예는 잘라낸 목표 이미지가 상기 대상 얼굴의 자신 특징에 더욱 합치하도록 설정된 조건에 의해 검출 이미지에서 목표 부위에 대응하는 목표 이미지를 잘라낼 수 있다. 예를 들면, 목표 부위와 얼굴의 소정 위치의 거리에 기초하여, 잘라내는 목표 이미지의 크기를 결정할 수 있다. 예를 들면, 인물 A의 입 부분과 A의 얼굴 중심점의 거리에 기초하여 인물 A의 입 부분의 목표 이미지의 크기를 결정한다. 동일하게, 인물 B의 입 부분과 B의 얼굴 중심점의 거리에 기초하여, 인물 B의 입 부분의 목표 이미지의 크기를 결정한다. 입 부분과 얼굴 중심의 거리는 얼굴의 자신 특징에 관한 것으로, 잘라낸 목표 이미지가 얼굴의 자신 특징에 더욱 합치된다. 얼굴의 목표 부위의 위치에 기초하여 잘라낸 목표 이미지는 얼굴의 자신 특징에 더욱 합치됨과 함께, 동작에 따른 물체가 보다 완전한 이미지 영역을 포함한다.
단계(S30), 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식한다.
가능한 실시형태에서는, 목표 이미지의 특징을 추출하고 추출된 특징에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정할 수 있다.
가능한 실시형태에서는, 상기 소정 동작은 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 중 어느 하나 또는 이들의 조합을 포함해도 된다. 얼굴이 소속되는 대상자가 소정 동작을 실행할 때, 운전, 보행, 오토바이나 자전거 등을 타는 등의 동작을 동시에 실행하는 경우가 있다. 이 경우, 상기 소정 동작에 의해 얼굴이 속하는 대상자의 주의가 흐트러져, 안전상 문제가 생긴다. 소정 동작의 인식 결과에 기초하여 얼굴이 속하는 대상자에 대해 안전 해석 등의 응용을 행할 수 있다. 예를 들면, 검출 이미지가 노면에서의 감시 카메라에 의해 촬영된 이미지인 경우, 검출 이미지에서의 얼굴이 차량을 운전하는 운전자의 얼굴이다. 검출 이미지에서의 얼굴이 소속되는 대상자가 흡연 동작을 하는 경우, 입 부분의 목표 이미지의 특징을 추출하고, 그 특징에 기초하여 목표 이미지에 담배의 특징이 있는지 여부를 판단함으로써, 얼굴이 소속되는 대상자가 흡연하고 있는지 여부를 결정할 수 있다. 운전자가 흡연 동작을 하고 있으면, 안전상의 우려가 존재하는 것으로 생각된다.
본 실시예에서는 검출 이미지에서 얼굴의 목표 부위를 인식하고, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내고, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식한다. 목표 부위의 검출 결과에 기초하여 목표 이미지를 잘라내는 것은 상이한 검출 이미지에서의 면적이 상이한 얼굴에 적용 가능하며, 상이한 얼굴형의 얼굴에도 적용 가능하다. 본 발명의 실시예는 적용 범위가 넓다. 목표 이미지는 해석하기 위한 충분한 정보를 포함하고, 또한 잘라낸 목표 이미지의 면적이 지나치게 크고, 무용한 정보가 지나치게 많은 것에 의한 시스템 처리 효율의 저하와 같은 문제를 감소시킬 수 있다.
도 2는 본 발명의 실시예에 따른 동작 인식 방법의 흐름도를 나타내고, 도 2에 나타내는 바와 같이, 상기 동작 인식 방법에서의 단계(S10)에는 이하의 단계를 포함한다.
단계(S11), 상기 검출 이미지에서 얼굴을 검출한다.
가능한 실시형태에서는 얼굴 검출 알고리즘을 사용하여 검출 이미지에서 얼굴을 검출할 수 있다. 얼굴 검출 알고리즘은 1, 검출 이미지의 특징을 추출하는 것과, 2, 추출된 특징에 기초하여 검출 이미지에서 후보 프레임을 결정하는 것과, 3, 각 후보 프레임의 분류 결과에 의해, 후보 프레임에서 얼굴 프레임을 결정하는 것과, 4, 좌표 피팅에 의해 얼굴 프레임의 검출 이미지에서의 좌표를 취득하여 얼굴 검출 결과를 취득하는 것을 포함해도 된다. 얼굴 검출 결과는 얼굴 프레임의 4개의 정점의 좌표, 얼굴 프레임의 길이 및 폭을 포함해도 된다.
단계(S12), 얼굴의 검출 결과에 기초하여 얼굴 키포인트의 검출을 행한다.
가능한 실시형태에서는 얼굴 키 포인트는 얼굴에서의 소정 위치의 점을 포함해도 된다. 얼굴에서의 각 부위의 상이한 위치의 점을 얼굴 키 포인트로서 결정할 수 있다. 예를 들면, 얼굴 키포인트는 눈 부분 윤곽선에서의 점(눈가, 눈구석 등), 눈썹 부분 윤곽선에서의 점, 코 부분 윤곽선에서의 점 등을 포함해도 된다. 필요에 따라, 얼굴 키 포인트의 위치와 수량을 결정할 수 있다. 검출 이미지에서의 얼굴 프레임이 위치하는 영역의 특징을 추출하고, 소정의 맵 함수와 추출된 특징에 기초하여 검출 이미지에서의 얼굴의 각 키 포인트의 2차원 좌표를 취득할 수 있다.
단계(S13), 얼굴 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 목표 부위를 결정한다.
가능한 실시형태에서는 얼굴 키포인트에 의해 얼굴의 목표 부위를 정밀하게 결정할 수 있다. 예를 들면, 눈 부분에 관한 얼굴 키포인트에 의해 눈 부분을 결정할 수 있다. 입 부분에 관한 얼굴 키포인트에 의해 입 부분을 결정할 수 있다.
가능한 실시형태에서는, 상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트를 포함한다. 상기 단계(S13)에는 입 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분을 결정하는 것을 포함한다.
가능한 실시형태에서는 얼굴 키 포인트는 입 부분 키포인트, 귀 부분 키 포인트, 코 부분 키포인트, 눈 부분 키포인트, 눈썹 부분 키포인트, 얼굴 부분 외윤곽 키 포인트 등을 포함해도 된다. 입 부분 키 포인트는 윗입술 윤곽선과 아랫 입술 윤곽선에서의 하나 이상 또는 복수의 키 포인트를 포함해도 된다. 입 부분 키포인트에 의해 검출 이미지에서의 얼굴의 입 부분을 결정할 수 있다.
본 실시예에서는 검출 이미지에서 얼굴을 검출하고, 얼굴 키포인트를 검출하고, 얼굴 키포인트에 의해 목표 부위를 결정할 수 있다. 얼굴 키포인트에 의해 결정된 목표 부위는 보다 정확하다.
도 3은 본 발명의 실시예에 따른 동작 인식 방법의 흐름도를 나타내고, 상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트와 눈썹 부분 키포인트를 포함한다. 도 3에 나타내는 바와 같이, 상기 동작 인식 방법에서의 단계(S20)에는 이하의 단계를 포함한다.
단계(S21), 상기 입 부분 키포인트와 상기 눈썹 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분에서 미간까지의 거리를 결정한다.
단계(S22), 상기 입 부분 키포인트와 상기 거리에 기초하여, 상기 검출 이미지에서 입 부분에 대응하는 목표 이미지를 잘라낸다.
가능한 실시형태에서는, 눈썹 부분 키 포인트는 좌우 눈썹의 윤곽선에서의 하나 또는 복수의 키 포인트를 포함해도 된다. 눈썹 부분 키포인트에 의해 얼굴의 눈썹을 결정하고, 또한 얼굴의 미간의 위치를 결정할 수 있다.
가능한 실시형태에서는 상이한 검출 이미지에서의 얼굴이 차지하는 면적이 상이해도 되고, 상이한 얼굴의 얼굴형이 상이해도 된다. 입 부분에서 미간까지의 거리는 검출 이미지에서 차지하는 얼굴의 면적으로 직감적이고 또한 전면적으로 구현할 수 있고, 상이한 얼굴형을 직감적이고 또한 전면적으로 구현할 수 있다. 입 부분에서 얼굴에서의 미간까지의 거리에 기초하여 입 부분에 대응하는 목표 이미지를 잘라냄으로써, 목표 이미지에 포함되는 이미지 내용이 얼굴의 개별적 특성에 의해 상이해진다. 입 부분 동작에 관한 물체가 목표 이미지에 포함되도록 입 부분 아래쪽의 얼굴 이외의 영역을 보다 많이 포함시켜도 된다. 목표 이미지의 특징에 기초하여, 예를 들면, 흡연, 전화 통화 등의 입 부분 또는 입 부분 근방에서 발생하는 미세 동작을 용이하게 인식할 수 있다.
예를 들면, 얼굴이 긴 경우, 입 부분에서 미간까지의 거리가 크고, 입 부분 키포인트 및 입 부분과 미간 사이의 거리에 기초하여 결정되는 목표 이미지의 면적이 커지고, 얼굴의 자신 특징에 더욱 합치할 수 있다. 얼굴 이외의 영역에서 흡연 동작에 관한 담배가 목표 이미지에 포함되도록 해도 된다. 이와 같이, 흡연의 동작 인식 결과가 보다 정확해진다.
가능한 실시형태에서는, 목표 이미지는 임의의 형상이어도 된다. 예를 들면, 입 부분에서 상기 얼굴에서의 미간까지의 거리를 d로 하고, 입 부분의 중심점을 중심으로 하고, d보다 큰 소정 길이 변의 길이로 하여, 직사각형의 목표 이미지를 잘라내도록 해도 된다. 잘라낸 목표 이미지에는 입 부분 아래쪽의 얼굴 이외의 영역이 포함된다. 입 부분을 목표 부위로 하는 동작을 검출하는 경우에, 입 부분 아래쪽의 얼굴 이외의 영역에서 담배, 식품 등의 물체가 검출되는 것이 가능하고, 보다 정확한 동작 검출 결과가 취득된다.
본 실시예에서는 입 부분에서 상기 얼굴에서의 미간까지의 거리에 기초하여 잘라낸 입 부분의 목표 이미지는 얼굴의 자신 특징에 더욱 합치하고, 입 부분 아래쪽의 얼굴 이외의 영역이 포함되고, 입 부분을 목표 부위로 하는 동작 검출 결과를 보다 정확하게 할 수 있다.
도 4는 본 발명의 실시예에 따른 동작 인식 방법의 흐름도를 나타내고, 도 4에 나타내는 바와 같이, 상기 동작 인식 방법에서의 단계(S30)에는 이하의 단계를 포함한다.
단계(S31), 상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출한다.
가능한 실시형태에서는 이미지를 2차원의 이산적인 신호로 간주해도 되고, 이미지에 대해 합성곱 처리를 행하는 것은 합성곱 커널을 이미지상에서 슬라이딩시켜 이미지점상의 화소 계조값과 대응하는 합성곱 커널상의 수치를 곱하고, 곱한 값을 전부 더하여 합성곱 커널 중간 화소에 대응하는 이미지상의 화소의 계조값으로 하는 것을 이미지의 모든 픽셀에 대한 처리가 완성될 때까지 반복하는 과정을 포함한다. 합성곱 연산은 이미지 처리 중에 이미지의 필터링에 사용될 수 있다. 소정의 합성곱 커널에 의해 목표 이미지에 대해 합성곱 연산 처리를 행하고, 목표 이미지의 합성곱 특징을 추출할 수 있다.
단계(S32), 상기 합성곱 특징에 대해 분류 처리를 행하여, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정한다.
가능한 실시형태에서는 분류 처리는 2클래스 분류 처리 등의 분류 처리를 포함해도 된다. 여기서, 2클래스 분류 처리는 입력되는 데이터를 처리하고, 미리 설정된 2개의 클래스 중 어느 것에 속하는지에 대한 결과를 출력하는 것을 포함해도 된다. 2개의 클래스로서 흡연 동작과 비흡연 동작을 미리 설정해도 된다. 목표 이미지의 합성곱 특징에 대해 2클래스 분류 처리를 행한 후, 목표 이미지에서의 얼굴이 소속되는 대상자가 흡연 동작을 하고 있을 확률과, 흡연 동작을 하지 않는 확률을 취득할 수 있다.
가능한 실시형태에서는 분류 처리는 다클래스 분류 처리를 추가로 포함해도 된다. 목표 이미지의 합성곱 특징에 대해 멀티 태스크의 분류 처리를 행한 후, 목표 이미지에서의 얼굴이 소속된 대상자의 각 태스크에 속할 확률을 취득할 수 있다. 본 발명은 이에 한정하지 않는다.
본 실시예에서는 합성곱 처리와 분류 처리에 의해 목표 이미지에서의 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정할 수 있다. 합성곱 처리와 분류 처리에 의해, 동작 검출의 검출 결과를 보다 정확하게 하고, 검출 프로세스의 효율을 높일 수 있다.
가능한 실시형태에서는, 단계(S31)에는 뉴럴 네트워크의 합성곱층에 의해 상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하는 것을 포함해도 되고, 단계(S32)에는 상기 뉴럴 네트워크 분류층에 의해 상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하는 것을 포함해도 된다.
가능한 실시형태에서는, 뉴럴 네트워크는 입력에서 출력에 대한 매핑을 포함해도 된다. 입력과 출력 사이의 정확한 수학 표현식이 필요하지 않고, 대량의 입력과 출력의 매핑 관계를 학습하고, 기존의 모드를 사용하여 트레이닝함으로써 입력에서 출력에 대한 매핑을 완성시킬 수 있다. 검출 동작을 포함하는 샘플 이미지를 사용하여 뉴럴 네트워크를 트레이닝할 수 있다.
가능한 실시형태에서는 뉴럴 네트워크는 합성곱층과 분류층을 포함해도 된다. 여기서, 합성곱층은 입력된 목표 이미지 또는 특징에 대해 합성곱 처리를 행하기 위해 사용된다. 분류층은 특징을 분류 처리하기 위해 사용된다. 본 발명은 합성곱층과 분류층의 구체적인 실시형태를 한정하는 것은 아니다.
본 실시예에서는 목표 이미지를 트레이닝된 뉴럴 네트워크에 입력하여 뉴럴 네트워크의 강한 처리 능력에 의해 정확한 동작 검출 결과를 취득한다.
가능한 실시형태에서는, 상기 뉴럴 네트워크는 미리 라벨이 있는 샘플 이미지 세트는 교사 트레이닝을 행한 것이고, 여기서, 상기 샘플 이미지 세트는 샘플 이미지와, 샘플 이미지에 노이즈를 추가한 노이즈 이미지를 포함한다.
가능한 실시형태에서는, 촬영 장치에 의한 검출 이미지 촬영 중에 다양한 원인에 의해 상이한 검출 이미지 사이에 미소한 차이가 존재하는 경우가 있다. 예를 들면, 촬영 장치에 의해 비디오 스트림을 촬영할 때, 촬영 장치의 미소한 위치 변화에 의해, 비디오 스트림에서 상이한 프레임의 검출 이미지에 차이가 존재하는 경우가 있다. 뉴럴 네트워크는 고차원 공간에서의 함수 맵인 것으로 생각되고, 고차원 함수의 경우, 어느 위치에서의 도함수가 큰 값이 될 수 있다. 어느 위치에서의 도함수가 큰 값이 되는 경우, 뉴럴 네트워크에 입력되는 이미지 내의 화소 레벨의 미소한 차이에도 출력 특징이 크게 변동된다. 뉴럴 네트워크의 연산 정확률을 높이기 위해 트레이닝 중에 샘플 이미지의 변동(화소 레벨의 변동이어도)에 의한 뉴럴 네트워크의 출력이 큰 오차를 해소할 수 있다.
가능한 실시형태에서는, 상기 동작 인식 방법은 상기 샘플 이미지에 대해 회전, 평행 이동, 스케일 변경, 노이즈 부가 중 하나 이상의 처리를 행하고, 노이즈 이미지를 취득하는 것을 추가로 포함한다.
가능한 실시형태에서는 샘플 이미지에 대해 매우 작은 각도의 회전, 매우 작은 거리의 평행 이동, 스케일 확대, 스케일 축소 등의 조작을 행한 후, 샘플 이미지에 노이즈를 추가하여 노이즈 이미지를 취득할 수 있다.
가능한 실시형태에서는 샘플 이미지와 노이즈 이미지를 전부 뉴럴 네트워크에 입력하고, 샘플 이미지에 의해 얻어진 출력 결과, 노이즈 이미지에 의해 얻어진 출력 결과 및 샘플 이미지의 라벨을 사용하여 뉴럴 네트워크 역전파를 위한 손실을 취득하고, 추가로 얻어진 손실을 사용하여 뉴럴 네트워크를 트레이닝할 수 있다.
본 실시예에서는 샘플 이미지에 의해 노이즈 이미지를 취득하고, 추가로 샘플 이미지와 노이즈 이미지에 의해 뉴럴 네트워크를 트레이닝함으로써, 트레이닝된 뉴럴 네트워크에 의해 추출된 특징의 안정성이 강하고, 변동 방지 성능이 높고, 얻어진 동작 인식 결과도 보다 정확해진다.
가능한 실시형태에서는, 상기 뉴럴 네트워크의 트레이닝 과정에는 뉴럴 네트워크에 의해 상기 샘플 이미지 및 상기 노이즈 이미지의 각각의 소정 동작 검출 결과를 각각 취득하는 것과, 상기 샘플 이미지의 소정 동작 검출 결과와 그 라벨의 제1 손실 및 상기 노이즈 이미지의 소정 동작 검출 결과와 그 라벨의 제2 손실을 각각 결정하는 것과, 상기 제1 손실과 상기 제2 손실에 기초하여 뉴럴 네트워크의 네트워크 파라미터를 조정하는 것을 포함한다.
가능한 실시형태에서는 제1 손실은 softmax(소프트맥스) 손실을 포함해도 된다. softmax 손실은 다클래스 분류 프로세스에 사용되고, 복수의 출력을 (0,1) 구간 내에 매핑하여 분류 결과를 취득할 수 있다. 이하의 식 (1)에 의해 제1 손실(Lsoftmax)을 취득할 수 있다.
Figure pct00001
단, pi는 뉴럴 네트워크가 출력하는 샘플 이미지의 실제 정확 유별의 확률이고, N은 샘플 이미지의 합계 샘플수이며(단, N이 양의 정수), i는 샘플 번호이다(단, i가 양의 정수이고, 또한 i≤N임).
가능한 실시형태에서는, 상기 샘플 이미지를 뉴럴 네트워크에 입력하고, 상기 샘플 이미지의 제1 특징을 추출한다. 상기 노이즈 이미지를 뉴럴 네트워크에 입력하고, 상기 노이즈 이미지의 제2 특징을 추출한다. 상기 제1 특징과 상기 제2 특징에 기초하여, 상기 뉴럴 네트워크의 제2 손실을 결정하도록 해도 된다. 제2 손실은 유클리드 손실을 포함해도 된다.
예를 들면, 샘플 이미지는 크기가 W×H의 이미지 Iori여도 되고, 그에 대응하는 뉴럴 네트워크에 의한 특징 벡터는 Fori이다. Iori에 일정한 노이즈를 추가하여 노이즈 이미지 Inoise를 취득할 수 있다. Inoise도 동시에 뉴럴 네트워크에 입력하여 피드 포워드를 행할 수 있다. 뉴럴 네트워크에 의한 대응의 특징 벡터는 Fnoise이다. 벡터 Fori와 벡터 Fnoise의 차를 드리프트 특징△F로 표기하고, 이하의 식 (2)에 의해 제2 손실LEuclidean을 취득할 수 있다.
Figure pct00002
가능한 실시형태에서는 제1 손실과 제2 손실에 기초하여 뉴럴 네트워크 역전파의 손실 Loss을 취득할 수 있다.
이하의 식 (3)을 사용하여 뉴럴 네트워크 역전파의 손실 Loss를 취득할 수 있다.
Figure pct00003
손실 Loss에 기초하여 구배 역전파 알고리즘을 사용하여 뉴럴 네트워크를 트레이닝할 수 있다.
본 실시예에서는 샘플 이미지에 의해 제1 손실을 취득하고, 샘플 이미지와 노이즈 이미지에 의해 제2 손실을 취득하고, 추가로 제1 손실과 제2 손실에 기초하여 뉴럴 네트워크 역전파의 손실을 취득한 후, 뉴럴 네트워크를 트레이닝할 수 있다. 트레이닝된 뉴럴 네트워크는 변동 방지 성능이 우수하고, 추출하는 특징의 안정성이 강하고, 동작 검출 결과가 정확하다.
도 5는 본 발명의 실시예에 따른 동작 인식 방법의 흐름도를 나타내고, 도 5에 나타내는 바와 같이, 상기 동작 인식 방법은 이하의 단계를 추가로 포함한다.
단계(S40), 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신한다.
가능한 실시형태에서는 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 검출한 경우, 예를 들면, 노면 감시 카메라에 의해 촬영된 차량 운전자의 이미지에서 운전자가 흡연, 음식, 마스크 착용, 전화 통화, 화장 등의 동작을 하고 있는 것으로 검출한 경우에 운전자가 주의력을 집중하지 않아, 안전상의 문제가 발생할 수 있음을 나타내고, 경보 정보를 송신하여 관계자에게 개입시키도록 통지할 수 있다.
가능한 실시형태에서는, 경보 정보는 음성, 문자, 이미지 등 다양한 표현 형식의 정보를 포함해도 된다. 경보 정보는 검출된 동작에 의해 상이한 경보 레벨로 나누어도 좋다. 상이한 경보 레벨에 의해 상이한 경보 정보를 송신한다. 본 발명은 이에 한정하지 않는다.
본 실시예에서는 얼굴이 소속되는 대상자가 소정 동작을 실행하는 경우에 경보 정보를 송신한다. 필요에 따라, 본 발명의 실시예는 상이한 사용 요구 및 상이한 사용 환경에 적용 가능하도록 동작 검출 결과에 의해 경보 정보를 송신할 수 있다.
가능한 실시형태에서는, 단계(S40)에는 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식되고, 또한 인식된 동작이 경보 조건을 만족하는 경우에 경보 정보를 송신하는 것을 포함한다.
가능한 실시형태에서는, 경보 조건을 미리 설정하여 동작이 경보 조건을 충족하지 않는 것으로 인식한 경우에, 경보 정보를 송실한 필요가 없어도 된다. 동작이 소정 동작인 것으로 인식하는 경우에 경보 정보를 송신한다. 인식된 동작이 소정 동작이 아닌 경우에 경보 정보를 송신하지 않는다. 상이한 경보 조건은 상이한 경보 정보 유형 또는 내용에 대응되도록 복수의 경보 조건을 설정해도 된다. 필요에 따라 경보 조건을 조정하여, 송신하는 경보 정보의 유형 또는 내용 등을 조정할 수 있다.
본 실시예에서는 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식되고, 또한 인식된 동작이 경보 조건을 만족하는 경우에 경보 정보를 송신한다. 경보 조건에 의해 상이한 경보 정보를 송신하여, 상이한 사용 요구에 더욱 합치되도록 해도 된다.
가능한 실시형태에서는, 상기 동작은 동작 지속 시간을 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계값을 초과하는 것을 포함한다.
가능한 실시형태에서는, 동작은 동작 지속 시간을 포함해도 된다. 동작 지속 시간이 시간 임계치를 초과하면 동작의 실행에 의해 동작 실행 대상자의 주의가 많이 흐트러짐으로써, 위험 동작인 것으로 간주되고, 경보 정보를 송신할 필요가 있다. 예를 들면, 운전자의 흡연 동작의 시간이 3초를 초과하면 흡연 동작이 위험 동작이고, 운전자의 운전 동작에 영향을 미칠 것으로 간주되어, 운전자에게 경보 정보를 송신할 필요가 있다.
본 실시예에서는 동작 지속 시간과 시간 임계값에 의해 경보 정보의 송신 조건을 조정할 수 있고, 그와 같이 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응하게 된다.
가능한 실시형태에서는, 상기 동작은 동작 횟수를 포함하고, 상기 경보 조건은 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함한다.
가능한 실시형태에서는, 동작은 동작 횟수를 포함해도 된다. 동작 횟수가 횟수 임계값을 초과하면 작업 실행 대상자의 동작이 빈번하고, 주의가 많이 흐트러짐으로써, 위험 동작인 것으로 간주되고, 경보 정보를 송신할 필요가 있다. 예를 들면, 운전자의 흡연 동작의 횟수가 5회를 초과하면 흡연 동작이 위험 동작이며, 운전자의 운전 동작에 영향을 미칠 것으로 간주되어, 운전자에게 경보 정보를 송신할 필요가 있다.
본 실시예에서는 동작 횟수와 횟수 임계값에 의해 경보 정보의 전송 조건을 조정할 수 있고, 그와 같이 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응하게 된다.
가능한 실시형태에서는, 상기 동작은 동작 지속 시간과 동작 횟수를 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계치를 초과하고, 또한 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함한다.
가능한 실시형태에서는, 동작의 지속 시간이 시간 임계값을 초과하고, 또한 동작 횟수가 횟수 임계값을 초과하면 동작 실행 대상자의 동작이 빈번하고, 또한 동작 지속 시간이 길고, 주의가 많이 흐트러지고, 위험 동작인 것으로 간주되어, 경보 정보를 송신할 필요가 있다.
본 실시예에서는 동작 횟수 및 횟수 임계값, 동작 지속 시간과 시간 임계값에 의해 경보 정보의 송신 조건을 조정할 수 있고, 그와 같이 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응하게 된다.
가능한 실시형태에서는, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신하는 것은 동작의 인식 결과에 기초하여 동작 레벨을 결정하는 것과, 상기 동작 레벨에 대응하는 레벨 대응 경보 정보를 송신하는 것을 포함한다.
가능한 실시형태에서는, 예를 들면, 화장 동작의 위험 레벨이 높고, 흡연, 음식, 물/음료 마시는 동작의 위험 레벨이 일반적이고, 마스크 착용 동작과 전화 통화 동작의 위험 레벨이 낮은 것과 같이, 상이한 동작에 대해 동작 레벨을 설정해도 된다. 위험 레벨이 높은 동작을 고급 경보 정보에 매핑하고, 위험 레벨이 일반적인 동작을 중급 경보 정보에 매핑하고, 위험 레벨이 낮은 동작을 저급 경보 정보에 매핑하도록 해도 된다. 고급 경보 정보의 위험 레벨이 중급 경보 레벨보다 높고, 중급 경보 정보의 위험 레벨이 저급 경보 레벨보다 높다. 상이한 경보 목적이 달성되기 위해, 상이한 동작에 따라 상이한 레벨의 경보 정보를 송신할 수 있다.
본 실시예에서는 상이한 동작 레벨에 따라 상이한 경보 정보를 송신함으로써, 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응할 수 있다.
도 6은 본 발명의 실시예에 따른 운전자 상태 해석 방법의 흐름도를 나타낸다. 상기 운전자 상태 해석 방법은 사용자측 장치(User Equipment, UE) 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치 또는 서버 등의 전자 기기에 의해 실행되어도 된다. 일부 가능한 실시형태에서는 상기 운전자 상태 해석 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러냄으로써 실현되어도 된다.
도 6에 나타내는 바와 같이, 상기 운전자 상태 해석 방법은 운전자에 대한 검출 이미지를 취득하는 단계(S100)와, 상기 중 어느 한 항에 기재된 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 단계(S200)와, 인식된 동작에 기초하여 운전자의 상태를 결정하는 단계(S300)를 포함한다.
가능한 실시형태에서는 차량 내에 감시 카메라를 설치하여 운전자에 대한 검출 이미지를 촬영할 수 있다. 그 감시 카메라는 가시광 카메라, 적외선 카메라 또는 근적외선 카메라 등의 다양한 카메라를 포함해도 된다.
가능한 실시형태에서는 상기 중 어느 하나의 실시예에 기재된 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하도록 해도 된다. 예를 들면, 운전자가 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 등의 소정 동작을 실행하고 있는지 여부를 인식할 수 있다.
가능한 실시형태에서는 운전자의 상태는 안전 상태와 위험 상태 또는 정상 상태와 위험 상태 등을 포함해도 된다. 운전자의 동작 인식 결과에 기초하여 운전자의 상태를 결정할 수 있다. 예를 들면, 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 등의 소정 동작인 것으로 인식한 경우에 운전자의 상태는 위험 상태 또는 이상 상태가 된다.
가능한 실시형태에서는 운전자의 상태에 따라 운전자 또는 차량 관리 센터에 경보 정보를 송신하여 차량이 위험 운전 중일 가능성이 있음을 운전자 또는 관리자에게 통지할 수 있다.
본 실시예에서는 운전자에 대한 검출 이미지를 취득하고, 본 발명의 실시예에서의 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하고, 인식된 동작에 기초하여 운전자의 상태를 결정하도록 해도 된다. 운전자의 상태에 따라 차량의 운전 안전성을 높일 수 있다.
가능한 실시형태에서는, 상기 운전자 상태 해석 방법은 차량 상태 정보를 취득하는 것을 추가로 포함하고, 단계(S200)는 차량 상태 정보가 설정 트리거 조건을 만족함에 따라, 상기 중 어느 한 항에 기재된 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 것을 포함한다.
가능한 실시형태에서는 차량의 상태 정보를 취득하고, 취득된 차량 상태 정보에 기초하여 설정 트리거 조건을 만족하는지 여부를 판단할 수 있다. 차량의 상태 정보를 설정 트리거 조건을 만족하는 경우에, 본 발명의 실시예에서의 동작 인식 방법을 사용하여, 운전자가 소정 동작을 실행하고 있는지 여부를 인식할 수 있다. 설정 트리거 조건을 조정함으로써 사용자의 요구에 따라 운전 동작을 인식하는 것이 가능하게 된다.
본 실시예에서는 차량 상태 정보를 취득하고, 차량 상태 정보가 설정 트리거 조건을 만족하는 경우에 운전자가 소정 동작을 실행하고 있는지 여부를 인식할 수 있다. 설정 트리거 조건에 의해, 운전자의 동작 인식은 사용자의 상이한 사용 요구를 만족하고, 본 발명의 실시예의 적합성과 적용 범위를 높이는 것이 가능해진다.
가능한 실시형태에서는 차량 상태 정보는 차량 점화 상태를 포함하고, 소정 트리거 조건은 차량이 점화된 것이 검출된 것을 포함한다.
가능한 실시형태에서는 차량이 점화되어 주행하기 시작한 후, 운전자가 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 등의 소정 동작을 실행하면 차량 운전의 안전성이 영향을 받는다. 소정 트리거 조건은 차량이 점화된 것으로 검출된 것을 포함해도 된다. 차량 내의 감시 카메라에 의해 촬영된 감시 이미지에서 차량 점화 후에 운전자의 동작을 인식하여 차량의 주행 안전성을 높일 수 있다.
본 실시예에서는 차량이 점화된 후, 운전자의 동작을 인식함으로써, 차량 주행 중의 안전성을 높일 수 있다.
가능한 실시형태에서는 차량 상태 정보는 차량의 차속을 포함하고, 소정 트리거 조건은 차량의 차속이 차속 임계값을 초과하는 것이 검출된 것을 포함한다.
가능한 실시형태에서는 차량의 차속이 차속 임계값을 초과하면, 운전자는 주의력을 고도로 집중해야 한다. 소정 트리거 조건은 차량 차속이 차속 임계값을 초과하는 것으로 검출된 것을 포함해도 된다. 차량의 감시 카메라에 의해 촬영한 감시 이미지에서 차량의 차속이 차속 임계값을 초과하는 경우에 운전자의 동작을 인식하여 차량의 주행 안전성을 높일 수 있다.
본 실시예에서는 차량의 차속이 차속 임계값을 초과하는 경우에 운전자의 동작을 인식함으로써, 차량 고속 주행 중의 안전성을 높일 수 있다.
가능한 실시형태에서는, 상기 운전자 상태 해석 방법은 운전자의 상태를 설정된 연락처 또는 지정된 서버 플랫폼에 전송하는 것을 추가로 포함한다.
가능한 실시형태에서는 운전자의 상태를 예를 들면, 운전자의 가족, 관리자 등의 설정된 연락처에 전송해도 된다. 그렇게 하여, 운전자의 설정된 연락처가 운전자의 상태를 취득하여 차량의 운전 상태를 감시하는 것이 가능해진다. 또한, 운전자의 상태를 예를 들면, 차량의 관리 서버 플랫폼과 같은 지정 서버 플랫폼에 전송해도 된다. 그렇게 하여, 차량의 관리자가 운전자의 상태를 취득하여 차량의 운전 상태를 감시하는 것이 가능해진다.
본 실시예에서는 운전자의 상태를 설정된 연락처 또는 지정된 서버 플랫폼에 전송함으로써, 설정된 연락처 또는 지정된 서버 플랫폼의 관리자가 차량의 운전 상태를 감시하는 것이 가능해진다.
가능한 실시형태에서는, 상기 운전자 상태 해석 방법은 상기 운전자의 동작 인식 결과를 포함하는 검출 이미지를 기억 또는 송신하는 것, 또는 상기 운전자의 동작 인식 결과를 포함하는 검출 이미지 및 이 이미지 전후의 소정수의 프레임으로 구성되는 비디오 세그먼트를 기억 또는 송신하는 것을 추가로 포함한다.
가능한 실시형태에서는 운전자의 동작 인식 결과를 포함하는 검출 이미지 또는 운전자의 동작 인식 결과를 포함하는 검출 이미지 및 이 이미지 전후의 소정 수의 프레임으로 구성되는 비디오 세그먼트를 기억 또는 송신하도록 해도 된다. 기억 장치에 기억하거나, 또는 설정된 메모리에 송신하여 기억함으로써, 검출 이미지 또는 비디오 세그먼트를 장시간 저장할 수 있다.
본 실시예에서는 운전자의 동작 인식 결과를 포함하는 검출 이미지 또는 비디오 세그먼트를 기억 또는 송신함으로써 검출 이미지 또는 비디오 세그먼트를 장시간 저장할 수 있다.
(응용예)
도 7은 본 발명의 실시예에 따른 동작 인식 방법에서의 검출 이미지를 나타낸다. 도 7에 나타내는 검출 이미지는 노면 감시 카메라에 의해 촬영된 차량 운전자의 이미지이다. 검출 이미지에서의 운전자가 흡연하고 있다.
도 8은 본 발명의 실시예에 따른 동작 인식 방법에서의 얼굴 검출 결과의 모식도를 나타낸다. 본 발명의 실시예에서의 동작 인식 방법을 사용하여 검출 이미지에 대해 얼굴 검출을 행하여, 검출 이미지에서 얼굴의 위치를 취득할 수 있다. 도 8에 나타내는 바와 같이, 도 8에서의 얼굴 검출 프레임은 운전자의 얼굴이 위치하는 영역을 결정하고 있다.
도 9는 본 발명의 실시예에 따른 동작 인식 방법에 있어서 목표 이미지를 결정하는 모식도를 나타낸다. 얼굴 키 포인트에 대해 추가적으로 검출을 행하고, 얼굴 키포인트에 의해 얼굴에서의 입 부분을 결정할 수 있다. 입 부분을 중심으로 하고, 입 부분에서 미간까지의 거리의 2배가 되는 잘라내는 길이로, 입 부분의 목표 이미지를 잘라내도록 해도 된다. 도 9에 나타내는 바와 같이, 잘라낸 입 부분의 목표 이미지는 입 부분 아래쪽의 얼굴 이외의 부분 영역을 포함한다. 또한, 입 부분 아래쪽의 얼굴 이외의 부분 영역에는 흡연하고 있는 손 부분과 담배가 포함된다.
도 10은 본 발명의 실시예에 따른 동작 인식 방법에 있어서 목표 이미지에 기초하여 동작 인식을 행하는 모식도를 나타낸다. 도 10에 나타내는 바와 같이, 도 9에서 잘라낸 목표 이미지를 뉴럴 네트워크에 입력하여 운전자가 흡연하고 있는지 여부에 대한 동작 인식 결과를 취득할 수 있다.
도 11은 본 발명의 실시예에 따른 동작 인식 방법에 있어서 노이즈 이미지에서 뉴럴 네트워크를 트레이닝하는 모식도를 나타낸다. 도 7에 나타내는 바와 같이, 위쪽 좌측의 목표 이미지에 노이즈를 추가하여, 위쪽 우측의 노이즈 이미지가 취득된다. 목표 이미지와 노이즈 이미지를 전부 뉴럴 네트워크에 입력하여 특징 추출을 행하고, 목표 이미지 특징과 노이즈 이미지 특징을 각각 취득하도록 해도 된다. 목표 이미지 특징과 노이즈 이미지 특성에 의해, 손실을 취득하고, 또한 손실에 기초하여 뉴럴 네트워크의 파라미터를 조정할 수 있다.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 서로 조합하여 실시예를 형성할 수 있음을 이해해야 한다. 분량에 한계가 있으므로 본 발명에서는 상세한 설명을 생략한다.
또한, 본 발명은 추가로, 동작 인식 장치, 운전자 상태 해석 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 제공한다. 이들은 전부 본 발명에 의해 제공된 동작 인식 방법, 운전자 상태 해석 방법 중 어느 하나를 실현하기 위해 사용할 수 있고, 대응하는 기술적 수단 및 설명은 방법에 대해 대응적인 설명을 참조하면 되고, 중복 설명은 생략한다.
도 12는 본 발명의 실시예에 따른 동작 인식 장치의 블록도를 나타내고, 도 12에 나타내는 바와 같이, 상기 동작 인식 장치는 검출 이미지에서의 얼굴의 목표 부위를 검출하기 위한 목표 부위 검출 모듈(10)과, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내기 위한 목표 이미지 잘라내기 모듈(20)과, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하기 위한 동작 인식 모듈(30)을 포함한다.
본 실시예에서는 검출 이미지에서 얼굴의 목표 부위를 인식하고, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내고, 상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식한다. 목표 부위의 검출 결과에 기초하여 목표 이미지를 잘라내는 것은 상이한 검출 이미지에서의 면적이 상이한 얼굴에 적용 가능하고, 상이한 얼굴형의 얼굴에도 적용 가능하다. 본 발명의 실시예는 적용 범위가 넓다. 목표 이미지는 해석하기 위한 충분한 정보를 포함하고, 또한 잘라낸 목표 이미지의 면적이 지나치게 크고, 무용한 정보가 지나치게 많은 것에 의한 시스템 처리 효율의 저하와 같은 문제를 감소시킬 수 있다.
가능한 실시형태에서는, 상기 목표 부위 검출 모듈(10)은 상기 검출 이미지에서 얼굴을 검출하기 위한 얼굴 검출 서브 모듈과, 얼굴 검출 결과에 기초하여 얼굴 키 포인트의 검출을 행하기 위한 키 포인트 검출 서브 모듈과, 얼굴 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 목표 부위를 결정하기 위한 목표 부위 검출 서브 모듈을 포함한다.
본 실시예에서는 검출 이미지에서 얼굴을 검출하고, 얼굴 키포인트를 검출하고, 얼굴 키포인트에 의해 목표 부위를 결정할 수 있다. 얼굴 키포인트에 의해 결정된 목표 부위는 보다 정확하다.
가능한 실시형태에서는, 상기 목표 부위는 입 부분, 귀 부분, 코 부분, 눈 부분, 눈썹 부분 중 어느 하나 또는 이들의 임의의 조합을 포함한다. 필요에 따라 얼굴의 목표 부위를 결정할 수 있다. 목표 부위는 하나 이상의 부위를 포함해도 된다. 얼굴 검출 기술을 사용하여 얼굴의 목표 부위를 검출할 수 있다.
가능한 실시형태에서는, 상기 소정 동작은 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 중 어느 하나 또는 이들의 조합을 포함해도 된다. 얼굴이 소속되는 대상자가 소정 동작을 실행할 때, 운전, 보행, 오토바이나 자전거 등을 타는 등의 동작을 동시에 행하는 경우가 있다. 이 경우, 상기 소정 동작에 의해, 얼굴이 소속되는 대상자의 주의가 흐트러져, 안전상의 문제가 생긴다. 소정 동작의 인식 결과에 기초하여, 얼굴이 소속되는 대상자에 대해 안전 해석 등의 응용을 행할 수 있다.
가능한 실시형태에서는, 상기 장치는 가시광 카메라, 적외선 카메라, 근적외선 카메라 중 하나 이상을 포함하는 카메라에 의해 상기 검출 이미지를 취득하기 위한 검출 이미지 취득 모듈을 추가로 포함한다. 여기에서, 가시광 카메라는 가시광 이미지를 취득하기 위해 사용되고, 적외선 카메라는 적외선 이미지를 취득하기 위해 사용되고, 근적외선 카메라는 근적외선 이미지를 취득하기 위해 사용된다.
가능한 실시형태에서는, 상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트를 포함한다. 상기 목표 부위 검출 서브 모듈은 입 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분을 결정하기 위해 사용된다.
가능한 실시형태에서는 얼굴 키 포인트는 입 부분 키포인트, 귀 부분 키 포인트, 코 부분 키포인트, 눈 부분 키포인트, 눈썹 부분 키포인트, 얼굴 부분 외윤곽 키 포인트 등을 포함해도 된다. 입 부분 키 포인트는 윗 입술 윤곽선과 아랫 입술 윤곽선에서의 하나 또는 복수의 키 포인트를 포함해도 된다. 입 부분 키포인트에 의해 검출 이미지에서의 얼굴의 입 부분을 결정할 수 있다.
가능한 실시형태에서는, 상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트와 눈썹 부분 키포인트를 포함한다. 상기 목표 이미지 잘라내기 모듈(20)은 상기 입 부분 키포인트와 상기 눈썹 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분에서 미간까지의 거리를 결정하기 위한 거리 결정 서브 모듈과, 상기 입 부분 키포인트와 상기 거리에 기초하여, 상기 검출 이미지에서 입 부분에 대응하는 목표 이미지를 잘라내기 위한 입 부분 이미지 잘라내기 서브 모듈을 포함한다.
본 실시예에서는 입 부분에서 상기 얼굴에서의 미간까지의 거리에 기초하여 잘라낸 입 부분의 목표 이미지는 얼굴의 자신 특징에 더욱 합치되고, 입 부분 아래쪽의 얼굴 이외의 영역이 포함되고, 입 부분을 목표 부위로 하는 동작 검출의 결과를 보다 정확하게 할 수 있다.
가능한 실시형태에서는, 상기 동작 인식 모듈(30)은 상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하기 위한 특징 추출 서브 모듈과, 상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하기 위한 분류 처리 서브 모듈을 포함한다.
본 실시예에서는 합성곱 처리와 분류 처리에 의해 목표 이미지에서의 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정할 수 있다. 합성곱 처리와 분류 처리에 의해, 동작 검출의 검출 결과를 보다 정확하게 하고, 검출 프로세스의 효율을 높일 수 있다.
가능한 실시형태에서는, 상기 특징 추출 서브 모듈은 뉴럴 네트워크의 합성곱층에 의해 상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하기 위해 사용된다. 상기 분류 처리 서브 모듈은 상기 뉴럴 네트워크 분류층에 의해 상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하기 위해 사용된다 .
본 실시예에서는 목표 이미지를 트레이닝된 뉴럴 네트워크에 입력하여 뉴럴 네트워크의 강한 처리 능력에 의해 정확한 동작 검출 결과를 취득한다.
가능한 실시형태에서는, 상기 뉴럴 네트워크는 미리 라벨이 있는 샘플 이미지 세트에 의해 교사 트레이닝을 행한 것이고, 여기서, 상기 샘플 이미지 세트는 샘플 이미지와, 샘플 이미지에 노이즈를 추가한 노이즈 이미지를 포함한다.
본 실시예에서는 샘플 이미지에 의해 노이즈 이미지를 취득하고, 추가로 샘플 이미지와 노이즈 이미지에 의해 뉴럴 네트워크를 트레이닝함으로써 트레이닝된 뉴럴 네트워크에 의해 추출된 특징의 안정성이 강하고, 변동 방지 성능이 높고, 얻어진 동작 인식 결과도 보다 정확해지는 것이 가능하다.
가능한 실시형태에서는, 상기 뉴럴 네트워크는 트레이닝 모듈을 포함하고, 상기 트레이닝 모듈은 뉴럴 네트워크에 의해 상기 샘플 이미지 및 상기 노이즈 이미지의 각각의 소정 동작 검출 결과를 각각 취득하기 위한 검출 결과 취득 서브 모듈과, 상기 샘플 이미지의 소정 동작 검출 결과와 그 라벨의 제1 손실 및 상기 노이즈 이미지의 소정 동작 검출 결과와 그 라벨의 제2 손실을 각각 결정하기 위한 손실 결정 서브 모듈과, 상기 제1 손실과 상기 제2 손실에 기초하여 뉴럴 네트워크의 네트워크 파라미터를 조정하기 위한 파라미터 조정 서브 모듈을 구비한다.
본 실시예에서는 샘플 이미지에 의해 제1 손실을 취득하고, 샘플 이미지와 노이즈 이미지에 의해 제2 손실을 취득하고, 추가로 제1 손실과 제2 손실에 기초하여, 뉴럴 네트워크 역전파의 손실을 취득한 후, 뉴럴 네트워크를 트레이닝할 수 있다. 트레이닝된 뉴럴 네트워크는 변동 방지 성능이 우수하고, 추출하는 특징의 안정성이 강하고, 동작 검출 결과가 정확하다.
가능한 실시형태에서는, 상기 장치는 상기 샘플 이미지에 대해 회전, 평행 이동, 스케일 변경, 노이즈 부가 중 하나 이상의 처리를 행하고, 노이즈 이미지를 취득하기 위한 노이즈 이미지 취득 모듈을 추가로 포함한다.
가능한 실시형태에서는 샘플 이미지에 대해 매우 작은 각도의 회전, 매우 작은 거리의 평행 이동, 스케일 확대, 스케일 축소 등의 조작을 행한 후, 샘플 이미지에 노이즈를 추가하여 노이즈 이미지를 취득할 수 있다.
가능한 실시형태에서는, 상기 장치는 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신하기 위한 경보 정보 송신 모듈을 추가로 포함한다.
본 실시예에서는 얼굴이 소속되는 대상자가 소정 동작을 실행하는 경우에 경보 정보를 송신한다. 필요에 따라, 본 발명의 실시예는 상이한 사용 요구 및 상이한 사용 환경에 적용 가능하도록 동작 검출의 결과에 의해 경보 정보를 송신할 수 있다.
가능한 실시형태에서는, 상기 경보 정보 송신 모듈은 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식되고, 또한 인식된 동작이 경보 조건을 만족하는 경우에 경보 정보를 송신하기 위한 제1 경보 정보 송신 서브 모듈을 포함한다.
본 실시예에서는 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식되고, 또한 인식된 동작이 경보 조건을 만족하는 경우에 경보 정보를 송신한다. 경보 조건에 의해 상이한 경보 정보를 송신하여, 상이한 사용 요구에 더욱 합치되도록 해도 된다.
가능한 실시형태에서는, 상기 동작은 동작 지속 시간을 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계값을 초과하는 것을 포함한다.
본 실시예에서는 동작 지속 시간과 시간 임계값에 의해 경보 정보의 송신 조건을 조정할 수 있고, 그와 같이 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응하게 된다.
가능한 실시형태에서는, 상기 동작은 동작 횟수를 포함하고, 상기 경보 조건은 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함한다.
본 실시예에서는 동작 횟수 및 횟수 임계값에 의해 경보 정보의 송신 조건을 조정할 수 있고, 그와 같이 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응하게 된다.
가능한 실시형태에서는, 상기 동작은 동작 지속 시간 및 작동 횟수를 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계치를 초과하고, 또한 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함한다.
본 실시예에서는 동작 횟수와 횟수 임계값, 동작 지속 시간과 시간 임계값에 의해 경보 정보의 송신 조건을 조정할 수 있고, 그와 같이 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응하게 된다.
가능한 실시형태에서는, 상기 경보 정보 송신 모듈은 동작의 인식 결과에 기초하여 동작 레벨을 결정하기 위한 동작 레벨 결정 서브 모듈과, 상기 동작 레벨에 대응하는 레벨 대응 경보 정보를 송신하기 위한 레벨 대응 경보 정보 송신 서브 모듈을 포함한다.
본 실시예에서는 상이한 동작 레벨에 따라 상이한 경보 정보를 송신함으로써, 경보 정보의 송신의 적합성이 보다 높고, 상이한 사용 요구에 더욱 적응할 수 있다.
도 13은 본 발명의 실시예에 따른 운전자 상태 해석 장치의 블록도를 나타내고, 도 13에 나타내는 바와 같이, 상기 장치는 운전자에 대한 검출 이미지를 취득하기 위한 운전자 이미지 취득 모듈(100)과, 상기 중 어느 한 항에 기재된 동작 인식 장치를 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하기 위한 동작 인식 모듈(200)과, 인식된 동작에 기초하여 운전자의 상태를 결정하기 위한 상태 인식 모듈(300)을 포함한다.
본 실시예에서는 운전자에 대한 검출 이미지를 취득하고, 본 발명의 실시예에서의 동작 인식 장치를 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하고, 인식된 동작에 기초하여 운전자의 상태를 결정하도록 해도 된다. 운전자의 상태에 따라 차량의 운전 안전성을 높일 수 있다.
가능한 실시형태에서는, 상기 장치는 차량 상태 정보를 취득하기 위한 차량 상태 취득 모듈을 추가로 포함하고, 상기 동작 인식 모듈은 차량 상태 정보를 설정 트리거 조건을 만족함에 따라, 제 25 항 내지 제 42 항 중 어느 한 항에 기재된 동작 인식 장치를 사용하여, 운전자가 소정 동작을 실행하고 있는지 여부를 인식하기 위한 조건 응답 서브 모듈을 포함한다.
본 실시예에서는 차량 상태 정보를 취득하고, 차량 상태 정보를 설정 트리거 조건을 만족하는 경우에 운전자가 소정 동작을 실행하고 있는지 여부를 인식할 수 있다. 설정 트리거 조건에 의해, 운전자의 동작 인식은 사용자의 상이한 사용 요구를 만족하고, 본 발명의 실시예의 적합성과 적용 범위를 높이는 것이 가능해진다.
가능한 실시형태에서는 차량 상태 정보는 차량 점화 상태를 포함하고, 소정 트리거 조건은 차량이 점화된 것이 검출된 것을 포함한다.
본 실시예에서는 차량이 점화된 후에 운전자의 동작을 인식함으로써, 차량 주행 중의 안전성을 높일 수 있다.
가능한 실시형태에서는 차량 상태 정보는 차량의 차속을 포함하고, 소정 트리거 조건은 차량의 차속이 차속 임계값을 초과하는 것이 검출된 것을 포함한다.
본 실시예에서는 차량의 차속이 차속 임계값을 초과하는 경우에 운전자의 동작을 인식함으로써, 차량 고속 주행 중의 안전성을 높일 수 있다.
가능한 실시형태에서는, 상기 장치는 운전자의 상태를 설정된 연락처 또는 지정된 서버 플랫폼에 전송하기 위한 상태 전송 모듈을 추가로 포함한다.
본 실시예에서는 운전자의 상태를 설정된 연락처 또는 지정된 서버 플랫폼에 전송함으로써, 설정된 연락처 또는 지정된 서버 플랫폼의 관리자가 차량의 운전 상태를 감시하는 것이 가능해진다.
가능한 실시형태에서는, 상기 장치는 상기 운전자의 동작 인식 결과를 포함하는 검출 이미지를 기억 또는 송신하는 것, 또는 상기 운전자의 동작 인식 결과를 포함하는 검출 이미지 및 이 이미지 전후의 소정 수의 프레임으로 구성된 비디오 세그먼트를 기억 또는 송신하는 것에 사용되는 기억 송신 모듈을 추가로 포함한다.
본 실시예에서는 운전자의 동작 인식 결과를 포함하는 검출 이미지 또는 비디오 세그먼트를 기억 또는 송신함으로써, 검출 이미지 또는 비디오 세그먼트를 장시간 저장할 수 있다.
일부 실시예에서는 본 발명의 실시예에서 제공된 장치가 구비된 기능 또는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용될 수 있다. 구체적인 실시형태에 대해서는 상기 방법 실시예의 설명을 참조하면 되고, 간소화하기 위해 여기서 중복 설명은 생략한다.
본 발명의 실시예는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하는 전자 기기를 추가로 제공하고, 여기서, 상기 프로세서는 상기 실행 가능한 명령을 직접적 또는 간접적으로 불러냄으로써 상기 동작 인식 방법 및/또는 운전자 상태 해석 방법을 실행한다.
본 발명의 실시예는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 동작 인식 방법 및/또는 운전자 상태 해석 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 추가로 제공한다. 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체여도 되고, 휘발성 컴퓨터 판독 가능 기억 매체여도 된다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 상기 동작 인식 방법 및/또는 운전자 상태 해석 방법을 실행하는 컴퓨터 프로그램을 추가로 제공한다.
도 14는 예시적 실시예에 따른 동작 인식 장치(800)의 블록도이다. 예를 들면, 장치(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 장치, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 휴대 정보 단말 등의 단말이어도 된다.
도 14을 참조하면, 장치(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814), 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.
처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법의 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해, 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등 다양한 타입의 휘발성 또는 불휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하도록 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)를 통해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼에는 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼 등을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G, 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현될 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 시그널 프로세서(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면 상기 방법을 실행시킬 수 있다.
도 15는 예시적인 하나의 실시예에 의해 나타낸 동작 인식 장치(1900)의 블록도를 나타낸다. 예를 들면, 장치(1900)는 서버로서 제공되어도 된다. 도 15를 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922), 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 어플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억되어 있는 어플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.
전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(1926)와, 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 동작할 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.
컴퓨터 판독 가능 기억 매체는 명령 실행 기기에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 보다 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기의 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스), 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기에서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또한 완전히 리모트 컴퓨터 또는 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현하도록 해도 된다.
이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 특정의 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실현되는 프로세스를 생성하도록 해도 된다. 이렇게 하여, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이하게 실현되어도 된다. 예를 들면, 연속적인 두 개의 블록은 실질적으로 병렬로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 된다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되며, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 점에도 주의해야 한다.
논리에 위반되지 않는 한, 본원의 각 실시예는 서로 조합할 수 있고, 상이한 실시예에서 중점으로서 설명되는 것이 상이하고, 중점으로서 설명되어 있지 않은 부분에 대해서는 다른 실시예의 기재를 참조하면 된다.
이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 기존 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (51)

  1. 검출 이미지에서 얼굴의 목표 부위를 검출하는 것과,
    상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내는 것과,
    상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하는 것을 포함하는, 동작 인식 방법.
  2. 제 1 항에 있어서,
    검출 이미지에서 얼굴의 목표 부위를 검출하는 것은,
    상기 검출 이미지에서 얼굴을 검출하는 것과,
    얼굴의 검출 결과에 기초하여 얼굴 키포인트의 검출을 행하는 것과,
    얼굴 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 목표 부위를 결정하는 것을 포함하는, 동작 인식 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 목표 부위는 입 부분, 귀 부분, 코 부분, 눈 부분, 눈썹 부분 중 어느 하나 또는 이들의 임의의 조합을 포함하는, 동작 인식 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 소정 동작은 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 중 어느 하나 또는 이들의 임의의 조합을 포함하는, 동작 인식 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    검출 이미지에서 얼굴의 목표 부위를 검출하기 전에,
    가시광 카메라, 적외선 카메라, 근적외선 카메라 중 하나 이상을 포함하는 카메라에 의해 상기 검출 이미지를 취득하는 것을 추가로 포함하는, 동작 인식 방법.
  6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트를 포함하고, 얼굴 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 목표 부위를 결정하는 것은,
    입 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분을 결정하는 것을 포함하는, 동작 인식 방법.
  7. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트와 눈썹 부분 키포인트를 포함하고, 상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내는 것은,
    상기 입 부분 키포인트와 상기 눈썹 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분에서 미간까지의 거리를 결정하는 것과,
    상기 입 부분 키포인트와 상기 거리에 기초하여, 상기 검출 이미지에서 입 부분에 대응하는 목표 이미지를 잘라내는 것을 포함하는, 동작 인식 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하는 것은,
    상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하는 것과,
    상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하는지 여부를 결정하는 것을 포함하는, 동작 인식 방법.
  9. 제 8 항에 있어서,
    상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하는 것은,
    뉴럴 네트워크 합성곱층에 의해 상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하는 것을 포함하고,
    상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하는 것은,
    상기 뉴럴 네트워크의 분류층에 의해 상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하는 것을 포함하는, 동작 인식 방법.
  10. 제 9 항에 있어서,
    상기 뉴럴 네트워크는 미리 라벨이 있는 샘플 이미지 세트에 의해 교사 트레이닝을 행한 것이고, 상기 샘플 이미지 세트는 샘플 이미지와, 샘플 이미지에 노이즈를 추가한 노이즈 이미지를 포함하는, 동작 인식 방법.
  11. 제 10 항에 있어서,
    상기 뉴럴 네트워크의 트레이닝 과정에는,
    뉴럴 네트워크에 의해 상기 샘플 이미지 및 상기 노이즈 이미지의 각각의 소정 동작 검출 결과를 각각 취득하는 것과,
    상기 샘플 이미지의 소정 동작 검출 결과와 그 라벨의 제1 손실 및 상기 노이즈 이미지의 소정 동작 검출 결과와 그 라벨의 제2 손실을 각각 결정하는 것과,
    상기 제1 손실과 상기 제2 손실에 기초하여 뉴럴 네트워크의 네트워크 파라미터를 조정하는 것을 포함하는, 동작 인식 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 샘플 이미지에 대해 회전, 평행 이동, 스케일 변경, 노이즈 부가 중 하나 이상의 처리를 행하고, 노이즈 이미지를 취득하는 것을 추가로 포함하는, 동작 인식 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신하는 것을 추가로 포함하는, 동작 인식 방법.
  14. 제 13 항에 있어서,
    상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신하는 것은,
    상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식되고, 또한 인식된 동작이 경보 조건을 만족하는 경우에 경보 정보를 송신하는 것을 포함하는, 동작 인식 방법.
  15. 제 14 항에 있어서,
    상기 동작은 동작 지속 시간을 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계값을 초과하는 것을 포함하는, 동작 인식 방법.
  16. 제 14 항에 있어서,
    상기 동작은 동작 횟수를 포함하고, 상기 경보 조건은 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함하는, 동작 인식 방법.
  17. 제 14 항에 있어서,
    상기 동작은 동작 지속 시간 및 동작 횟수를 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계치를 초과하고, 또한 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함하는, 동작 인식 방법.
  18. 제 14 내지 제 17 항 중 어느 한 항에 있어서,
    상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신하는 것은,
    동작의 인식 결과에 기초하여 동작 레벨을 결정하는 것과,
    상기 동작 레벨에 대응하는 레벨 대응 경보 정보를 송신하는 것을 포함하는, 동작 인식 방법.
  19. 운전자에 대한 검출 이미지를 취득하는 것과,
    제 1 항 내지 제 18 항 중 어느 한 항의 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 것과,
    인식된 동작에 기초하여 운전자의 상태를 결정하는 것을 포함하는, 운전자 상태 해석 방법.
  20. 제 19 항에 있어서,
    차량 상태 정보를 취득하는 것을 추가로 포함하고,
    제 1 항 내지 제 18 항 중 어느 한 항의 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 것은,
    차량 상태 정보가 소정 트리거 조건을 만족함께 따라 제 1 항 내지 제 18 항 중 어느 한 항의 동작 인식 방법을 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 것을 포함하는, 운전자 상태 해석 방법.
  21. 제 20 항에 있어서,
    차량 상태 정보는 차량 점화 상태를 포함하고, 소정 트리거 조건은 차량이 점화된 것이 검출된 것을 포함하는, 운전자 상태 해석 방법.
  22. 제 20 항에 있어서,
    차량 상태 정보는 차량의 차속을 포함하고, 소정 트리거 조건은 차량의 차속이 차속 임계값을 초과하는 것이 검출된 것을 포함하는, 운전자 상태 해석 방법.
  23. 제 19 항 내지 제 22 항 중 어느 한 항에 있어서,
    운전자의 상태를 설정한 연락처 또는 지정된 서버 플랫폼에 전송하는 것을 추가로 포함하는, 운전자 상태 해석 방법.
  24. 제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 운전자의 동작 인식 결과를 포함한 검출 이미지를 기억 또는 전송하는 것, 또는
    상기 운전자의 동작 인식 결과를 포함하는 검출 이미지 및 이 이미지 전후의 소정 수의 프레임에서 구성되는 비디오 세그먼트를 기억 또는 송신하는 것을 추가로 포함하는, 운전자 상태 해석 방법.
  25. 검출 이미지에서 얼굴의 목표 부위를 검출하기 위한 목표 부위 검출 모듈과,
    상기 목표 부위의 검출 결과에 기초하여 상기 검출 이미지에서 상기 목표 부위에 대응하는 목표 이미지를 잘라내기 위한 목표 이미지 잘라내기 모듈과,
    상기 목표 이미지에 기초하여 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 인식하는 동작 인식 모듈을 포함하는, 동작 인식 장치.
  26. 제 25 항에 있어서,
    상기 목표 부위 검출 모듈은,
    상기 검출 이미지에서 얼굴을 검출하기 위한 얼굴 검출 서브 모듈과,
    얼굴의 검출 결과에 기초하여 얼굴 키 포인트의 검출을 행하기 위한 키 포인트 검출 서브 모듈과,
    얼굴 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 목표 부위를 결정하기 위한 목표 부위 검출 서브 모듈을 포함하는, 동작 인식 장치.
  27. 제 25 항 또는 제 26 항에 있어서,
    상기 목표 부위는 입 부분, 귀 부분, 코 부분, 눈 부분, 눈썹 부분 중 어느 하나 또는 이들의 임의의 조합을 포함하는, 동작 인식 장치.
  28. 제 25 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 소정 동작은 흡연, 음식, 마스크 착용, 물/음료 마시기, 전화 통화, 화장 중 어느 하나 또는 이들의 임의의 조합을 포함하는, 동작 인식 장치.
  29. 제 25 항 내지 제 28 항 중 어느 한 항에 있어서,
    가시광 카메라, 적외선 카메라, 근적외선 카메라 중 하나 이상을 포함하는 카메라에 의해 상기 검출 이미지를 취득하기 위해 검출 이미지 취득 모듈을 추가로 포함하는, 동작 인식 장치.
  30. 제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트를 포함하고,
    상기 목표 부위 검출 서브 모듈은,
    입 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서 얼굴의 입 부분을 결정하기 위해 사용되는, 동작 인식 장치.
  31. 제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 목표 부위는 입 부분을 포함하고, 상기 얼굴 키 포인트는 입 부분 키포인트와 눈썹 부분 키포인트를 포함하고, 상기 목표 이미지 잘라내기 모듈은,
    상기 입 부분 키포인트와 상기 눈썹 부분 키 포인트의 검출 결과에 기초하여 상기 검출 이미지에서의 얼굴의 입 부분에서 미간까지의 거리를 결정하기 위한 거리 결정 서브 모듈과,
    상기 입 부분 키포인트와 상기 거리에 기초하여, 상기 검출 이미지에서 입 부분에 대응하는 목표 이미지를 잘라내기 위한 입 부분 이미지 잘라내기 서브 모듈을 포함하는, 동작 인식 장치.
  32. 제 25 항 내지 제 31 항 중 어느 한 항에 있어서,
    상기 동작 인식 모듈은,
    상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하기 위한 특징 추출 서브 모듈과,
    상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하기 위한 분류 처리 서브 모듈을 포함하는, 동작 인식 장치.
  33. 제 32 항에 있어서,
    상기 특징 추출 서브 모듈은,
    뉴럴 네트워크 합성곱층에 의해 상기 목표 이미지에 대해 합성곱 처리를 행하여, 상기 목표 이미지의 합성곱 특징을 추출하기 위해 사용되고,
    상기 분류 처리 서브 모듈은,
    상기 뉴럴 네트워크의 분류층에 의해 상기 합성곱 특징에 대해 분류 처리를 행하고, 상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는지 여부를 결정하기 위해 사용되는, 동작 인식 장치.
  34. 제 33 항에 있어서,
    상기 뉴럴 네트워크는 미리 라벨이 있는 샘플 이미지 세트에 의해 교사 트레이닝을 행한 것이고, 상기 샘플 이미지 세트는 샘플 이미지와, 샘플 이미지에 노이즈를 추가한 노이즈 이미지를 포함하는, 동작 인식 장치.
  35. 제 34 항에 있어서,
    상기 뉴럴 네트워크는 트레이닝 모듈을 포함하고,
    상기 트레이닝 모듈은,
    뉴럴 네트워크에 의해 상기 샘플 이미지 및 상기 노이즈 이미지의 각각의 소정 동작 검출 결과를 각각 취득하기 위한 검출 결과 취득 서브 모듈과,
    상기 샘플 이미지의 소정 동작 검출 결과와 그 라벨의 제1 손실 및 상기 노이즈 이미지의 소정 동작 검출 결과와 그 라벨의 제2 손실을 각각 결정하기 위한 손실 결정 서브 모듈과,
    상기 제1 손실과 상기 제2 손실에 기초하여 뉴럴 네트워크의 네트워크 파라미터를 조정하기 위한 파라미터 조정 서브 모듈을 구비하는, 동작 인식 장치.
  36. 제 34 항 또는 제 35 항에 있어서,
    상기 샘플 이미지에 대해 회전, 평행 이동, 스케일 변경, 노이즈 부가 중 하나 이상의 처리를 행하고, 노이즈 이미지를 취득하기 위한 노이즈 이미지 취득 모듈을 추가로 포함하는, 동작 인식 장치.
  37. 제 25 항 내지 제 35 항 중 어느 한 항에 있어서,
    상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식한 경우에 경보 정보를 송신하기 위한 경보 정보 송신 모듈을 추가로 포함하는, 동작 인식 장치.
  38. 제 37 항에 있어서,
    상기 경보 정보 송신 모듈은,
    상기 얼굴이 소속되는 대상자가 소정 동작을 실행하고 있는 것으로 인식되고, 또한 인식된 동작이 경보 조건을 만족하는 경우에 경보 정보를 송신하기 위한 제1 경보 정보 송신 서브 모듈을 포함하는, 동작 인식 장치.
  39. 제 38 항에 있어서,
    상기 동작은 동작 지속 시간을 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계값을 초과하는 것을 포함하는, 동작 인식 장치.
  40. 제 38 항에 있어서,
    상기 동작은 동작 횟수를 포함하고, 상기 경보 조건은 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함하는, 동작 인식 장치.
  41. 제 38 항에 있어서,
    상기 동작은 동작 지속 시간 및 작동 횟수를 포함하고, 상기 경보 조건은 인식된 동작 지속 시간이 시간 임계치를 초과하고, 또한 인식된 동작 횟수가 횟수 임계값을 초과하는 것을 포함하는, 동작 인식 장치.
  42. 제 38 항 내지 제 41 항 중 어느 한 항에 있어서,
    상기 경보 정보 송신 모듈은,
    동작의 인식 결과에 기초하여 동작 레벨을 결정하기 위한 동작 레벨 결정 서브 모듈과,
    상기 동작 레벨에 대응하는 레벨 대응 경보 정보를 송신하기 위한 레벨 대응 경보 정보 송신 서브 모듈을 포함하는, 동작 인식 장치.
  43. 운전자에 대한 검출 이미지를 취득하기 위한 운전자 이미지 취득 모듈과,
    제 25 항 내지 제 42 항 중 어느 한 항의 동작 인식 장치를 사용하여 운전자가 소정 동작을 실행하고 있는지 여부를 인식하는 동작 인식 모듈과,
    인식된 동작에 기초하여 운전자의 상태를 결정하기 위한 상태 인식 모듈을 포함하는, 운전자 상태 해석 장치.
  44. 제 43 항에 있어서,
    차량 상태 정보를 취득하기 위한 차량 상태 취득 모듈을 추가로 포함하고,
    상기 동작 인식 모듈은,
    차량 상태 정보가 소정 트리거 조건을 만족함에 따라 제 25 항 내지 제 42 항 중 어느 한 항의 동작 인식 장치를 사용하여, 운전자가 소정 동작을 실행하고 있는지 여부를 인식하기 위한 조건 응답 서브 모듈을 포함하는, 운전자 상태 해석 장치.
  45. 제 44 항에 있어서,
    차량 상태 정보는 차량 점화 상태를 포함하고, 소정 트리거 조건은 차량이 점화된 것이 검출된 것을 포함하는, 운전자 상태 해석 장치.
  46. 제 44 항에 있어서,
    차량 상태 정보는 차량의 차속을 포함하고, 소정 트리거 조건은 차량의 차속이 차속 임계값을 초과하는 것이 검출된 것을 포함하는, 운전자 상태 해석 장치.
  47. 제 43 항 내지 제 46 항 중 어느 한 항에 있어서,
    운전자의 상태를 설정된 연락처 또는 지정된 서버 플랫폼에 전송하기 위한 상태 전송 모듈을 추가로 포함하는, 운전자 상태 해석 장치.
  48. 제 43 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 운전자의 동작 인식 결과를 포함하는 검출 이미지를 기억 또는 송신하는 것, 또는 상기 운전자의 동작 인식 결과를 포함하는 검출 이미지 및 이 이미지 전후의 소정 수의 프레임으로 구성되는 비디오 세그먼트를 기억 또는 송신하는 것에 사용되는 기억 송신 모듈을 추가로 포함하는, 운전자 상태 해석 장치.
  49. 프로세서와,
    프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
    상기 프로세서는 제 1 항 내지 제 24 항 중 어느 한 항의 방법을 실행시키는, 전자 기기.
  50. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 24 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
  51. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 24 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
KR1020217005670A 2018-09-27 2019-06-25 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치 KR20210036955A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811132681.1A CN110956061B (zh) 2018-09-27 2018-09-27 动作识别方法及装置、驾驶员状态分析方法及装置
CN201811132681.1 2018-09-27
PCT/CN2019/092715 WO2020062969A1 (zh) 2018-09-27 2019-06-25 动作识别方法及装置、驾驶员状态分析方法及装置

Publications (1)

Publication Number Publication Date
KR20210036955A true KR20210036955A (ko) 2021-04-05

Family

ID=69950204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217005670A KR20210036955A (ko) 2018-09-27 2019-06-25 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치

Country Status (6)

Country Link
US (1) US20210133468A1 (ko)
JP (1) JP7295936B2 (ko)
KR (1) KR20210036955A (ko)
CN (1) CN110956061B (ko)
SG (1) SG11202100356TA (ko)
WO (1) WO2020062969A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063649A1 (ko) * 2021-10-12 2023-04-20 경북대학교 산학협력단 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113039555B (zh) * 2018-11-20 2024-04-19 渊慧科技有限公司 在视频剪辑中进行动作分类的方法、系统及存储介质
CN111753602A (zh) * 2019-03-29 2020-10-09 北京市商汤科技开发有限公司 动作识别方法和装置、电子设备、存储介质
JP2022544635A (ja) * 2020-06-29 2022-10-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 危険運転行動認識方法、装置、電子機器および記憶媒体
CN111985307A (zh) * 2020-07-07 2020-11-24 深圳市自行科技有限公司 驾驶员特定动作检测方法、系统和装置
US12057989B1 (en) * 2020-07-14 2024-08-06 Hrl Laboratories, Llc Ultra-wide instantaneous bandwidth complex neuromorphic adaptive core processor
CN112990069B (zh) * 2021-03-31 2024-10-15 芯算一体(深圳)科技有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113033529A (zh) * 2021-05-27 2021-06-25 北京德风新征程科技有限公司 基于图像识别的预警方法、装置、电子设备和介质
CN113673351A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 一种行为检测方法、设备以及存储介质
CN114005178B (zh) * 2021-10-29 2023-09-01 北京百度网讯科技有限公司 人物交互检测方法、神经网络及其训练方法、设备和介质
CN114529989A (zh) * 2022-02-24 2022-05-24 盛景智能科技(嘉兴)有限公司 抽烟行为识别方法、装置、电子设备和存储介质
CN114255517B (zh) * 2022-03-02 2022-05-20 中运科技股份有限公司 一种基于人工智能分析的景区游客行为监测系统及方法
CN115188148A (zh) * 2022-07-11 2022-10-14 卡奥斯工业智能研究院(青岛)有限公司 基于5g的安防监控系统、方法、电子设备及存储介质
GB2625780A (en) 2022-12-23 2024-07-03 Mercedes Benz Group Ag In-vehicle beverage maker as well as a vehicle with the in-vehicle beverage maker and method for operating the in-vehicle beverage maker
CN116884034B (zh) * 2023-07-10 2024-07-26 中电金信软件有限公司 对象识别方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3495934B2 (ja) 1999-01-08 2004-02-09 矢崎総業株式会社 事故防止システム
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法
JP4946807B2 (ja) 2007-11-07 2012-06-06 トヨタ自動車株式会社 車線逸脱防止制御装置
JP2010271922A (ja) 2009-05-21 2010-12-02 Fujifilm Corp 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN102799868B (zh) * 2012-07-10 2014-09-10 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
JP6150258B2 (ja) 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
JP2016031747A (ja) 2014-07-30 2016-03-07 キヤノン株式会社 情報処理装置、情報処理方法
CN104616437A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种车载的疲劳识别系统和方法
CN105117681B (zh) * 2015-06-29 2018-06-08 电子科技大学 基于安卓的多特征疲劳实时检测方法
JP2017034567A (ja) 2015-08-05 2017-02-09 キヤノン株式会社 撮像装置
CN105769120B (zh) * 2016-01-27 2019-01-22 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
JP6534103B2 (ja) 2016-03-18 2019-06-26 パナソニックＩｐマネジメント株式会社 記録装置および画像再生方法
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
WO2017208529A1 (ja) 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
CN106203293A (zh) * 2016-06-29 2016-12-07 广州鹰瞰信息科技有限公司 一种检测疲劳驾驶的方法和装置
CN107590482A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN108549838B (zh) * 2018-03-13 2022-01-14 心科(上海)网络科技有限公司 一种基于视觉系统的辅助监督方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063649A1 (ko) * 2021-10-12 2023-04-20 경북대학교 산학협력단 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치

Also Published As

Publication number Publication date
US20210133468A1 (en) 2021-05-06
SG11202100356TA (en) 2021-02-25
JP2021530789A (ja) 2021-11-11
CN110956061B (zh) 2024-04-16
WO2020062969A1 (zh) 2020-04-02
JP7295936B2 (ja) 2023-06-21
CN110956061A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
KR20210036955A (ko) 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치
KR102454930B1 (ko) 이미지의 디스크립션 스테이트먼트 포지셔닝 방법 및 장치, 전자 기기 및 저장 매체
US11410001B2 (en) Method and apparatus for object authentication using images, electronic device, and storage medium
KR102593020B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN109753920B (zh) 一种行人识别方法及装置
JP7089106B2 (ja) 画像処理方法及び装置、電子機器、コンピュータ読取可能記憶媒体及びコンピュータプログラム
KR20200113195A (ko) 이미지 클러스터링 방법 및 장치, 전자 기기 및 저장 매체
KR102421819B1 (ko) 이미지에서의 시퀀스를 인식하는 방법 및 장치, 전자 기기 및 기억 매체
US10282597B2 (en) Image classification method and device
KR20210102180A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
EP3855360A1 (en) Method and device for training image recognition model, and storage medium
KR20210054550A (ko) 데이터 업데이트 방법과 장치, 전자 기기 및 저장 매체
US11288531B2 (en) Image processing method and apparatus, electronic device, and storage medium
US20170053156A1 (en) Human face recognition method, apparatus and terminal
KR20200131305A (ko) 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체
CN107480665B (zh) 文字检测方法、装置及计算机可读存储介质
US8600110B1 (en) Unauthorized viewer detection system and method
CN109934275B (zh) 图像处理方法及装置、电子设备和存储介质
KR20220011207A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
JP2023545158A (ja) 警告閾値調整方法及び装置、電子機器、並びに記憶媒体
KR20200106027A (ko) 네트워크 모듈 및 분배 방법 및 장치, 전자 기기 및 저장 매체
CN115641518B (zh) 一种无人机用视图感知网络模型及目标检测方法
CN114267041B (zh) 场景中对象的识别方法及装置
TWI766458B (zh) 資訊識別方法及裝置、電子設備、儲存媒體
CN112926510A (zh) 异常驾驶行为识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application