KR101972331B1 - 영상 얼라인먼트 방법 및 그 장치 - Google Patents

영상 얼라인먼트 방법 및 그 장치 Download PDF

Info

Publication number
KR101972331B1
KR101972331B1 KR1020170109287A KR20170109287A KR101972331B1 KR 101972331 B1 KR101972331 B1 KR 101972331B1 KR 1020170109287 A KR1020170109287 A KR 1020170109287A KR 20170109287 A KR20170109287 A KR 20170109287A KR 101972331 B1 KR101972331 B1 KR 101972331B1
Authority
KR
South Korea
Prior art keywords
person
interest
image
alignment
recognized
Prior art date
Application number
KR1020170109287A
Other languages
English (en)
Other versions
KR20190023469A (ko
Inventor
최종호
박성진
이동준
이지윤
Original Assignee
키튼플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 키튼플래닛 주식회사 filed Critical 키튼플래닛 주식회사
Priority to KR1020170109287A priority Critical patent/KR101972331B1/ko
Priority to PCT/KR2018/009857 priority patent/WO2019045385A1/ko
Priority to CN201880056637.9A priority patent/CN111052185A/zh
Priority to JP2020512723A priority patent/JP6946551B2/ja
Publication of KR20190023469A publication Critical patent/KR20190023469A/ko
Application granted granted Critical
Publication of KR101972331B1 publication Critical patent/KR101972331B1/ko
Priority to US16/728,675 priority patent/US11354882B2/en
Priority to JP2021150475A priority patent/JP7151959B2/ja
Priority to US17/736,354 priority patent/US20220262091A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00268—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

사용자 입력 없이 자동으로 영상 얼라인먼트를 수행한 방법이 제공된다. 영상 얼라인먼트 장치에 의해 수행되는 본 발명의 일 실시예에 따른 영상 얼라인먼트 방법은, 입력 영상에서 적어도 하나의 사람을 인식하는 단계, 상기 인식 된 사람 중 관심 사람을 결정하는 단계 및 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함할 수 있다.

Description

영상 얼라인먼트 방법 및 그 장치{Image alignment method and apparatus thereof}
본 발명은 영상 얼라인먼트 방법 및 장치에 관한 것이다. 보다 자세하게는, 입력 영상에서 인식된 적어도 하나의 사람 중에서 관심 사람을 결정하고, 상기 관심 사람을 기준으로 상기 입력 영상에 대한 자동 영상 얼라인먼트를 수행하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.
영상 처리 기술이 고도화됨에 따라, 영상 처리 기술에 기반한 스마트 장치 또는 지능형 시스템이 다양한 분야에서 구축되고 활용되고 있다. 예를 들어, 영상 처리 기술을 활용하여 감시 영상에서 관심 객체를 검출하고, 각종 이벤트를 탐지하는 지능형 영상 감시 시스템이 구축되어 다양한 환경의 감시 분야에 활용되고 있다. 다른 예를 들어, 전면부에 부착된 카메라를 이용하여 주변 영상을 촬영하고, 촬영된 영상의 분석 결과에 기초하여 각종 콘텐츠를 제공하는 스마트 미러(smart mirror)가 다양한 장소에 설치되어 활용되고 있다.
상술한 스마트 장치 및 지능형 시스템이 공통적으로 내포하고 있는 문제점은 관심 객체 기준의 자동 얼라인먼트 기능이 제공되지 않는다는 것이다. 예를 들어, 지능형 영상 분석 시스템에서, 관리자가 관심 객체 기준으로 포커싱 된 감시 영상을 확인하기 위해서는 CCTV(closed circuit television)에 의해 촬영된 원본 영상에서 관심 객체를 지정하고, 지정된 관심 객체가 포함된 영상을 줌(zoom)하는 등 일련의 과정을 거쳐야한다. 상술한 일련의 과정은 관리자에 의해 직접 수행되어야 하기 때문에, 사용자의 편의성이 저하되고, 시스템이 효과적으로 활용될 수 없다. 다른 예를 들어, 스마트 미러에서, 전면에 복수의 사람이 위치한 경우, 스마트 미러는 복수의 사람 중에서 어느 한 사람을 관심 사람으로 결정하여 관련 콘텐츠를 제공하여야 한다. 이와 같은 경우, 복수의 사람이 촬영된 영상과 함께 관심 사람에 대한 콘텐츠를 제공하는 경우, 서비스를 제공받는 사용자의 만족도는 떨어질 수 밖에 없다.
따라서, 상술한 문제점을 해결하기 위해서, 장치 및 시스템의 목적 등에 따라 결정된 다양한 기준을 고려하여, 입력 영상에서 관심 객체를 결정하고, 관심 객체 기준으로 자동 영상 얼라인먼트를 수행하는 방법이 요구된다.
한국공개특허 제10-2007-0087085호 (2007.08.29 공개)
본 발명이 해결하고자 하는 기술적 과제는, 관심 객체 기준으로 입력 영상에 대한 자동 영상 얼라인먼트를 수행하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 입력 영상에 포함된 적어도 하나의 객체 중에서 관심 객체를 결정하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 입력 영상에 포함된 적어도 하나의 사람 중에서 관심 사람을 결정하고, 상기 관심 사람을 위한 맞춤형 서비스 제공 화면을 구성하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 영상 얼라인먼트 방법은, 영상 얼라인먼트 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계, 상기 영상 얼라인먼트 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계 및 상기 영상 얼라인먼트 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심 사람을 결정하는 단계는, 상기 관심 사람을 결정하는 단계는, 상기 인식 된 사람 각각의 인구 통계학적 특성을 분석하는 단계 및 상기 분석된 인구 통계학적 특성을 이용하여, 상기 인식된 사람 중 기 지정된 인구 통계학적 정보에 부합하는 특성을 가진 관심 사람을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 인식 된 사람 각각에 대하여 얼굴 영역을 추출하는 단계 및 상기 인식된 사람 중 상기 추출된 얼굴 영역이 가장 큰 사람을 관심 사람으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심 사람을 결정하는 단계는, 상기 인식 된 사람 각각의 지정된 위치에서, 지정된 형상을 가진 객체를 감지하는 단계 및 제1 사람의 지정된 위치에서 상기 지정된 형상을 가진 객체가 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심 사람을 결정하는 단계는, 상기 인식 된 사람 각각의 입 주변 위치에서, 칫솔 형상을 가진 객체를 감지하는 단계 및 제1 사람의 입 주변 위치에서 상기 칫솔 형상을 가진 객체가 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심 사람을 결정하는 단계는, 음성을 인식하는 단계 및 상기 인식 된 음성에 대응되는 텍스트가 제1 사람의 외곽선 내부 영역에서 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심 사람을 결정하는 단계는, 상기 인식 된 사람 각각에 대하여 상황 기반(context-based) 관심 사람 판정 로직을 통해, 현재 상황에 부합하는 관심 사람을 결정하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 영상 얼라인먼트 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 입력 영상에서 적어도 하나의 사람을 인식하는 오퍼레이션, 상기 인식 된 사람 중 관심 사람을 결정하는 오퍼레이션 및 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 오퍼레이션을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 입력 영상에서 적어도 하나의 사람을 인식하는 단계, 상기 인식 된 사람 중 관심 사람을 결정하는 단계 및 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 사용자 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 실행시키기 위하여 기록매체에 저장될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 스마트 미러는, 입력 영상을 생성하는 전면 카메라 센서, 상기 입력 영상에서 적어도 하나의 사람을 인식하고, 상기 인식 된 사람 중 관심 사람을 결정하며, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 사용자 입력 없이 상기 영상 얼라인먼트를 수행하는 영상 얼라인먼트 프로세서 및 상기 영상 얼라인먼트가 수행된 결과 영상을 표시하는 디스플레이를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법은, 서비스 제공 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계, 상기 서비스 제공 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계 및 상기 서비스 제공 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 대상으로 한 서비스 제공 화면을 구성하고 디스플레이 하되, 상기 서비스 제공 화면 구성을 위한 사용자 입력 없이 상기 서비스 제공 화면의 구성 및 디스플레이를 수행하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법은, 서비스 제공 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계, 상기 서비스 제공 장치가, 상기 인식 된 사람의 생체 신호 센서로부터 생체 데이터를 수신하는 단계, 상기 서비스 제공 장치가, 상기 수신된 생체 데이터를 이용하여, 상기 인식 된 사람 중 관심 사람을 결정하는 단계 및 상기 서비스 제공 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 대상으로 한 서비스 제공 화면을 구성하고 디스플레이 하되, 상기 서비스 제공 화면 구성을 위한 사용자 입력 없이 상기 서비스 제공 화면의 구성 및 디스플레이를 수행하는 단계를 포함할 수 있다.
상술한 본 발명에 따르면, 소정의 기준에 따라 입력 영상에서 인식된 적어도 하나의 사람 중에서 관심 사람이 결정되고, 상기 관심 사람은 기준으로 자동으로 영상 얼라인먼트가 수행될 수 있다. 상기와 같은 자동 영상 얼라인먼트는 다양한 분야에 활용되어 사용자의 몰입감 및 편의성이 향상될 수 있다.
예를 들어, 스마트 미러에서 자동 영상 얼라인먼트가 수행되는 경우, 서비스를 제공받는 관심 사람의 몰입감이 향상될 수 있다. 다른 예를 들어, 지능형 영상 감시 시스템에서 자동 영상 얼라인먼트가 수행되는 경우, 통합 관제 장치를 통해 감시 영상을 확인하는 관리자의 편의성이 향상될 수 있다.
또한, 상술한 본 발명에 따르면, 입력 영상에서 인식된 사람 중에서 인구 통계학적 특성 정보, 소지한 물체의 정보, 상황 정보 등을 고려하여 관심 사람이 결정될 수 있다. 이를 통해, 높은 정확도로 관심 사람이 결정될 수 있다.
상술한 본 발명에 따르면, 관심 사람을 대상으로 구성된 맞춤형 서비스 화면이 제공될 수 있다. 이에 따라, 서비스를 제공받는 사용자의 만족도가 향상될 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 영상 얼라인먼트 시스템의 구성도이다.
도 2a 및 도 2b는 본 발명의 몇몇 실시예에서 참조될 수 있는 영상 얼라인먼트의 예시도이다.
도 3은 상기 제1 실시예에 따른 영상 얼라인먼트 시스템의 일 구성 요소인 스마트 미러(200)를 나타내는 블록도이다.
도 4는 본 발명의 제2 실시예에 따른 영상 얼라인먼트 시스템의 구성도이다.
도 5a 및 도 5b는 본 발명의 몇몇 실시예에서 참조될 수 있는 영상 얼라인먼트의 예시도이다.
도 7은 본 발명의 실시예에 따른 영상 얼라인먼트 방법의 흐름도이다.
도 8 내지 도 14는 본 발명의 몇몇 실시예에 따른 관심 사람 결정 방법을 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명의 몇몇 실시예에 따른 영상 얼라인먼트가 수행된 결과 영상의 디스플레이 방법을 설명하기 위한 도면이다.
도 17 내지 도 19b는 본 발명의 제1 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법을 설명하기 위한 도면이다.
도 20은 본 발명의 제2 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 영상 얼라인먼트(image alignment)란, 소정의 기준에 따라 제1 영상에 대하여 회전, 쉬프팅(shifting), 오토 포커싱(auto focusing), 줌(zoom), 크롭(crop), 아웃 포커싱(out focusing) 등의 영상 처리를 수행함으로써 제2 영상을 출력하는 것을 의미한다. 예를 들어, 상기 영상 얼라인먼트는 제1 영상에 포함된 적어도 하나의 사람 중에서 소정의 기준에 부합하는 관심 사람을 기준으로 상기 영상 처리를 수행하여 제2 영상을 출력하는 것을 의미할 수 있다. 이하에서는, 설명의 편의를 위해 상기 제1 영상은 "입력 영상"으로 명명하고, 상기 제2 영상은 "얼라인먼트 영상" 또는 "결과 영상"으로 명명하도록 한다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
먼저, 도 1 내지 도 3을 참조하여, 본 발명의 제1 실시예에 따른 영상 얼라인먼트 시스템에 대하여 설명하도록 한다.
도 1은 본 발명의 제1 실시예에 따른 영상 얼라인먼트 시스템의 구성도이다. 구체적으로, 도 1은 상기 제1 실시예에 따른 영상 얼라인먼트 시스템으로 스마트 미러 시스템을 도시하고 있다.
도 1을 참조하면, 상기 스마트 미러 시스템은 스마트 미러(200) 및 서비스 제공 서버(300)를 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 1에 도시된 스마트 미러 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 이하, 상기 스마트 미러 시스템의 각 구성 요소에 대하여 설명하도록 한다.
상기 스마트 미러 시스템에서, 스마트 미러(200)는 반투명 기능과 반사 기능을 갖는 하프 미러(half mirror)를 전면에 두고 그 후방에 디스플레이 패널을 배치한 컴퓨팅 장치로, 디스플레이 패널에서 영상이 출력될 시에는 하프 미러를 투과하여 영상이 외부에 표시되며 영상 출력이 없을 시에는 미러 기능을 제공하는 컴퓨팅 장치이다.
본 발명의 실시예에 따르면, 스마트 미러(200)는 전면에 부착된 카메라 센서를 통해 적어도 하나의 사람을 촬영하여 입력 영상을 생성하고, 상기 적어도 하나의 사람 중에서 관심 사람을 결정하며, 상기 관심 사람을 기준으로 상기 입력 영상에 대한 영상 얼라인먼트를 수행할 수 있다. 이와 같은 실시예에 한하여, 스마트 미러(200)는 "영상 얼라인먼트 장치"로 명명될 수 있다. 이하에서는, 이해의 편의를 제공하기 위해, 입력 영상에 포함된 사람 또는 사물이 복수인 것을 가정하여 설명하도록 한다. 다만, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 입력 영상에 한 명의 제1 사람만이 등장하더라도 상기 제1 사람이 소정의 기준에 부합하는지 여부에 따라, 상기 제1 사람이 관심 사람인지 여부가 결정될 수 있다.
예를 들어, 도 2a 및 도 2b에 도시된 바와 같이, 스마트 미러(200)는 입력 영상(10a)에 포함된 복수의 사람 중에서 소정의 기준에 부합하는 관심 사람(11)을 결정하고, 관심 사람(11)을 기준으로 영상 얼라인먼트가 수행된 얼라인먼트 영상(10b)을 다양한 방식으로 디스플레이할 수 있다. 도 2b는 관심 사람(11)을 기준으로 크롭, 줌 등의 영상 처리가 수행된 것을 도시하고 있으나, 이는 영상 얼라인먼트의 일 예에 불과하며, 상기 영상 얼라인먼트는 회전, 쉬프팅, 아웃 포커싱 등 다양한 영상 처리 기법을 이용하여 수행될 수 있다. 본 실시예에 따르면, 관심 사람으로 결정된 사용자를 기준으로 포커싱 된 영상이 스마트 미러(200)를 통해 제공되므로, 사용자의 몰입감이 증대될 수 있다. 본 실시예에 대한 자세한 설명은 도 7 내지 도 16을 참조하여 후술하도록 한다.
본 발명의 실시예에 따르면, 스마트 미러(200)는 관심 사람으로 결정된 사용자를 대상으로 타게팅 된 서비스 제공 화면을 구성하여 디스플레이할 수 있다. 예를 들어, 관심 사람이 칫솔을 들고 양치질을 하는 어린이인 경우, 스마트 미러(200)는 양치질 가이드 콘텐츠를 제공하는 화면을 구성하여 디스플레이할 수 있다. 여기서, 상기 양치질 가이드 콘텐츠는 스마트 미러(200)에 기 저장된 콘텐츠 또는 서비스 제공 서버(300)로부터 수신된 콘텐츠일 수 있다. 이와 같은 실시예에 한하여, 스마트 미러(200)는 "서비스 제공 장치"로 명명될 수 있다. 본 실시예에 따르면, 사용자에게 커스터마이징된 서비스 화면이 제공되므로, 사용자의 서비스 만족도가 향상될 수 있다. 본 실시예에 대한 자세한 설명은 도 17 내지 도 20을 참조하여 후술하도록 한다.
본 발명의 실시예에 따르면, 스마트 미러(200)는 입력 영상에 대한 영상 분석을 통해 다양한 메타데이터를 추출하고, 상기 메타데이터를 기초로 관심 사람을 결정할 수 있다. 이때, 상기 메타데이터는 예를 들어 입력 영상에서 검출된 사람의 인구통계학적 특성 정보, 사람이 소지한 물체의 정보, 상황 정보 등으로 다양할 수 있다. 실시예에 따라, 상기 영상 분석은 서비스 제공 서버(300)에 의해 수행되고, 스마트 미러(200)는 영상 분석의 결과로 추출된 메타데이터를 서비스 제공 서버(300)로부터 제공받는 방식으로 동작할 수도 있다. 본 실시예에 대한 자세한 설명은 도 8 내지 도 14를 참조하여 후술하도록 한다.
상기 스마트 미러 시스템에서, 서비스 제공 서버(300)는 스마트 미러(200) 기반으로 제공되는 각종 서비스의 제공을 지원하는 컴퓨팅 장치이다. 여기서, 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다.
서비스 제공 서버(300)는 스마트 미러(200)로부터 수신된 입력 영상에 대한 영상 분석을 수행하거나, 관심 사람에 대한 맞춤형 콘텐츠를 제공할 수 있다. 예를 들어, 관심 사람이 칫솔을 들고 있는 어린이인 경우, 서비스 제공 서버(300)는 양치질 가이드 콘텐츠를 제공할 수 있다. 다른 예를 들어, 관심 사람이 미용 서비스를 제공 받는 여성인 경우, 서비스 제공 서버(300)는 다양한 헤어 스타일 콘텐츠를 스마트 미러(200)로 제공할 수 있다.
도 1에 도시된 스마트 미러 시스템의 각 구성 요소는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
이하에서는, 상기 스마트 미러 시스템의 일 구성 요소인 스마트 미러(200)의 구성 및 동작에 대하여 더 살펴보도록 한다.
도 3은 스마트 미러(200)를 나타내는 예시적인 블록도이다.
도 3를 참조하면, 스마트 미러(200)는 센서부(210), 저장부(230), 통신부(250), 디스플레이부(270) 및 제어부(290)를 포함하도록 구성될 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
각 구성 요소를 살펴보면, 센서부(210)는 스마트 미러(200)의 전면부에 부착되고 주변 영상을 촬영하는 카메라 센서 및/또는 물체의 접근을 감지하는 근접 센서 등을 포함할 수 있다. 예를 들어, 상기 카메라 센서는 상기 근접 센서에 의해 소정의 물체의 접근이 감지된 경우에 한하여 영상을 촬영하도록 제어부(290)에 의해 제어될 수도 있다.
저장부(230)는 스마트 미러(200)의 각종 동작을 수행하는 하나 이상의 컴퓨터 프로그램 등을 비임시적으로 저장할 수 있다. 저장부(230)는 ROM(Read Only Memory), PROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신부(250)는 스마트 미러 시스템의 다른 구성 요소와 데이터 통신을 수행한다. 이를 위해, 통신부(250)는 유선 인터넷 모듈, 이동통신 모듈 또는 무선통신 모듈을 구비할 수 있다.
디스플레이부(270)는 관심 사람을 기준으로 영상 얼라인먼트가 수행된 결과 영상을 디스플레이한다. 또는, 디스플레이부(270)는 관심 사람을 대상으로 구성된 서비스 제공 화면을 디스플레이한다. 이를 위해, 디스플레이부(270)는 LCD 패널 등 당해 기술 분야에서 널리 알려진 디스플레이 모듈을 포함하도록 구성될 수 있다.
또한, 디스플레이부(270)는 전면에 배치되어 외부로부터의 빛을 반사하여 물체의 모습을 비추는 거울 기능이 포함된 미러를 포함하도록 구성될 수 있다. 상기 미러는 상기 디스플레이 모듈로부터의 영상 신호를 투과하여 외부로 표출되도록 하는 영상 디스플레이 기능을 제공할 수도 있다. 예를 들어, 상기 미러는 하프 미러(half mirror)일 수 있다. 하프 미러는 디스플레이 모듈의 광원이 오프 되면 거울과 같은 반사 작용을 하게 되고, 광원이 온 되면 디스플레이 모듈의 영상을 투과시켜 외부에 디스플레이되도록 한다.
상기 디스플레이 모듈은 상기 미러와 같은 사이즈일 수 있으나, 미러의 일부 영역만을 통해 광이 투과되도록 미러보다 작은 사이즈를 가질 수도 있다. 후자의 경우, 미러는 미러 기능만을 제공하는 제 1 미러 영역과 미러 기능 또는 영상 디스플레이 기능을 제공하는 제 2 미러 영역으로 나뉠 수 있다.
제어부(290)는 스마트 미러(200)의 각 구성의 전반적인 동작을 제어한다. 제어부는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 제어부(290)는 후술할 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 어플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
구체적으로, 제어부(290)는 입력 영상에서 관심 사람을 결정하고 상기 관심 사람 기준으로 영상 얼라인먼트를 수행하고 얼라인먼트 영상을 디스플레이하기 위해 본 발명의 실시예에 따른 영상 얼라인먼트 방법을 수행할 수 있다. 상기 영상 얼라인먼트 방법에 대한 자세한 설명은 도 7 내지 도 16을 참조하여 후술하도록 한다.
제어부(290)는 입력 영상에서 관심 사람을 결정하고 상기 관심 사람 대상으로 서비스 제공 화면을 구성하기 위해 본 발명의 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법을 수행할 수 있다. 상기 서비스 제공 화면의 구성 방법에 대한 자세한 설명은 도 17 내지 도 20을 참조하여 후술하도록 한다.
도 3의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
지금까지 도 1 내지 도 3을 참조하여 본 발명의 제1 실시예에 따른 영상 얼라인먼트 시스템인 스마트 미러 시스템에 대하여 설명하였다. 다음으로, 도 4 내지 도 6을 참조하여, 본 발명의 제2 실시예에 따른 영상 얼라인먼트 시스템에 대하여 설명하도록 한다.
도 4는 본 발명의 제2 실시예에 따른 영상 얼라인먼트 시스템의 구성도이다. 구체적으로, 도 4는 상기 제2 실시예에 따른 영상 얼라인먼트 시스템으로 지능형 영상 감시 시스템을 도시하고 있다.
도 4를 참조하면, 상기 지능형 영상 감시 시스템은 복수의 영상 촬영 장치(400a 내지 400n), 지능형 영상 분석 장치(500) 및 영상 얼라인먼트 장치(600)를 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 4에 도시된 지능형 영상 감시 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 이하, 상기 지능형 영상 감시 시스템의 각 구성 요소에 대하여 설명하도록 한다.
상기 지능형 영상 감시 시스템에서, 영상 촬영 장치(400a 내지 400n)는 지정된 감시 지역을 촬영하여 감시 영상을 생성하는 장치이다. 영상 촬영 장치(400a 내지 400n)는 생성된 감시 영상을 지능형 영상 분석 장치(500)로 전송한다. 영상 촬영 장치(400a 내지 400n)는 예를 들어 CCTV로 구현될 수 있으나, 이에 국한되는 것은 아니다.
상기 지능형 영상 감시 시스템에서, 지능형 영상 분석 장치(500)는 영상 촬영 장치(400a 내지 400n)에 의해 제공된 감시 영상을 기초로 지능형 영상 분석을 수행한다. 예를 들어, 지능형 영상 분석 장치(500)는 상기 감시 영상의 분석을 통해 관심 객체를 검출하고, 상기 관심 객체의 인식, 추적 등을 수행할 수 있다.
또한, 지능형 영상 분석 장치(500)는 상기 관심 객체의 검출, 인식, 추적 등의 과정을 통해 관리자에 의해 설정된 다양한 이벤트를 탐지할 수 있다. 예를 들어, 지능형 영상 분석 장치(500)는 교통 법규 위반, 수배자 인식, 미아 인식 등의 다양한 이벤트를 탐지할 수 있다.
상기 지능형 영상 감시 시스템에서, 영상 얼라인먼트 장치(600)는 영상 촬영 장치(400a 내지 400n)에 의해 제공된 감시 영상을 입력 영상으로 하여 영상 얼라인먼트를 수행하고 디스플레이하는 컴퓨팅 장치이다. 여기서, 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다.
상기 지능형 영상 감시 시스템에서, 영상 얼라인먼트 장치(600)는 통합 관제 장치로 구현될 수 있다. 이와 같은 경우, 영상 얼라인먼트 장치(600)는 탐지 대상 이벤트를 설정하는 사용자 인터페이스, 지능형 영상 분석 장치(500)에 의해 분석된 결과 및 영상 촬영 장치(400a 내지 400n)에 의해 획득된 감시 영상 등을 관리자에게 제공할 수 있다.
본 발명의 실시예에 따르면, 영상 얼라인먼트 장치(600)는 감시 영상에서 인식된 적어도 하나의 사람 중에서 관심 사람을 결정하고, 상기 관심 사람을 기준으로 상기 감시 영상에 대한 영상 얼라인먼트를 수행할 수 있다.
예를 들어, 도 5a 및 도 5b에 도시된 바와 같이, 영상 얼라인먼트 장치(600)는 감시 영상(20a)에 포함된 복수의 사람 중에서 소정의 기준에 부합하는 관심 사람(21, 23)을 결정하고, 관심 사람(21, 23)을 기준으로 영상 얼라인먼트가 수행된 영상(20b)을 디스플레이할 수 있다. 특히, 도 5a는 유아 납치 사고가 빈번하게 발생하는 감시 지역에서 유아 주변에 일정 시간 이상 성인 남성이 나타나는 조건이 탐지 대상 이벤트로 설정된 경우, 상기 조건이 만족되는 유아(23) 및 성인 남성(21)이 관심 사람으로 결정되는 예를 도시하고 있다. 또한, 도 5b는 관심 사람으로 결정된 유아(23) 및 성인 남성(21)을 기준으로 영상 얼라인먼트가 수행된 얼라인먼트 영상(20b)이 감시 영상(20a)과 함께 분할된 영역 각각에 디스플레이되는 예시를 도시하고 있다. 이와 같이, 영상 얼라인먼트 장치(600)는 특정 상황을 기준으로 관심 사람을 결정하고, 얼라인먼트 영상을 자동으로 생성할 수 있다.
영상 얼라인먼트 장치(600)가 영상 얼라인먼트를 수행하는 방법 및 얼라인먼트 영상을 디스플레이하는 방법에 대한 자세한 설명은 도 7 내지 도 16을 참조하여 후술하도록 한다.
도 4에 도시된 지능형 영상 감시 시스템의 각 구성 요소는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
이하에서는, 도 6을 참조하여, 상기 지능형 영상 감시 시스템의 일 구성 요소인 영상 얼라인먼트 장치(600)의 구성 및 동작에 대하여 설명하도록 한다.
도 6은 영상 얼라인먼트 장치(600)의 하드웨어 구성도이다.
도 6을 참조하면, 영상 얼라인먼트 장치(600)는 하나 이상의 프로세서(610), 버스(630), 네트워크 인터페이스(640), 디스플레이(650), 프로세서(610)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(620)와, 영상 얼라인먼트 소프트웨어(661)를 저장하는 스토리지(660)를 포함할 수 있다. 다만, 도 6에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 6에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(610)는 영상 얼라인먼트 장치(600)의 각 구성의 전반적인 동작을 제어한다. 프로세서(610)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(610)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 영상 얼라인먼트 장치(600)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(620)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(620)는 본 발명의 실시예들에 따른 영상 얼라인먼트 방법을 실행하기 위하여 스토리지(660)로부터 하나 이상의 프로그램(661)을 로드할 수 있다. 도 6에서 메모리(620)의 예시로 RAM이 도시되었다.
버스(630)는 영상 얼라인먼트 장치(600)의 구성 요소 간 통신 기능을 제공한다. 버스(630)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(640)는 영상 얼라인먼트 장치(600)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(640)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(640)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(660)는 상기 하나 이상의 프로그램(661)을 비임시적으로 저장할 수 있다. 도 6에서 상기 하나 이상의 프로그램(661)의 예시로 영상 얼라인먼트 소프트웨어(661)가 도시되었다.
스토리지(660)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
영상 얼라인먼트 소프트웨어(661)는 본 발명의 실시예에 따른 영상 얼라인먼트 방법을 실행할 수 있다. 예를 들어, 영상 얼라인먼트 소프트웨어(661)는 메모리(620)에 로드되어, 하나 이상의 프로세서(610)에 의해, 입력 영상에서 적어도 하나의 사람을 인식하는 오퍼레이션, 상기 인식 된 사람 중 관심 사람을 결정하는 오퍼레이션 및 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 오퍼레이션을 실행할 수 있다.
참고로, 본 발명의 실시예에 따른 서비스 제공 장치의 하드웨어 구성 또한 도 6과 같은 구성으로 구현될 수 있다. 이와 같은 경우, 상기 서비스 제공 장치의 스토리지에 사용자 타게팅 된 서비스 제공 화면의 구성 방법을 실행하는 컴퓨터 프로그램이 저장될 수 있고, 상기 컴퓨터 프로그램이 메모리에 로드되어, 프로세서에 의해 실행될 수 있다.
지금까지, 도 4 내지 도 6을 참조하여 본 발명의 제2 실시예에 따른 영상 얼라인먼트 시스템인 지능형 영상 감시 시스템에 대하여 설명하였다. 다음으로, 도 7 내지 도 16을 참조하여 본 발명의 실시예에 따른 영상 얼라인먼트 방법에 대하여 상세하게 설명한다.
이하에서 후술할 본 발명의 실시예에 따른 영상 얼라인먼트 방법의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 영상 얼라인먼트 장치(200, 600)일 수 있다. 다만, 설명의 편의를 위해, 상기 영상 얼라인먼트 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 영상 얼라인먼트 방법의 각 단계는 영상 얼라인먼트 소프트웨어가 프로세서에 의해 실행됨으로써, 영상 얼라인먼트 장치(200, 600)에서 수행되는 오퍼레이션으로 구현될 수 있다.
도 7은 본 발명의 실시예에 따른 영상 얼라인먼트 방법의 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 이하에서도, 이해의 편의를 제공하기 위해, 입력 영상에 포함된 사람은 복수인 것을 가정하여 설명하도록 한다. 다만, 전술한 바와 같이, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 7을 참조하면, 먼저 입력 영상에서 복수의 사람이 인식된다(S110). 상기 복수의 사람을 인식하기 위해, 당해 기술 분야에서 널리 알려진 적어도 하나의 영상 처리 알고리즘 또는 영상 분석 알고리즘이 이용될 수 있다.
다음으로, 상기 인식 된 복수의 사람 중 관심 사람이 결정된다(S130). 상기 관심 사람은 예를 들어 인식된 사람의 인구 통계학적 특성 정보, 인식된 사람이 소지한 물체 정보, 상황 정보 중 적어도 하나의 정보를 기준으로 결정될 수 있다. 본 단계(S130)에 대한 자세한 설명은 이후 도 8 내지 도 14를 참조하여 상세하게 설명하도록 한다.
다음으로, 사용자의 입력 없이 관심 사람을 기준으로 영상 얼라인먼트가 수행된다(S150). 전술한 바와 같이, 상기 영상 얼라인먼트는 회전, 쉬프팅, 크롭, 줌 등 다양한 영상 처리 기법을 이용하여 수행될 수 있다.
다음으로, 영상 얼라인먼트가 수행된 결과 영상이 디스플레이된다(S170). 디스플레이되는 방식은 실시예에 따라 달라질 수 있다. 본 단계(S170)에 대한 자세한 설명은 도 15 및 도 16을 참조하여 상세하게 설명하도록 한다.
지금까지, 도 7을 참조하여, 본 발명의 실시예에 따른 영상 얼라인먼트 방법에 대하여 설명하였다. 상술한 방법에 따르면, 소정의 기준에 따라 관심 사람이 결정되고, 자동으로 관심 사람을 기준으로 영상 얼라인먼트가 수행된 결과 영상이 제공될 수 있다. 이에 따라, 영상을 제공받는 사용자의 몰입감이 증대되고, 사용자의 개입이 요구되지 않는 바 사용자의 편의성 또한 향상 될 수 있다.
이하에서는, 단계(S130)에서 수행되는 관심 사람 결정 방법에 대하여 도 8 내지 도 14를 참조하여 상세하게 설명하도록 한다.
일 실시예에서, 인식된 사람의 인구 통계학적 특성 정보를 기초로 관심 사람이 결정될 수 있다. 즉, 입력 영상에서 인식된 복수의 사람 중에서 기 지정된 인구 통계학적 정보에 부합하는 특성을 가진 사람이 관심 사람으로 결정될 수 있다. 이때. 인구 통계학적 특성 정보는 예를 들어 성별, 연령, 국적, 민족 등의 정보를 포함할 수 있다.
이해의 편의를 제공하기 위해, 도 8을 참조하여 인구 통계학적 특성 정보를 기초로 관심 사람을 결정하는 구체적인 예에 대하여 설명하도록 한다.
도 8을 참조하면, 인식된 복수의 사람 중에서 제1 사람의 나이를 분석한 결과, 상기 제1 사람의 나이가 기 지정된 부모 나이대에 매치(match)되는 나이로 결정되고(S131), 상기 인식된 복수의 사람 중에서 제2 사람의 나이를 분석한 결과, 상기 제2 사람의 나이가 기 지정된 아이 나이대에 매치되는 나이로 결정(S133)될 수 있다. 이와 같은 경우, 상기 제2 사람이 관심 사람으로 결정될 수 있다(S135). 즉, 입력 영상에 부모와 아이가 포함되는 경우, 상기 아이가 관심 사람으로 결정될 수 있다.
일 실시예에서, 도 9a 및 도 9b에 도시된 바와 같이 얼굴 영역의 크기를 기초로 관심 사람이 결정될 수 있다. 구체적으로, 입력 영상(30a)에서 인식된 복수의 사람(31, 33, 35) 각각에 대하여 얼굴 영역(32, 34, 36)이 추출되고, 상기 인식된 복수의 사람(31, 33, 35) 중 추출된 얼굴 영역(32, 34, 36)의 크기가 가장 큰 사람(33)이 관심 사람으로 결정될 수 있다. 또한, 관심 사람(33)을 기준으로 영상 얼라인먼트가 수행된 결과 영상(30b)이 제공될 수 있다. 본 실시예에 따르면, 스마트 미러(200)에 가까이 위치한 사람이 관심 사람으로 결정되므로, 사람의 위치에 따라 순서대로 소정의 서비스가 제공되도록 스마트 미러(200)가 동작할 수 있다.
일 실시예에서, 인식된 복수의 사람 중 기 지정된 관심 물체를 소지한 사람이 관심 사람이 결정될 수 있다. 여기서, 상기 지정된 관심 물체는 예를 들어 사용자 단말, 스마트 칫솔, 칼이나 권총 등의 무기류 등 시스템의 목적에 따라 다양하게 지정될 수 있다. 구체적으로, 인식된 복수의 사람 중 각각의 지정된 위치에서 지정된 관심 물체의 형상을 가진 객체를 감지하고, 상기 인식된 복수의 사람 중에서 제1 사람의 지정된 위치에서 지정된 관심 물체의 형상을 가진 객체가 감지된 경우, 상기 제1 사람이 상기 관심 사람으로 결정될 수 있다. 이때, 상기 지정된 관심 물체가 칫솔 형상의 객체인 경우, 상기 지정된 위치는 사람의 손 끝에 대응되는 위치일 수 있다.
이해의 편의를 제공하기 위해, 도 10a 및 도 10b를 참조하여 부연 설명하도록 한다. 지정된 관심 물체가 칫솔 또는 스마트 칫솔인 경우, 입력 영상(40a)에서 인식된 복수의 사람(41, 43)의 손 끝에서 칫솔 형상의 객체가 감지되는지 판정된다. 판정 결과, 제1 사람(43)의 손 끝에서 칫솔 형상의 객체 (44)가 감지된 경우, 도 10b에 도시된 바와 같이, 제1 사람(43)을 기준으로 영상 얼라인먼트가 수행된 결과 영상(40b)이 제공된다.
상술한 실시예에서, 지정된 관심 물체를 소지한 사람이 복수 명 존재하는 경우가 있을 수 있다. 이와 같은 경우, 다양한 기준에 따라 적어도 한 명의 사람이 관심 사람으로 결정될 수 있다.
예를 들어, 얼굴 영역의 크기를 기초로 가까운 거리에 위치한 적어도 한 명의 사람이 관심 사람으로 결정될 수 있다.
다른 예를 들어, 입력 영상에 진입한 순서에 기초하여 관심 사람으로 결정될 수 있다. 구체적으로, 제1 사람의 지정된 위치에서 지정된 관심 물체의 형상을 가진 객체가 감지되고, 제2 사람의 지정된 위치에서도 상기 지정된 관심 물체의 형상을 가진 객체가 감지된 경우, 상기 제1 사람과 상기 제2 사람 중, 상기 입력 영상에 먼저 진입한 사람이 상기 관심 사람으로 결정될 수 있다. 물론, 진입 순서에 따라 복수의 사람이 관심 사람으로 결정될 수도 있다.
또 다른 예를 들어, 지정된 관심 물체를 소지한 복수의 사람 중에서 기 지정된 방향에 위치한 사람이 관심 사람으로 결정될 수 있다. 구체적으로, 제1 사람의 지정된 위치에서 지정된 관심 물체의 형상을 가진 객체가 감지되고, 제2 사람의 지정된 위치에서도 상기 지정된 관심 물체의 형상을 가진 객체가 감지된 경우, 상기 제1 사람과 상기 제2 사람 중, 기 지정된 방향에 위치하는 사람이 상기 관심 사람으로 결정될 수 있다. 본 예에 따르면, 유치원의 세면대에 스마트 미러가 설치되고, 복수의 유치원생이 오른쪽에서 입장하여 양치질 가이드 콘텐츠에 따라 양치질을 하고 왼쪽으로 퇴장하는 경우, 입장 순서에 따라 순서대로 영상 얼라인먼트에 기반한 양치질 가이드 서비스가 제공될 수 있다.
일 실시예에서, 지정된 관심 물체를 소지한 복수의 사람 중에서 상기 관심 물체가 지정된 위치에서 감지된 사람이 관심 사람으로 결정될 수 있다. 여기서, 상기 지정된 위치는 관심 물체의 종류에 따라 달라질 수 있다. 이해의 편의를 제공하기 위해, 상기 관심 물체가 스마트 칫솔인 경우를 예를 들어 도 11을 참조하여 부연 설명한다.
도 11을 참조하면, 스마트 칫솔(52, 54, 56)이 손 끝에서 감지된 복수의 아동(51, 53, 55) 중에서 상기 스마트 칫솔이 입 주변에서 감지된 아동(53)이 관심 사람으로 결정될 수 있다. 이를 통해, 스마트 미러(200)를 통해 양치 가이드 서비스를 제공받는 아동 중에서, 먼저 칫솔질을 시작한 아동에게 자동으로 영상 얼라인먼트가 수행된 결과 영상 및 양치 가이드 콘텐츠가 제공되도록 스마트 미러(200)가 동작할 수 있다.
몇몇 실시예에서, 도 12에 도시된 바와 같이 입력 영상에 포함된 음성 또는 별도의 음성 센서를 통해 감지된 음성 신호(61)에 대한 음성 인식을 수행하고, 상기 음성 인식을 통해 도출된 텍스트(63)를 이용하여 관심 사람이 결정될 수 있다. 이하, 음성 인식에 기초한 몇몇 실시예에 대하여 설명한다.
일 실시예에서, 인식된 음성에 대응되는 텍스트가 제1 사람의 외곽선 내부 영역에서 감지된 경우, 상기 제1 사람이 관심 사람으로 결정될 수 있다. 도 13을 참조하여, 선생님이 명찰을 단 복수의 아동 중 제1 아동을 호명하는 경우를 예를 들어 부연 설명하도록 한다. 도 13을 참조하면, 제1 아동을 호명하는 음성 신호를 인식하여 상기 제1 아동의 이름을 가리키는 텍스트가 획득되면, 입력 영상(70)에 포함된 복수의 사람의 외곽선 내부 영역(71, 73, 75)에서 상기 획득된 텍스트가 감지되는지 판정될 수 있다. 상기 복수의 사람 중에서 제1 아동의 외곽선 내부 영역(73)에서 상기 획득된 텍스트와 동일한 텍스트(74)가 인식되는 경우, 상기 제1 아동이 관심 사람으로 결정될 수 있다. 이에 따라, 복수의 아동 중에서 호명된 이름의 명찰을 단 아동을 기준으로 영상 얼라인먼트된 결과 영상이 제공될 수 있다.
일 실시예에서, 인식된 음성에 대응되는 텍스트가 제1 사람의 이름인 경우, 인식된 복수의 사람 각각에 대하여 얼굴 인식이 수행되고, 상기 얼굴 인식 결과를 기초로 상기 인식된 복수의 사람 중에서 상기 제1 사람이 관심 사람으로 결정될 수 있다. 구체적으로, 음성 인식을 통해 제1 사람의 이름이 텍스트로 획득된 경우, 사람의 이름 정보 및 얼굴 이미지를 포함하는 기 구축된 얼굴 DB를 이용하여 인식된 복수의 사람 각각에 대한 얼굴 인식이 수행된다. 그러면, 상기 인식된 복수의 사람 중에서, 상기 제1 사람의 이름에 대응되는 얼굴이 인식된 사람이 관심 사람으로 결정된다. 본 실시예에 따르면, 이름이 호명된 특정 사람 기준으로 영상 얼라인먼트가 수행되고 이는 다양한 경우에 활용될 수 있다. 예를 들어, 감시 지역 내에서 미아 아동의 부모가 해당 아동의 이름을 부르며 찾는 경우, 각 감시 영상 중에 해당 아동이 포함된 영상에 대한 영상 얼라인먼트가 자동으로 수행될 수 있는 바 미아 아동 찾기 서비스에 활용될 수 있다. 다른 예를 들어, 경찰이 감시 지역 내에서 수배자의 이름을 부르며 추적하는 경우, 각 감시 영상 중에 해당 수배자가 포함된 영상에 대한 영상 얼라인먼트가 자동으로 수행될 수 있는 바 수배자 검거 서비스에 활용될 수도 있다.
몇몇 실시예에서, 인식된 복수의 사람 각각에 대하여 상황 기반(context-based) 관심 사람 판정 로직을 통해, 현재 상황에 부합하는 관심 사람이 결정될 수 있다. 여기서, 상기 상황 기반 관심 사람 판정 로직에 이용되는 상황 정보는 날씨, 시간, 장소, 인구 통계학적 특성의 조합을 포함할 수 있다.
일 실시예에서, 인식된 복수의 사람 각각의 인구 통계학적 특성의 조합에 기반하여 상황을 판정하고, 상기 판정된 상황에 따른 조건에 부합하는 사람이 관심 사람으로 결정될 수 있다. 예를 들어, 도 14에 도시된 바와 같이, 인식된 복수의 사람(81, 83, 85) 중에서 40대 남자와 30대 여자의 조합으로 구성된 사람(83, 85)이 관심 사람으로 결정될 수 있다. 또는, 부모와 자식, 남자와 남자, 남자와 여자 등의 다양한 조합에 따른 조건에 부합하는 사람이 관심 사람으로 결정될 수 있다.
지금까지, 도 8 내지 도 14를 참조하여 본 발명의 몇몇 실시예에 참조될 수 있는 관심 사람 결정 방법에 대하여 설명하였다. 이하에서는, 단계(S170)에서 관심 사람을 기준으로 영상 얼라인먼트가 수행된 결과 영상을 디스플레이하는 방법에 대하여 설명하도록 한다.
일 실시예에서, 관심 사람 또는 상기 관심 사람 중에서 지정된 조건을 만족하는 사람에 대한 하이라이트 처리가 수행된 영상이 디스플레이될 수 있다. 여기서, 상기 하이라이트 처리는 예를 들어 바운딩 박스(bounding box) 처리, 주변은 흑백인 상태에서 관심 사람에 대한 컬러 처리 등 관심 사람이 두드러지도록 처리되는 모든 영상 처리 기법을 포함할 수 있다. 보다 구체적인 예를 들어, 스마트 미러(200)를 통해 양치질 가이드 서비스를 제공하는 경우, 양치질을 수행 중인 제1 아동은 컬러로 처리되고, 양치질을 시작하지 않은 아동은 흑백으로 처리된 결과 영상이 제공될 수 있다.
일 실시예에서, 관심 사람에 대한 소정의 부가 정보가 더 디스플레이될 수 있다. 예를 들어, 관심 사람으로부터 지정된 조건에 부합하는 행동이 감지되면, 상기 행동이 수행되는 기간의 정보가 관심 사람 주변에 표시될 수 있다. 보다 구체적인 예를 들어, 아동이 양치질을 하는 시간, 납치범으로 의심되는 사람이 유아 주변에 서성이는 시간 등의 정보가 해당 사람 주변에 표시될 수 있다. 이외에도, 관심 사람의 인구 통계학적 특성 정보 등 다양한 정보가 상기 관심 사람 주변에 더 디스플레이될 수 있다.
일 실시예에서, 관심 사람이 복수로 결정된 경우, 제1 관심 사람 기준으로 영상 얼라인먼트가 수행된 제1 결과 영상이 제1 영역에 디스플레이되고, 제2 관심 사람 기준으로 영상 얼라인먼트가 수행된 제2 결과 영상이 제2 영역에 디스플레이될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 양치질을 하고 있는 복수의 아동(91, 93, 95)이 관심 사람으로 결정된 경우, 각각의 아동(91, 93, 95)을 기준으로 영상 얼라인먼트가 수행되고, 각각의 결과 영상이 분할된 영역(90a, 90b, 90c)에 디스플레이될 수 있다.
전술한 실시예에서, 소정의 점수 또는 우선순위에 따라 분할된 영역의 크기는 동적으로 조정될 수 있다. 예를 들어, 도 16에 도시된 바와 같이, 복수의 아동(101, 103, 105)이 양치질을 수행하는 경우, 각 아동의 양치 점수를 기준으로 분할된 영역(100a, 100b, 100c)의 크기가 조정될 수 있다. 특히, 도 16은 양치질 점수의 순위가 제2 아동(63)이 가장 높고, 다음으로 제1 아동(61) 및 제3 아동(65) 순서인 경우를 예로써 도시하고 있다. 여기서, 상기 양치질 점수는 예를 들어 각 아동(101, 103, 105)이 사용하는 스마트 칫솔로부터 수신된 정보, 양치질 가이드 콘텐츠가 제공되는 경우 상기 양치질 가이드 콘텐츠에 맞게 양치질을 수행하는지를 가리키는 영상 분석 정보(e.g. 콘텐츠 영상과 촬영 영상의 부합 정도를 기초로 산출), 양치질 수행 시간 등을 기초로 다양한 방식으로 산출될 수 있다. 본 예에 따르면, 아동의 경쟁 심리를 자극함으로써 아동들에게 올바른 양치질을 유도하는 효과가 발생될 수 있다.
지금까지, 도 7 내지 도 16을 참조하여, 본 발명의 실시예에 따른 영상 얼라인먼트 방법에 대하여 설명하였다. 다음으로, 도 17 내지 도 20을 참조하여, 본 발명의 몇몇 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대하여 설명하도록 한다.
이하에서 후술할 상기 서비스 제공 화면의 구성 방법은 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 서비스 제공 장치일 수 있다. 다만, 설명의 편의를 위해, 상기 서비스 제공 화면의 구성 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 상기 서비스 제공 화면의 구성 방법의 각 단계는 사용자 타게팅 된 서비스 제공 화면의 구성 소프트웨어가 프로세서에 의해 실행됨으로써, 서비스 제공 장치에서 수행되는 오퍼레이션일 수 있다.
먼저, 도 17 내지 도 19b를 참조하여 본 발명의 제1 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대하여 설명하도록 한다.
도 17은 상기 제1 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대한 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 이하에서도, 이해의 편의를 제공하기 위해, 입력 영상에 포함된 사람은 복수인 것을 가정하여 설명하도록 한다. 단, 전술한 바와 같이, 본 발명의 범위가 이에 국한되는 것은 아니다.
도 17을 참조하면, 입력 영상에서 복수의 사람이 인식되고(S210), 인식된 복수의 사람 중에서 관심 사람이 결정된다(S230). 단계(S210, S230)는 전술한 단계(S110, S130)와 동일한 바 중복된 설명을 배제하기 위해 생략하도록 한다.
다음으로, 사용자 입력 없이 관심 사람을 대상으로 한 서비스 제공 화면이 구성되고 디스플레이된다(S250). 예를 들어, 상기 관심 사람이 스마트 칫솔을 소지한 아동인 경우, 양치질 가이드 서비스를 제공하기 위해 양치질 가이드 콘텐츠가 디스플레이될 수 있다.
일 실시예에서, 도 18a에 도시된 바와 같이 서비스 제공 화면이 구성될 수 있다. 구체적으로, 관심 사람(111, 113, 115)이 복수인 경우, 각 분할 영역(110a, 110b, 110c)에 관심 사람을 기준으로 영상 얼라인먼트가 수행된 결과 영상이 디스플레이되고, 각 관심 사람에 대한 콘텐츠가 각 분할 영역(110a, 110b, 110c) 내의 일부 영역(112, 114, 116)에 디스플레이되도록 서비스 제공 화면이 구성될 수 있다. 실시예에 따라, 상기 결과 영상은 디스플레이되지 않고, 각 콘텐츠가 각 분할 영역(110a, 110b, 110c)에 디스플레이될 수도 있다.
일 실시예에서, 도 18b에 도시된 바와 같이, 복수의 관심 사람(111, 113, 115)에게 공통된 콘텐츠가 제공되는 경우, 신규 분할 영역(110d)에 상기 공통된 콘텐츠가 디스플레이될 수 있다. 도 18b에서 신규 분할 영역(110d)은 하단에 위치한 것이 예로써 도시되었으나, 신규 분할 영역(110d)의 크기 및 위치는 콘텐츠의 해상도 등에 따라 얼마든지 변경될 수 있다.
한편, 본 발명의 실시예에 따르면, 관심 사람의 사용자 단말로부터 수신된 데이터를 이용하여 서비스 제공 화면을 구성될 수도 있다. 보다 자세하게는, 사용자 단말 또는 지정된 물체의 형상을 가진 객체가 감지된 사람이 관심 사람으로 결정된 경우, 기 구축된 얼굴 DB 또는 식별 정보 DB를 통해 상기 관심 사람의 식별 정보(e.g. ID, 이름 등)가 획득될 수 있다. 그러면, 상기 식별 정보를 이용하여 상기 관심 사람이 보유한 상기 사용자 단말에 대한 정보가 조회되고, 상기 사용자 단말에 대한 정보를 이용하여, 상기 사용자 단말로부터 소정의 콘텐츠를 수신하여 서비스 제공 화면이 구성될 수 있다. 이때, 상기 식별 정보와 대응되는 사용자 단말의 정보는 기 저장된 정보일 수 있다. 보다 이해의 편의를 제공하기 위해, 도 19a 및 도 19b를 참조하여 본 실시예에 대하여 부연 설명하도록 한다.
도 19a 및 도 19b는 발표자가 관심 사람으로 결정되고, 발표자의 단말로부터 수신된 발표 콘텐츠가 서비스 제공 장치를 통해 디스플레이되는 예를 도시하고 있다. 이하, 도 19a 및 도 19b를 참조하여 설명하도록 한다.
서비스 제공 장치가 발표 장소에 설치된 컴퓨팅 장치라고 가정하면, 상기 서비스 제공 장치는 입력 영상(120a)에서 인식된 복수의 사람 중에서 손 끝에서 포인터 형상의 물체(122)가 감지된 사람(121)을 관심 사람으로 결정할 수 있다.
관심 사람이 결정되면, 도 19b에 도시된 바와 같이, 상기 서비스 제공 장치는 관심 사람(121)을 기준으로 영상 얼라인먼트가 수행된 결과 영상(120b)를 생성하여 화면 상의 제1 영역에 디스플레이하고, 관심 사람(121)이 소지한 사용자 단말(130)로부터 수신된 발표 콘텐츠(123)를 상기 화면 상의 제2 영역에 디스플레이할 수 있다. 도 19b는 각각 독립적으로 분할된 영역에 결과 영상(120b) 및 콘텐츠(123)가 디스플레이되는 것을 예로써 도시하였으나, 전술한 바와 같이 서비스 화면의 레이아웃, 디스플레이 방식 등은 얼마든지 달라질 수 있다.
도 19a 및 도 19b를 참조하여 설명한 예에 따르면, 자동으로 발표자가 관심 사람으로 결정되고, 상기 발표자가 프레젠테이션(presentation)을 진행할 수 있도록 맞춤형 서비스 화면이 자동으로 구성될 수 있다. 이에 따라, 사용자의 편의성이 크게 향상될 수 있다.
지금까지, 도 17 내지 도 19b를 참조하여 본 발명의 제1 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대하여 설명하였다. 이하에서는, 도 20을 참조하여 본 발명의 제2 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대하여 설명하도록 한다.
도 20은 상기 제2 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대한 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 20을 참조하면, 입력 영상에서 복수의 사람이 인식된다(S310).
다음으로, 인식된 복수의 사람의 생체 신호 센서로부터 생체 데이터를 수신한다(S330). 여기서, 상기 생체 신호 센서는 예를 들어 사용자의 신체에 부착된 생체 신호 센서, 웨어러블 디바이스(wearable device) 및/또는 사용자 단말에 부착된 생체 신호 센서 등을 포함할 수 있다. 또한, 상기 생체 데이터는 심장 박동수, 혈압, 산소 포화도, 스트레스 지수, 양치된 정도 등을 포함할 수 있다.
다음으로, 수신된 생체 데이터를 이용하여, 상기 인식 된 복수의 사람 중 관심 사람이 결정된다(S350). 예를 들어, 혈압이 높은 사람, 양치가 잘 되지 않은 사람, 심장 박동수가 높은 사람 등 생체 데이터가 정상 범주에 있지 않은 사람이 관심 사람으로 결정될 수 있다.
일 실시예에서, 상기 관심 사람을 결정하기 위해 인식된 복수의 사람의 영상 분석 결과가 더 이용될 수 있다. 예를 들어, 건강에 이상이 있는 사람을 관심 사람으로 결정하는 경우, 얼굴의 혈류량 정보, 표정 정보(e.g. 찡그린 표정) 등의 분석 정보를 영상 분석을 통해 도출하고, 상기 도출된 정보를 더 이용하여 보다 정확하게 관심 사람이 결정될 수 있다.
다음으로, 사용자 입력 없이 관심 사람을 대상으로 한 서비스 제공 화면이 구성되고 디스플레이된다(S370). 예를 들어, 건강에 이상이 있는 사람이 관심 사람으로 결정된 경우, 운동 콘텐츠, 특정 질병에 대한 콘텐츠 등이 제공될 수 있다. 또는, 양치가 잘 되지 않은 사람이 관심 사람으로 결정된 경우, 양치질 가이드 콘텐츠가 제공될 수 있다.
지금까지, 도 20을 참조하여 본 발명의 제2 실시예에 따른 사용자 타게팅 된 서비스 제공 화면의 구성 방법에 대하여 설명하였다. 상술한 바에 따르면, 사용자의 생체 신호 정보를 이용한 사용자 맞춤형 서비스가 제공될 수 있다.
지금까지 도 1 내지 도 20을 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (21)

  1. 영상 얼라인먼트 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 영상 얼라인먼트 장치가, 상기 인식 된 사람의 인구 통계학적 특성에 기초하여 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 영상 얼라인먼트 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  2. 제1 항에 있어서,
    상기 관심 사람을 결정하는 단계는,
    상기 인식 된 사람 각각의 인구 통계학적 특성을 분석하는 단계; 및
    상기 분석된 인구 통계학적 특성을 이용하여, 상기 인식된 사람 중 기 지정된 인구 통계학적 정보에 부합하는 특성을 가진 관심 사람을 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  3. 제2 항에 있어서,
    상기 인식 된 사람 각각의 인구 통계학적 특성을 분석하는 단계는,
    상기 인식된 사람 중 제1 사람의 나이를 분석한 결과, 상기 제1 사람의 나이를 기 지정된 부모 나이대에 매치되는 나이로 결정하는 단계; 및
    상기 인식된 사람 중 제2 사람의 나이를 분석한 결과, 상기 제2 사람의 나이를 기 지정된 아이 나이대에 매치되는 나이로 결정하는 단계를 포함하고,
    상기 분석된 인구 통계학적 특성을 이용하여, 상기 인식된 사람 중 기 지정된 인구 통계학적 정보에 부합하는 특성을 가진 관심 사람을 결정하는 단계는,
    상기 제2 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  4. 영상 얼라인먼트 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 영상 얼라인먼트 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 영상 얼라인먼트 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함하되,
    상기 관심 사람을 결정하는 단계는,
    상기 인식 된 사람 각각에 대하여 얼굴 영역을 추출하는 단계; 및
    상기 인식된 사람 중 상기 추출된 얼굴 영역이 가장 큰 사람을 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  5. 영상 얼라인먼트 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 영상 얼라인먼트 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 영상 얼라인먼트 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함하되,
    상기 관심 사람을 결정하는 단계는,
    상기 인식 된 사람 각각의 지정된 위치에서, 지정된 형상을 가진 객체를 감지하는 단계; 및
    제1 사람의 지정된 위치에서 상기 지정된 형상을 가진 객체가 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  6. 제5 항에 있어서,
    상기 지정된 위치는,
    사람의 손 끝에 대응되는 위치이고,
    상기 지정된 형상을 가진 객체는,
    칫솔 형상을 가진 객체인 것인,
    영상 얼라인먼트 방법.
  7. 제5 항에 있어서,
    제1 사람의 지정된 위치에서 상기 지정된 형상을 가진 객체가 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 단계는,
    제1 사람의 지정된 위치에서 상기 지정된 형상을 가진 객체가 감지되고, 제2 사람의 지정된 위치에서도 상기 지정된 형상을 가진 객체가 감지된 경우, 상기 제1 사람과 상기 제2 사람 중, 상기 입력 영상에 먼저 진입한 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  8. 제5 항에 있어서,
    제1 사람의 지정된 위치에서 상기 지정된 형상을 가진 객체가 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 단계는,
    제1 사람의 지정된 위치에서 상기 지정된 형상을 가진 객체가 감지되고, 제2 사람의 지정된 위치에서도 상기 지정된 형상을 가진 객체가 감지된 경우, 상기 제1 사람과 상기 제2 사람 중, 기 지정된 방향에 위치하는 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  9. 제5 항에 있어서,
    상기 지정된 위치는,
    입 주변 위치이고,
    상기 지정된 형상을 가진 객체는,
    칫솔 형상을 가진 객체인 것인,
    영상 얼라인먼트 방법.
  10. 영상 얼라인먼트 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 영상 얼라인먼트 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 영상 얼라인먼트 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함하되,
    상기 관심 사람을 결정하는 단계는,
    음성을 인식하는 단계; 및
    상기 인식 된 음성에 대응되는 텍스트가 제1 사람의 외곽선 내부 영역에서 감지된 경우, 상기 제1 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  11. 영상 얼라인먼트 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 영상 얼라인먼트 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 영상 얼라인먼트 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 상기 영상 얼라인먼트 장치의 사용자의 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 포함하되,
    상기 관심 사람을 결정하는 단계는,
    음성을 인식하는 단계;
    상기 인식된 음성에 대응되는 텍스트가 가리키는 이름을 가지는 제1 사람을 감지하기 위하여, 상기 인식 된 사람 각각에 대하여 얼굴 인식을 수행하는 단계; 및
    상기 제1 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  12. 삭제
  13. 제1 항에 있어서,
    상기 관심 사람을 결정하는 단계는,
    상기 인식 된 사람 각각에 대한 인구 통계학적 특성 분석을 수행하는 단계; 및
    상기 인식 된 사람 각각의 인구 통계학적 특성의 조합에 기반하여 상황을 판정하고, 상기 판정된 상황에 따른 조건에 부합하는 사람을 관심 사람으로 결정하는 단계를 포함하는,
    영상 얼라인먼트 방법.
  14. 제1 항에 있어서,
    상기 영상 얼라인먼트 장치가, 상기 관심 사람에 대하여 하이라이트 처리를 하는 단계를 더 포함하는,
    영상 얼라인먼트 방법.
  15. 컴퓨팅 장치와 결합하여,
    입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 인식 된 사람의 인구 통계학적 특성에 기초하여 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 사용자 입력 없이 상기 영상 얼라인먼트를 수행하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터 프로그램.
  16. 입력 영상을 생성하는 전면 카메라 센서;
    상기 입력 영상에서 적어도 하나의 사람을 인식하고, 상기 인식 된 사람의 인구 통계학적 특성에 기초하여 상기 인식 된 사람 중 관심 사람을 결정하며, 상기 입력 영상에 대하여 상기 관심 사람을 기준으로 영상 얼라인먼트를 수행하되, 상기 영상 얼라인먼트를 위한 사용자 입력 없이 상기 영상 얼라인먼트를 수행하는 영상 얼라인먼트 프로세서; 및
    상기 영상 얼라인먼트가 수행된 결과 영상을 표시하는 디스플레이를 포함하는,
    스마트 미러.
  17. 서비스 제공 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 서비스 제공 장치가, 상기 인식 된 사람의 인구 통계학적 특성에 기초하여 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 서비스 제공 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 대상으로 한 서비스 제공 화면을 구성하고 디스플레이 하되, 상기 서비스 제공 화면 구성을 위한 사용자 입력 없이 상기 서비스 제공 화면의 구성 및 디스플레이를 수행하는 단계를 포함하는,
    사용자 타게팅 된 서비스 제공 화면의 구성 방법.
  18. 서비스 제공 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 서비스 제공 장치가, 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 서비스 제공 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 대상으로 한 서비스 제공 화면을 구성하고 디스플레이 하되, 상기 서비스 제공 화면 구성을 위한 사용자 입력 없이 상기 서비스 제공 화면의 구성 및 디스플레이를 수행하는 단계를 포함하되,
    상기 관심 사람을 결정하는 단계는,
    상기 인식 된 사람 각각에 대하여 지정된 형상을 가진 객체를 감지하는 단계; 및
    상기 지정된 형상을 가진 객체가 감지된 사람을 상기 관심 사람으로 결정하는 단계를 포함하는,
    사용자 타게팅 된 서비스 제공 화면의 구성 방법.
  19. 제18 항에 있어서,
    상기 지정된 형상을 가진 객체는 사용자 단말의 형상을 가진 객체이고,
    상기 입력 영상에 대하여 상기 관심 사람을 대상으로 한 서비스 제공 화면을 구성하고 디스플레이하는 단계는,
    상기 관심 사람을 식별하는 단계;
    상기 관심 사람의 식별 결과를 이용하여, 상기 관심 사람이 보유한 사용자 단말에 대한 정보를 조회하는 단계;
    상기 사용자 단말에 대한 정보를 이용하여, 상기 사용자 단말로부터 데이터를 수신하는 단계; 및
    상기 사용자 단말로부터 수신한 데이터를 이용하여 상기 서비스 제공 화면을 구성하는 단계를 포함하는,
    사용자 타게팅 된 서비스 제공 화면의 구성 방법.
  20. 서비스 제공 장치가, 입력 영상에서 적어도 하나의 사람을 인식하는 단계;
    상기 서비스 제공 장치가, 상기 인식 된 사람의 생체 신호 센서로부터 생체 데이터를 수신하는 단계;
    상기 서비스 제공 장치가, 상기 수신된 생체 데이터를 이용하여, 상기 인식 된 사람 중 관심 사람을 결정하는 단계; 및
    상기 서비스 제공 장치가, 상기 입력 영상에 대하여 상기 관심 사람을 대상으로 한 서비스 제공 화면을 구성하고 디스플레이 하되, 상기 서비스 제공 화면 구성을 위한 사용자 입력 없이 상기 서비스 제공 화면의 구성 및 디스플레이를 수행하는 단계를 포함하는,
    사용자 타게팅 된 서비스 제공 화면의 구성 방법.
  21. 제20 항에 있어서,
    상기 관심 사람을 결정하는 단계는,
    상기 인식 된 사람의 영상을 분석한 결과를 더 이용하여, 상기 관심 사람을 결정하는 단계를 포함하는,
    사용자 타게팅 된 서비스 제공 화면의 구성 방법.
KR1020170109287A 2017-08-29 2017-08-29 영상 얼라인먼트 방법 및 그 장치 KR101972331B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020170109287A KR101972331B1 (ko) 2017-08-29 2017-08-29 영상 얼라인먼트 방법 및 그 장치
PCT/KR2018/009857 WO2019045385A1 (ko) 2017-08-29 2018-08-27 영상 얼라인먼트 방법 및 그 장치
CN201880056637.9A CN111052185A (zh) 2017-08-29 2018-08-27 影像配准方法及其装置
JP2020512723A JP6946551B2 (ja) 2017-08-29 2018-08-27 映像アライメント方法及びその装置
US16/728,675 US11354882B2 (en) 2017-08-29 2019-12-27 Image alignment method and device therefor
JP2021150475A JP7151959B2 (ja) 2017-08-29 2021-09-15 映像アライメント方法及びその装置
US17/736,354 US20220262091A1 (en) 2017-08-29 2022-05-04 Image alignment method and device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170109287A KR101972331B1 (ko) 2017-08-29 2017-08-29 영상 얼라인먼트 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045839A Division KR102239015B1 (ko) 2019-04-19 2019-04-19 영상 얼라인먼트 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190023469A KR20190023469A (ko) 2019-03-08
KR101972331B1 true KR101972331B1 (ko) 2019-04-25

Family

ID=65527696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170109287A KR101972331B1 (ko) 2017-08-29 2017-08-29 영상 얼라인먼트 방법 및 그 장치

Country Status (5)

Country Link
US (2) US11354882B2 (ko)
JP (2) JP6946551B2 (ko)
KR (1) KR101972331B1 (ko)
CN (1) CN111052185A (ko)
WO (1) WO2019045385A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7215936B2 (ja) * 2019-03-08 2023-01-31 本田技研工業株式会社 迷子予防支援システム
WO2021091362A1 (ko) * 2019-11-07 2021-05-14 주식회사 블루레오 어플리케이션과 연동 가능한 전동칫솔을 이용한 구강관리 방법
WO2021077141A2 (en) * 2021-02-05 2021-04-22 Innopeak Technology, Inc. Highlight moment detection for slow-motion videos
US20220012491A1 (en) * 2021-09-23 2022-01-13 Intel Corporation Contextual usage control of cameras
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
JP4168940B2 (ja) * 2004-01-26 2008-10-22 三菱電機株式会社 映像表示システム
JP2006033380A (ja) * 2004-07-15 2006-02-02 Hitachi Kokusai Electric Inc 監視システム
EP1840953A4 (en) 2005-03-14 2011-09-21 Sumitomo Bakelite Co SEMICONDUCTOR COMPONENT
JP4689341B2 (ja) 2005-05-02 2011-05-25 パナソニック株式会社 画像表示装置及び画像表示システム
KR100738080B1 (ko) * 2005-11-08 2007-07-12 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
JP2008277903A (ja) * 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
JP2010109898A (ja) * 2008-10-31 2010-05-13 Canon Inc 撮影制御装置、撮影制御方法及びプログラム
JP5489197B2 (ja) * 2008-11-10 2014-05-14 九州日本電気ソフトウェア株式会社 電子広告装置・方法及びプログラム
JP2010147808A (ja) * 2008-12-18 2010-07-01 Olympus Imaging Corp 撮像装置および撮像装置における画像処理方法
JP2011138178A (ja) 2009-12-25 2011-07-14 Takenaka Komuten Co Ltd 発光装置、不審者検出システムおよびプログラム
US20110280439A1 (en) * 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection
US20110298912A1 (en) * 2010-06-02 2011-12-08 Honeywell International Inc. Wavefront sensing for biometric imaging
US20120271121A1 (en) * 2010-12-29 2012-10-25 Basis Science, Inc. Integrated Biometric Sensing and Display Device
CN103443772B (zh) * 2011-04-13 2016-05-11 塔塔咨询服务有限公司 基于多模态数据分析的个人性别验证的方法
JP5680475B2 (ja) * 2011-04-26 2015-03-04 日本アビオニクス株式会社 携帯型無線端末
JP2013065110A (ja) * 2011-09-15 2013-04-11 Omron Corp 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体
JP5888770B2 (ja) * 2011-09-22 2016-03-22 Ｎｅｃエンベデッドプロダクツ株式会社 迷子発見システム及び方法
US9111147B2 (en) 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
JP2013190943A (ja) 2012-03-13 2013-09-26 Aiphone Co Ltd 物体検出装置及びインターホンシステム
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
CA2913461C (en) 2013-05-30 2016-05-24 Facebook, Inc. Tag suggestions for images on online social networks
WO2015041641A1 (en) * 2013-09-18 2015-03-26 Intel Corporation Automated image cropping and sharing
US9710708B1 (en) * 2014-03-24 2017-07-18 Vecna Technologies, Inc. Method and apparatus for autonomously recognizing at least one object in an image
US9589205B2 (en) * 2014-05-15 2017-03-07 Fuji Xerox Co., Ltd. Systems and methods for identifying a user's demographic characteristics based on the user's social media photographs
KR20160003996A (ko) * 2014-07-01 2016-01-12 주식회사 아이티엑스시큐리티 감시 영상 분석 장치 및 방법
WO2016020803A1 (en) * 2014-08-04 2016-02-11 Sarubbo Davide A system for checking a correct oral hygiene procedure
US9626768B2 (en) 2014-09-30 2017-04-18 Microsoft Technology Licensing, Llc Optimizing a visual perspective of media
JP6455977B2 (ja) * 2015-02-27 2019-01-23 みこらった株式会社 飛行体
CN104732218B (zh) * 2015-03-31 2018-09-04 努比亚技术有限公司 图像显示的方法及装置
KR101716365B1 (ko) * 2015-05-14 2017-03-15 군산대학교산학협력단 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법
KR101691782B1 (ko) * 2015-06-29 2017-01-02 주식회사 슈프리마에이치큐 얼굴인식을 이용한 인증장치 및 그 인증방법
KR102191047B1 (ko) * 2015-09-09 2020-12-14 주식회사 아이티엑스에이아이 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
CN106250421A (zh) * 2016-07-25 2016-12-21 深圳市金立通信设备有限公司 一种拍摄处理的方法及终端

Also Published As

Publication number Publication date
JP7151959B2 (ja) 2022-10-12
JP2020535499A (ja) 2020-12-03
CN111052185A (zh) 2020-04-21
JP6946551B2 (ja) 2021-10-06
KR20190023469A (ko) 2019-03-08
WO2019045385A1 (ko) 2019-03-07
US20200134352A1 (en) 2020-04-30
US11354882B2 (en) 2022-06-07
JP2021192305A (ja) 2021-12-16
US20220262091A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
KR101972331B1 (ko) 영상 얼라인먼트 방법 및 그 장치
JP7229174B2 (ja) 人識別システム及び方法
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US20200175262A1 (en) Robot navigation for personal assistance
US11748980B2 (en) Makeup evaluation system and operating method thereof
US20170011258A1 (en) Image analysis in support of robotic manipulation
US10108852B2 (en) Facial analysis to detect asymmetric expressions
JP2020533701A (ja) 対象者の識別のためのカメラ及び画像校正
US20090299814A1 (en) Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
EP3579176A1 (en) Makeup evaluation system and operation method thereof
KR20050085583A (ko) 표정 불변 얼굴 인식
JP7238902B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016200969A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
WO2021229663A1 (ja) 学習装置、学習方法および記録媒体
KR102239015B1 (ko) 영상 얼라인먼트 방법 및 그 장치
KR102066892B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
KR20230077560A (ko) 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법
WO2021229654A1 (ja) 判定装置、判定方法および記録媒体
JPH10340342A (ja) 個体識別装置
Grabovskyi et al. Facial recognition with using of the microsoft face API Service
CN112487980A (zh) 基于微表情治疗方法、装置、系统与计算机可读存储介质
JP7400924B2 (ja) 情報提供装置、情報提供方法、およびプログラム
KR102439216B1 (ko) 인공지능 딥러닝 모델을 이용한 마스크 착용 얼굴 인식 방법 및 서버
WO2021234845A1 (ja) 情報処理装置、感情推定方法、及び感情推定プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right