KR101362381B1 - 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법 - Google Patents

얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법 Download PDF

Info

Publication number
KR101362381B1
KR101362381B1 KR1020070070879A KR20070070879A KR101362381B1 KR 101362381 B1 KR101362381 B1 KR 101362381B1 KR 1020070070879 A KR1020070070879 A KR 1020070070879A KR 20070070879 A KR20070070879 A KR 20070070879A KR 101362381 B1 KR101362381 B1 KR 101362381B1
Authority
KR
South Korea
Prior art keywords
recording
face
image frame
time
scene change
Prior art date
Application number
KR1020070070879A
Other languages
English (en)
Other versions
KR20090007177A (ko
Inventor
박은상
김종태
박진만
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070070879A priority Critical patent/KR101362381B1/ko
Priority to US11/938,357 priority patent/US8300898B2/en
Publication of KR20090007177A publication Critical patent/KR20090007177A/ko
Application granted granted Critical
Publication of KR101362381B1 publication Critical patent/KR101362381B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법이 제공된다. 얼굴 인식 기반의 실시간 선별 녹화 장치는 압축이 해제되어 입력되는 영상 프레임에서, 특정 인물의 얼굴을 인식하는 얼굴 인식부, 상기 인식된 얼굴이 소정의 시간 동안 검출되면, 상기 특정 인물이 등장한 영상 프레임 및 상기 영상 프레임을 포함한 프레임 중 어느 하나를 녹화 유효 시점으로 설정하고, 상기 설정된 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하는 녹화 위치 설정부 및 상기 파악된 압축 스트림상의 위치부터 녹화를 시작하여 실시간으로 저장하는 녹화부를 포함한다.
선별 녹화, 얼굴 인식, 특정 인물

Description

얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법{Apparatus and method for selective real time recording based on face identification}
본 발명은 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법에 관한 것으로서, 더욱 상세하게는 디지털 TV에서 시청하는 방송물 또는 저장 매체에 이미 녹화되어 있는 데이터에 대해, 선택된 특정 인물이 등장하는 장면 구간을 실시간으로 선별하여 녹화하는 장치 및 방법에 관한 것이다.
현재, 우리는 디지털 미디어 정보의 홍수 속에 살고 있다.
정보의 홍수라고 표현 될 만큼 많은 정보들이 우리 주변에 존재하며, 인터넷이나 TV와 같은 매체를 통해서 원하는 정보를 손쉽게 획득할 수 있음에 따라, 개인이 획득하여 보관하는 정보의 양 역시 관리가 힘들만큼 증가하고 있는 것도 사실이다.
이러한 환경에서, 수많은 정보 중 본인이 원하는 정보만을 선별하여 보관하고자 하는 욕구가 점차 증가하는 추세이고, 영상 데이터도 예외는 아니어서, TV를 통해 방송되는 뉴스나 드라마와 같은 영상 데이터를 녹화할 때 방송 처음부터 방송 끝까지 녹화하지 않고 특정 인물이나 특정 구간만을 녹화하고자 하는 요구가 증가 되고 있다.
이에, 종래에는 뉴스나 드라마와 같은 영상 데이터를 방송 처음부터 끝까지 녹화하여 저장한 후, 저장된 영상을 확인하면서 본인이 원하는 특정 인물의 등장 장면에 색인을 설정하여, 추후 해당 영상 데이터를 검색 시 기존에 이미 설정된 색인을 참조하는 방법을 사용하였다.
그러나, 종래의 방법은, 방송되는 영상 데이터 전체를 녹화하여 이를 저장하기 위한 저장 공간의 확보에 어려움이 있으며, 본인이 원하는 인물의 등장 장면에 인덱스를 설정하기 위해 일일이 저장된 영상 데이터를 검색해야 하는 불편함이 존재한다.
본 발명은 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법을 통해 방대한 영상 데이터를 대상으로 특정 인물이 등장하는 장면이나 구간만을 선별적으로 실시간 녹화하고 저장하는데 그 목적이 있다.
본 발명의 다른 목적은 방대한 영상 데이터 전체를 녹화하지 않고 특정 인물이 등장하는 장면이나 구간만을 선별적으로 녹화함으로써 저장 공간을 효율적으로 사용하는데 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 장치는 압축이 해제되어 입력되는 영상 프레임에서, 특정 인물의 얼굴을 인식하는 얼굴 인식부, 상기 인식된 얼굴이 소정의 시간 동안 검출되면, 상기 특정 인물이 등장한 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정하고, 상기 설정된 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하는 녹화 위치 설정부 및 상기 파악된 압축 스트림상의 위치부터 녹화를 시작하여 실시간으로 저장하는 녹화부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 방법은 압축이 해제되어 입력되는 영상 프레임에서, 특정 인물의 얼굴을 인식하는 단계, 상기 인식된 얼굴이 소정의 시간 동안 검출되면, 상기 특정 인물이 등장한 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정하고, 상기 설정된 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하는 단계 및 상기 파악된 압축 스트림상의 위치부터 녹화를 시작하여 실시간으로 저장하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
사용자가 원하는 인물이 등장하는 장면만을 선별적으로 녹화는 장점이 있다.
또한, 장면 전환 구간 및 일정 시간을 기본 단위로 녹화하므로, 특정 인물을 중심으로 한 요약본을 구성할 수 있는 하는 장점도 있다.
또한, 장면 전환 구간 및 일정 시간을 기본 단위로 녹화하므로, 얼굴 인식 알고리즘에서 얼굴 인식률 저하를 초래하는 상황에서도 그에 따른 영향을 최소화하는 장점도 있다.
또한, 저장매체의 저장공간을 효율적으로 사용하는 장점도 있다.
또한, 다수의 입력 동영상에 대해 실시간 선별 녹화가 가능한 장점도 있다.
또한, 입력 동영상의 압축 방식에 무관하게 적용할 수 있는 장점도 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의한 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법을 설명하기 위한 구성도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
이때, 처리 흐름도 도면들의 각 구성과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다.
이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 구성(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 구성(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 구성(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 구성은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다.
또, 몇 가지 대체 실행예들에서는 구성들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다.
예컨대, 잇달아 도시되어 있는 두 개의 구성들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 구성들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 장치의 구성을 도시한 도면이다.
본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 장치(100)는 압축된 영상 데이터를 수신하여, 압축을 해제하고 재생하는 디지털 미디어 재생기(110), 입력된 영상 프레임의 장면 전환 발생 여부를 판단하는 장면 전환 검출부(120), 압축이 해제되어 입력된 영상 프레임에서, 특정 인물의 얼굴을 인식하는 얼굴 인식부(130), 인식된 얼굴이 소정의 시간 동안 검출되면, 특정 인물이 등장한 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정하고, 설정된 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하는 녹화 위치 설정부(140) 및 상기 파악된 압축 스트림상의 위치부터 녹화를 시작하여 실시간으로 저장하는 녹화부(150)를 포함한다.
본 발명의 실시예에 따른 도 1에서 도시된 구성요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미하며, 어떤 역할들을 수행한다.
그렇지만 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성요소는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 해당 구성요소들 안에서 제공되는 기능은 더 작은 수의 구성요소들로 결합되거나 추가적인 구성요소들로 더 분리될 수 있다.
먼저, 도 1에 도시된 장치(100) 중 디지털 미디어 재생부(110)는 압축된 영상 데이터를 수신하여, 압축을 해제하고 재생한다.
이를 위해 디지털 미디어 재생부(110)는 영상 신호와 음성 신호가 일정한 형식으로 압축된 영상 압축 스트림을 수신하는 수신부(111), 수신부(111)에서 수신한 영상 압축 스트림으로부터 영상 신호와 음성 신호를 분리하는 역다중화부(112), 역다중화부(112)에서 분리된 압축된 영상 신호와 압축된 음성 신호를 복호화하는 복호화부(113), 복호화부(113)에서 복호화된 영상 신호를 일정한 프레임 속도로 디스플레이부(미도시)에 출력하는 영상 출력부(114)를 포함한다.
참고로, '영상 압축 스트림'은 전송 스트림(Transport Stream, TS)과 같은 동영상 압축 스트림을 포함하는 의미이며, 수신부(111)는 방송 신호를 수신하는 '튜너'나 저장된 데이터를 수신하는 '저장 매체 읽기 장치'를 포함한다.
한편, 장면 전환 검출부(120)는 디지털 미디어 재생부(110)로부터 입력된 프레임의 장면 전환 발생 여부를 판단한다.
여기에서 '장면 전환(scene change)'은 샷 전환(shot change)을 포함하는 의 미이며, '샷'이란 카메라 전환으로 인해 특정 인물이나 특정 부분을 다른 각도에서 촬영하는 것을 의미한다.
즉, 장면 전환 검출부(120)는 입력된 영상 프레임과 이전 영상 프레임을 분석하여 입력된 영상 프레임의 장면이 전환되거나 샷으로 전환되는 경우, 해당 영상 프레임의 압축 스트림상의 위치 정보를 전달한다.
더 상세히 설명하면, 장면 전환 검출부(120) 및 얼굴 인식부(130)에서 입력 받는 데이터는 압축이 해제된 영상 프레임이고, 녹화부(150)에서 녹화하여 저장하는 데이터는 압축된 형태의 압축 스트림이므로, 사용자가 원하는 임의의 구간 또는 임의의 시간 만큼을 녹화부(150)에서 녹화하기 위해서는, 압축이 해제된 각각의 영상 프레임에 대응하는 압축 스트림상의 위치를 파악해야 한다.
따라서, 압축이 해제되어 입력된 영상 프레임에서 장면 전환이 발생하면, 장면 전환 검출부(120)는 장면 전환이 발생한 해당 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하여 전달함으로써, 장면 전환을 녹화의 기본 단위로 설정하는 경우, 녹화부(150)에서는 수신된 압축 스트림의 전체를 녹화하지 않고, 장면 전환 검출부(120)에서 파악한 장면 전환 구간만을 녹화할 수 있게 된다.
한편, 얼굴 인식부(130)는 압축이 해제되어 입력된 영상 프레임에서 특정 인물의 얼굴을 인식한다.
이를 위해 얼굴 인식부(130)는 입력된 영상 프레임마다 얼굴이 존재하는지의 여부를 판단하여 입력된 영상 프레임에서 얼굴을 검출하고, 검출된 얼굴의 특징을 나타내는 특징값을 추출한다.
이후, 얼굴 인식부(130)는 영상 프레임에서 검출된 얼굴의 특징값과 사용자가 보기 원하는 특정 인물의 얼굴 특징을 나타내는 특징값과 비교하여 얼굴을 인식한다.
참고로 본 발명에서는, 사용자가 지정한 특정 인물의 얼굴을 이미지와 같은 형태로 미리 입력 받아, 해당 특정 인물의 얼굴 특징값을 미리 파악하는 이미지 입력부(미도시)가 포함될 수 있다.
본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 방법으로는, 사용자가 원하는 특정 얼굴이 인식되면 장면 전환을 기본 단위로 하여 녹화하는 방법이 있고, 본 발명의 다른 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 방법으로는 특정 얼굴이 인식된 시점부터 소정의 시간만큼을 녹화하는 방법이 있다.
먼저, 사용자가 원하는 특정 인물의 얼굴이 인식되면 장면 전환을 기본 단위로 녹화하는 방법의 경우, 녹화 위치 설정부(140)는 얼굴 인식부(130)에서 인식된 얼굴이 소정의 시간 동안 검출되면, 해당 특정 얼굴이 처음 등장한 영상 프레임 및 해당 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정한다.
이후, 장면 전환이 발생하면서 해당 특정 얼굴이 등장하지 않는 영상 프레임이 입력된다면, 녹화 위치 설정부(140)는 이후 장면 전환이 발생하는 영상 프레임을 녹화 종료 시점으로 설정함으로써, 해당 특정 얼굴이 등장하는 녹화 구간이 설정되며, 녹화부(150)는 상술한 녹화 구간에 해당하는 압축 스트림을 녹화하여 실시간으로 저장한다.
참고로, 인식된 얼굴이 소정의 시간이 아닌, 소정의 횟수만큼 검출되는 경우도 장면 전환이 발생하는 영상 프레임을 녹화 유효 시점으로 설정할 수도 있다.
만일, 얼굴 인식부(130)에서 인식된 얼굴이 소정의 시간 동안 검출되지 않으면, 녹화 위치 설정부(140)는 해당 특정 얼굴이 처음 등장한 영상 프레임 및 해당 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 무효 시점으로 설정하고, 이후 장면 전환이 발생하는 영상 프레임을 해당 특정 얼굴이 처음 등장한 영상 프레임 및 해당 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 무효 종점으로 설정한다.
따라서, 녹화부(150)는 압축 스트림 상태로 계속해서 저장되는 녹화 데이터에 대해, 녹화 무효 시점부터 녹화 무효 종점까지의 구간에 해당하는 불필요한 데이터를 삭제함으로써 저장공간을 효율적으로 사용할 수 있게 된다.
참고로, 인식된 얼굴이 소정의 시간이 아닌, 소정의 횟수만큼 검출되지 않으면, 장면 전환이 발생하는 영상 프레임을 녹화 무효 시점으로 설정할 수도 있다.
한편, 특정 얼굴이 인식된 시점부터 소정의 시간만큼을 녹화하는 방법의 경우, 녹화 위치 설정부(140)는 얼굴 인식부(130)에서 특정 얼굴이 인식되면 해당 특정 얼굴이 등장한 영상 프레임을 녹화 유효 시점으로 설정하고, 소정의 시간이 지난 시점의 영상 프레임을 녹화 유효 종점으로 설정하여 일정시간 녹화를 진행할 수 있다.
따라서, 특정 인물의 등장 시간 또는 등장 횟수에 비례하여 녹화하는 시간의 길이를 차등적으로 적용할 수 있다.
상술한 바와 같은 본 발명의 얼굴 인식 기반의 실시간 선별 녹화 장치는 다수의 TV 튜너가 존재하는 경우, 다수의 입력 동영상에 대해 실시간 선별 녹화가 가능하며, 입력 동영상이 압축 방식에 무관하게 적용할 수 있는 장점이 있다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 과정을 도시한 흐름도이다.
설명의 편의상, 도 1에 도시된 장치(100)를 참조하여 설명하도록 하며, 사용자가 원하는 특정 인물의 얼굴에 대한 특징값은 이미 존재한다고 가정하도록 한다.
먼저, 디지털 미디어 재생기(110)로부터 압축이 해제된 영상 프레임이 입력된다(S201).
S201 후, 장면 전환 검출부(120)는 입력된 영상 프레임의 장면 전환 발생 여부 및 장면 전환이 발생한 해당 영상 프레임에 대응하는 압축 스트림상의 위치를 파악한다(S202).
이때, 장면 전환이 발생하면 저장부(150)는 장면 전환이 발생한 해당 영상 프레임부터 녹화를 시작한다.
즉, 장면 전환이 발생한 영상 프레임에 대응하는 압축 스트림상의 위치부터 녹화하여 저장하는 것이다.
S202 후, 얼굴 인식부(130)는 입력된 영상 프레임마다 얼굴이 존재하는지를 판단하고 얼굴을 검출한다(S203).
S203 후, 얼굴 인식부(130)는 검출된 얼굴을 나타내는 특징값을 검출하고, 사용자가 원하는 특정 얼굴을 나타내는 특징값과 비교하여 해당 특정 얼굴을 인식 한다(S204).
S204 후, 녹화 위치 설정부(140)는 S201~S204의 과정을 반복하면서 인식된 특정 얼굴이 소정의 시간동안 등장하는지를 판단한다(S205).
참고로, 소정의 시간동안 등장하지 않고 소정의 횟수만큼 등장하는 것을 판단 기준으로 할 수 있다.
판단 결과, 특정 얼굴이 소정의 시간동안 등장하면, 녹화 위치 설정부(140)는 특정 얼굴이 등장한 영상 프레임 및 해당 영상 프레임을 포함하는 장면 전환의 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정한다(S206).
S206 후, 장면 전환 검출부(120)에서 장면 전환이 발생하면(S207) 녹화 위치 설정부(140)는 해당 영상 프레임에 녹화 유효 종점을 설정한다(S208).
S208 후, 녹화부(150)는 압축 스트림에서 녹화 유효 구간을 유지한다(S209).
만일 S205 결과, 인식된 특정 얼굴이 소정의 시간 동안 등장하지 못하면, 녹화 위치 설정부(140)는 특정 얼굴이 등장한 영상 프레임 및 해당 영상 프레임을 포함하는 장면 전환의 종료 프레임을 녹화 무효 시점으로 설정한다(S210).
S210 후, 장면 전환 검출부(120)에서 장면 전환이 발생하면(S211) 녹화 위치 설정부(140)는 해당 영상 프레임에 녹화 무효 종점을 설정한다(S212).
S212 후, 녹화부(150)는 압축 스트림에서 녹화 무효 구간의 데이터를 삭제한다(S213).
즉, 도 2에 도시된 내용은, 장면 전환 구간 내에서 특정 얼굴이 소정의 시간동안 등장하거나, 소정의 횟수만큼 등장하면 해당 구간을 저장상태로 유지하고, 장 면 전환 구간 내에서 특정 얼굴이 소정의 시간동안 등장하지 않거나, 소정의 횟수만큼 등장하지 않으면 해당 구간을 삭제하여 저장공간의 효율성을 높일 수 있다.
도 3은 본 발명의 다른 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 과정을 도시한 흐름도이다.
설명의 편의상, 도 1에 도시된 장치(100)를 참조하여 설명하도록 하며, 사용자가 원하는 특정 인물의 얼굴에 대한 특징값은 이미 존재한다고 가정하도록 한다.
먼저, 디지털 미디어 재생기(110)로부터 압축이 해제된 영상 프레임이 입력된다(S301).
S301 후, 얼굴 인식부(130)는 입력된 영상 프레임마다 얼굴이 존재하는지를 판단하고 얼굴을 검출한다(S302).
S302 후, 얼굴 인식부(130)는 검출된 얼굴에서 해당 얼굴의 특징을 나타내는 특징값을 검출하고, 사용자가 원하는 특정 얼굴의 특징을 나타내는 특징값과 비교하여 해당 특정 얼굴을 인식한다(S303).
S303 후, 녹화 위치 설정부(140)는 해당 특정 얼굴이 등장한 영상 프레임을 녹화 유효 시점으로 설정한다(S304).
S304 후, 녹화부(150)는 S304에서 녹화 유효 시점으로 설정된 영상 프레임부터 일정 시간동안 녹화를 한다(S305).
S305 후, S306~S307의 과정을 반복하여 입력된 영상 프레임에서 특정 얼굴이 인식되면(S306), 녹화 위치 설정부(140)는 녹화 시간을 소정의 시간만큼 증가시킨다(S307).
만일, S306~S307의 과정을 반복하여도 특정 얼굴이 인식되지 않으면, 녹화 위치 설정부(140)는 일정 시간을 녹화하고 녹화를 종료한다(S308).
이상, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
도 1은 본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 과정을 도시한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 얼굴 인식 기반의 실시간 선별 녹화 과정을 도시한 흐름도이다.
<도면의 주요 부분에 관한 부호의 설명>
100: 실시간 선별 녹화 장치
110 : 디지털 미디어 재생부
120 : 장면 전환 검출부
130 : 얼굴 인식부
140 : 녹화 위치 설정부
150 : 녹화부

Claims (16)

  1. 압축이 해제되어 입력된 영상 프레임에서, 특정 인물의 얼굴을 인식하는 얼굴 인식부;
    상기 입력된 영상 프레임의 장면 전환 발생 여부를 판단하는 장면 전환 검출부;
    상기 인식된 얼굴이 소정의 시간 동안 검출되면, 상기 판단된 장면 전환 여부를 기초로 상기 영상 프레임을 포함하는 장면 전환 시작 프레임을 녹화 유효 시점으로 설정하고, 상기 설정된 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하는 녹화 위치 설정부; 및
    상기 파악된 압축 스트림상의 위치부터 녹화를 시작하여 실시간으로 저장하는 녹화부를 포함하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 얼굴 인식부는 상기 입력된 영상 프레임에서 얼굴을 검출하고, 상기 검출된 얼굴의 특징을 나타내는 특징값을 추출하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  4. 제 3항에 있어서,
    상기 얼굴 인식부는 상기 추출된 특징값과 상기 특정 인물의 얼굴 특징을 나타내는 특징값을 비교하여 얼굴을 인식하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  5. 제 1항에 있어서,
    상기 녹화 위치 설정부는 상기 인식된 얼굴이 소정의 횟수만큼 검출되면, 상기 특정 인물이 등장하는 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  6. 제 1항에 있어서,
    상기 녹화 위치 설정부는 상기 인식된 얼굴이 소정의 시간 동안 검출되지 않으면, 상기 특정 인물이 등장하는 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 종료 프레임 중 어느 하나를 녹화 무효 시점으로 설정하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  7. 제 5항에 있어서,
    상기 녹화 위치 설정부는 상기 인식된 얼굴이 소정의 횟수만큼 검출되지 않으면, 상기 특정 인물이 등장하는 영상 프레임 및 상기 영상 프레임을 포함하는 장 면 전환 종료 프레임을 녹화 무효 시점으로 설정하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  8. 제 6항 또는 제 7항에 있어서,
    상기 녹화부는 상기 설정된 녹화 무효 시점부터 녹화된 데이터를 삭제하는, 얼굴 인식 기반의 실시간 선별 녹화 장치.
  9. 압축이 해제되어 입력된 영상 프레임에서, 특정 인물의 얼굴을 인식하는 얼굴 인식 단계;
    상기 입력된 영상 프레임의 장면 전환 발생 여부를 판단하는 단계;
    상기 인식된 얼굴이 소정의 시간 동안 검출되면, 상기 판단된 장면 전환 여부를 기초로 상기 영상 프레임을 포함하는 장면 전환 시작 프레임을 중 어느 하나를 녹화 유효 시점으로 설정하고, 상기 설정된 영상 프레임에 대응하는 압축 스트림상의 위치를 파악하는 녹화 위치 설정 단계; 및
    상기 파악된 압축 스트림상의 위치부터 녹화를 시작하여 실시간으로 저장하는 녹화 단계를 포함하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
  10. 삭제
  11. 제 9항에 있어서,
    상기 특정 인물의 얼굴을 인식하는 단계는 상기 입력된 영상 프레임에서 얼굴을 검출하고, 상기 검출된 얼굴의 특징을 나타내는 특징값을 추출하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
  12. 제 11항에 있어서,
    상기 특정 인물의 얼굴을 인식하는 단계는 상기 추출된 특징값과 상기 특정 인물의 얼굴 특징을 나타내는 특징값을 비교하여 얼굴을 인식하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
  13. 제 9항에 있어서,
    상기 녹화 위치 설정 단계는 상기 인식된 얼굴이 소정의 횟수만큼 검출되면, 상기 특정 인물이 등장하는 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 시작 프레임 중 어느 하나를 녹화 유효 시점으로 설정하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
  14. 제 9항에 있어서,
    상기 녹화 위치 설정 단계는 상기 인식된 얼굴이 소정의 시간 동안 검출되지 않으면, 상기 특정 인물이 등장하는 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 종료 프레임 중 어느 하나를 녹화 무효 시점으로 설정하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
  15. 제 13항에 있어서,
    상기 녹화 위치 설정 단계는 상기 인식된 얼굴이 소정의 횟수만큼 검출되지 않으면, 상기 특정 인물이 등장하는 영상 프레임 및 상기 영상 프레임을 포함하는 장면 전환 종료 프레임을 녹화 무효 시점으로 설정하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
  16. 제 14항 또는 제 15항에 있어서,
    상기 녹화 단계는 상기 설정된 녹화 무효 시점부터 녹화된 데이터를 삭제하는, 얼굴 인식 기반의 실시간 선별 녹화 방법.
KR1020070070879A 2007-07-13 2007-07-13 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법 KR101362381B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070070879A KR101362381B1 (ko) 2007-07-13 2007-07-13 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법
US11/938,357 US8300898B2 (en) 2007-07-13 2007-11-12 Real-time face recognition-based selective recording apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070070879A KR101362381B1 (ko) 2007-07-13 2007-07-13 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090007177A KR20090007177A (ko) 2009-01-16
KR101362381B1 true KR101362381B1 (ko) 2014-02-13

Family

ID=40253145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070070879A KR101362381B1 (ko) 2007-07-13 2007-07-13 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법

Country Status (2)

Country Link
US (1) US8300898B2 (ko)
KR (1) KR101362381B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200019405A (ko) 2018-08-14 2020-02-24 서강대학교산학협력단 샷 단위 주요 인물 검출 시스템 및 그 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103402070B (zh) 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
CN101883230A (zh) * 2010-05-31 2010-11-10 中山大学 一种数字电视演员检索方法及系统
KR101276158B1 (ko) * 2011-03-02 2013-06-18 한남대학교 산학협력단 얼굴 특징점 추적을 이용한 실시간 3디 영상 처리 방법
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US10121060B2 (en) 2014-02-13 2018-11-06 Oath Inc. Automatic group formation and group detection through media recognition
US9704020B2 (en) 2015-06-16 2017-07-11 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1146343A (ja) * 1997-07-24 1999-02-16 Matsushita Electric Ind Co Ltd 映像記録装置
KR20000009742A (ko) * 1998-07-28 2000-02-15 구자홍 동영상에서의 특정인물 등장구간 검색 시스템
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体
KR20050060628A (ko) * 2003-12-17 2005-06-22 학교법인 한양학원 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980059003U (ko) 1997-02-25 1998-10-26 구자홍 특정인물 탐색장치
JPH10322637A (ja) 1997-05-18 1998-12-04 Satoo Nishigaki テレビ放送録画システム
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
GB0029880D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US7346186B2 (en) * 2001-01-30 2008-03-18 Nice Systems Ltd Video and audio content analysis system
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
US6725383B2 (en) * 2002-05-15 2004-04-20 Biocom, Llc Data and image capture, compression and verification system
US7359529B2 (en) * 2003-03-06 2008-04-15 Samsung Electronics Co., Ltd. Image-detectable monitoring system and method for using the same
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4685465B2 (ja) * 2005-02-01 2011-05-18 パナソニック株式会社 監視記録装置
JP4096950B2 (ja) * 2005-02-24 2008-06-04 船井電機株式会社 撮像装置および自動撮影方法
US20060251382A1 (en) * 2005-05-09 2006-11-09 Microsoft Corporation System and method for automatic video editing using object recognition
JP5371174B2 (ja) * 2005-09-12 2013-12-18 キヤノン株式会社 画像表示装置及び画像表示方法
US8125526B2 (en) * 2006-02-03 2012-02-28 Olympus Imaging Corp. Camera for selecting an image from a plurality of images based on a face portion and contour of a subject in the image
JP2007214651A (ja) * 2006-02-07 2007-08-23 Funai Electric Co Ltd ハードディスクレコーダ
US7890556B2 (en) * 2007-04-04 2011-02-15 Sony Corporation Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1146343A (ja) * 1997-07-24 1999-02-16 Matsushita Electric Ind Co Ltd 映像記録装置
KR20000009742A (ko) * 1998-07-28 2000-02-15 구자홍 동영상에서의 특정인물 등장구간 검색 시스템
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体
KR20050060628A (ko) * 2003-12-17 2005-06-22 학교법인 한양학원 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200019405A (ko) 2018-08-14 2020-02-24 서강대학교산학협력단 샷 단위 주요 인물 검출 시스템 및 그 방법

Also Published As

Publication number Publication date
US20090016575A1 (en) 2009-01-15
US8300898B2 (en) 2012-10-30
KR20090007177A (ko) 2009-01-16

Similar Documents

Publication Publication Date Title
KR101362381B1 (ko) 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법
TWI472228B (zh) 資訊處理裝置，成像裝置，影像顯示控制方法及電腦程式
EP1648172A1 (en) System and method for embedding multimedia editing information in a multimedia bitstream
US20080226198A1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
MX2008011587A (es) Exploracion de video basada en imagenes pequeñas.
KR20070052554A (ko) 영상 표시 장치 및 방법
JP2009049666A (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
KR101812103B1 (ko) 썸네일이미지 설정방법 및 설정프로그램
US20110032979A1 (en) Image display control device and imaging device provided with the image display control device, image processing device and imaging device using the image processing device
JP5067370B2 (ja) 受信装置、表示制御方法、及びプログラム
JP2005086734A (ja) 画像記録装置
JP4712812B2 (ja) 記録再生装置
KR20080035891A (ko) 움직임의 스마트 서치를 지원하는 영상 재생 장치 및 방법
JP4709791B2 (ja) 映像処理装置及び映像処理方法
US20080118233A1 (en) Video player
US7076151B2 (en) Image recording apparatus and method, image playback apparatus and method, and recording medium
JP2007251296A (ja) 番組受信装置、番組受信方法、番組受信方法のプログラム及び番組受信方法のプログラムを記録した記録媒体
KR100775187B1 (ko) 썸네일 재생 방법 및 이를 이용한 단말기
KR101000924B1 (ko) 캡션 표시 방법 및 장치
KR100821023B1 (ko) 영상 신호 기록 재생 장치, 영상 신호 기록 재생 방법, 및기록 매체
KR101340308B1 (ko) 영상 처리 장치 및 방법
KR101748576B1 (ko) 이동통신 단말기에서 동영상 데이터를 세그먼팅하기 위한 장치 및 방법
KR100785988B1 (ko) 피브이알 시스템의 방송 녹화 장치 및 그 방법
JP2009049667A (ja) 情報処理装置、その処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 7