KR100361699B1 - 방송 화면에서의 초상권 보호 시스템 및 그 제어방법 - Google Patents

방송 화면에서의 초상권 보호 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR100361699B1
KR100361699B1 KR1020000035710A KR20000035710A KR100361699B1 KR 100361699 B1 KR100361699 B1 KR 100361699B1 KR 1020000035710 A KR1020000035710 A KR 1020000035710A KR 20000035710 A KR20000035710 A KR 20000035710A KR 100361699 B1 KR100361699 B1 KR 100361699B1
Authority
KR
South Korea
Prior art keywords
area
setting
image
information
portrait
Prior art date
Application number
KR1020000035710A
Other languages
English (en)
Other versions
KR20000054823A (ko
Inventor
이성환
송기택
Original Assignee
이성환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이성환 filed Critical 이성환
Priority to KR1020000035710A priority Critical patent/KR100361699B1/ko
Publication of KR20000054823A publication Critical patent/KR20000054823A/ko
Application granted granted Critical
Publication of KR100361699B1 publication Critical patent/KR100361699B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 검출된 영상 중에서 초상권 설정 대상 영역 상에 영상영역 샘플링 설정처리방식으로 클릭한 다음 그 주변의 살색 정보를 사용하여 그 점이 속해 있는 살색 영역정보를 즉시 이용하여 초상권보호 대상 후보영역을 설정하는 영역설정 인터페이스부와, 이 영역설정 인터페이스부에 설정된 초상권 보호 대상 후보영역에 대한 설정정보를 저장하는 설정영역 정보 저장부와, 상기 영상 검출부로부터 입력된 다음 영상화면상에 설정영역 정보 저장부에 저장되어 있는 샘플링 된 영상의 얼굴 후보 영역을 맵핑시키고, 후보 대상 영역과 다음 화면의 설정영역상의 색 비율과 에지의 정보 등을 비교하여 유사도가 가장 높은 영역을 초상권보호 최적영역으로 추적 설정하는 영역 추적부와, 이 영역 추적부에 의해 추적된 초상권보호 최적영역을 효과 프로퍼티 처리한 다음 출력시키는 영역효과장치부가 구비된 방송 화면에서의 초상권 보호 시스템 및 그 제어방법을 제공한다.
본 발명은 방송화면상에서 초상권 보호 대상 얼굴 영역을 직접 클릭한 다음 그 주변의 살색 영역정보를 직접 이용하는 영상 샘플링 처리를 행하여 초상권보호 대상 영역을 설정저장하고 이 설정된 정보를 이용하여 다음 화면의 영상을 추적하도록 함으로써 영상화면상에서 최소한의 초상권 보호대상 영역을 설정하고 그 설정된 영역의 정보를 이용하여 장면 전환 검출을 위한 불필요한 계산과정을 제거하게 되므로 초상권보호시스템의 영역설정 처리속도를 상당히 향상시킬 수 있다.

Description

방송 화면에서의 초상권 보호 시스템 및 그 제어방법{System for protecting the right of portrait on the picture of the broadcasting and controlling method therefore}
본 발명은 방송 화면에서의 초상권 보호 시스템 및 그 제어방법에 관한 것으로, 특히 방송화면상에서 초상권 보호 대상 얼굴 영역을 직접 클릭한 다음 그 주변의 살색 영역정보를 직접 이용하는 영상 샘플링 처리를 행하여 초상권보호 대상 영역을 설정저장하고 이 설정된 정보를 이용하여 다음 화면의 영상을 추적하도록 함으로써 영상화면상에서 최소한의 초상권 보호대상 영역을 설정하고 그 설정된 영역의 정보를 이용하여 장면 전환 검출을 위한 불필요한 계산과정을 제거하게 되므로 초상권보호시스템의 영역설정 처리속도를 상당히 향상시킬 수 있는 방송 화면에서의 초상권 보호 시스템 및 그 제어방법에 관한 것이다.
일반적으로, 산업사회가 질적으로 성장함에 따라 개인의 인권이 한층 더 강화되는 추세로 발전되므로 개인의 사생활침해나 개인정보의 유출을 방지하는 사회적인 보호시스템이 마련되고 있는 추세에 있다.
따라서, 근년에는 메스미디어를 통해 불특정 다수의 개인정보 특히, 얼굴영상정보가 본인의 허락없이 그대로 방송이나 출판물을 통해 여과없이 공개되는 것을 방지하는 즉, 개인의 초상권을 보호하는 시스템이 이미 개발되어 다양하게 사용되고 있다.
상기와 같은 초상권 보호를 위해 화면의 해상도를 임의적으로 떨어뜨리는 방법이 다수 사용되는데, 그러한 방법에는 모자이크를 쓰는 방법과 블러링을 시키는 방법 등이 보통 사용되고 있다.
상기 모자이크를 쓰는 방법은 화면을 가로, 세로 몇 개의 격자 모양으로 나누어서 격자 속의 픽셀 값을 모두 같게 만드는 것이고, 상기 블러링을 하는 방법은 해상도를 떨어뜨려야 할 영역에 필터링을 하여 영상의 해상도를 떨어뜨리는 방법이다.
그러면, 상기와 같은 종래 초상권을 보호하기 위한 시스템을 도 1을 참고로 살펴보면, 방송되는 영상화면을 검출하는 영상 검출부(70)와, 이 영상 검출부(70)에 의해 검출된 영상을 영역별 예컨데, 색깔별로 그룹화 분할하여 영역을 선택하는 영역 설정부(71)와, 상기 영상 검출부(71)로부터 입력된 다음 영상화면에 탐색 윈도우를 설정한 다음 상기 영역 설정부(71)에 의해 설정된 이전 설정영역을 기준으로 이 설정영역과 유사도가 가장 높은 영역을 추적하는 영역 추적부(72)와, 이 영역 추적부(72)에 의해 추적된 이동방향이 정해진 초상권보호 영역의 크기변화나 회전 등의 움직임을 에지(edge)를 이용하여 보정해주는 경계선 재검출부(73)와, 이 경계선 재검출부(73)에 의해 보정된 초상권 보호영역을 초상권 보호기능 예컨데, 모자이크나 블러링처리를 행한 후 출력하는 영역 효과 장치부(74)와, 이 영역 효과 장치부(74)에 의해 초상권 보호 기능 처리된 영상화면을 출력하는 출력부(75)로 이루어진다.
한편, 상기와 같은 종래 초상권 보호 시스템의 작용을 살펴보면, 먼저, 영상 검출부(70)가 방송국이나 기타 비디오장치를 통해 방송되는 영상화면을 검출하는 한 다음 그 검출된 영상화면을 영역 설정부(71)로 입력시킨다.
그러면, 이 영역 설정부(71)는 이 입력된 영상화면을 영역별 예컨데, 색깔별로 그룹화 분할하여 영역을 선택하는데 이때, 상기 영역 추적부(72)로 상기 영상검출부(71)로부터 다음 영상화면이 입력되면, 영역 추적부(72)는 이 다음 영상화면상에 탐색 윈도우를 설정한 다음, 영역 설정부(71)에 의해 설정된 이전 설정영역을 기준으로 이 설정영역과 유사도가 가장 높은 영역을 추적한다.
그리고 영역 추적부(72)는 추적이 완료되면 그 추적이 완료된 이동방향이 정해진 초상권보호 영역을 경계선 재검출부(73)로 입력시킨다.
그러면 이 경계선 재검출부(73)는 입력된 초상권 보호 영역의 크기변화나 회전 등의 움직임을 에지(edge)를 이용하여 보정해준 다음 영역효과장치부(74)로 입력시킨다.
그리고 이 영역 효과 장치부(74)는 상기 경계선 재검출부(73)에 의해 보정된 초상권 보호영역을 초상권 보호기능 예컨데, 모자이크나 블러링처리를 행한 후 영역 효과 장치부(74)로 입력시킨다.
그러면 출력부(75)는 상기 영역효과장치부(74)에 의해 초상권 보호기능 처리된 영상화면을 출력하게 되는데, 이때 시청자들은 화면상에서 어떤 특정인물의 얼굴이 모자이크나 블러링처리된 상태로 시청하게 되므로 그 특정인물의 초상권이 보호된다.
그러나, 상기와 같은 종래 초상권 보호 시스템은 영역 설정시 색깔별로 그룹화한 다음 영상의 필요한 영역을 설정하게 되므로 분할해야 하는 추가적인 계산량이 많아 분할처리 속도가 상당히 저하되었으며, 뿐만 아니라, 영상화면에 잡음이 심할 경우나, 설정된 영역의 갑작스런 이동이 있을 경우 검색 영역에서 유사성을 가진 영역을 찾지 못하여 다시 사용자가 자주 영역을 재 설정 해주어야 하는 번거로움이 빈번히 발생되었다.
또한, 상기와 같은 종래 시스템은 장면 전환이 일어났을 경우에도 먼저 설정된 영역을 찾은 다음 못 찾을 경우에는 재 설정해 주어야하므로 그만큼 분할 처리해야 할 계산 량이나 시간상의 낭비를 초래한다.
그리고 영역 추적을 마치고, 영역에 이동 방향이 정해지고 난 뒤에 영역의 크기 변화나 회전등의 움직임을 대한 보정을 다시 해 주어야 하기 때문에 부가적인 계산량이 추가되었으며, 이러한 보정이 잘못 될 경우는 초상권 보호가 실패 할 수 있고, 2개 이상의 영역을 추적할 경우에는 추적 방법의 특성상 계산량이 매우 많아진다는 문제점이 있었다.
본 발명은 상기와 같은 제반 문제점을 해결하기 위한 것으로, 방송화면상에서 초상권 보호 대상 얼굴 영역을 직접 클릭 한 다음 그 주변의 살색 영역정보를 직접 이용하는 영상샘플링처리를 행하여 초상권보호 대상 영역을 설정저장하고 이 설정된 정보를 이용하여 다음 화면의 영상을 추적하도록 함으로써 영상화면상에서 최소한의 초상권 보호대상 영역을 설정하고 그 설정된 영역의 정보를 이용하여 장면 전환 검출을 위한 불필요한 계산과정을 제거하게 되므로 초상권보호시스템의 영역설정 처리속도를 상당히 향상시킬 수 있는 방송 화면에서의 초상권 보호 시스템 및 그 제어방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은, 초기화면에서 최소한의 영상 샘플링처리로 얻어진 초상권 보호대상 영역정보를 이용하여 최소한의 계산량을 사용하게 되므로 자동적으로 움직임이 많은 영역이나 잡음이 많이 들어간 영상에서도 설정된 영역의 위치를 신속히 추적하게됨으로써 화면상의 초상권 보호기능을 위해 사용자가 최소한으로 처리동작을 실행하게 되므로 시스템의 기능성도 상당히 향상되는 방송 화면에서의 초상권 보호 시스템 및 그 제어방법을 제공하는데 있다.
도 1은 종래 초상권 보호시스템의 블록도.
도 2는 본 발명에 따른 방송 상에서의 초상권 보호시스템의 블록도.
도 3은 본 발명의 플로우차트.
도 4는 본 발명의 영역설정 메뉴화면의 일례를 설명하는 설명도.
도 5는 본 발명의 효과 프로퍼티 설정메뉴화면의 일례를 설명하는 설명도.
도 6(a)는 모자이크 효과 처리된 영상의 예시도.
도 6(b)는 블러어 효과 처리된 영상의 예시도.
<도면의 주요 부분에 대한 부호의 설명>
1 : 영상 검출부 2 : 영역설정 인터페이스부
3 : 설정영역 정보 저장부 4 : 영역 추적부
5 : 영역효과 장치부 6 : 출력부
7 : 키패널부
상기의 목적을 달성하기 위한 본 발명은 검출된 영상 중에서 초상권 설정 대상 영역 상에 영상영역 샘플링 설정처리방식으로 클릭한 다음 그 주변의 살색 정보를 사용하여 그 점이 속해 있는 살색 영역정보를 즉시 이용하여 초상권보호 대상 후보영역을 설정하는 영역설정 인터페이스부와, 이 영역설정 인터페이스부에 설정된 초상권 보호 대상 후보영역에 대한 설정정보를 저장하는 설정영역 정보 저장부와, 상기 영상 검출부로부터 입력된 다음 영상화면상에 설정영역 정보 저장부에 저장되어 있는 샘플링 된 영상의 얼굴 후보 영역을 맵핑시키고, 후보 대상 영역과 다음 화면의 설정영역상의 색 비율과 에지의 정보 등을 비교하여 유사도가 가장 높은 영역을 초상권보호 최적영역으로 추적 설정하는 영역 추적부와, 이 영역 추적부에 의해 추적된 초상권보호 최적영역을 효과 프로퍼티 처리한 다음 출력시키는 영역효과장치부가 구비한 방송 화면에서의 초상권 보호 시스템을 제공한다.
본 발명의 또 다른 특징은 초상권 보호시스템이 검출된 영상 화면의 영상샘플링을 실행한 다음 현재 샘플링된 영상의 히스토그램을 생성하는 히스토그램 생성단계와, 이 히스토그램 생성 단계 후에 기 저장되어 있던 히스토그램 데이터와 현 샘플링된 영상의 히스토그램 데이터를 비교 판단하는 히스토그램 유사성 판단 단계와, 이 히스토그램 유사성 판단 단계 중에 판단한 결과 현 샘플링된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정값 이상으로 크게 차이가 난다면 영상 영역을 재설정 한 다음 상기 영상샘플링 실행단계로 진행하여 루프를 반복 수행하는 영역 재설정 단계와, 상기 히스토그램 유사성 판단 단계 중에 판단한 결과 현 샘플링된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정 값 이상으로 차이가 나지 않는다면 현재의 샘플링된 영상화면상에서 살색영역의 추출을 실행하는 살색영역 추출실행단계와, 상기 살색영역 추출 실행 단계 후에 현재의 화면상에서 살색영역이 추출되었는지를 판단하는 살색영역 추출여부 판단단계와, 이 살색영역 추출여부 판단 단계 중에 판단한 결과 만약 현재의 화면상에서 살색영역이 추출되었을 경우는 현재 살색영역이 추출된 부분을 초상권 보호대상 후보영역으로 설정하는 얼굴후보 영역결정단계와, 상기 살색영역 추출여부 판단 단계 중에 판단한 결과 만약 현재의 화면상에서 살색영역이 추출되지 않았을 경우는 이전 영역의 속도와 방향정보를 이용하여 살색영역을 추출하고 상기 얼굴후보 영역결정단계로 진행하는 이전 영역정보 적용 단계와, 상기 얼굴후보 영역결정 단계 후에 현재 설정된 얼굴후보영역의 살색비율을 계산한 다음 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율의 유사도를 비교 판단하는 유사성 판단단계와, 이 살색비율 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사할 경우는 현재 설정된 얼굴후보영역의 에지 정보를 추출하는 에지 정보 추출 단계와, 상기 살색비율 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사하지 않을 경우에는 인접한 다음 추적 후보 영역 이동한 다음 상기 후보영역 살색비율계산단계로 복귀하여 루프를 반복 수행하는 타후보 영역 추적 단계와, 상기 에지 정보 추출 단계 후에 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보의 유사도를 비교 판단하는 에지 정보 유사성 판단단계와, 이 에지 정보 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사하지 않을 경우는 상기 타후보영역 추적단계로 복귀하여 루프를 반복 수행하는 타후보영역 추적복귀단계와, 상기 에지 정보 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사할 경우에는 기 설정된 얼굴후보영역과 그 유사도가 최적으로 일치하는 현재의 얼굴후보영역을 초상권 보호 대상의 최적 얼굴 영역으로 설정하는 초상권 보호 최적영역설정단계를 포함하는 방송 화면에서의 초상권 보호 시스템의 제어방법을 제공한다.
이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.
본 발명의 시스템은 도 2에 도시된 바와 같이 방송되는 영상화면을 검출하는 영상 검출부(1)와, 이 영상 검출부(1)에 의해 검출된 영상 중에서 초상권 설정 대상 영역 상에 영상영역 샘플링 설정처리 예컨데, 초상상권 대상 얼굴 영역에 직접 타원이나 사각형 윈도우, 사각형과 사각형의 조합, 타원과 타원의 조합, 사각형과 타원의 조합에 의한 영역, 자유곡선, 혹은 한 점을 찍음으로서 그 주변의 살색 정보를 사용하여 그 점이 속해 있는 살색 영역정보를 즉시 이용하여 초상권보호 대상 후보영역을 설정하는 영역설정 인터페이스부(2)와, 이 영역설정 인터페이스부(2)에 설정된 초상권 보호 대상 후보영역에 대한 설정정보 예컨데, 영역에 대한 위치, 영역의 크기, 전체 영상을 샘플링한 영상에 대한 히스토그램, 영역 안에서의 색들의 비율, 영역에서의 에지 정보, 영역의 이동 속도와 방향 등의 정보를 저장하는 설정영역 정보 저장부(3)와, 상기 영상 검출부(1)로부터 입력된 다음 영상화면상에 설정영역 정보 저장부(3)에 저장되어 있는 샘플링 된 영상의 얼굴 후보 영역을 맵핑시키고, 후보 대상 영역과 다음 화면의 설정영역상의 색 비율과 에지의 정보 등을 비교하여 유사도가 가장 높은 영역을 초상권보호 최적영역으로 추적 설정하는 영역 추적부(4)와, 이 영역 추적부(4)에 의해 추적된 초상권보호 최적영역을 초상권 보호기능처리 예컨데, 모자이크나 블러링 처리를 행한 후 출력하는 영역 효과 장치부(5)와, 이 영역 효과 장치부(5)에 의해 초상권 보호 기능 처리된 영상화면을 출력하는 출력부(6)로 이루어진다.
그리고, 상기 영역설정 인터페이스부(2), 영역 추적부(4), 영역 효과 장치부(5) 및 출력부(6)등 본 발명 시스템의 기능을 사용자가 제어가능 하도록 외부명령을 입력시키는 키패널부(7)가 구비되며, 상기 출력부(6)는 모니터와 프린터 등으로 구성시킬 수 있다.
다음에는 상기와 같은 본 발명 시스템에 적용되는 제어방법을 설명한다.
먼저, 본 발명 시스템은 도 3에 도시된 바와 같이 초기상태(S1)에서 영상샘플링 실행단계(S2)로 진행하여 영상 화면의 샘플링을 실행한다.
그리고 이 영상샘플링 실행단계(S2)후에 히스토그램 생성단계(S3)로 진행하여 현재 샘플링된 영상의 히스토그램을 생성한다.
그리고 상기 히스토그램 생성단계(S3)후에 히스토그램 유사성 판단단계(S4)로 진행하여 기 저장되어 있던 히스토그램 데이터와 현 샘플링된 영상의 히스토그램 데이터를 비교 판단한다.
이때, 상기 히스토그램 유사성 판단단계(S4)중에 판단한 결과 현 샘플링된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정값 이상으로 크게 차이가 난다면 영역 재설정 단계(S5)로 진행하여 영상 영역을 재설정한 다음 상기 영상샘플링 실행단계(S2)로 진행하여 루프를 반복 수행한다.
그러나, 상기 히스토그램 유사성 판단단계(S4)중에 판단한 결과 현 샘플링된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정값 이상으로 차이가 나지 않는다면 살색영역 추출실행단계(S6)로 진행하여 현재의 샘플링된 영상화면상에서 살색영역의 추출을 실행한다.
그리고 상기 살색영역 추출실행단계(S6)후에 살색영역 추출여부 판단단계(S7)로 진행하여 현재의 화면상에서 살색영역이 추출되었는지를 판단한다.
그리고 상기 살색영역 추출여부 판단단계(S7)중에 판단한 결과 만약 현재의 화면상에서 살색영역이 추출되었을 경우는 얼굴후보 영역결정단계(S8)로 진행하여 현재 살색영역이 추출된 부분을 얼굴 후보영역 즉, 초상권 보호대상 후보영역으로 설정한다.
그러나, 상기 살색영역 추출여부 판단단계(S7)중에 판단한 결과 만약 현재의 화면상에서 살색영역이 추출되지 않았을 경우는 이전 영역정보 적용단계(S9)로 진행하여 이전 영역의 속도와 방향정보를 이용하여 살색영역을 추출하고 상기 얼굴후보 영역결정단계(S8)로 진행한다.
즉, 영상 검출부(1)가 방송국이나 기타 비디오장치를 통해 방송되는 영상화면을 검출하는 한 다음 그 검출된 영상화면을 영역 추적부(4)와 영역효과 장치부(5)로 입력시킨다.
이때, 만약 영상에 초상권을 보호해야 하는 영상이 출력부(6)의 모니터 상에 표시되었을 경우에는 사용자가 키패널부(7)의 마우스를 통해 상기 출력부(6)의 모니터 상에 표시된 영상 추적메뉴화면을 이용하여 추적영역을 설정해주게 된다.
여기서, 상기 영상추적메뉴화면의 일 예를 도 4를 참고로 살펴보면, 플레이 콘트롤 콘텐츠(8)는 영상을 재생, 일시 정지, 정지시키는 기능을 한다.
초상권 설정 버튼 콘텐츠(9)는 초상권을 실시할지 실시하지 않을지를 선택하는 버튼이다.
영역 설정 방법 선택버튼 콘텐츠(10)는 사각형, 타원, 자유곡선, 점을 이용한 영역 설정방법을 선택한다.
영역 효과 설정콘텐츠(11)는 영역 효과를 모자이크와 블러어를 할 것인가를 선택한다.
여기서, 영역효과 설정콘텐츠(11)를 클릭하면 예컨데, 도 5와 같은 모자이크의 블록 크기나 블러어의 커널의 크기를 설정해주는 세부항목을 선택할 수 있다.
한편, 사용자가 상기 메뉴화면상에서 추적영역 대상을 설정해주게 되는데, 이때, 설정해야 하는 영역을 타원이나 사각형 윈도우, 사각형과 사각형의 조합, 타원과 타원의 조합, 사각형과 타원의 조합에 의한 영역, 자유곡선, 영상 속 얼굴의 한 점을 클릭해 주면 된다.
그러면 상기 영역설정 인터페이스부(2)가 이를 인식하여 현재 샘플링된 영상의 히스토그램을 생성한다.
그리고 이 영역설정 인터페이스부(2)는 기 저장되어 있던 히스토그램 데이터와 현 샘플링된 영상의 히스토그램 데이터를 비교 판단한다.
이때, 상기 히스토그램 유사성 판단 단계 중에 판단한 결과 현 샘플링된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정값 이상으로 크게 차이가 난다면 영상 영역을 재설정 한 다음 전 단계의 루프를 반복 실행시킨다.
그러나, 상기 히스토그램 유사성 판단 단계 중에 판단한 결과 현 샘플링된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정값 이상으로 차이가 나지 않는다면 현재의 샘플링된 영상화면상에서 살색영역의 추출을 실행한다.
이때, 만약 현재의 화면상에서 살색영역이 추출되었을 경우는 현재 살색영역이 추출된 부분을 얼굴 후보영역 즉, 초상권 보호대상 후보영역으로 설정하고, 만약 현재의 화면상에서 살색영역이 추출되지 않았을 경우는 이전 영역의 속도와 방향정보를 이용하여 살색영역을 추출한 다음 얼굴 후보영역을 결정하여 설정영역 정보 저장부(3)로 입력시킨다.
환언하면, 클릭된 영역 주변의 살색 정보를 사용하여 그 점이 속해 있는 살색 영역을 설정하는 것이다.
여기서, 상기 영역 설정은 1개뿐만이 아니라 2개 이상의 영역도 설정 할 수있다.
한편, 상기 설정영역 정보 저장부(3)는 상기 영역설정 인터페이스부(2)로부터 입력된 영역에 대한 위치, 영역의 크기, 전체 영상을 샘플링한 영상에 대한 히스토그램, 영역 안에서의 색들의 비율, 영역에서의 에지 정보, 영역의 이동 속도와 방향 등에 관한 정보를 저장하게 된다.
상기 얼굴후보 영역결정단계(S8)후에 후보영역 살색비율계산단계(S10)로 진행하여 현재 설정된 얼굴후보영역의 살색비율을 계산한 다음 살색비율 유사성 판단단계(S11)로 진행하여 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율의 유사도를 비교 판단한다.
이때, 상기 살색비율 유사성 판단단계(S11)중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사할 경우는 에지 정보 추출 단계(S12)로 진행하여 현재 설정된 얼굴후보영역의 에지 정보를 추출한다.
그러나, 상기 살색비율 유사성 판단단계(S11)중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사하지 않을 경우에는 타후보 영역 추적단계(S13)로 진행하여 인접한 다음 추적 후보 영역 이동한 다음 상기 후보영역 살색비율계산단계(S10)로 복귀하여 루프를 반복 수행한다.
한편, 상기 에지 정보 추출단계(S12)후에 에지 정보 유사성 판단단계(S14)로 진행하여 기 설정된 얼굴후보영역과 현 얼굴 후보 영역에서 정보의 유사도를 비교 판단한다.
이때, 상기 에지 정보 유사성 판단단계(S14)중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사하지 않을 경우는 상기 타후보 영역 추적단계(S13)로 복귀하여 루프를 반복 수행한다.
그러나, 상기 에지 정보 유사성 판단단계(S14)중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사할 경우에는 초상권 보호 최적영역설정단계(S15)로 진행하여 기 설정된 얼굴후보영역과 그 유사도가 최적으로 일치하는 현재의 얼굴후보영역을 초상권 보호 대상의 최적 얼굴 영역으로 설정한다.
그리고, 상기 초상권 보호 최적영역설정단계(S15)후에 초상권 보호처리실행단계(S16)로 진행하여 현재 설정된 최적 얼굴영역을 효과 프로퍼티 처리하여 얼굴 초상권이 보호되는 화면으로 출력시킨다.
즉, 상기 영역설정 인터페이스부(2)에 의해 처음 화면의 얼굴후보영역이 결정되어 저장된 다음, 화면이 영상 검출부(1)를 통해 영역 추적부(4)로 입력되면 이 영역 추적부(4)는 상기 설정영역 정보 저장부(3)에 저장된 이전 화면의 설정정보들을 이용하여 영역추적을 시작한다.
환언하면, 먼저 상기 영역설정 인터페이스부(2)는 입력된 영상을 샘플링 하여 작은 영상을 만들고 그 영상에 대한 히스토그램을 생성한다.
이것을 사용하여 영상간의 장면 전환 검출을 실시하는데, 영상들의 히스토그램을 비교하여 유사성을 판단하고 유사성이 임계값 보다 작으면 장면 전환 검출이 일어났다고 판단하여 영역을 재 설정 하여주고 유사성이 임계값보다 높을 경우에는 장면 전환이 일어나지 않았다고 판단하여 영상에서 살색 영역을 추출하고 얼굴 후보 영역을 구한다.
이때, 상기 과정에서 임계값을 비교한 뒤 살색 영역을 추출하는 것이 실패하면, 이전 영상의 영역위치와 이전 영상까지의 영역 속도와 방향으로서 영역을 설정하여 샘플링 영상 처리한다.
이 과정을 거쳐 나온 샘플링 된 영상의 얼굴 후보 영역을 원 영상에 얼굴 후보 영역으로 매핑하고, 설정 영역과 가장 가까운 후보 영역부터 설정 영역과 색 비율과 에지의 정보를 비교하여 색 비율과 에지 정보의 조건을 만족하면 이 후보 영역을 추적된 영역으로 설정한다. 만일 조건을 충족하지 않으면 다음 가까운 후보영역을 선택하여 조건비교를 하는 방식으로 영역을 추적한다.
그리고 이렇게 추적된 영역의 위치와 크기, 샘플링 된 영상의 히스토그램, 영역에서 색의 비율, 영역의 에지 정보, 영역의 속도와 방향을 다음 영상에서의 영역 추적을 위하여 설정영역 정보 저장부(3)에 저장한다.
여기서, 2개 이상의 영역이 설정되었을 경우에는 설정 영역의 위치와 가장 가까운 위치에 있는 후보 영역 정보를 사용하여 영역 추적을 실시한다.
한편, 상기 영역 추적부(4)는 상기 설정영역 정보 저장부(3)의 정보를 이용하여 현재 설정된 얼굴후보영역의 살색비율을 계산한 다음 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율의 유사도를 비교 판단한다.
이때, 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사할 경우는 현재 설정된 얼굴후보영역의 에지 정보를 추출한다.
그러나, 만약 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사하지 않을 경우에는 상기 타후보 영역 추적단계로 진행하여 인접한 다음 추적 후보영역 이동한 다음 상기 후보영역 살색비율계산단계로 복귀하여 루프를 반복 수행한다.
한편, 상기 영역 추적부(4)는 에지 정보 추출한 후에, 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보의 유사도를 비교 판단한다.
이때, 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사하지 않을 경우는 상기 타후보 영역 추적단계로 복귀하여 루프를 반복 수행한다.
그러나, 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사할 경우에는 기 설정된 얼굴후보영역과 그 유사도가 최적으로 일치하는 현재의 얼굴후보영역을 초상권 보호 대상의 최적 얼굴 영역으로 설정한 다음 이 최적 얼굴 영역 정보를 영역효과 장치부(5)로 입력시킨다.
그러면 이 영역효과 장치부(5)는 현재 설정된 최적 얼굴영역을 효과 프로퍼티 처리하여 예컨데, 모자이크나 블러링 처리한 다음 출력부(6)를 통해 도 6(a)-(b)에 도시된 바와 같이 얼굴 초상권이 보호되는 화면으로 출력시킨다.
이상 설명에서와 같이 본 발명은 방송화면상에서 초상권 보호 대상 얼굴 영역을 직접 클릭한 다음 그 주변의 살색 영역정보를 직접 이용하는 영상샘플링처리를 행하여 초상권보호 대상 영역을 설정저장하고 이 설정된 정보를 이용하여 다음 화면의 영상을 추적하도록 함으로써 영상화면상에서 최소한의 초상권 보호대상 영역을 설정하고 그 설정된 영역의 정보를 이용하여 장면 전환 검출을 위한 불필요한 계산과정을 제거하게 되므로 초상권보호시스템의 영역설정 처리속도를 상당히 향상시킬 수 있다.
본 발명에 따르면, 초기화면에서 최소한의 영상 샘플링처리로 얻어진 초상권 보호대상 영역정보를 이용하여 최소한의 계산량을 사용하게 되므로 자동적으로 움직임이 많은 영역이나 잡음이 많이 들어간 영상에서도 설정된 영역의 위치를 신속히 추적하게됨으로써 화면상의 초상권 보호기능을 위해 사용자가 최소한으로 처리동작을 실행하게 되므로 시스템의 기능성도 상당히 향상되는 효과도 있다.

Claims (5)

  1. 방송국이나 기타 비디오장치를 통해 입력되는 영상화면을 검출하여 얼굴영상을 효과 프로퍼티 처리하는 초상권 보호시스템에 있어서,
    상기 검출된 영상 중에서 초상권 설정 대상 영역 상에 영상영역 샘플링 설정처리방식으로 클릭한 다음 그 주변의 살색 정보를 사용하여 그 점이 속해 있는 살색 영역정보를 즉시 이용하여 초상권보호 대상 후보영역을 설정하는 영역설정 인터페이스부와, 이 영역 설정 인터페이스부에 설정된 초상권 보호 대상 후보영역에 대한 설정정보를 저장하는 설정영역 정보 저장부와, 상기 영상 검출부로부터 입력된 다음 영상화면상에 설정영역 정보 저장부에 저장되어 있는 샘플링 된 영상의 얼굴 후보 영역을 맵핑시키고, 후보 대상 영역과 다음 화면의 설정영역상의 색 비율과 에지의 정보 등을 비교하여 유사도가 가장 높은 영역을 초상권보호 최적영역으로 추적 설정하는 영역 추적부와, 이 영역 추적부에 의해 추적된 초상권보호 최적영역을 효과 프로퍼티 처리한 다음 출력시키는 영역효과장치부가 구비되는 것을 특징으로 하는 방송 화면에서의 초상권 보호 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 초상권 보호 대상 후보영역에 대한 설정정보에 영역에 대한 위치, 영역의 크기, 전체 영상을 샘플링 한 영상에 대한 히스토그램, 영역 안에서의 색들의 비율, 영역에서의 에지 정보, 영역의 이동 속도와 방향 등의 정보가 포함되는 것을 특징으로 하는 방송 화면에서의 초상권 보호 시스템.
  4. 초상권 보호시스템이 검출된 영상 화면의 영상샘플링을 실행한 다음 현재 샘플링된 영상의 히스토그램을 생성하는 히스토그램 생성단계와, 이 히스토그램 생성단계 후에 기 저장되어 있던 히스토그램 데이터와 현 샘플링 된 영상의 히스토그램 데이터를 비교 판단하는 히스토그램 유사성 판단 단계와, 이 히스토그램 유사성 판단 단계 중에 판단한 결과 현 샘플링 된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정 값 이상으로 크게 차이가 난다면 영상 영역을 재설정한 다음 상기 영상샘플링 실행단계로 진행하여 루프를 반복 수행하는 영역 재설정 단계와, 상기 히스토그램 유사성 판단 단계 중에 판단한 결과 현 샘플링 된 영상의 히스토그램 데이터가 기 저장된 히스토그램 데이터와 그 유사성이 일정 값이상으로 차이가 나지 않는다면 현재의 샘플링된 영상화면상에서 살색영역의 추출을 실행하는 살색영역 추출실행단계와, 상기 살색영역 추출 실행 단계 후에 현재의 화면상에서 살색영역이 추출되었는지를 판단하는 살색영역 추출여부 판단단계와, 이 살색영역 추출여부 판단 단계 중에 판단한 결과 만약 현재의 화면상에서 살색영역이 추출되었을 경우는 현재 살색영역이 추출된 부분을 초상권 보호대상 후보영역으로 설정하는 얼굴후보 영역결정단계와, 상기 살색영역 추출여부 판단 단계 중에 판단한 결과 만약 현재의 화면상에서 살색영역이 추출되지 않았을 경우는 이전 영역의 속도와 방향정보를 이용하여 살색영역을 추출하고 상기 얼굴후보 영역결정단계로 진행하는 이전 영역정보 적용 단계와, 상기 얼굴후보 영역 결정 단계 후에 현재 설정된 얼굴후보영역의 살색비율을 계산한 다음 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율의 유사도를 비교 판단하는 유사성 판단단계와, 이 살색비율 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사할 경우는 현재 설정된 얼굴후보영역의 에지 정보를 추출하는 에지 정보 추출 단계와, 상기 살색비율 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 살색비율이 유사하지 않을 경우에는 인접한 다음 추적 후보 영역 이동한 다음 상기 후보영역 살색비율계산단계로 복귀하여 루프를 반복 수행하는 타후보 영역 추적 단계와, 상기 에지 정보 추출 단계 후에 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보의 유사도를 비교 판단하는 에지 정보 유사성 판단단계와, 이 에지 정보 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사하지 않을 경우는 상기 타후보 영역 추적단계로 복귀하여 루프를 반복 수행하는 타후보 영역 추적복귀단계와, 상기 에지 정보 유사성 판단 단계 중에 판단한 결과 기 설정된 얼굴후보영역과 현 얼굴후보영역의 에지 정보가 유사할 경우에는 기 설정된 얼굴후보영역과 그 유사도가 최적으로 일치하는 현재의 얼굴후보영역을 초상권 보호 대상의 최적 얼굴 영역으로 설정하는 초상권 보호 최적영역설정단계를 포함하는 것을 특징으로 하는 방송 화면에서의 초상권 보호 시스템의 제어방법.
  5. 삭제
KR1020000035710A 2000-06-27 2000-06-27 방송 화면에서의 초상권 보호 시스템 및 그 제어방법 KR100361699B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000035710A KR100361699B1 (ko) 2000-06-27 2000-06-27 방송 화면에서의 초상권 보호 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000035710A KR100361699B1 (ko) 2000-06-27 2000-06-27 방송 화면에서의 초상권 보호 시스템 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20000054823A KR20000054823A (ko) 2000-09-05
KR100361699B1 true KR100361699B1 (ko) 2002-11-23

Family

ID=19674229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000035710A KR100361699B1 (ko) 2000-06-27 2000-06-27 방송 화면에서의 초상권 보호 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR100361699B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035099A (ko) * 2000-12-22 2001-05-07 유명현 장면 전환 자동 검출을 이용한 스트리밍 하이퍼비디오시스템 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269353A (ja) * 1997-01-02 1998-10-09 Runaway Technol Inc モザイク・イメージのデジタル・コンポジション
KR0170698B1 (ko) * 1995-10-28 1999-03-20 김광호 실시간 영상 모자이크 시스템
KR0138931Y1 (ko) * 1995-11-30 1999-05-01 배순훈 화면 부분 모자이크 장치
JPH11134479A (ja) * 1997-10-31 1999-05-21 Matsushita Electric Ind Co Ltd モザイク処理装置
JPH11312243A (ja) * 1998-04-28 1999-11-09 Victor Co Of Japan Ltd 顔領域検出装置
KR20010054914A (ko) * 1999-12-08 2001-07-02 노성대 초상권 보호 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0170698B1 (ko) * 1995-10-28 1999-03-20 김광호 실시간 영상 모자이크 시스템
KR0138931Y1 (ko) * 1995-11-30 1999-05-01 배순훈 화면 부분 모자이크 장치
JPH10269353A (ja) * 1997-01-02 1998-10-09 Runaway Technol Inc モザイク・イメージのデジタル・コンポジション
JPH11134479A (ja) * 1997-10-31 1999-05-21 Matsushita Electric Ind Co Ltd モザイク処理装置
JPH11312243A (ja) * 1998-04-28 1999-11-09 Victor Co Of Japan Ltd 顔領域検出装置
KR20010054914A (ko) * 1999-12-08 2001-07-02 노성대 초상권 보호 장치 및 그 방법

Also Published As

Publication number Publication date
KR20000054823A (ko) 2000-09-05

Similar Documents

Publication Publication Date Title
US20190346932A1 (en) Motion-Assisted Visual Language for Human Computer Interfaces
US9076257B2 (en) Rendering augmented reality based on foreground object
US9317772B2 (en) Method for improving tracking using dynamic background compensation with centroid compensation
US6394557B2 (en) Method and apparatus for tracking an object using a continuously adapting mean shift
EP2374089B1 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US6526161B1 (en) System and method for biometrics-based facial feature extraction
US8553931B2 (en) System and method for adaptively defining a region of interest for motion analysis in digital video
KR100361497B1 (ko) 얼굴영역 추출방법
US20110293247A1 (en) Video matting based on foreground-background constraint propagation
US20170053156A1 (en) Human face recognition method, apparatus and terminal
US20040141633A1 (en) Intruding object detection device using background difference method
JPH0944670A (ja) 特定画像領域抽出方法及び特定画像領域抽出装置
JP5489340B2 (ja) 顔マスキング装置及び方法
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
CN113194253A (zh) 去除图像反光的拍摄方法、装置和电子设备
KR20170053807A (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
CN107529071A (zh) 一种视频数据处理方法以及装置
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
CN112380940B (zh) 一种高空抛物监控图像的处理方法、装置、电子设备和存储介质
KR100361699B1 (ko) 방송 화면에서의 초상권 보호 시스템 및 그 제어방법
Malavika et al. Moving object detection and velocity estimation using MATLAB
Paul et al. A realtime object tracking system using a color camera
US11785342B2 (en) Method of activating an object-specific action
Chien et al. A 3D hand tracking design for gesture control in complex environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee