KR20160057867A - 디스플레이 장치 및 그에 의한 이미지 처리 방법 - Google Patents

디스플레이 장치 및 그에 의한 이미지 처리 방법 Download PDF

Info

Publication number
KR20160057867A
KR20160057867A KR1020140159026A KR20140159026A KR20160057867A KR 20160057867 A KR20160057867 A KR 20160057867A KR 1020140159026 A KR1020140159026 A KR 1020140159026A KR 20140159026 A KR20140159026 A KR 20140159026A KR 20160057867 A KR20160057867 A KR 20160057867A
Authority
KR
South Korea
Prior art keywords
image
subject
area
local
background
Prior art date
Application number
KR1020140159026A
Other languages
English (en)
Inventor
한정호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140159026A priority Critical patent/KR20160057867A/ko
Priority to US14/929,837 priority patent/US9807300B2/en
Publication of KR20160057867A publication Critical patent/KR20160057867A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2222—Prompting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는, 피사체가 촬영되면, 촬영된 제1 영상을 저장하는 저장부, 제1 영상이 저장되면 제1 영상 내의 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 출력부, 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 획득하고, 제1 영상 내의 피사체 영역에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출하며, 검출된 로컬 이미지 영역을 제1 영상에 합성하여, 피사체가 제거된 배경 이미지를 생성하여 저장부에 저장하는 제어부를 포함한다.

Description

디스플레이 장치 및 그에 의한 이미지 처리 방법{ DISPLAY APPARATUS AND IMAGE PROCESSING METHOD THEREBY }
본 발명은 디스플레이 장치 및 그에 의한 이미지 처리 방법에 대한 것으로, 보다 상세하게는, 촬영 중인 영상으로부터 피사체에 대한 픽셀을 추출하여 디스플레이할 수 있는 디스플레이 장치 및 그에 의한 이미지 처리 방법에 대한 것이다.
영상에 있어서 피사체와 배경을 분리하는 기술은 비디오 감시, 인간 계수(human counting), 비디오 편집 등을 포함한 다양한 시각 시스템에서 사용된다. 특히 근래에 인터넷 망의 발달과 웹 카메라의 등장으로 음성과 영상을 함께 이용한 화상 대화가 상용화되고 있는데, 이러한 화상대화에서는 본인이 원하지 않은 많은 부분이 카메라로 노출될 가능성이 있다. 따라서 통신의 주체가 되는 사람과 배경을 분리하여 노출을 원하지 않는 배경을 새로운 배경으로 대체하여 전송함으로써 개인의 사생활을 보호할 수 있다. 또한, 현재의 촬영되는 영상의 배경을 새로운 배경으로 대체함으로써, 사람이 실제 있는 곳이 아닌 다른 공간에 있는 것과 같은 효과를 줄 수 있다. 이러한 배경 대체 기술에 있어서는 영상에 있어서, 피사체와 배경을 분리하는 것이 선행되어야 한다.
종래의 영상 분리 기술에 있어서는, 배경에 대한 정보가 미리 주어진 경우에 있어서, 현재 입력 영상에서 미리 주어진 배경과 일치하는 픽셀(Pixel)만 제거함으로써 사람 픽셀만을 영상에서 추출하는 방법이 있다. 예를 들어, 미리 정해진 색상 또는 패턴의 스크린을 사람 뒤에 배치하는 방법, 사람이 없는 상태에서의 배경을 미리 촬영하고, 이를 저장해두었다가 사용하는 방법 등이다. 또한, 배경에 대한 정보가 미리 주어지지 않은 경우에 있어서는, 초기 촬영시 사람이 카메라 화각 밖으로 이동하여 배경을 학습하는 방법, 여러 프레임(frame) 동안 변화가 없는 픽셀을 배경으로 가정하여 학습하는 방법 등을 이용하여, 사람 픽셀을 영상에서 추출할 수 있다.
그러나, 배경 학습을 위한 종래 기술에 있어서는 다양한 제약 조건이 존재하는 문제점이 있다. 즉, 전용 스크린을 배치해야 한다거나, 초기 촬영시 카메라 화각 밖으로 사람이 멀리 이동해야 한다거나, 여러 프레임 동안 변화가 없는 픽셀을 추출하기 위하여 오랜 시간이 걸린다는 문제가 있다.
이에 따라, 사용자가 피드백(Feedback)을 받으면서 실시간으로 정확하게 배경을 학습함으로써, 촬영되는 영상으로부터 좀 더 편리하고 효율적으로 사람 픽셀을 추출하는 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 촬영되는 영상에서 피사체를 효율적으로 이동시켜 피사체가 제거된 완전한 배경 이미지를 생성함으로써 피사체를 추출할 수 있는 디스플레이 장치 및 그에 의한 이미지 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치의 이미지 처리 방법은, 피사체가 촬영되면, 촬영된 제1 영상을 저장하는 단계, 제1 영상 내에서 피사체 영역을 검출하는 단계, 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 단계, 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 저장하는 단계, 제1 영상 내의 피사체 영역에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출하는 단계, 검출된 로컬 이미지 영역을 제1 영상에 합성하여, 피사체가 제거된 배경 이미지를 생성하는 단계를 포함한다.
여기서, 피사체가 촬영된 제3 영상을 획득하는 단계, 배경 이미지와 제3 영상을 비교하여, 제3 영상으로부터 피사체 이미지를 분리하여 디스플레이하는 단계를 더 포함할 수 있다.
또한, 디스플레이하는 단계는, 제3 영상으로부터 분리된 피사체 이미지를 기 저장된 다른 배경 이미지와 합성하여 디스플레이할 수 있다.
또한, 안내 메세지는, 제1 영상을 디스플레이하는 디스플레이부에서 피사체가 이동할 방향 및 거리를 나타내는 GUI 메세지일 수 있다.
또한, 안내 메세지는, 피사체가 이동할 방향 및 거리를 안내하는 음성 메세지일 수 있다.
또한, 피사체 영역을 검출하는 단계는, 제1 영상 내에서 사용자 얼굴 부분을 검출하는 단계 및, 사용자 얼굴 부분을 포함하는 로컬 영역을 피사체 영역으로 검출하는 단계를 포함할 수 있다.
또한, 피사체 영역을 검출하는 단계는, 피사체를 복수 횟수 연속적으로 촬영하여 복수의 제1 영상을 저장하는 단계 및, 복수의 제1 영상을 비교하여 움직임이 감지되는 영역을 피사체 영역으로 검출하는 단계를 포함할 수 있다.
또한, 피사체 영역을 복수 개의 서브 영역으로 구분하는 단계 및, 제2 영상의 로컬 이미지 영역을 복수 개의 서브 영역에 대응되도록 복수의 서브 로컬 이미지 영역으로 구분하는 단계를 더 포함하며, 로컬 이미지 영역은 적어도 하나의 서브 로컬 이미지 영역 단위로 제1 영상에 합성될 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 피사체가 촬영되면, 촬영된 제1 영상을 저장하는 저장부, 제1 영상이 저장되면 제1 영상 내의 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 출력부, 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 획득하고, 제1 영상 내의 피사체 영역에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출하며, 검출된 로컬 이미지 영역을 제1 영상에 합성하여, 피사체가 제거된 배경 이미지를 생성하여 저장부에 저장하는 제어부를 포함한다.
여기서, 출력부는 디스플레이부를 포함하고, 제어부는, 피사체가 촬영된 제3 영상을 획득하고, 배경 이미지와 제3 영상을 비교하여, 제3 영상으로부터 피사체 이미지를 분리하여 디스플레이하도록 디스플레이부를 제어할 수 있다.
또한, 제어부는, 제3 영상으로부터 분리된 피사체 이미지를 기 저장된 다른 배경 이미지와 합성하여 디스플레이하도록 디스플레이부를 제어할 수 있다.
또한, 안내 메세지는, 제1 영상을 디스플레이하는 디스플레이부에서 피사체가 이동할 방향 및 거리를 나타내는 GUI 메세지일 수 있다.
또한, 안내 메세지는, 피사체가 이동할 방향 및 거리를 안내하는 음성 메세지일 수 있다.
또한, 제어부는, 제1 영상 내에서 사용자 얼굴 부분을 검출하고, 사용자 얼굴 부분을 포함하는 로컬 영역을 피사체 영역으로 검출할 수 있다.
또한, 저장부는, 피사체를 복수 횟수 연속적으로 촬영하여 복수의 제1 영상을 저장하고, 제어부는, 복수의 제1 영상을 비교하여 움직임이 감지되는 영역을 피사체 영역으로 검출할 수 있다.
또한, 제어부는, 제1 영상 내에서 피사체가 포함된 피사체 영역을 검출하여 피사체 영역을 복수 개의 서브 영역으로 구분하고, 제2 영상으로부터 검출되는 로컬 이미지 영역을 복수 개의 서브 영역에 대응되도록 복수 개의 서브 로컬 이미지 영역으로 구분하여, 적어도 하나의 서브　로컬 이미지 영역 단위로 제1 영상에 합성할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 사용자의 움직임을 최소화하면서 빠르고 편리하게 배경 이미지를 획득할 수 있어 사용자의 편이성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블럭도,
도 2는 촬영된 영상으로부터 피사체를 분리하여 새로운 배경에 합성하는 일 실시 예를 설명하기 위한 도면,
도 3은 촬영중인 영상에서 피사체에 의해 가려진 영역이 발생하는 일 실시 예를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 구성을 상세히 도시한 블럭도,
도 6은 본 발명의 일 실시 예에 따른, 저장부의 구성을 상세히 도시한 블럭도,
도 7 내지 도 9는 본 발명의 다양한 실시 예에 따른, 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 방법을 설명하기 위한 도면,
도 10는 본 발명의 다른 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 방법을 설명하기 위한 도면,
도 11는 본 발명의 일 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 이미지 처리 방법을 설명하기 위한 흐름도,
도 12는 본 발명의 다른 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 이미지 처리 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블럭도이다.
도 1에 따르면 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는, 저장부(110), 출력부(120) 및 제어부(130)를 포함한다.
본 발명의 디스플레이 장치(100)는 TV를 포함하여 이미지 처리가 가능한 다양한 종류의 모니터, 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 컴퓨터, 노트북 컴퓨터, 노트 패드(Note Pad), 와이브로(Wibro) 단말, 타블렛 PC(Tablet PC), 스마트 TV 등으로 구현될 수 있다.
촬영 장치(200)는 촬영을 통해 영상을 획득하는 구성이다. 촬영 장치(200)는 카메라, 비디오 카메라 등을 포함할 수 있다. 다만, 도1 내지 도 4에서는 촬영 장치(200)가 디스플레이 장치(100)에 연결되는 외부의 장치로 구현되는 경우를 상정하여 설명하였으나, 촬영 장치(200)는 디스플레이 장치(100) 내부에 포함되는 구성일 수도 있다. 촬영 장치(200)에 의해 피사체가 촬영되어 제1 영상을 획득할 수 있고, 피사체가 이동한 상태에서 재촬영이 수행되어 제2 영상을 획득할 수 있다. 또한, 촬영 장치(200)에 의해 피사체를 분리하고자 하는 제3 영상을 획득할 수 있다.
저장부(110)는 촬영 장치(200)에 의해 촬영된 동영상 또는 이미지를 저장하는 구성이다. 저장부(110)는 촬영 장치(200)에 의해 획득된 제1 영상 내지 제3 영상을 저장할 수 있다. 또한, 저장부(110)는 영상 처리를 통해 피사체가 제거된 배경 이미지를 저장할 수 있으며, 얻어진 배경 이미지를 이용하여 제3 영상에서 분리된 피사체 영상을 저장할 수 있다. 또한, 저장부(110)는 영상을 처리하여 피사체가 제거된 배경 이미지를 생성하기 위한 각종 소프트웨어 모듈 및 관련 정보들을 저장하며, 필요시 제어부(130)로 이에 대한 정보를 출력할 수 있다.
한편, 촬영된 영상은 저장부(110)에 저장되어 있는 경우 외에도 네트워크에 의해 접속되어 있는 시스템에 저장되어 있을 수도 있다. 이 경우에는 통신부(미도시)를 이용하여 영상의 원격 전송 및 복제가 가능할 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
특히, 제어부(130)는 촬영 장치(200)로부터 제1 영상 내지 제3 영상을 획득하도록 할 수 있고, 상기 제1 영상 내에서 피사체 영역을 검출하여 마킹(Marking)할 수 있다. 여기서 피사체 영역이란 피사체를 포함하는 영역을 의미한다. 피사체 영역은 최소한의 크기를 가지며 마킹될 수 있다. 즉, 피사체 영역은 피사체의 에지를 그대로 따라가면서 마킹된 영역이 될 수 있다. 또는, 피사체를 일부 포함하는 특정 형태의 영역을 피사체 영역으로 마킹할 수도 있다. 이 경우, 피사체 영역은, 네모 형태, 동그라미 형태, 타원 형태 및 피사체의 실루엣(외곽 형태) 등으로 마킹될 수 있다. 피사체 영역 검출 방법에 대해서는 후술하는 부분에서 구체적으로 설명한다.
제1 영상 내의 피사체 영역이 검출되면, 제어부(130)는 검출된 피사체 영역에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출할 수 있다. 여기서 로컬 이미지 영역이란, 제1 영상과 제2 영상을 비교하였을 때, 제2 영상 전체에서, 제1 영상 내의 피사체 영역과 대응되는 크기, 위치, 형태의 부분 이미지를 의미한다. 구체적으로는, 제2 영상의 로컬 이미지 영역이란, 제1 영상의 전체 배경 중에서 피사체에 의해 가려져 있던 배경 영역이 될 수 있다.
촬영 장치(200)의 위치 및 촬영 방향이 고정되어 있다면, 피사체의 위치가 이동되어도 로컬 이미지 영역은 화면 상에서 항상 고정된다. 따라서, 피사체의 위치가 이동되면, 로컬 이미지 영역은 피사체가 존재하였던 영역, 즉 피사체에 의해 가려진 배경 영역에 해당하게 된다. 즉, 제2 영상의 로컬 이미지 영역은 제1 영상 내에서 마킹된 피사체 영역과 동일하다. 따라서, 피사체의 위치가 이동되면, 제어부(130)는 제2 영상으로부터 로컬 이미지 영역을 검출할 수 있다.
또한, 제어부(130)는 검출된 로컬 이미지 영역을 제1 영상에 합성하여, 피사체가 제거된 배경 이미지를 생성할 수 있으며, 생성된 배경 이미지를 저장부(120)에 저장할 수 있다. 구체적으로, 제어부(130)는 제1 영상에 있어서 마킹된 피사체 영역을 제2 영상에서 획득된 로컬 이미지 영역으로 치환하는 방법으로 피사체가 제거된 배경 이미지를 생성할 수 있다.
이때, 제어부(130)는, 마킹된 피사체 영역을 한 단위로 하여 일시에 치환할 수도 있고, 마킹된 피사체 영역을 복수의 영역으로 구분하여 구분된 복수의 영역을 한 단위로 하여 각각 치환할 수도 있다. 구체적으로, 제어부(130)는 마킹된 피사체 영역을 복수 개의 서브 영역으로 구분하고, 제2 영상으로부터 검출되는 로컬 이미지 영역을 마킹된 피사체 영역의 복수 개의 서브 영역에 대응되도록 복수 개의 서브 로컬 이미지 영역으로 구분할 수 있다. 이 경우, 제어부(130)는 각각의 서브 영역 별로 마킹된 피사체 영역을 서브 로컬 이미지 영역으로 치환할 수 있다.
또한, 제어부(130)는 생성된 배경 이미지와, 촬영 장치(200)로부터 획득된 제3 영상을 비교하여, 제3 영상으로부터 배경 및 피사체 이미지를 분리할 수 있다. 여기서, 제3 영상은, 제1 영상 및 제2 영상과 달리 실질적으로 피사체 이미지를 분리하기 위하여 촬영되는 영상이다. 이때, 제3 영상에서 촬영된 배경은 배경 이미지가 생성되는 때의 배경과 동일함을 전제로 한다. 여기서, 배경 및 피사체 이미지를 분리한다는 것은, 하나의 영상 내의 화소들 각각이 피사체에 해당하는지 배경에 해당하는지를 구분하는 것이다.
제어부(130)는 제3 영상에 있어서, 기 생성된 배경 이미지와 픽셀 값이 일치하는 영역을 제거함으로써, 인물에 해당하는 픽셀만을 제3 영상에서 추출할 수 있다. 여기서, 일치하는 영역이라는 것은, 기 설정된 유사도 이상의 값을 가지는 영역을 의미할 수 있다. 배경 이미지와 제3 영상을 비교하기 위하여 제3 영상에 속하는 각 화소마다 배경 이미지와의 유사도를 계산한다. 그리고 이 유사도에 따라서 각 화소를 피사체 또는 배경 중 어느 하나로 분류하는데, 예를 들어, 유사도가 높으면 배경 화소로, 유사도가 낮으면 피사체로 분류할 수 있다. 이때, 제어부(130)는 영상을 형성하는 하나 이상의 픽셀의 각 색상 차이를 기초로 픽셀 그룹을 생성하고, 생성된 픽셀 그룹 단위로 배경 이미지와 제3 영상을 비교할 수도 있다. 제3 영상에서, 배경 이미지와 일치하는 영역이 제거되면, 피사체를 제외한 배경이 제거된 영상이 생성될 수 있다. 이렇게 생성된 피사체만을 포함하는 영상은 기 저장된 새로운 배경과 합성되어 디스플레이될 수 있다. 피사체만을 포함하는 영상을 새로운 배경과 합성하는 구성에 대해서는 도 2를 참조하여 설명하기로 한다.
도 2는 촬영된 영상으로부터 피사체를 분리하여 새로운 배경에 합성하는 일 실시 예를 설명하기 위한 도면이다.
도 2에 따르면, 본 발명의 실시 예에 따라 촬영된 제3 영상(22)으로부터 피사체인 사람(21)만을 추출할 수 있다. 이렇게 추출된 사람(21)은 본래에 있었던 장소인 바닷가(21)가 아닌, 도시 한복판(23) 또는 숲(24)에 있는 것처럼 보이도록 새로운 배경에 합성될 수 있다. 이렇게 합성된 영상은 일 대 일 화상 통화, 또는 일 대 다수의 화상 회의 시스템에서 유용하게 활용될 수 있다.
다시 도 1에 대해 설명하면, 제어부(130)는 얼굴 검출 및 추적 알고리즘을 이용하여 제1 영상 내에서 사용자 얼굴 부분을 검출하고, 사용자 얼굴 부분을 포함하는 로컬 영역을 피사체 영역으로 검출할 수 있다. 여기서 피사체는, 사람인 것으로 가정한다. 여기서, 사용자 얼굴 부분을 포함하는 로컬 영역은 사람의 얼굴 영역만을 포함할 수도 있고, 검출된 얼굴 영역에 기초하여 사람의 전신 영역을 포함하도록 설정될 수도 있다.
얼굴 검출 알고리즘은 예를 들어, 사람의 머리와 어깨 모양을 이용하는 오메가 디텍션(Omega Detection) 또는 학습된 얼굴 이미지 데이터를 이용하여 사람의 얼굴을 검출하는 학습 기반의 알고리즘들(예를 들어, Addaboost 학습 알고리즘 등)을 이용할 수 있다. 얼굴 추적 알고리즘은 예를 들어, 히스토그램(Histogram) 기반의 Mean-shift 추적 방식을 이용할 수 있다. Mean-Shift 추적 방식에 따른 알고리즘이란, 특정 데이터의 근방에 존재하는 주변 데이터들의 평균 쪽으로 중심을 이동시키면서 유사한 데이터를 군집화하는 알고리즘이다.
사용자 얼굴이 검출되면, 제어부(130)는, 사용자 얼굴을 포함하는 로컬 영역을 마킹할 수 있고, 마킹되는 로컬 영역은 사용자 얼굴 또는 사용자의 전신 영역을 포함하는 최소한의 크기를 가지는 것이 적절하다. 마킹되는 로컬 영역은, 네모 형태, 동그라미 형태, 타원 형태 및 피사체의 실루엣(외곽 형태) 등으로 마킹될 수 있다.
또한, 제어부(130)는 촬영 장치(200)로부터 복수 횟수 연속적으로 촬영된 피사체에 대한 복수의 제1 영상을 비교하여, 움직임이 감지되는 영역을 피사체 영역으로 검출할 수 있다. 제어부(130)는 움직임이 감지되는 영역의 중심 위치가 시간에 따라 변하는 정도를 분석 및 판단하고, 그 정도가 미리 결정된 범위를 초과할 때 움직임이 감지되는 영역을 피사체 영역으로 판단할 수 있다.
출력부(120)는 제1 영상 내의 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 구성이다. 출력부(120)는 디스플레이부 또는 스피커부로 구현될 수 있으며, 디스플레이부 및 스피커부를 모두 포함할 수도 있다.
출력부(120)가 디스플레이부로 구현되는 경우, 디스플레이부는 제1 영상을 디스플레이하는 디스플레이 패널 상에서 피사체가 이동하도록 하는 피사체가 이동할 방향 및 거리를 안내하는 GUI(Graphic User Interface) 메세지를 출력할 수 있다. 디스플레이부를 통해 디스플레이되는 제1 영상에는 마킹된 피사체 영역이 표시되고, 이에 따라, 사용자가 디스플레이되는 제1 영상을 바라보면서, 자신의 위치를 확인하면서 이동할 방향 및 거리를 가늠하여 피사체 영역 밖으로 이동할 수 있다. 이 경우, GUI 메세지는 피사체 영역을 마킹한 네모 또는 원형의 도형일 수 있다.
또 다른 실시 예로서, GUI 메세지는 "왼쪽 또는 오른쪽으로 두발짝 이동하세요", "왼쪽 또는 오른쪽으로 2m 이동하세요" 등의 문장으로 표시될 수 있으며, 이동할 방향을 표시하는 화살표 등의 도형 및 이동할 거리를 표시하는 숫자 등으로 표시될 수도 있다. 또는, 디스플레이부에 피사체 영역이 마킹된 제1 영상 및 이동 방향 및 거리를 안내하는 문장, 도형 및 숫자 등으로 이루어진 메세지가 모두 표시될 수 있다.
한편, 출력부(120)가 스피커부로 구현되는 경우, 스피커부는 피사체가 이동할 방향 및 거리를 안내하는 음성 메세지를 출력할 수 있다. 음성 메세지는 "왼쪽 또는 오른쪽으로 두발짝 이동하세요", "왼쪽 또는 오른쪽으로 2m 이동하세요" 등의 음성으로 출력될 수 있으며, 이에 따라 사용자가 자신의 위치를 음성으로 확인하면서, 이동할 방향 및 거리를 가늠하여 피사체 영역 밖으로 이동할 수 있다.
한편, 이때, 제어부(130)는 출력부(120)를 제어하여 피사체 영역으로부터 피사체가 이동하도록 안내하도록 하고, 피사체가 이동할 방향 및 거리를 계산하여 출력부(120)에 전송할 수 있다.
도 3은 촬영중인 영상에서 피사체에 의해 가려진 영역이 발생하는 일 실시 예를 설명하기 위한 도면이다.
도 3에 따르면, 피사체(32)가 촬영 장치(200)에 의해 촬영되는 경우, 피사체(32)를 배경(33)과 분리하기 위해서는, 배경(33)에 대한 정보를 학습하여야 한다. 배경(33)에 대한 정보를 획득하는 경우, 획득한 정보를 통해 학습된 배경(33)과 다른 픽셀 영역에 해당하는 영역을 피사체(31)라고 판단할 수 있고, 판단된 피사체(32)에 해당하는 영역만을 추출하여, 배경(33)과 피사체(31)를 분리할 수 있다.
그러나, 배경(33)에 대한 정보가 미리 학습되지 않는 경우, 즉 본원과 같이 실시간으로 배경(33)에 대한 정보를 학습하는 경우에는 피사체(31)에 의해서 가려진 배경에 해당하는 영역, 즉 로컬 이미지 영역(32)을 학습할 수 없다. 이 경우, 피사체(31)가 이동하는 경우, 드러난 로컬 이미지 영역(32) 또한 피사체로 인식될 수 있고, 분리된 피사체에 많은 노이즈가 발생할 수 있다.
따라서, 촬영된 영상으로부터 피사체(32)만을 노이즈를 최소화하면서 분리하기 위해서는 배경(33)에 대한 완전한 정보가 필요하다. 이에 따라, 피사체(31)에 의해서 가려진 로컬 이미지 영역(32)에 대한 추가적인 학습이 요구된다. 이 경우, 피사체가 움직임으로써, 로컬 이미지 영역(32)이 드러나며, 학습된 배경(33) 이미지에, 드러난 로컬 이미지 영역(32)를 합성함으로써 피사체가 제거된 배경 이미지를 생성할 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 4의 (a)에 따르면, 피사체가 촬영되면, 촬영된 제1 영상(41)을 저장하고, 제1 영상으로부터 피사체 영역(44)을 검출할 수 있다. 검출된 피사체 영역(44)은 네모의 형태를 가지는 도형으로 마킹될 수 있으며, 네모의 형태를 가지는 도형은 피사체를 포함하는 최소한의 크기를 갖는 것이 적절하다. 제1 영상(41) 내의 피사체 영역(44)이 검출되면, 제어부(130)는 검출된 피사체 영역(44)에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출할 수 있다.
도 4의 (b)에 따르면, 출력부(120)가 피사체 영역(44)으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력함에 따라, 피사체가 피사체 영역(44)을 벗어나도록 이동할 수 있다. 이 경우, 피사체가 이동됨으로써, 피사체에 의해 가려져 보이지 않던 배경 영역인 로컬 이미지 영역(45)이 표시되며, 피사체가 이동한 상태에서 재촬영을 수행하여 제2 영상(42)을 저장할 수 있다. 이 때, 로컬 이미지 영역(45)은 제1 영상(41)의 피사체 영역(44)과 동일한 영역에 해당한다. 제2 영상으로부터 피사체 영역(44)이 새롭게 검출되며, 피사체 영역(44) 또한, 로컬 이미지 영역(45)과 구별되도록 네모의 형태를 가지는 도형으로 마킹될 수 있다. 이 때, 로컬 이미지 영역(45)과 피사체 영역(44)을 마킹하는 네모의 형태를 가지는 도형은 각각 색깔을 달리하여 구별될 수 있다. 예를 들면, 로컬 이미지 영역(45)는 빨간색의 도형으로 마킹될 수 있고, 피사체 영역(44)은 파란색의 도형으로 마킹될 수 있다. 제2 영상(42)으로부터 로컬 이미지 영역(45)이 검출되면, 제어부(130)는 검출된 로컬 이미지 영역(45)을 제1 영상(41)에 합성하여, 피사체가 제거된 배경 이미지(43)을 생성할 수 있다.
도 4의 (c)에 따르면, 제1 영상(41)의 피사체 영역(44)을 제2 영상(42)의 로컬 이미지 영역(45)으로 치환함으로써, 피사체가 제거된 완전한 배경 이미지(43)가 생성될 수 있다. 이 때, 제어부(130)는 제1 영상의 마킹된 피사체 영역(44)을 한 단위로 하여 일시에 치환할 수도 있고, 제1 영상의 마킹된 피사체 영역(44)을 복수의 영역으로 구분하여 구분된 복수의 영역(서브 영역)을 한 단위로 하여 각각 치환할 수도 있다. 예를 들어, 피사체가 왼쪽으로 서서히 이동하는 경우에, 피사체가 이동함에 따라 구분된 복수의 서브 영역마다 이에 대응되는 복수의 구분된 로컬 이미지 영역(서브 로컬 이미지 영역)을 각각 치환할 수 있다.
한편, 제1 영상(41), 제2 영상(42) 및 제3 영상(43)은 각각 따로 촬영된 영상일 수 있고, 연속적으로 촬영된 영상일 수도 있다.
도 5는 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 구성을 상세히 도시한 블럭도이다. 도 5에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 디스플레이 장치(100')는 저장부(110), 출력부(120), 제어부(130), 촬영부(140), 통신부(150) 및 사용자 인터페이스부(160)를 포함한다. 도 5에 따르면, 디스플레이 장치(100')는 출력부(120)로서 디스플레이부(121) 및 스피커부(122)가 내장되어 구현 될 수 있다. 여기서, 도 1에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
저장부(110)는 촬영된 영상 및 이를 처리하여 생성된 배경 이미지, 피사체 이미지 외에도 디스플레이 장치(100')를 구동하기 위한 다양한 모듈을 저장한다. 특히, 저장부(110)의 구성에 대해서는 도 6을 참조하여 설명하기로 한다.
도 6은 본 발명의 일 실시 예에 따른, 저장부의 구성을 상세히 도시한 블럭도이다.
도 6에 따르면, 저장부(110)에는 베이스 모듈(111), 센싱 모듈(112), 통신 모듈(113), 프리젠테이션 모듈(114), 웹 브라우저 모듈(115), 서비스 모듈(116) 및 배경 이미지 생성 모듈(117)을 포함하는 소프트웨어가 저장될 수 있다.
베이스 모듈(111)이란 디스플레이 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 스토리지 모듈(111-1)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 보안 모듈(111-2)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(111-3)이란 네트워크 연결을 지원하기 위한 모듈이다.
센싱 모듈(112)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다.
통신 모듈(113)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(113)은 메시징 모듈 및 전화 모듈을 포함할 수 있다.
프리젠테이션 모듈(114)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(114)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, GUI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함한다.
웹 브라우저 모듈(115)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다.
서비스 모듈(116)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 구체적으로는, 서비스 모듈(116)은 SNS 프로그램, 컨텐츠 재생 프로그램 등과 같은 다양한 프로그램 모듈을 포함할 수 있다.
배경 이미지 생성 모듈(117)은 배경 이미지를 생성하고, 생성된 배경 이미지를 이용하여 피사체 이미지를 분리하기 위한 각종 모듈을 포함하는 구성으로, 피사체 영역 검출 모듈(117-1), 이동 필요 거리 계산 모듈(117-2), 로컬 이미지 영역 검출 모듈(117-3), 배경 이미지 합성 모듈(117-4), 피사체 이미지 분리 모듈(117-5)을 포함할 수 있다.
피사체 영역 검출 모듈(117-1)은 제1 영상 및 제2 영상에 있어서 피사체에 해당하는 픽셀 영역을 검출할 수 있다. 피사체 영역 검출 모듈(117-1)은 얼굴 검출 및 추적 알고리즘을 이용하여 영상 내에서 사용자 얼굴 부분을 검출하고, 사용자 얼굴 부분을 포함하는 로컬 영역을 피사체 영역으로 검출할 수 있다. 얼굴 검출 알고리즘은 예를 들어, 사람의 머리와 어깨 모양을 이용하는 오메가 디텍션(Omega Detection) 또는 학습된 얼굴 이미지 데이터를 이용하여 사람의 얼굴을 검출하는 학습 기반의 알고리즘들(예를 들어, Addaboost 학습 알고리즘 등)일 수 있다. 얼굴 추적 알고리즘은 예를 들어, 히스토그램(Histogram) 기반의 Mean-Shift 추적 방식을 이용한 알고리즘일 수 있다.
또한, 피사체 영역 검출 모듈(117-1)은 피사체를 복수 횟수 연속적으로 촬영하여 저장된 복수의 제1 영상을 서로 비교하여 움직임이 감지되는 영역을 피사체 영역으로 검출할 수 있다. 피사체 영역 검출 모듈(117-1)은 움직임이 감지되는 영역의 중심 위치가 시간에 따라 변하는 정도를 분석 및 판단하고, 그 정도가 미리 결정된 범위를 초과할 때 움직임이 감지되는 영역을 피사체 영역으로 판단할 수 있다.
이동 필요 거리 계산 모듈(117-2)은, 피사체 영역으로부터 피사체가 벗어나기 위하여 얼마만큼 이동해야 할지를 계산하는 구성이다. 피사체의 크기 및 위치를 추정하여, 피사체가 피사체 영역으로부터 얼마만큼 이동하여야 로컬 이미지 영역이 모두 보일 수 있는지를 걸음 단위 또는 미터 단위로 계산할 수 있다.
로컬 이미지 영역 검출 모듈(117-3)은, 제2 영상으로부터 제1 영상의 피사체 영역에 대응되는 로컬 이미지 영역을 검출할 수 있다.
배경 이미지 합성 모듈(117-4)은, 제1 영상의 피사체 영역을 로컬 이미지 영역 검출 모듈(117-3)로부터 검출된 로컬 이미지 영역으로 치환하는 방법으로 배경 이미지를 합성하여 피사체가 제거된 배경 이미지를 생성할 수 있다.
피사체 이미지 분리 모듈(117-5)은, 배경 이미지 합성 모듈(117-4)에서 생성된 배경 이미지와 촬영부(140)로부터 획득된 제3 영상을 비교하여, 제3 영상으로부터 배경 및 피사체 이미지를 분리할 수 있다. 구체적으로, 피사체 이미지 분리 모듈(117-5)은 제3 영상에 있어서, 기 생성된 배경 이미지와 픽셀값이 일치하는 영역을 제거함으로써, 사람 픽셀만을 제3 영상에서 추출할 수 있다. 배경 이미지와 제 영상을 비교하기 위하여 제3 영상에 속하는 각 화소마다 배경 이미지와의 유사도를 계산한다. 그리고 이 유사도에 따라서 각 화소를 피사체 또는 배경 중 어느 하나로 분류하는데, 예를 들어, 유사도가 높으면 배경 화소로, 유사도가 낮으면 피사체로 분류할 수 있다.
도 6에서는 다양한 모듈들에 대하여 도시 및 설명하였지만, 이들 중 일부 모듈은 디스플레이 장치(100')의 종류나 특성 등에 따라 생략 또는 변경될 수도 있다. 가령, 웹 브라우저 모듈(115)은 디스플레이 장치(100')가 인터넷 기능을 갖추지 않았다면, 생략될 수도 있다.
다시 도 5에 대해 설명하면, 제어부(130)는 저장부(110)에 저장된 각종 모듈을 이용하여 디스플레이 장치(100')의 전반적인 동작을 제어한다.
제어부(130)는 도 5에 도시된 바와 같이, RAM(131), ROM(132), 피사체 검출부(133), 영상 처리부(134), 메인 CPU(135), 제1 내지 n 인터페이스(136-1 ~ 136-n), 버스(137)를 포함한다. 이때, RAM(131), ROM(132), 피사체 검출부(133), 영상 처리부(134), 메인 CPU(135), 제1 내지 n 인터페이스(136-1 ~ 136-n) 등은 버스(137)를 통해 서로 연결될 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 메인 CPU(135)는 저장부(110)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
피사체 검출부(133)는 저장부(110)에 저장된 피사체 영역 검출 모듈을 이용하여 제1 영상으로부터 피사체를 검출하는 구성요소이다. 피사체 검출부(133)는 얼굴 검출 및 추적 알고리즘을 이용하여 제1 영상 내에서 사용자 얼굴 부분을 검출하고, 사용자 얼굴 부분을 포함하는 로컬 영역을 피사체 영역으로 검출할 수 있다. 또는, 피사체 검출부(133)는 촬영부(140)로부터 복수 횟수 연속적으로 촬영된 피사체에 대한 복수의 제1 영상을 비교하여, 움직임이 감지되는 영역의 중심 위치가 시간에 따라 변하는 정도를 분석 및 판단하고, 그 정도가 미리 결정된 범위를 초과할 때 움직임이 감지되는 영역을 피사체 영역으로 판단할 수도 있다. 이를 위해 피사체 검출부(133)는 움직임 감지 센서를 포함할 수 있다. 움직임 감지 센서는 가속도 센서, 지자기 센서 등의 다양한 센서를 포함한다.
영상 처리부(134)는 촬영된 영상에 대한 영상 처리를 수행하는 구성요소이다. 영상 처리부(134)에서는 촬영된 영상에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 특히, 영상 처리부(134)는 영상에서 검출된 피사체 영역 및 로컬 이미지 영역을 마킹 처리할 수 있고, 제1 영상의 피사체 영역을 검출된 로컬 이미지 영역으로 치환하는 방법으로 제1 영상을 합성하여 피사체가 제거된 배경 이미지를 생성하도록 영상 처리를 수행할 수 있다.
메인 CPU(135)는 저장부(110)에 액세스하여, 저장부(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(135)는 저장부(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(136-1 내지 136-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기 또는 외부 서버와 통신을 수행하는 구성이다. 통신부(150)는 와이파이 칩, 블루투스칩, NFC 칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 통신부(150)는 외부 디스플레이 장치 또는 외부 스피커와 통신을 수행하여 외부 디스플레이 장치 또는 외부 스피커로 하여금 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력하도록 할 수 있다. 또한, 통신부(150)는 디스플레이 장치(100')가 촬영 장치를 내장하지 않는 경우에, 촬영 장치와 통신하여, 촬영되는 영상에 관한 데이터를 수신할 수 있다.
촬영부(140)는 촬영 장치가 디스플레이 장치(100')에 포함되어 구현된 구성으로서, 제어부(130)의 제어 하에 일반적인 디지털 카메라 기능을 수행하여, 외부 촬영 대상으로부터 입력되는 가시광을 촬영하게 된다. 이러한 촬영부(140)는 CCD 촬상 소자 등으로 구성되는 촬영부를 구비하며, 이 외에도 조도 측정을 위한 조도 센서, 피사체와의 초점거리 측정을 위한 거리 센서 등을 구비할 수 있다. 제어부(130)는 촬영부(140)에 의해 출력되는 영상 데이터를 처리하여 적절한 포맷의 디지털 영상 데이터로 변환할 수 있다.
사용자 인터페이스부(160)는 디스플레이 장치(100')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성이다. 특히, 사용자 인터페이스부(160)는 도 5에 도시된 바와 같이, 마이크(161), 리모컨 신호 수신부(162) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.
도 7 내지 도 9는 본 발명의 다양한 실시 예에 따른, 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 방법을 설명하기 위한 도면이다.
도 7은 촬영 장치가 디스플레이 장치에 포함되도록 구현되었을 때, 디스플레이부를 통해 사람이 피사체 영역을 벗어나도록 안내 메세지를 출력하는 모습을 도시한 것이다.
도 7에 도시된 바와 같이, 디스플레이 장치(100')는 촬영부(140) 및 디스플레이부(121)를 구비할 수 있다. 이에 디스플레이 장치(100')는 제1 영상(73)을 디스플레이하는 디스플레이 패널 상에서 사람(70)이 이동할 방향 및 거리를 나타내는 GUI 메세지를 출력하여 피사체 영역(71)으로부터 사람(70)이 이동하도록 안내할 수 있다. 이 때, GUI 메세지는 도 7(a)에 도시된 바와 같이, 제1 영상(73) 내에서의 사람(70)이 위치하는 영역인 피사체 영역(71)을 표시하는 형태로 출력될 수 있다. 이 경우, 사용자는 디스플레이부(121)에 표시된 피사체 영역(71)으로부터 자신의 위치를 확인하면서 피사체 영역(71) 밖으로 완전히 이동할 수 있다.
한편, GUI 메세지는 도 7(b)에 도시된 바와 같이, "왼쪽 또는 오른쪽으로 두발짝 이동하여 주십시오"와 같은 메세지로 디스플레이부(121)에 출력될 수 있다. 디스플레이 장치는 사람의 크기 및 위치를 계산하여, 피사체 영역을 벗어나기 위하여 사람이 이동해야 하는 방향 및 거리를 도출하고, 미터 단위 또는 걸음 단위 등으로 출력한다. 이 경우, 사용자는 디스플레이부(121)에 표시된 명령에 따라, 어느 정도 이동해야 피사체 영역을 벗어날 수 있는지 알 수 있게 된다.
도 8은 디스플레이 장치가 스피커부를 통해 사람이 피사체 영역을 벗어나도록 안내 메세지를 출력하는 모습을 도시한 것이다.
도 8에 도시된 바와 같이, "왼쪽 또는 오른쪽으로 두발짝 이동하여 주십시오"와 같은 메세지가 스피커부(122)를 통해 출력될 수 있다. 본 실시 예에 따른 디스플레이 장치(100')는 음성을 통해 사용자에게 피사체 영역을 벗어나기 위하여 이동해야 하는 방향 및 거리를 안내할 수 있다.
또한, 도 7 및 도 8의 디스플레이 장치는 디스플레이부를 통해 GUI 메세지를 출력함과 동시에 스피커부를 통해 음성 메세지를 출력함으로써, 피사체가 이동해야 하는 방향 및 거리를 안내할 수도 있음은 물론이다.
도 9는 촬영 장치가 사용자 단말 장치와 통신함으로써, 사람이 피사체 영역을 벗어나도록 안내 메세지가 사용자 단말 장치에 의해 출력되는 모습을 도시한 것이다.
도 9에 도시된 바와 같이, 디스플레이 장치는 스마트 폰 등의 사용자 단말 장치로 구현되었으며, 촬영 장치(200)는 통신부를 통하여, 촬영되는 영상에 관한 데이터를 사용자 단말 장치(100'')로 전송하고, 사용자 단말 장치(100'')는 피사체가 이동하도록 안내하는 안내 메세지를 출력할 수 있다. 이 때, 촬영 장치(200) 및 사용자 단말 장치(100'')는 와이 파이, 블루투스, NFC 방식 등으로 페어링되어 통신을 수행할 수 있다. 이에 따라, 사용자(90)는 소지하고 있는 사용자 단말 장치(100'')를 통해, 자신의 위치를 확인하고, 피사체 영역을 벗어나기 위하여 이동해야 하는 방향 및 거리를 알 수 있다. 이 때, 안내 메세지는 사용자 단말 장치(100'')의 디스플레이부를 통해 피사체가 이동할 방향 및 거리를 나타내는 GUI 메세지 또는 스피커부를 통한 음성 메세지일 수도 있으며, GUI 메세지 및 음성 메세지를 모두 포함할 수 있다. 이에 따라, 사용자는 소지하고 있는 사용자 단말 장치(100'')를 통하여 편리하게 피사체 영역을 벗어날 수 있다.
도 10는 본 발명의 다른 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 10에 도시된 바와 같이, 피사체 영역은 복수 개의 서브 영역으로 구분될 수 있다. 이하에서는, 피사체 영역이 2개의 서브 영역으로 구분된 경우를 예로 들어 설명하도록 한다. 피사체 영역은 설정에 따라, 사용자의 얼굴만을 포함하도록 설정될 수도 있고, 사람의 전신 영역을 포함하도록 설정될 수도 있다. 본 실시 예와 같이 사람의 상체는 움직이지 않고, 얼굴의 위치만을 움직이는 영상을 촬영하는 경우라면, 영상에서 사람을 추출하기 위해 사람의 얼굴 부분에 대응되는 로컬 이미지 영역을 검출하면 충분하고, 사람의 상체부분에 대응되는 로컬 이미지 영역까지 검출할 필요는 없다. 따라서, 이러한 경우, 피사체 영역은 사람의 얼굴만을 포함하도록 설정되어도 무방하다. 도 10은 화상 회의 등과 같이 사람의 상체는 움직이지 않는 경우의 일 실시 예로서, 사람의 얼굴 영역만을 피사체 영역으로 설정한 경우를 설명한다.
도 10의 (a)에 도시된 바와 같이, 제1 영상(101)에 있어서, 사람의 얼굴에 해당하는 피사체 영역(104)이 검출된다. 여기서, 피사체 영역(104)은 피사체 영역 바깥 영역과 구분되도록 색상을 처리할 수 있다. 여기서, 제어부(130)는 피사체 영역(104)을 2개의 서브 영역으로 구분할 수 있다.
도 10의 (b)에 도시된 바와 같이, 제어부(130)는 제2 영상(102)의 로컬 이미지 영역을 2개의 서브 영역에 대응되도록 2개의 서브 로컬 이미지 영역으로 구분할 수 있다. 이에 따라, 화면 상에서 사람이 안내 메세지에 따라 고개를 오른쪽으로 기울인 경우, 2개의 서브 영역 중 왼쪽에 해당하는 서브 영역에 대응되는 서브 로컬 이미지 영역(105)이 표시되며, 이 경우 디스플레이 장치(100)는 디스플레이부(121)를 통해 해당 표시되는 서브 로컬 이미지 영역(105)이 학습되었다는 것을 사용자에게 알려줄 수 있다. 이 경우, 해당 표시되는 서브 로컬 이미지 영역(105)의 색상은 나머지 오른쪽 서브 영역(106)과는 다른 색상으로 구분되거나, 기처리된 색상이 캔슬되어 구분될 수도 있다. 이때, 서브 로컬 이미지 영역 단위로, 해당 표시되는 서브 로컬 이미지 영역(105)이 제1 영상에 합성될 수 있다.
도 10의 (c)에 도시된 바와 같이, 화면 상에서 사람이 안내 메세지에 따라 고개를 왼쪽으로 기울인 경우, 2개의 서브 영역 중 오른쪽에 해당하는 서브 영역에 대응되는 서브 로컬 이미지 영역(107)이 표시되며, 이 경우 디스플레이 장치(100)는, 디스플레이부(121)를 통해 해당 표시되는 서브 로컬 이미지 영역(107)이 학습되었다는 것을 사용자에게 알려줄 수 있다. 이 경우, 해당 표시되는 서브 로컬 이미지 영역(107)의 색상은 나머지 오른쪽 서브 로컬 이미지 영역(105)과 동일한 색상으로 처리되거나, 기처리된 색상이 캔슬되어 구분될 수 있다. 이 때, 해당 표시되는 서브 로컬 이미지 영역(107)이 제1 영상에 추가적으로 합성될 수 있다.
도 11는 본 발명의 일 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 이미지 처리 방법을 설명하기 위한 흐름도이다.
먼저, 피사체가 촬영되면, 촬영된 제1 영상을 저장한다(S1110). 이 후, 제1 영상 내에서 피사체 영역을 검출한다(S1120). 피사체 영역은, 얼굴 추적 알고리즘을 이용하는 방법, 또는 피사체를 복수 횟수 연속적으로 촬영하여 복수의 제1 영상을 저장하고, 복수의 제1 영상을 비교하여 움직임이 감지되는 영역을 피사체 영역으로 검출하는 방법을 이용할 수 있다. 이 후, 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력한다(S1130). 이 때, 안내 메세지는 제1 영상을 디스플레이하는 디스플레이 패널 상에서 피사체가 이동할 방향 및 거리를 안내하는 GUI 메세지로 구현될 수 있다. 또는, 안내 메세지는 스피커부를 통해 피사체가 이동할 방향 및 거리를 안내하는 음성 메세지로 구현될 수도 있다. 이 후, 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 저장한다(S1140). 이 후, 제1 영상 내의 피사체 영역에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출한다(S1150). 이 경우 피사체 영역은 복수 개의 서브 영역으로 구분될 수 있고, 제2 영상의 로컬 이미지 영역을 복수 개의 서브 영역에 대응되도록 복수의 서브 로컬 이미지 영역으로 구분할 수 있다. 이 후, 검출된 로컬 이미지 영역을 제1 영상에 합성하여, 피사체가 제거된 배경 이미지를 생성한다(S1160). 이 때, 로컬 이미지 영역은 적어도 하나의 서브 로컬 이미지 영역 단위로 제1 영상에 합성될 수 있다.
도 12는 본 발명의 다른 실시 예에 따른, 피사체가 제거된 배경 이미지를 생성하는 이미지 처리 방법을 설명하기 위한 흐름도이다.
먼저, 촬영장치로부터 피사체가 촬영되면, 촬영된 제1 영상을 획득한다(S1205). 이 후, 획득한 제1 영상을 저장한다(S1210). 이 후, 제1 영상 내에서 피사체 영역을 검출한다(S1215). 이 후, 디스플레이부에 피사체 영역을 표시하고, 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력한다(S1220). 이 후, 촬영장치로부터 피사체가 이동한 상태에서 재촬영된 제2 영상을 획득한다(S1225). 이 후, 제2 영상 내에서 피사체 영역을 검출한다(S1230). 이 때 검출된 피사체 영역을 통해 피사체의 위치가 이동되었는지 여부를 판단한다(S1235). 피사체가 이동되지 않은 경우(S1235:N), 촬영부에서 제2 영상을 계속적으로 획득한다(S1225). 피사체가 이동된 경우(S1235:Y), 제2 영상 내에서 로컬 이미지 영역을 검출한다(S1240). 이 후, 검출된 로컬 이미지 영역을 제1 영상에 합성한다(S1245). 이 때, 모든 로컬 이미지 영역이 검출되지 않은 경우(S1250:N), 촬영부에서 제2 영상을 계속적으로 획득한다(S1225). 모든 로컬 이미지 영역이 검출된 경우(S1250:Y), 배경 이미지를 생성한다(S1255). 이 후, 촬영 장치로부터 피사체가 촬영된 제3 영상을 획득한다(S1260). 이 후, 생성된 배경 이미지와 제3 영상을 비교하여 피사체 이미지를 분리하여 디스플레이한다(S1265).
이상과 같이 본 발명의 다양한 실시 예에 따르면, 촬영한 영상을 이용하여 배경 이미지를 생성할 수 있다. 생성된 배경 이미지는 다양한 방식으로 활용될 수 있다. 일 예로, 동일 배경 상에서 다른 사용자가 촬영을 한 경우, 배경 이미지를 이용하여 그 사용자 이미지만을 정확하게 추출할 수도 있다. 또는, 생성된 배경 이미지는 다른 사용자 얼굴과 합성하여 새로운 영상을 만들 수도 있다.
상술한 다양한 실시 예에 따른 이미지 처리 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 이미지 처리 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 피사체가 촬영되면, 촬영된 제1 영상을 저장하는 단계, 제1 영상 내에서 피사체 영역을 검출하는 단계, 피사체 영역으로부터 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 단계, 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 저장하는 단계, 제1 영상 내의 피사체 영역에 대응되는 로컬 이미지 영역을 제2 영상으로부터 검출하는 단계 및 검출된 로컬 이미지 영역을 제1 영상에 합성하여 피사체가 제거된 배경 이미지를 생성하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 저장부
120: 출력부 130: 제어부
200: 촬영 장치

Claims (17)

  1. 디스플레이 장치의 이미지 처리 방법에 있어서,
    피사체가 촬영되면, 촬영된 제1 영상을 저장하는 단계;
    상기 제1 영상 내에서 피사체 영역을 검출하는 단계;
    상기 피사체 영역으로부터 상기 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 단계;
    상기 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 저장하는 단계;
    상기 제1 영상 내의 피사체 영역에 대응되는 로컬 이미지 영역을 상기 제2 영상으로부터 검출하는 단계; 및
    상기 검출된 로컬 이미지 영역을 상기 제1 영상에 합성하여, 상기 피사체가 제거된 배경 이미지를 생성하는 단계;를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 피사체가 촬영된 제3 영상을 획득하는 단계;
    상기 배경 이미지와 상기 제3 영상을 비교하여, 상기 제3 영상으로부터 피사체 이미지를 분리하여 디스플레이하는 단계;를 더 포함하는 이미지 처리 방법.
  3. 제 2항에 있어서,
    상기 디스플레이하는 단계는,
    상기 제 3영상으로부터 분리된 피사체 이미지를 기 저장된 다른 배경 이미지와 합성하여 디스플레이하는 것을 특징으로 하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 안내 메세지는,
    상기 제1 영상을 디스플레이하는 디스플레이부에서 상기 피사체가 이동할 방향 및 거리를 나타내는 GUI 메세지인 것을 특징으로 하는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 안내 메세지는,
    상기 피사체가 이동할 방향 및 거리를 안내하는 음성 메세지인 것을 특징으로 하는 이미지 처리 방법.
  6. 제2항에 있어서,
    상기 피사체 영역을 검출하는 단계는,
    상기 제1 영상 내에서 사용자 얼굴 부분을 검출하는 단계; 및
    상기 사용자 얼굴 부분을 포함하는 로컬 영역을 상기 피사체 영역으로 검출하는 단계;를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제2항에 있어서,
    상기 피사체 영역을 검출하는 단계는,
    상기 피사체를 복수 횟수 연속적으로 촬영하여 복수의 제1 영상을 저장하는 단계; 및
    상기 복수의 제1 영상을 비교하여 움직임이 감지되는 영역을 상기 피사체 영역으로 검출하는 단계;를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제2항에 있어서,
    상기 피사체 영역을 복수 개의 서브 영역으로 구분하는 단계; 및
    상기 제2 영상의 상기 로컬 이미지 영역을 상기 복수 개의 서브 영역에 대응되도록 복수의 서브 로컬 이미지 영역으로 구분하는 단계;를 더 포함하며,
    상기 로컬 이미지 영역은, 적어도 하나의 서브 로컬 이미지 영역 단위로 상기 제1 영상에 합성되는 것을 특징으로 하는 이미지 처리 방법.
  9. 피사체가 촬영되면, 촬영된 제1 영상을 저장하는 저장부;
    상기 제1 영상이 저장되면 상기 제1 영상 내의 피사체 영역으로부터 상기 피사체가 이동하도록 안내하는 안내 메세지를 출력하는 출력부;
    상기 피사체가 이동한 상태에서 재촬영이 이루어지면, 재촬영된 제2 영상을 획득하고, 상기 제1 영상 내의 상기 피사체 영역에 대응되는 로컬 이미지 영역을 상기 제2 영상으로부터 검출하며, 상기 검출된 로컬 이미지 영역을 상기 제1 영상에 합성하여, 상기 피사체가 제거된 배경 이미지를 생성하여 상기 저장부에 저장하는 제어부;를 포함하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 출력부는 디스플레이부를 포함하고,
    상기 제어부는,
    상기 피사체가 촬영된 제3 영상을 획득하고, 상기 배경 이미지와 상기 제3 영상을 비교하여, 상기 제3 영상으로부터 피사체 이미지를 분리하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 제3 영상으로부터 분리된 피사체 이미지를 기 저장된 다른 배경 이미지와 합성하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제9항에 있어서,
    상기 안내 메세지는,
    상기 제1 영상을 디스플레이하는 디스플레이부에서 상기 피사체가 이동할 방향 및 거리를 나타내는 GUI 메세지인 것을 특징으로 하는 디스플레이 장치.
  13. 제9항에 있어서,
    상기 안내 메세지는,
    상기 피사체가 이동할 방향 및 거리를 안내하는 음성 메세지인 것을 특징으로 하는 디스플레이 장치.
  14. 제10항에 있어서,
    상기 제어부는,
    상기 제1 영상 내에서 사용자 얼굴 부분을 검출하고, 상기 사용자 얼굴 부분을 포함하는 로컬 영역을 피사체 영역으로 검출하는 것을 특징으로 하는 디스플레이 장치.
  15. 제10항에 있어서,
    상기 저장부는,
    상기 피사체를 복수 횟수 연속적으로 촬영하여 복수의 제1 영상을 저장하고,
    상기 제어부는,
    상기 복수의 제1 영상을 비교하여 움직임이 감지되는 영역을 피사체 영역으로 검출하는 것을 특징으로 하는 디스플레이 장치.
  16. 제10항에 있어서,
    상기 제어부는,
    상기 제1 영상 내에서 상기 피사체가 포함된 피사체 영역을 검출하여 상기 피사체 영역을 복수 개의 서브 영역으로 구분하고, 상기 제2 영상으로부터 검출되는 상기 로컬 이미지 영역을 상기 복수 개의 서브 영역에 대응되도록 복수 개의 서브 로컬 이미지 영역으로 구분하여, 적어도 하나의 서브 로컬 이미지 영역 단위로 상기 제1 영상에 합성하는 것을 특징으로 하는 디스플레이 장치.
  17. 프로세서에 의해 처리되어 제1항 내지 제8항 중 어느 한 항에 따른 이미지 처리 방법을 실행하기 위하여, 기록 매체에 저장된 컴퓨터 프로그램.

KR1020140159026A 2014-11-14 2014-11-14 디스플레이 장치 및 그에 의한 이미지 처리 방법 KR20160057867A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140159026A KR20160057867A (ko) 2014-11-14 2014-11-14 디스플레이 장치 및 그에 의한 이미지 처리 방법
US14/929,837 US9807300B2 (en) 2014-11-14 2015-11-02 Display apparatus for generating a background image and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140159026A KR20160057867A (ko) 2014-11-14 2014-11-14 디스플레이 장치 및 그에 의한 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20160057867A true KR20160057867A (ko) 2016-05-24

Family

ID=56079394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140159026A KR20160057867A (ko) 2014-11-14 2014-11-14 디스플레이 장치 및 그에 의한 이미지 처리 방법

Country Status (2)

Country Link
US (1) US9807300B2 (ko)
KR (1) KR20160057867A (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710731B (zh) * 2015-06-26 2021-05-04 麦克赛尔株式会社 摄像装置以及图像处理方法
US10074161B2 (en) * 2016-04-08 2018-09-11 Adobe Systems Incorporated Sky editing based on image composition
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
JP6385543B1 (ja) * 2017-09-29 2018-09-05 株式会社ドワンゴ サーバ装置、配信システム、配信方法及びプログラム
US11481997B1 (en) * 2018-03-09 2022-10-25 Snap Inc. Presentation of information from the sky
CN109068055B (zh) * 2018-08-10 2021-01-08 维沃移动通信有限公司 一种构图方法、终端和存储介质
KR102061867B1 (ko) * 2018-09-10 2020-01-02 한성욱 이미지 생성 장치 및 그 방법
US10785421B2 (en) * 2018-12-08 2020-09-22 Fuji Xerox Co., Ltd. Systems and methods for implementing personal camera that adapts to its surroundings, both co-located and remote
CN109767397B (zh) * 2019-01-09 2022-07-12 三星电子（中国）研发中心 一种基于人工智能的图像优化方法和系统
US11609627B2 (en) * 2019-12-09 2023-03-21 Lenovo (Singapore) Pte. Ltd. Techniques for processing audible input directed to second device based on user looking at icon presented on display of first device
JP2022045757A (ja) * 2020-09-09 2022-03-22 キヤノン株式会社 撮像制御装置およびその制御方法
US11159716B1 (en) * 2020-09-21 2021-10-26 International Business Machines Corporation Photography assist using smart contact lenses
US20220350925A1 (en) * 2021-04-29 2022-11-03 Cisco Technology, Inc. Selective privacy filtering for online conferences

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914748A (en) * 1996-08-30 1999-06-22 Eastman Kodak Company Method and apparatus for generating a composite image using the difference of two images
AU4747800A (en) * 2000-04-14 2001-10-30 Orlean Holding N.V. An improved system and method for digitally editing a composite image
US7555158B2 (en) * 2004-12-07 2009-06-30 Electronics And Telecommunications Research Institute Apparatus for recovering background in image sequence and method thereof
JP2006179984A (ja) * 2004-12-20 2006-07-06 Fuji Photo Film Co Ltd 撮像システム及び撮像方法
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
CN101122457B (zh) * 2006-08-09 2010-09-29 鸿富锦精密工业（深圳）有限公司 影像边界扫描系统及方法
US7869631B2 (en) * 2006-12-11 2011-01-11 Arcsoft, Inc. Automatic skin color model face detection and mean-shift face tracking
US8274530B2 (en) * 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
IL190757A (en) * 2008-04-09 2013-03-24 Rafael Advanced Defense Sys Method for remote spectral analysis of gas plumes
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
US8136167B1 (en) * 2008-10-20 2012-03-13 Google Inc. Systems and methods for providing image feedback
NO329897B1 (no) * 2008-12-19 2011-01-24 Tandberg Telecom As Fremgangsmate for raskere ansiktsdeteksjon
KR20110111662A (ko) 2010-04-05 2011-10-12 한국전자통신연구원 객체 형태 검출을 위한 배경 모델링 방법
AU2011237473B2 (en) * 2010-04-08 2014-08-07 Vidyo, Inc. Remote gaze control system and method
KR101729924B1 (ko) * 2010-08-03 2017-04-26 삼성전자주식회사 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법
KR101241625B1 (ko) 2012-02-28 2013-03-11 인텔 코오퍼레이션 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101498973B1 (ko) * 2013-11-21 2015-03-05 현대모비스(주) 차량용 주차 지원 시스템 및 방법

Also Published As

Publication number Publication date
US20160155009A1 (en) 2016-06-02
US9807300B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
US11809998B2 (en) Maintaining fixed sizes for target objects in frames
CN109858371B (zh) 人脸识别的方法及装置
CN108805047B (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
CN109325933B (zh) 一种翻拍图像识别方法及装置
CN105518712B (zh) 基于字符识别的关键词通知方法及设备
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN109478227B (zh) 计算设备上的虹膜或其他身体部位识别
JP2018507476A (ja) コンピュータビジョンに関する遮蔽処理
JPWO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
JP2005250950A (ja) マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
KR20120010875A (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
US10600218B2 (en) Display control system, display control apparatus, display control method, and storage medium
CN108985263B (zh) 一种数据采集方法、装置、电子设备和计算机可读介质
CN111242090A (zh) 基于人工智能的人脸识别方法、装置、设备及介质
KR20110089655A (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
JP5776471B2 (ja) 画像表示システム
EP2926293A2 (en) Methods, systems, and media for detecting gaze locking
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
KR20140043159A (ko) 그래프 매칭 및 사이클 검출에 의한 자동 모델 초기화로의 라인 트래킹
JP2013195725A (ja) 画像表示システム
EP2831702B1 (en) Information processing device, information processing method and program
US10282633B2 (en) Cross-asset media analysis and processing
JP2015099603A (ja) 画像表示システム
CN113805824B (zh) 电子装置以及在显示设备上显示图像的方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid