KR20140088452A - 디스플레이 장치 및 이의 화상 통화 방법 - Google Patents

디스플레이 장치 및 이의 화상 통화 방법 Download PDF

Info

Publication number
KR20140088452A
KR20140088452A KR1020130000339A KR20130000339A KR20140088452A KR 20140088452 A KR20140088452 A KR 20140088452A KR 1020130000339 A KR1020130000339 A KR 1020130000339A KR 20130000339 A KR20130000339 A KR 20130000339A KR 20140088452 A KR20140088452 A KR 20140088452A
Authority
KR
South Korea
Prior art keywords
user
image
interest
face
region
Prior art date
Application number
KR1020130000339A
Other languages
English (en)
Other versions
KR101800617B1 (ko
Inventor
김상윤
이봉석
류희섭
박승권
이동호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130000339A priority Critical patent/KR101800617B1/ko
Priority to AU2013276984A priority patent/AU2013276984B2/en
Priority to EP13199563.1A priority patent/EP2753075A1/en
Priority to US14/146,069 priority patent/US9319632B2/en
Priority to CN201410001541.6A priority patent/CN103916623B/zh
Publication of KR20140088452A publication Critical patent/KR20140088452A/ko
Application granted granted Critical
Publication of KR101800617B1 publication Critical patent/KR101800617B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04D—ROOF COVERINGS; SKY-LIGHTS; GUTTERS; ROOF-WORKING TOOLS
    • E04D11/00—Roof covering, as far as not restricted to features covered by only one of groups E04D1/00 - E04D9/00; Roof covering in ways not provided for by groups E04D1/00 - E04D9/00, e.g. built-up roofs, elevated load-supporting roof coverings
    • E04D11/02—Build-up roofs, i.e. consisting of two or more layers bonded together in situ, at least one of the layers being of watertight composition
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04D—ROOF COVERINGS; SKY-LIGHTS; GUTTERS; ROOF-WORKING TOOLS
    • E04D13/00—Special arrangements or devices in connection with roof coverings; Protection against birds; Roof drainage ; Sky-lights
    • E04D13/16—Insulating devices or arrangements in so far as the roof covering is concerned, e.g. characterised by the material or composition of the roof insulating material or its integration in the roof structure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04D—ROOF COVERINGS; SKY-LIGHTS; GUTTERS; ROOF-WORKING TOOLS
    • E04D1/00—Roof covering by making use of tiles, slates, shingles, or other small roofing elements
    • E04D1/34—Fastenings for attaching roof-covering elements to the supporting elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

디스플레이 장치 및 이의 화상 통화 방법이 제공된다. 본 디스플레이 장치의 화상 통화 방법은 영상을 촬영하고, 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하며, 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하고, 화상 통화 영상을 외부 장치에 전송한다. 이에 의해, 사용자는 대화면의 디스플레이 장치를 이용하여 자연스럽고 편리한 화상 통화를 제공받을 수 있게 된다.

Description

디스플레이 장치 및 이의 화상 통화 방법{Display apparatus and Method for video calling thereof}
본 발명은 디스플레이 장치 및 이의 화상 통화 방법에 관한 것으로, 더욱 상세하게는 외부 장치와 화상 통화를 수행할 수 있는 디스플레이 장치 및 이의 화상 통화 방법에 관한 것이다.
통신 기술이 발달하고, 디스플레이 장치에 카메라가 채용됨에 따라, 근래의 디스플레이 장치에는 화상 통화 기능이 제공되고 있다. 이에 따라, 사용자는 가족 혹은 친구와의 화상 통화를 대화면의 디스플레이 장치를 통해 수행할 수 있게 되었다.
그러나, 종래에는 디스플레이 장치가 화상 통화 기능을 제공하더라도 디스플레이 장치의 카메라가 기 설정된 영역만을 촬영하였기 때문에, 화상 통화 시 사용자에게 동일한 위치 및 동일한 크기의 영상이 제공되었다.
이에 의해, 디스플레이 장치와 사용자가 멀리 떨어져 있는 경우, 사용자가 작게 보이거나, 디스플레이 장치와 가까이 존재하는 경우, 사람의 얼굴이 너무 크게 보이는 문제점이 발생하였다.
또한, 항상 동일한 위치 및 동일한 크기의 영상이 제공되므로, 한 사람이 촬영되는 경우, 영상 내에서 촬영되는 사람을 제외한 불필요한 영역이 많아 지고, 복수의 사람이 촬영되는 경우, 영상 내에 모든 사람이 촬영되지 못하거나 모든 사람이 촬영되기 위하여 불편한 자세가 요구되는 문제점이 존재하였다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 영상 내에 존재하는 사용자 얼굴을 검출하여 얼굴이 검출된 적어도 하나의 사용자에 대한 관심 영역이 화상 통화 영상 내에 존재하도록 영상을 편집할 수 있는 디스플레이 장치 및 이의 화상 통화 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치의 화상 통화 방법은, 영상을 촬영하는 단계; 상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하는 단계; 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계; 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 단계; 및 상기 화상 통화 영상을 외부 장치에 전송하는 단계;를 포함한다.
그리고, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정할 수 있다.
또한, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.
그리고, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정할 수 있다.
또한, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.
그리고, 상기 생성하는 단계는, 상기 영상으로부터 상기 관심 영역을 크롭(crop)하는 단계; 및 상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 단계;를 포함할 수 있다.
또한, 상기 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 상기 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행하는 단계;를 더 포함할 수 있다.
그리고, 상기 사용자의 기설정된 신체 부위는, 상기 사용자의 얼굴 및 상반신을 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치는, 영상을 촬영하는 촬영부; 상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하고, 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 제어부; 및 상기 화상 통화 영상을 외부 장치에 전송하는 통신부;를 포함한다.
그리고, 상기 제어부는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정할 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.
그리고, 상기 제어부는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정할 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.
그리고, 상기 제어부는, 상기 촬영된 영상으로부터 상기 설정된 관심 영역을 크롭(crop)하고, 상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성할 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 상기 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행할 수 있다.
그리고, 상기 사용자의 기설정된 신체 부위는, 상기 사용자의 얼굴 및 상반신을 포함할 수 있다.
상술한 바와 같은 다양한 실시예에 의해, 디스플레이 장치가 촬영된 영상 내에 사용자를 추적하여 최적의 화면을 제공함으로써, 사용자는 디스플레이 장치를 이용하여 자연스럽고 편리한 화상 통화를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 간략히 나타내는 블럭도,
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 자세히 나타내는 블럭도,
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른, 한 명의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른, 추가적으로 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 6a 내지 도 6e는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴 중 일부의 사용자 얼굴이 영상 밖으로 이동한 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른, 관심 영역이 전부 촬영되지 않는 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 디스플레이 장치의 화상 통화 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 간략히 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 디스플레이 장치(100)는 촬영부(110), 제어부(120) 및 통신부(130)를 포함한다. 이때, 디스플레이 장치(100)는 화상 통화를 수행할 수 있는 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, 휴대폰, 태블릿 PC, 노트북 PC, 데스크탑 PC 등과 같이 화상 통화를 수행할 수 있는 다른 디스플레이 장치로 구현될 수 있다.
촬영부(110)는 사용자가 위치할 수 있는 기설정된 영역을 촬영하여 영상을 생성한다. 이때, 촬영부(110)는 디스플레이 장치(100)의 베젤에 구비되거나 상단에 위치하여 기설정된 영역을 촬영할 수 있다.
제어부(120)는 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하고, 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성한다.
특히, 제어부(120)는 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출할 수 있다. 구체적으로, 제어부(120)는 촬영된 영상으로부터 사람의 얼굴을 구성하는 요소(예를 들어, 눈, 코, 입, 머리 등)를 검출하여 적어도 하나의 사용자 얼굴을 검출할 수 있다. 특히, 제어부(120)는 지식기반 방법(Knowledge-based Methods), 특징 기반 방법(Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods), 외형 기반 방법(Appearance-based Methods) 등을 이용하여 촬영된 영상으로부터 사람의 얼굴을 검출할 수 있다.
그리고, 제어부(120)는 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정할 수 있다. 이때, 관심 영역은 촬영된 영상 내에서 불필요한 영역을 제외한 사용자의 기설정된 신체 부위(예를 들어, 얼굴 및 상반신)를 포함하는 직사각형 형태의 영역일 수 있다. 또한, 관심 영역의 가로 세로 비율은 디스플레이 해상도의 가로 세로 비율과 동일할 수 있다.
특히, 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 제어부(120)는 검출된 한 명의 사용자의 기설정된 신체 부위가 관심 영역의 중앙에 위치하도록 관심 영역을 설정할 수 있다. 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 제어부(120)는 검출된 복수의 사용자의 기설정된 신체 부위가 모두 관심 영역 내에 존재하도록 관심 영역을 설정할 수 있다.
또한, 제어부(120)는 촬영된 영상 내에서 사용자의 얼굴을 계속해서 추적하여 촬영 영상 내에 새로운 사용자 얼굴이 추가되거나 기존의 사용자 얼굴이 제거되는 경우, 관심 영역을 다시 설정할 수 있다. 구체적으로, 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 제어부(120)는 한 명의 사용자 및 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 관심 영역 내에 존재하도록 관심 영역을 다시 설정할 수 있다. 그리고, 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 일부 사용자의 얼굴이 검출되지 않는 경우, 제어부(120)는 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 관심 영역 내에 존재하도록 관심 영역을 다시 설정할 수 있다.
또한, 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 제어부(120)는 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행할 수 있다. 예를 들어, 촬영된 영상 내에 사용자의 얼굴만 촬영되는 경우, 제어부(120)는 사용자의 상반신 역시 촬영된 영상 내에 포함될 수 있도록 전자 줌-아웃(electronic zoom-out) 동작을 수행할 수 있다.
그리고, 제어부(120)는 촬영된 영상 내의 관심 영역을 편집하여 화상 통화 영상을 생성할 수 있다. 구체적으로, 제어부(120)는 촬영된 영상으로부터 설정된 관심 영역을 크롭(crop)하고, 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 화상 통화 영상을 생성할 수 있다.
통신부(130)는 외부의 디스플레이 장치와 통신을 수행할 수 있다. 특히, 통신부(130)는 화상 통화를 수행하기 위하여 제어부(120)에 의해 생성된 화상 통화 영상을 외부 디스플레이 장치에 전송할 수 있으며, 외부 디스플레이 장치로부터 화상 통화 영상을 수신할 수 있다. 이때, 외부 디스플레이 장치로부터 수신한 화상 통화 영상은 제어부(120)에 의해 디스플레이 화면의 해상도에 맞게 스케일링되고, 디스플레이부(미도시)에 의해 출력될 수 있다.
상술한 바와 같은 촬영된 영상 내의 사용자의 얼굴을 추적하여 관심 영역을 설정함으로써, 화상 통화 시 사용자에게 최적의 화상 통화 영상을 제공할 수 있게 된다.
이하에서는 도 2 내지 도 7d를 참조하여 본 발명의 디스플레이 장치에 대해 더욱 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(200)의 구성을 자세히 도시한 도면이다. 도 2에 도시된 바와 같이, 디스플레이 장치(200)는 촬영부(210), 영상 수신부(220), 영상 처리부(230), 통신부(240), 저장부(250), 디스플레이부(260), 오디오 출력부(270), 입력부(280) 및 제어부(290)를 포함한다.
한편, 도 2는 디스플레이 장치(200)가 화상 통화 기능, 통신 기능, 방송 수신 기능, 동영상 재생 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
촬영부(210)는 사용자가 위치할 수 있는 기설정된 영역을 촬영하여 영상을 생성한다. 특히, 촬영부(210)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 이미지 센서 및 ADC(Analog/Digital Converter)를 포함할 수 있다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. CCD 이미지 센서는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기 신호에 맞추어 출력한다. 영상 촬영 장치(100)의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD 이미지 센서에 의해 이루어진다. CCD 이미지 센서를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD 이미지 센서로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다. 한편, 촬영부(110)가 상술한 바와 같이 영상을 촬영하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 촬영할 수 있다. 예를 들어, CCD 이미지 센서가 아닌가 아닌 CMOS(Complementary Metal Oxide Semiconductor)이미지 센서를 이용하여 영상을 촬영할 수 있다.
영상 수신부(220)는 다양한 소스를 통해 영상 데이터를 수신한다. 구체적으로, 영상 수신부(220)는 외부의 방송국으로부터 방송 데이터를 수신할 수 있으며, 외부 장치(예를 들어, 셋탑 박스, DVD 장치, USB 장치)로부터 영상 데이터를 수신할 수 있다.
영상 처리부(230)는 영상 수신부(220)로부터 수신한 영상 데이터에 대한 처리를 수행하는 구성요소이다. 영상 처리부(230)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
통신부(240)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 특히, 통신부(240)는 외부의 디스플레이 장치와 화상 통화를 수행하기 위하여 영상 데이터 및 음성 데이터를 송수신할 수 있다.
한편, 통신부(240)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
저장부(250)는 디스플레이 장치(200)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(250)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 디스플레이 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
또한, 저장부(250)는 화상 통화 영상을 생성하기 위하여, 촬영된 영상으로부터 사용자 얼굴을 검출하는 얼굴 검출 모듈, 사용자의 기설정된 신체부위가 포함되는 관심 영역을 설정하는 관심 영역 설정 모듈, 관심 영역을 편집하여 화상 통화 영상을 생성하는 화상 통화 영상 생성 모듈을 포함할 수 있다.
한편, 상술한 바와 같이, 저장부(250)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 디스플레이 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 디스플레이 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
디스플레이부(260)는 영상 수신부(220)로부터 수신한 영상 데이터를 영상 처리부(230)에서 처리한 비디오 프레임 및 그래픽 처리부(293)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다.
특히, 화상 통화 수행시, 디스플레이부(260)는 외부로부터 전송된 화상 통화 영상을 메인 화면으로 디스플레이할 수 있으며, 촬영된 영상으로부터 관심 영역을 추출하여 생성된 화상 통화 영상을 PIP 화면으로 디스플레이할 수 있다. 이때, 디스플레이부(260)는 사용자 입력에 의해, 외부로부터 전송되는 화상 통화 영상을 PIP 화면으로 디스플레이하고, 촬영된 영상으로부터 관심 영역을 추출하여 생성된 화상 통화 영상을 메인 화면으로 디스플레이할 수 있다.
오디오 출력부(270)는 오디오 처리부(미도시)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 화상 통화 수행시, 오디오 출력부(270)는 외부 디스플레이 장치로부터 전송된 화상 통화 음성 데이터를 출력할 수 있다.
입력부(280)는 디스플레이 장치(200)의 전반적인 동작을 제어하기 위한 사용자 명령을 수신한다. 이때, 입력부(280)는 복수의 버튼을 포함하는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 터치 패널, 포인팅 디바이스 등과 같이 디스플레이 장치(200)를 제어할 수 있는 다른 입력 장치로 구현될 수 있다.
제어부(290)는 저장부(250)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(200)의 전반적인 동작을 제어한다.
제어부(290)는 도 2에 도시된 바와 같이, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 295-n), 버스(296)를 포함한다. 이때, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 295-n) 등은 버스(296)를 통해 서로 연결될 수 있다.
ROM(292)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(294)는 ROM(292)에 저장된 명령어에 따라 저장부(250)에 저장된 O/S를 RAM(291)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(294)는 저장부(250)에 저장된 각종 어플리케이션 프로그램을 RAM(291)에 복사하고, RAM(291)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(293)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부(280)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(260)의 디스플레이 영역 내에 표시된다.
메인 CPU(294)는 저장부(240)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(294)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(295-1 내지 295-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 촬영부(210)에 의해 영상이 촬영되면, 제어부(290)는 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출한다. 이때, 제어부(290)는 지식 기반 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형 기반 방법 등과 같은 다양한 얼굴 검출 방법을 이용하여 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출한다. 여기서, 지식 기반 방법은 사람의 얼굴이 눈썹, 눈, 코, 입 등 각각의 얼굴 성분들은 서로 일정한 거리와 위치 관계를 이용하여 얼굴을 검출하는 방법이다. 특징 기반 방법은 얼굴 특징 성분(눈, 코, 입, 외곽선, 명암도)들의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감(texture) 정보와 성분들의 혼합된 형태의 정보를 이용해서 얼굴을 검출하는 방법이다. 템플릿 매칭 방법은 대상이 되는 모든 얼굴에 대한 표준 템플릿을 만든 후, 입력 영상과 유사상관도를 비교하여 얼굴을 검출하는 방법으로 종류로는 사전 정의 템플릿 알고리즘과 변형 템플릿 알고리즘이 있다. 외형 기반 방법은 패턴 인식을 이용하여 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴을 검출하는 방법이다. 한편, 제어부(290)는 상술한 방법 이외에 다른 방법을 이용하여 사용자의 얼굴을 검출할 수 있다.
그리고, 제어부(290)는 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위(예를 들어, 얼굴 및 상반신)가 포함되도록 관심 영역을 설정하고, 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성한다. 이때, 관심 영역은 촬영된 영상 내에서 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되고, 불필요한 영역을 최대한 제거한 영역이다. 특히, 관심 영역은 촬영된 영상 내에서 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 최대의 크기로 포함되는 직사각형 형태의 영역일 수 있다.
이하에서는 도 3a 내지 도 7d를 이용하여, 제어부(290)가 관심 영역을 추출하여 화상 통화 영상을 생성하는 방법을 설명하기로 한다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른, 한 명의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.
우선, 촬영부(210)는 도 3a에 도시된 바와 같이, 한 명의 사용자(310)가 포함된 영상을 촬영할 수 있다. 그리고, 제어부(290)는 얼굴 검출 모듈을 이용하여, 도 3b에 도시된 바와 같이, 촬영된 영상 속에 포함된 사용자의 얼굴(320)을 검출할 수 있다.
그리고, 제어부(290)는 도 3c에 도시된 바와 같이, 얼굴이 검출된 사용자의 얼굴 및 상반신을 포함하는 관심 영역(330)을 설정한다. 이때, 제어부(290)는 얼굴이 검출된 사용자의 얼굴 및 상반신이 관심 영역(330) 중앙에 위치하도록 하며, 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 관심 영역(330)을 설정할 수 있다.
그리고, 제어부(290)는 촬영된 영상으로부터 관심 영역(330)을 크롭(crop)하고, 도 3d에 도시된 바와 같이, 크롭된 관심 영역(330)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(340)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(330)의 해상도가 640x360이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 관심 영역(330)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.
우선, 촬영부(210)는 도 4a에 도시된 바와 같이, 두 명의 사용자(410,415)가 포함된 영상을 촬영할 수 있다. 그리고, 제어부(290)는 얼굴 검출 모듈을 이용하여, 도 4b에 도시된 바와 같이, 촬영된 영상 속에 포함된 두 명의 사용자의 얼굴(420,425)을 검출할 수 있다.
그리고, 제어부(290)는 도 4c에 도시된 바와 같이, 검출된 두 명의 사용자(410,415)의 얼굴 및 상반신을 포함하는 관심 영역(430)을 설정한다. 이때, 제어부(290)는 관심 영역(430) 내에 두 명의 사용자의 얼굴 및 상반신이 모두 포함되며, 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 관심 영역(330)을 설정할 수 있다.
그리고, 제어부(290)는 촬영된 영상으로부터 관심 영역(430)을 크롭(crop)하고, 도 4d에 도시된 바와 같이, 크롭된 관심 영역(430)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(440)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(430)의 해상도가 960x540이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 관심 영역(430)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른, 추가적으로 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.
제어부(290)는 한 명의 사용자를 검출하여 도 5a에 도시된 바와 같은 제1 관심 영역(510)을 설정할 수 있다.
촬영된 영상 속에 한 명의 사용자가 검출되는 동안, 도 5b에 도시된 바와 같이, 다른 사용자(520)의 얼굴(525)이 추가적으로 검출되면, 제어부(290)는 도 5c에 도시된 바와 같이, 두 명의 사용자의 얼굴 및 상반신이 모두 포함되도록 제2 관심 영역(530)을 다시 설정할 수 있다. 이때, 제어부(290)는 제2 관심 영역(530)의 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 제2 관심 영역(530)을 설정할 수 있다.
그리고, 제어부(290)는 촬영된 영상으로부터 제2 관심 영역(530)을 크롭(crop)하고, 도 5d에 도시된 바와 같이, 크롭된 제2 관심 영역(530)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(540)을 생성할 수 있다. 예를 들어, 크롭된 제2 관심 영역(530)의 해상도가 960x540이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 제2 관심 영역(530)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.
도 6a 내지 도 6e는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴 중 일부의 사용자 얼굴이 영상 밖으로 이동한 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.
우선, 제어부(290)는 두 명의 사용자를 검출하여 도 6a에 도시된 바와 같은 제1 관심 영역(610)을 설정할 수 있다.
촬영된 영상 속에 두 명의 사용자가 검출되는 동안, 한 명의 사용자가 촬영영역 밖으로 이동하여 도 6b에 도시된 바와 같이, 한 명의 사용자의 얼굴(525)만이 검출되면, 제어부(290)는 도 6c에 도시된 바와 같이, 현재 남아 있는 한 명의 사용자의 얼굴 및 상반신만이 포함되도록 제2 관심 영역(620)을 다시 설정할 수 있다. 이때, 제어부(290)는 제2 관심 영역(620)의 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 제2 관심 영역(620)을 설정할 수 있다.
그리고, 제어부(290)는 촬영된 영상으로부터 제2 관심 영역(620)을 크롭(crop)하고, 도 6d에 도시된 바와 같이, 크롭된 제2 관심 영역(620)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(630)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(620)의 해상도가 620x360이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 제2 관심 영역(620)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른, 관심 영역이 전부 촬영되지 않는 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.
우선, 제어부(290)는 도 7a에 도시된 바와 같이, 촬영된 영상 속에서 사용자의 얼굴(710)을 검출할 수 있다. 그리고, 제어부(290)는 관심 영역을 설정하기 위하여, 사용자의 얼굴 및 상반신을 검출할 수 있다.
그러나 도 7a에 도시된 바와 같이, 사용자의 상반신이 촬영되지 않아 사용자의 상반신을 검출할 수 없는 경우, 제어부(290)는 사용자의 상반신이 촬영될 수 있도록 전자적 줌(electronic zoom) 동작을 수행하여도 7b에 도시된 바와 같이, 사용자의 크기가 확대된 영상(720)을 획득할 수 있다.
그리고, 제어부(290)는 도 7c에 도시된 바와 같이, 검출된 사용자의 얼굴 및 상반신을 포함하는 관심 영역(730)을 설정한다. 이때, 제어부(290)는 얼굴이 검출된 사용자의 얼굴 및 상반신이 관심 영역(730) 중앙에 위치하도록 하며, 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 관심 영역(730)을 설정할 수 있다.
그리고, 제어부(290)는 촬영된 영상으로부터 관심 영역(730)을 크롭(crop)하고, 도 7d에 도시된 바와 같이, 크롭된 관심 영역(730)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(740)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(330)의 해상도가 640x360이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 관심 영역(330)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.
그리고, 제어부(290)는 상술한 바와 같은 다양한 실시예에 의해 생성된 화상 통화 영상을 외부 디스플레이 장치에 전송하도록 통신부(240)를 제어할 수 있다.
또한, 통신부(240)를 통해 외부 디스플레이 장치로 화상 통화 영상 데이터 및 화상 통화 음성 데이터가 수신되면, 제어부(290)는 수신된 화상 통화 영상 데이터에 대한 영상 신호처리를 수행하여 신호처리된 화상 통화 영상을 디스플레이부(260)에 디스플레이하며, 화상 통화 음성 데이터에 대한 음성 신호처리를 수행하여 신호처리된 화상 통화 음성을 오디오 출력부(270)에 출력할 수 있다.
특히, 제어부(290)는 외부 장치로부터 수신된 화상 통화 영상을 메인 화면에 디스플레이하고, 촬영된 영상으로부터 관심 영역을 추출하여 생성한 화상 통화 영상을 PIP(Picture in Picture) 영상으로 디스플레이하도록 디스플레이부(260)를 제어할 수 있다.
상술한 바와 같이 디스플레이 장치(200)가 촬영된 영상 내에 적어도 하나의 사용자를 추적하여 관심 영역을 추출하고, 관심 영역을 통해 최적의 화면을 제공함으로써, 사용자는 디스플레이 장치를 이용하여 자연스럽고 편리한 화상 통화를 제공받을 수 있게 된다.
한편, 도 3a 내지 도 7d에서 설명한 실시예에서는 제어부(290)가 관심 영역 내에 사용자의 기설정된 신체부위가 모두 포함되고, 관심 영역의 가로 세로 비율이 디스플레이 해상도의 가로 세로 비율과 동일하도록 관심 영역을 설정할 수 있다고 언급하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법으로 관심 영역을 설정할 수 있다. 예를 들어, 제어부(290)는 관심 영역 내에 사용자의 얼굴 및 상반신이 차지하는 비율이 최대가 되도록 관심 영역을 설정할 수 있다. 또한, 사용자의 얼굴 및 상반신 주위에 기설정된 크기의 여백이 존재하도록 관심 영역을 설정할 수 있다. 이때, 여백의 크기는 사용자에 의해 설정될 수 있다.
한편, 상술한 실시예에서는 사용자의 기설정된 신체부위가 얼굴 및 상반신으로 언급하였으나, 이는 일 실시예에 불과할 뿐, 다른 신체부위(예를 들어, 얼굴 및 어깨)가 적용될 수 있다.
이하에서는 도 8을 참조하여 디스플레이 장치(100)의 화상 통화 방법에 대해 더욱 상세히 설명하도록 한다.
우선, 디스플레이 장치(100)는 기설정된 영역에 대한 영상을 촬영한다(S810). 이때, 디스플레이 장치(100)는 적어도 하나의 사용자가 포함된 영상을 촬영할 수 있다.
그리고, 디스플레이 장치(100)는 촬영된 영상 내에 적어도 하나의 사용자 얼굴을 검출한다(S820). 구체적으로, 디스플레이 장치(100)는 다양한 얼굴 검출 방법(예를 들어, 지식 기반 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형 기반 방법 등)을 이용하여 촬영된 영상 내에 적어도 하나의 사용자 얼굴을 검출할 수 있다.
그리고, 디스플레이 장치(100)는 검출된 사용자의 기설정된 신체부위가 포함되도록 관심 영역을 설정한다(S830). 구체적으로, 디스플레이 장치(100)가 관심 영역을 설정하는 방법은 도 2 내지 도 7d에서 설명한 바와 같다.
그리고, 디스플레이 장치(100)는 관심 영역을 편집하여 화상 통화 영상을 생성한다(S840). 구체적으로, 디스플레이 장치(100)는 설정된 관심 영역을 크롭하고, 크롭된 관심 영역을 디스플레이 해상도와 대응되도록 스케일링하여 화상 통화 영상을 생성할 수 있다.
그리고, 디스플레이 장치(100)는 화상 통화 영상을 외부 장치로 전송한다(S850).
이에 의해, 사용자는 촬영된 사용자가 최적의 크기로 존재하는 영상을 이용하여 화상 통화를 수행할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 화상 통화 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
구체적으로는, 영상을 촬영하는 단계; 상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하는 단계; 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계; 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 단계; 및 상기 화상 통화 영상을 외부 장치에 전송하는 단계;를 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110,210: 촬영부 120,290: 제어부
130,240: 통신부 220: 영상 수신부
230: 영상 처리부 250: 저장부
260: 디스플레이부 270: 오디오 출력부
280: 입력부

Claims (16)

  1. 디스플레이 장치의 화상 통화 방법에 있어서,
    영상을 촬영하는 단계;
    상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하는 단계;
    상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계;
    상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 단계; 및
    상기 화상 통화 영상을 외부 장치에 전송하는 단계;를 포함하는 화상 통화 방법.
  2. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 화상 통화 방법.
  3. 제2항에 있어서,
    상기 설정하는 단계는,
    상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 화상 통화 방법.
  4. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 화상 통화 방법.
  5. 제4항에 있어서,
    상기 설정하는 단계는,
    상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 화상 통화 방법.
  6. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 촬영된 영상으로부터 상기 관심 영역을 크롭(crop)하는 단계; 및
    상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 단계;를 포함하는 화상 통화 방법.
  7. 제1항에 있어서,
    상기 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 상기 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행하는 단계;를 더 포함하는 화상 통화 방법.
  8. 제1항에 있어서,
    상기 사용자의 기설정된 신체 부위는,
    상기 사용자의 얼굴 및 상반신을 포함하는 것을 특징으로 하는 화상 통화 방법.
  9. 디스플레이 장치에 있어서,
    영상을 촬영하는 촬영부;
    상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하고, 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 제어부; 및
    상기 화상 통화 영상을 외부 장치에 전송하는 통신부;를 포함하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 디스플레이 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 디스플레이 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 디스플레이 장치.
  14. 제9항에 있어서,
    상기 제어부는,
    상기 촬영된 영상으로부터 상기 설정된 관심 영역을 크롭(crop)하고, 상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 것을 특징으로 하는 디스플레이 장치.
  15. 제9항에 있어서,
    상기 제어부는,
    상기 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 상기 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
  16. 제9항에 있어서,
    상기 사용자의 기설정된 신체 부위는,
    상기 사용자의 얼굴 및 상반신을 포함하는 것을 특징으로 하는 디스플레이 장치.
KR1020130000339A 2013-01-02 2013-01-02 디스플레이 장치 및 이의 화상 통화 방법 KR101800617B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130000339A KR101800617B1 (ko) 2013-01-02 2013-01-02 디스플레이 장치 및 이의 화상 통화 방법
AU2013276984A AU2013276984B2 (en) 2013-01-02 2013-12-24 Display apparatus and method for video calling thereof
EP13199563.1A EP2753075A1 (en) 2013-01-02 2013-12-24 Display apparatus and method for video calling thereof
US14/146,069 US9319632B2 (en) 2013-01-02 2014-01-02 Display apparatus and method for video calling thereof
CN201410001541.6A CN103916623B (zh) 2013-01-02 2014-01-02 显示设备及其视频通话的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130000339A KR101800617B1 (ko) 2013-01-02 2013-01-02 디스플레이 장치 및 이의 화상 통화 방법

Publications (2)

Publication Number Publication Date
KR20140088452A true KR20140088452A (ko) 2014-07-10
KR101800617B1 KR101800617B1 (ko) 2017-12-20

Family

ID=49989443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130000339A KR101800617B1 (ko) 2013-01-02 2013-01-02 디스플레이 장치 및 이의 화상 통화 방법

Country Status (5)

Country Link
US (1) US9319632B2 (ko)
EP (1) EP2753075A1 (ko)
KR (1) KR101800617B1 (ko)
CN (1) CN103916623B (ko)
AU (1) AU2013276984B2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083960A (ko) 2020-12-12 2022-06-21 임승현 내담자들과 심리상담사를 이어주어, 화상 사이버상담을 하는 사업 ‘마음속말’
WO2024043761A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 디스플레이 장치 및 그의 동작 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013219556A (ja) * 2012-04-09 2013-10-24 Olympus Imaging Corp 撮像装置
US9607235B2 (en) * 2013-03-14 2017-03-28 Facebook, Inc. Image cropping according to points of interest
US9292756B2 (en) * 2013-12-10 2016-03-22 Dropbox, Inc. Systems and methods for automated image cropping
WO2015133159A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US9318121B2 (en) * 2014-04-21 2016-04-19 Sony Corporation Method and system for processing audio data of video content
US9858470B2 (en) 2014-07-18 2018-01-02 Htc Corporation Method for performing a face tracking function and an electric device having the same
CN105320270B (zh) * 2014-07-18 2018-12-28 宏达国际电子股份有限公司 用于执行脸部追踪功能的方法及其电子装置
EP3029675A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing A method and apparatus for generating automatic animation
JP6436761B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
CN104601927A (zh) * 2015-01-22 2015-05-06 掌赢信息科技（上海）有限公司 应用程序界面中的即时视频加载方法、系统和电子设备
KR101737089B1 (ko) * 2015-05-29 2017-05-17 삼성전자주식회사 이미지를 디스플레이하는 방법 및 디바이스
KR102407111B1 (ko) 2016-05-20 2022-06-08 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
CN105979194A (zh) * 2016-05-26 2016-09-28 努比亚技术有限公司 一种视频图像处理装置和方法
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR20180039402A (ko) * 2016-10-10 2018-04-18 주식회사 하이퍼커넥트 영상 표시 장치 및 영상 표시 방법
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10868955B2 (en) 2017-09-05 2020-12-15 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US10805521B2 (en) 2017-09-05 2020-10-13 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US10666857B2 (en) 2017-09-05 2020-05-26 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
EP3884422A4 (en) * 2018-11-22 2022-07-27 Polycom, Inc. JOINT FACE AND UPPER BODY DETECTION USING MULTI-TASKING CASCADE CONVOLUTIONAL NETWORKS
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
EP4221211A4 (en) * 2020-11-09 2024-03-27 Samsung Electronics Co Ltd AI ENCODING APPARATUS AND METHOD AND AI DECODING APPARATUS AND METHOD FOR A REGION OF AN OBJECT OF INTEREST IN AN IMAGE
KR102377556B1 (ko) * 2021-08-30 2022-03-22 주식회사 조이펀 깊이 카메라를 활용한 실시간 사용자 추적 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2849950B1 (fr) * 2003-01-15 2005-03-18 Eastman Kodak Co Procede d'affichage d'une image saisie par un appareil de prise de vue numerique
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
KR100811796B1 (ko) * 2007-03-30 2008-03-10 삼성전자주식회사 휴대 단말기 및 그의 초점 정보를 이용한 영상 표시 방법
EP2201761B1 (en) * 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
JP4508257B2 (ja) * 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5483012B2 (ja) * 2010-03-25 2014-05-07 ソニー株式会社 テレビ電話機能付きテレビジョン
US8400490B2 (en) * 2010-10-30 2013-03-19 Hewlett-Packard Development Company, L.P. Framing an object for video conference
US9544943B2 (en) * 2010-11-04 2017-01-10 Qualcomm Incorporated Communicating via a FEMTO access point within a wireless communications system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083960A (ko) 2020-12-12 2022-06-21 임승현 내담자들과 심리상담사를 이어주어, 화상 사이버상담을 하는 사업 ‘마음속말’
WO2024043761A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 디스플레이 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
CN103916623B (zh) 2019-10-25
US20140184726A1 (en) 2014-07-03
AU2013276984A1 (en) 2014-07-17
CN103916623A (zh) 2014-07-09
KR101800617B1 (ko) 2017-12-20
AU2013276984B2 (en) 2017-04-27
US9319632B2 (en) 2016-04-19
EP2753075A1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
KR101800617B1 (ko) 디스플레이 장치 및 이의 화상 통화 방법
KR102653850B1 (ko) 디지털 촬영 장치 및 그 동작 방법
US10701273B1 (en) User terminal apparatus and control method thereof
CN107690649B (zh) 数字拍摄装置及其操作方法
US9742995B2 (en) Receiver-controlled panoramic view video share
KR20140104753A (ko) 신체 부위 검출을 이용한 이미지 프리뷰
US20160155009A1 (en) Display apparatus and image processing method thereby
KR20150005270A (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
JP2005100084A (ja) 画像処理装置及び方法
KR102352682B1 (ko) 디지털 촬영 장치 및 그 동작 방법
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
US20150020122A1 (en) Mobile device, display apparatus and method for sharing contents thereof
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
CN117918057A (zh) 显示设备及设备控制方法
US20200296291A1 (en) User terminal apparatus and control method thereof
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
KR101227875B1 (ko) 사용자 동작 기반 디스플레이 장치
KR101350068B1 (ko) 관심 영역 이미지를 출력하기 위한 전자 장치
KR20150083267A (ko) 디스플레이 장치 및 디스플레이 장치의 표시 방법
CN115334241B (zh) 对焦控制方法、装置、存储介质及摄像设备
US20230388447A1 (en) Subject-based smart segmentation of video feed on a transmitting device
KR102124806B1 (ko) 전자 장치 및 전자 장치의 영상 정보와 오디오 정보의 연결 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant