KR102618188B1 - 영상 통신 방법 - Google Patents

영상 통신 방법 Download PDF

Info

Publication number
KR102618188B1
KR102618188B1 KR1020220088707A KR20220088707A KR102618188B1 KR 102618188 B1 KR102618188 B1 KR 102618188B1 KR 1020220088707 A KR1020220088707 A KR 1020220088707A KR 20220088707 A KR20220088707 A KR 20220088707A KR 102618188 B1 KR102618188 B1 KR 102618188B1
Authority
KR
South Korea
Prior art keywords
image
transmitted
face image
face
video
Prior art date
Application number
KR1020220088707A
Other languages
English (en)
Inventor
노명철
박광석
Original Assignee
주식회사 카카오엔터프라이즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오엔터프라이즈 filed Critical 주식회사 카카오엔터프라이즈
Priority to KR1020220088707A priority Critical patent/KR102618188B1/ko
Application granted granted Critical
Publication of KR102618188B1 publication Critical patent/KR102618188B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은, 원본 영상에 포함되는 얼굴 영상 및 배경 영상을 재구성하여 전송 영상을 생성하는 단계와, 전송 영상 및 얼굴 영상의 정보를 전송하는 단계와, 전송 영상을 수신하여 전송 영상에서 얼굴 영상 및 배경 영상을 분리하는 단계와, 전송 영상에서 분리된 얼굴 영상 및 배경 영상을 얼굴 영상의 정보를 기초로 결합하여 복원 영상을 생성하는 단계를 포함하는 영상 통신 방법을 제공한다.

Description

영상 통신 방법{METHOD FOR VIDEO COMMUNICATION}
본 발명은 영상 통신 방법에 관한 것이다.
화상　회의　시스템은 서로 다른 지리적 위치에 거주하는 둘 이상의 사용자 간에 실시간 및 시각적 커뮤니케이션을 수행하는 시스템으로서,　화상　및 음성 데이터를 실시간 공유함으로써 사용자에게　회의　환경을 제공하는 시스템을 의미한다.
화상　회의　시스템은　회의, 교육, 상담, 면접 및 세미나 등 다양한 분야에 적용되고 있으며, 특히, 정부에서는 원격 근무와 유연 근무를 포함한 스마트 워크 제도를 적극 도입하면서　화상　회의　시스템 시장이 크게 확대되고 있다.
도 1은 종래의 화상 회의 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 종래의 화상 회의 시스템은, 화상 회의에서 영상 데이터를 실시간으로 원활하게 송수신하기 위해, 송신 단말이 원본 영상(1)의 크기를 줄여 전송 영상(2)을 생성하여 이를 수신 단말에 전송한다.
그러면, 수신 단말이 수신한 전송 영상(2)을 원본 영상(1)의 크기로 복원하여 복원 영상(3)을 생성한다.
여기서, 원본 영상(1) 및 복원 영상(3)의 크기는 1024×768일 수 있으며, 전송 영상(2)의 크기는 320×240일 수 있다.
이와 같은 종래의 화상 회의 시스템에 따르면, 화상 회의에 참석하는 사용자들은 데스크 탑 컴퓨터, 노트북 컴퓨터 및 휴대 단말 등을 이용하여 영상 및 음성 데이터를 송수신하여 화상 회의를 진행한다.
이 때, 다수의 사용자들의 영상 및 음성 데이터를 송수신하며 화상 회의를 진행할 경우 수 많은 데이터 송수신이 필요할 뿐만 아니라, 실시간으로 원활하게 데이터를 송수신하기 위해서는 데이터의 크기를 축소하여 전송하는 손실 압축 전송 방법이 사용된다. 그러나, 이러한 손실 압축 전송 방법은 영상의 화질을 저하시켜, 화상 회의의 진행에 어려움을 야기한다.
특히, 화상 회의에서는 사용자의 얼굴 영상이 중요한데, 종래의 화상 회의 시스템은 얼굴 영상의 화질까지 함께 저하시켜 사용자의 얼굴을 식별하기 어려운 문제점이 있다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은, 영상 통신에 있어 중요한 얼굴 영상의 해상도를 최대한 확보함으로써, 영상 품질을 개선할 수 있는 영상 통신 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 과제를 해결하기 위해, 본 발명은, 원본 영상에 포함되는 얼굴 영상 및 배경 영상을 재구성하여 전송 영상을 생성하는 단계와, 전송 영상 및 얼굴 영상의 정보를 전송하는 단계와, 전송 영상을 수신하여 전송 영상에서 얼굴 영상 및 배경 영상을 분리하는 단계와, 전송 영상에서 분리된 얼굴 영상 및 배경 영상을 얼굴 영상의 정보를 기초로 결합하여 복원 영상을 생성하는 단계를 포함하는 영상 통신 방법을 제공한다.
여기서, 전송 영상을 생성하는 단계는, 전송 영상의 제1 영역에 얼굴 영상을 배치하고, 전송 영상의 제2 영역에 배경 영상을 변형하여 배치하는 단계를 포함할 수 있다.
또한, 제1 영역은 제2 영역 보다 크거나 같을 수 있다.
또한, 전송 영상을 생성하는 단계는, 배경 영상을 제1 비율로 축소하고 얼굴 영상을 제1 비율 보다 작은 제2 비율로 축소하여 전송 영상에 배치하는 단계를 포함할 수 있다.
또한, 복원 영상을 생성하는 단계는, 전송 영상에서 분리된 배경 영상을 제1 비율 보다 큰 제3 비율로 확대하고, 전송 영상에서 분리된 얼굴 영상을 제2 비율로 확대하는 단계를 포함할 수 있다.
또한, 전송 영상을 생성하는 단계는, 배경 영상을 축소하고, 얼굴 영상을 확대하거나 배경 영상 보다 작은 비율로 축소하는 단계를 포함할 수 있다.
또한, 얼굴 영상의 정보는 얼굴 영상의 크기 및 위치 정보 중 적어도 하나를 포함할 수 있다.
또한, 복원 영상을 생성하는 단계는, 얼굴 영상의 크기 정보를 이용해 전송 영상에서 분리된 얼굴 영상을 확대 또는 축소하는 단계를 포함할 수 있다.
또한, 복원 영상을 생성하는 단계는, 얼굴 영상의 위치 정보를 이용해 전송 영상에서 분리된 얼굴 영상을 복원 영상에 배치하는 단계를 포함할 수 있다.
본 발명은, 원본 영상에 포함되는 얼굴 영상 및 원본 영상의 전체 영상을 재구성하여 전송 영상을 생성하는 단계와, 전송 영상 및 얼굴 영상의 정보를 전송하는 단계와, 전송 영상을 수신하여 전송 영상에서 얼굴 영상 및 전체 영상을 분리하는 단계와, 전송 영상에서 분리된 얼굴 영상 및 전체 영상을 얼굴 영상의 정보를 기초로 결합하여 복원 영상을 생성하는 단계를 포함하는 영상 통신 방법을 제공한다.
여기서, 전송 영상을 생성하는 단계는, 전송 영상의 제1 영역에 얼굴 영상을 배치하고, 전송 영상의 제2 영역에 전체 영상을 변형하여 배치하는 단계를 포함할 수 있다.
또한, 제1 영역은 제2 영역 보다 크거나 같을 수 있다.
또한, 전송 영상을 생성하는 단계는, 전체 영상을 제1 비율로 축소하고 얼굴 영상을 제1 비율 보다 작은 제2 비율로 축소하여 전송 영상에 배치하는 단계를 포함할 수 있다.
또한, 복원 영상을 생성하는 단계는, 전송 영상에서 분리된 전체 영상을 제1 비율 보다 큰 제3 비율로 확대하고, 전송 영상에서 분리된 얼굴 영상을 제2 비율로 확대하는 단계를 포함할 수 있다.
또한, 전송 영상을 생성하는 단계는, 전체 영상을 축소하고, 얼굴 영상을 확대하거나 전체 영상 보다 작은 비율로 축소하는 단계를 포함할 수 있다.
또한, 얼굴 영상의 정보는 얼굴 영상의 크기 및 위치 정보 중 적어도 하나를 포함할 수 있다.
또한, 복원 영상을 생성하는 단계는, 얼굴 영상의 크기 정보를 이용해 전송 영상에서 분리된 얼굴 영상을 확대 또는 축소하는 단계를 포함할 수 있다.
또한, 복원 영상을 생성하는 단계는, 얼굴 영상의 위치 정보를 이용해 전송 영상에서 분리된 얼굴 영상을 복원 영상에 배치하는 단계를 포함할 수 있다.
본 발명에 따르면, 기존의 송수신 대역폭은 그대로 유지하면서, 영상 통신에 있어 중요한 얼굴 영상의 해상도를 최대한 확보함으로써, 영상 품질을 개선할 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 화상 회의 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른　영상 통신 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 영상 통신 시스템에 있어서 송신부 및 수신부의 블록도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 원본 영상, 전송 영상 및 복원 영상을 도시한 도면이다.
도 6 및 도 7은 본 발명의 실시예에 따른 재구성부가 전송 영상을 재구성하는 방법을 설명하기 위한 도면이다.
도 8은 도 1에 도시된 복원 영상의 눈 영역을 확대한 도면이다.
도 9는 도 4 및 도 5에 도시된 복원 영상의 눈 영역을 확대한 도면이다.
도 10은 본 발명의 실시예에 따른 영상 통신 방법의 순서도이다.
도 11은 본 발명의 실시예에 따른 영상 통신 방법 중 영상 재구성 방법의 순서도이다.
도 12는 본 발명의 실시예에 따른 영상 통신 방법 중 영상 복원 방법의 순서도이다.
본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러 가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.
'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
도 2는 본 발명의 실시예에 따른　영상 통신 시스템의 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른　영상 통신 시스템은, 영상 통신(예컨대, 화상　회의)를 위한 영상 데이터를 송수신할 수 있는 시스템으로서, 서버(100) 및 복수의 사용자 단말(200)을 포함할 수 있다.
서버(100)는 유무선 네트워크 통신을 통해 각각의 사용자 단말(200)과 연결되며, 복수의 사용자 단말(200)에　영상　컨텐츠를 제공할 수 있다.
복수의 사용자 단말(200)은 서버(100)가 제공하는 영상 컨텐츠를 이용해 영상 데이터 및 음성 데이터를 송수신할 수 있다.
이러한 복수의 사용자 단말(200)은 데스크탑 컴퓨터(200-1), 휴대 단말(200-2) 및 노트북 컴퓨터(200-3)일 수 있으나 이에 한정되는 것은 아니며, 카메라, 스피커 및 통신 장치 등이 구비된 다양한 전자 장치에 의해 구현될 수 있다.
본 발명의 실시예에 따른 영상 통신 시스템은, 영상 통신에서 얼굴 영역이 가장 중요함에도 불구하고, 얼굴 영역이 영상 전체에서 차지하는 비율이 커 봐야 1/4 정도이고, 대부분의 얼굴 영역이 이보다 훨씬 작다는 데에 착안하여, 영상을 송수신할 때 원본 영상의 얼굴 영역 정보는 최대화하고 배경 정보는 최소화하여 영상을 재구성함으로써, 얼굴 영역 정보를 최대한 확보하는 것을 특징으로 한다.
도 3은 본 발명의 실시예에 따른 영상 통신 시스템에 있어서 송신부 및 수신부의 블록도이다. 그리고, 도 4 및 도 5는 본 발명의 실시예에 따른 원본 영상, 전송 영상 및 복원 영상을 도시한 도면이다.
이하, 도 3 내지 도 5를 참조하여, 본 발명의 실시예에 따른 영상 통신 시스템을 자세히 설명하겠다.
본 발명의 실시예에 따른 영상 통신 시스템에 있어서, 복수의 사용자 단말(200)은 송신부(210) 및 수신부(220)를 포함하여 구성될 수 있다.
이하, 송신부(210)는 제1 사용자 단말(200-1)에 구비되고, 수신부(220)는 제2 사용자 단말(200-2)에 구비되는 것을 일 예로 하여 설명하지만, 이에 한정되는 것은 아니며, 송신부(210) 및 수신부(220)는 서버(100)에 구비될 수 있으며, 이 경우 서버(100)는 제1 사용자 단말(200-1)로부터 원본 영상(10)을 전송 받아 원본 영상(20)을 줄여 전송 영상(20)을 생성하고, 전송 영상(20)을 원본 영상(10)의 크기로 복원하여 복원 영상(30)생성하고, 생성된 본원 영상(30)을 제2 사용자 단말(200-2)로 전송할 수도 있다.
본 발명의 실시예에 따른 영상 통신 시스템은, 영상 통신에서 영상 데이터를 실시간으로 원활하게 송수신하기 위해, 제1 사용자 단말(200-1)의 송신부(210)가 원본 영상(10)의 크기를 줄여 전송 영상(20)을 생성하여 이를 제2 사용자 단말(200-2)의 수신부(220)에 전송하고, 제2 사용자 단말(200-2)의 수신부(220)가 수신한 전송 영상(20)을 원본 영상(10)의 크기로 복원하여 복원 영상(30)을 생성한다. 여기서, 원본 영상(10) 및 복원 영상(30)의 크기는 1024×768일 수 있으며, 전송 영상(20)의 크기는 320×240일 수 있으나 이에 한정되는 것은 아니다.
도 4에 도시한 바와 같이, 송신부(210)는 원본 영상(10)에 포함되는 얼굴 영상(11) 및 배경 영상(12)을 재구성하여 전송 영상을 생성하고, 원본 영상(10)에 포함된 얼굴 영상(11)의 위치 및 크기 등의 정보를 포함하는 얼굴 영상 정보(23)를 생성할 수 있다. 그리고, 송신부(210)는 전송 영상(20) 및 얼굴 영상 정보(23)를 수신부(220)에 전송할 수 있다. 여기서, 배경 영상(12)은 원본 영상(10)에서 얼굴 영상(11)을 제외한 영상이다.
이와 달리, 도 5에 도시한 바와 같이, 송신부(210)는 원본 영상(10)에 포함되는 얼굴 영상(11) 및 원본 영상(10)의 전체 영상을 재구성하여 전송 영상(20)을 생성하고, 원본 영상(10)에 포함된 얼굴 영상(11)의 위치 및 크기 등의 정보를 포함하는 얼굴 영상 정보(23)를 생성할 수 있다. 그리고, 송신부(210)는 전송 영상(20) 및 얼굴 영상 정보(23)를 수신부(220)에 전송할 수 있다.
여기서, 원본 영상(10)은 제1 사용자 단말(200-1)에 구비된 카메라에 의해 촬영된 영상일 수 있으며, 얼굴 영상(11)은 제1 사용자 단말(200-1)을 사용하는 사용자의 얼굴 영상일 수 있다. 물론, 제1 사용자 단말(200-1)을 사용하는 사용자가 복수인 경우 얼굴 영상(11)도 복수 개이다.
또한, 얼굴 영상 정보(23)는 송신부(210)에 의해 생성되는 얼굴 영상(11)과 관련된 정보로서, 예를 들어, 원본 영상(10) 상에서 얼굴 영상(11)의 크기 및 위치 정보 등을 포함할 수 있다.
구체적으로, 송신부(210)는 검출부(211) 및 재구성부(212)를 포함하여 구성될 수 있다.
검출부(211)는 제1 사용자 단말(200-1)에 구비된 카메라로부터 원본 영상(10)을 제공받아 원본 영상(10)에서 얼굴 영상(11)을 검출할 수 있다. 또한, 검출부(211)는 제1 사용자 단말(200-1)을 사용하는 사용자가 복수인 경우 복수의 얼굴 영상(11)을 각각 검출할 수도 있다.
검출부(211)는 사용자의 얼굴 영역 자체를 얼굴 영상(11)으로 검출하거나, 얼굴 영역을 포함하는 세그먼트를 얼굴 영상(11)으로 검출할 수 있다. 또한, 검출부(211)는 원본 영상(10)에서 얼굴 영상(11)을 분리할 수 있다.
　구체적으로, 검출부(211)는 원본 영상(10)을 분석하여 미리 정해진 특징(Feature) 정보를 이용하여　얼굴 영상(11)을　검출할 수 있다. 여기서,　얼굴 영상(11)을　검출하기 위하여, 기존의 다양한 종류의 특징을 원본　영상(10)에서 추출하고, 이를 이용하여　얼굴 영상(11)을　검출할 수 있다.
예를 들어, 검출부(211)는 얼굴 영상(11)의　검출을 위하여 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 다양한 특징을 추출하여 이용할 수 있고, SIFT(Scale-invariant feature transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 특징 서술(Feature Description) 방식을 이용할 수도 있다.
도 4에 도시한 바와 같이, 재구성부(212)는 전송 영상(20)의 제1 영역에 얼굴 영상(21)을 배치하고, 얼굴 영상(21)을 배치하고 남은 전송 영상(20)의 제2 영역에 맞게 배경 영상(14)을 변형하여 배치하여 원본 영상(10)을 재구성할 수 있다.
이와 달리, 도 5에 도시한 바와 같이, 재구성부(212)는 전송 영상(20)의 제1 영역에 얼굴 영상(21)을 배치하고, 얼굴 영상(21)을 배치하고 남은 전송 영상(20)의 제2 영역에 맞게 전체 영상(10)을 변형하여 배치하여 원본 영상(10)을 재구성할 수도 있다.
여기서, 전송 영상(20)의 제1 영역은 전송 영상(20)의 제2 영역 보다 크거나 같은 것이 바람직하지만 이에 한정되는 것은 아니다.
재구성부(212)는 얼굴 영상(21)을 전송 영상(20)의 가로 또는 세로 크기에 맞도록 전송 영상(20)에 배치한 후, 전송 영상(20)의 남은 영역에 배경 영상(24)를 배치하거나 전체 영상(22)를 배치할 수 있다. 여기서, 재구성부(212)는, 얼굴 영상(11)이 전송 영상(20)의 가로 또는 세로 크기에 맞도록 얼굴 영상(11)의 크기를 축소 또는 확대할 수 있다.
구체적으로, 재구성부(212)는 얼굴 영상(11)의 크기가 전송 영상(20)의 가로 또는 세로 크기를 넘지 않는 범위 이내인 경우 그대로 전송 영역(20)에 배치할 수 있다. 이에 따라, 재구성부(212)는 배경 영상(12) 또는 전체 영상(10)의 크기만 축소시킬 수 있다.
이와 달리, 재구성부(212)는 얼굴 영상(11)의 크기가 전송 영상(20)의 가로 또는 세로 크기 보다 큰 경우 얼굴 영상(11)의 크기를 축소하여 전송 영상(20)에 배치할 수 있다. 여기서, 재구성부(212)는 배경 영상(24) 또는 전체 영상(22) 보다 작은 비율로 얼굴 영상(11)을 축소할 수 있다.
구체적으로, 재구성부(212)는 배경 영상(12) 또는 전체 영상(10)을 제1 비율로 축소하고, 얼굴 영상(11)을 제1 비율 보다 작은 제2 비율로 축소하여 전송 영상(20)에 배치할 수 있다.
이와 달리, 재구성부(212)는 얼굴 영상(11)의 크기가 전송 영상(20)의 가로 또는 세로 크기 보다 작은 경우 얼굴 영상(11)의 크기를 확대하여 전송 영상(20)에 배치할 수도 있다.
얼굴 영상(11)과 배경 영상(12) 또는 전체 영상(10)은 전송 정보(20)의 크기에 최대한 맞도록 크기를 조절하여 재구성하는 것이 영상 화질 측면에서 바람직하다.
도 6 및 도 7은 본 발명의 실시예에 따른 재구성부가 전송 영상을 재구성하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 재구성부(212)는 얼굴 영상(11)의 크기와 상관 없이 설정된 일정 비율로 얼굴 영상(11)을 축소할 수 있다. 즉, 재구성부(212)는, 원본 영상(10)에서 검출한 얼굴 영상(21)이 비교적 큰 경우(a) 및 작은 경우(b) 모두 전송 영상(20)의 크기 범위 내에서 얼굴 영상(21)을 설정된 일정 비율로 축소할 수 있다.
이와 달리, 도 7을 참조하면, 재구성부(212)는 얼굴 영상(11)의 크기에 상관 없이 설정된 일정 크기로 얼굴 영상(11)을 축소 또는 확대할 수 있다. 즉, 재구성부(212)는, 원본 영상(10)에서 검출한 얼굴 영상(11)이 비교적 큰 경우(a) 얼굴 영상(11)을 전송 영상(20)의 가로 또는 세로 크기에 맞도록 설정된 일정 크기를 축소할 수 있고, 원본 영상(10)에서 검출한 얼굴 영상(11)이 비교적 작은 경우(a) 얼굴 영상(11)을 전송 영상(20)의 가로 또는 세로 크기에 맞도록 설정된 일정 크기를 확대할 수 있다.
이하, 전술한 영상 재구성 방법 중 얼굴 영상(11)을 전송 영상(20)에서 y축 길이에 맞도록 재구성하는 방법을 일 예로 하여 설명하겠다.
원본 영상(10), 전송 영상(20), 복원 영상(30)의 인덱스(i)를 각각 0, 1 및 2로 정의하고, 영상의 크기(Ii)를 (Ii w, Ii h)로 정의하고, 원본 영상(10)에서 검출한 얼굴 영상(11)(F0)을 F0=I0[F0 y : F0 y+F0 h, F0 x : F0 x+F0 w]로 정의한다. 여기서, Ii w는 영상의 가로 크기이고, Ii h는 영상의 세로 크기이다. 그리고, F0 y는 얼굴 영상(11)의 y축 시작점이고, F0 y+F0 h는 얼굴 영상(11)의 y축 끝점이고, F0 x는 얼굴 영상(11)의 x축 시작점이고, F0 x+F0 w는 얼굴 영상(11)의 x축 끝점이다. 그리고, F0 x, F0 y, F0 w, F0 h는 [0, 1] 구간의 실수로 영상의 가로 크기 및 세로 크기로 정규화된 값이다.
얼굴 영상(11)의 축소 또는 확대 비율()은 아래의 수학식 1에 의해 정의될 수 있다.
[수학식 1]
그리고, 얼굴 영상(21)(F1)은 아래의 수학식 2에 의해 산출될 수 있다.
[수학식 2]
여기서, resize( )는 영상 축소 또는 확대 함수로서, 얼굴 영상(21)(F1)은 얼굴 영상(11)(F0)에 상기 수학식 1의 얼굴 영상(11)의 축소 또는 확대 비율()을 적용하여 산출될 수 있다.
그리고, 배경 영상(12) 또는 전체 영상(10)의 축소 비율()은 아래의 수학식 3에 의해 정의된다.
[수학식 3]
여기서, 이다.
그리고, 배경 영상(22)(B1)은 아래의 수학식 4에 의해 산출될 수 있다.
[수학식 4]
여기서, resize( )는 영상 축소 함수로서, 배경 영상(22)(B1)은 배경 영상(12)(B0) 또는 전체 영상(10)(I0)에 상기 수학식 3의 배경 영상(12) 또는 전체 영상(10)의 축소 비율()을 적용하여 산출될 수 있다.
그리고, 전송 영상(20)(I1)은 아래의 수학식 5에 의해 산출될 수 있다.
[수학식 5]
여기서, concatenate( )는 영상 결합 함수를 나타낸다.
도 4에 도시한 바와 같이, 수신부(220)는, 송신부(210)로부터 전송 영상(20)을 수신하여 얼굴 영상(21) 및 배경 영상(24)을 분리하고, 얼굴 영상 정보(23)를 기초로 얼굴 영상(21)을 배경 영상(24)에 결합하여 복원 영상(30)을 생성할 수 있다.
이와 달리, 도 5에 도시한 바와 같이, 수신부(220)는, 송신부(220)로부터 전송 영상(20)을 수신하여 얼굴 영상(21) 및 전체 영상(22)을 분리하고, 얼굴 영상 정보(23)를 기초로 얼굴 영상(21)을 전체 영상(22)에 결합하여 복원 영상(30)을 생성할 수도 있다.
구체적으로, 수신부(220)는 분리부(221) 및 복원부(222)를 포함하여 구성될 수 있다.
분리부(221)는 수신한 전송 영상(20)에서 얼굴 영상(21) 및 배경 영상(24)을 분리하거나 얼굴 영상(21) 및 전체 영상(22)을 분리할 수 있다. 또한, 분리부(221)는 수신한 전송 영상(20)에서 얼굴 영상 정보(23)를 분리할 수 있다.
복원부(222)는 배경 영상(24) 또는 전체 영상(22)을 원본 영상(10) 상의 원래의 크기 또는 설정된 크기로 확대한 후 얼굴 영상(31)을 배경 영상 또는 전체 영상(32)에 결합하여 복원 영상(30)을 생성할 수 있다.
구체적으로, 복원부(222)는, 얼굴 영상(21)의 크기 정보를 기초로 얼굴 영상(21)을 확대 또는 축소하고, 얼굴 영상(21)의 위치 정보를 기초로 얼굴 영상(21)을 복원된 배경 영상 또는 전체 영상(32)에 배치할 수 있다.
또한, 복원부(222)는 배경 영상(24) 또는 전체 영상(22)을 제1 비율 보다 큰 제3 비율로 확대하고, 얼굴 영상(21)을 제2 비율로 확대 또는 축소하여, 원본 영상(10)과 동일한 크기의 복원 영상(30)을 생성할 수 있다. 여기서, 복원부(222)는, 전송 영상(20)에 포함된 얼굴 영상(21)이 제2 비율로 축소된 경우 얼굴 영상(21)을 제2 비율로 확대하고, 전송 영상(20)에 포함된 얼굴 영상(21)이 제2 비율로 확대된 경우 얼굴 영상(21)을 제2 비율로 축소할 수 있다.
이하, 전술한 영상 복원 방법을 예를 들어 설명하겠다.
분리부(221)는 아래의 수학식 6과 같이 전송 영상(20)(I1)에서 얼굴 영상(21)(F1) 및 배경 영상(22)(B1)을 분리할 수 있다.
[수학식 6]
여기서, split( )는 영상 분리 함수로서, 전술한 concatenate( )과 반대의 역할을 수행한다.
그리고, 배경 영상(22)(B1)의 확대 비율()은 아래의 수학식 7에 의해 정의 된다.
[수학식 7]
그리고, 얼굴 영상(21)(F1)의 확대 또는 축소 비율()은 아래의 수학식 8에 의해 정의된다.
[수학식 8]
그리고, 얼굴 영상(31)(F2)은 아래의 수학식 9에 의해 산출될 수 있다.
[수학식 9]
여기서, resize( )는 영상 축소 또는 확대 함수로서, 얼굴 영상(31)(F2)은 얼굴 영상(21)(F1)에 상기 수학식 8의 얼굴 영상(21)(F1)의 축소 또는 확대 비율()을 적용하여 산출될 수 있다.
그리고, 배경 영상(32)(B2)은 아래의 수학식 10에 의해 산출될 수 있다.
[수학식 10]
여기서, resize( )는 영상 대 함수로서, 배경 영상(32)(B2)은 배경 영상(22)(B1) 또는 배경 영상(22)(B1)에 상기 수학식 7의 배경 영상(22)의 축소 비율()을 적용하여 산출될 수 있다.
그리고, 복구 영상(30)(I2)은 아래의 수학식 11에 의해 산출될 수 있다.
[수학식 11]
도 4 및 도 5에 도시한 바와 같이, 본 발명의 실시예에 따른 복원 영상(30)에서 배경 영상(32)은 원본 영상(10) 대비 해상도가 떨어지는 반면 얼굴 영상(31)은 원본 영상(10)과 동일한 수준의 해상도를 유지하는 것을 확인할 수 있다.
이와 같이, 본 발명의 실시예에 따른 영상 통신 시스템은, 기존의 송수신 대역폭은 그대로 유지하면서, 화상 회의에 중요한 얼굴 영상(31)의 해상도를 최대한 확보함으로써, 화상 회의의 영상 품질을 개선할 수 있다.
도 8은 도 1에 도시된 복원 영상의 눈 영역을 확대한 도면이다. 여기서, (a)는 320×240의 크기의 전송 영상(2)을 복원한 복원 영상(3)의 눈 영역을 도시한 도면이고, (b)는 160×120의 크기의 전송 영상(2)을 복원한 복원 영상(3)의 눈 영역을 도시한 도면이다.
도 9는 도 4 및 도 5에 도시된 복원 영상의 눈 영역을 확대한 도면이다. 여기서, (a)는 320×240의 크기의 전송 영상(20)을 복원한 복원 영상(30)의 눈 영역을 도시한 도면이고, (b)는 160×120의 크기의 전송 영상(20)을 복원한 복원 영상(30)의 눈 영역을 도시한 도면이다.
도 8 및 도 9에 도시된 바와 같이, 전송 영상(2, 20)의 크기가 작을수록 종래의 복원 영상(3)의 얼굴 영상과 본 발명의 실시예에 따른 복원 영상(30)의 얼굴 영상(31) 간 해상도 차이가 커지는 것을 확인할 수 있다. 즉, 전송 영상(2, 20)의 크기가 작을수록 종래 대비 본 발명의 실시예에 따른 영상 통신 시스템이 화상 회의의 영상 품질 개선에 더 효과적임을 확인할 수 있다.
도 10은 본 발명의 실시예에 따른 영상 통신 방법의 순서도이고, 도 11은 본 발명의 실시예에 따른 영상 통신 방법 중 영상 재구성 방법의 순서도이고, 도 12는 본 발명의 실시예에 따른 영상 통신 방법 중 영상 복원 방법의 순서도이다.
이하, 도 10 내지 도 12를 참조하여, 본 발명의 실시예에 따른 영상 통신 방법을 설명하되 전술한 내용과 동일한 내용은 생략하겠다.
도 10에 도시한 바와 같이, 본 발명의 실시예에 따른 영상 통신 방법은, 먼저, 송신부(210)가 제1 사용자 단말(200-1)에 구비된 카메라로부터 원본 영상(10)을 제공받아 원본 영상(10)에서 얼굴 영상(11)을 검출한다(S100).
다음, 송신부(210)가 원본 영상(10)에 포함되는 얼굴 영상(11) 및 배경 영상(12)을 재구성하여 전송 영상(20)을 생성한다(S200).
이와 달리, 원본 영상(10)에 포함되는 얼굴 영상(11)과 원본 영상(10)의 전체 영상을 재구성하여 전송 영상(20)을 생성할 수도 있다.
다음, 송신부(210)가 생성된 전송 영상(20) 및 얼굴 영상의 정보를 수신부(220)로 전송한다(S300).
다음, 수신부(220)가 수신한 전송 영상(20)에 포함되는 배경 영상(24) 또는 전체 영상(22)을 원본 영상(10) 상의 원래의 크기 또는 설정된 크기로 확대한 후 얼굴 영상(11)을 배경 영상 또는 전체 영상(32)에 결합하여(S400), 복원 영상(30)을 생성한다(S500).
도 11에 도시한 바와 같이, 원본 영상(10)을 재구성하여 전송 영상(20)을 생성하는 단계(S200)는, 먼저, 전송 영상(20)의 제1 영역에 얼굴 영상(11)을 배치한다(S210).
다음, 전송 영상(20)의 제2 영역에 배경 영상(12)를 축소하여 배치하고(S220), 전송 영상(20)의 제3 영역에 얼굴 영상 정보(23)를 배치하여(S230) 원본 영상(10)을 재구성하여 전송 영상(20)을 생성한다.
이와 달리, 먼저, 전송 영상(20)의 제1 영역에 얼굴 영상(11)을 배치하고, 다음, 전송 영상(20)의 제2 영역에 전체 영상(10)을 축소하여 배치하고, 전송 영상(20)의 제3 영역에 얼굴 영상 정보(23)를 배치하여 원본 영상(10)을 재구성하여 전송 영상(20)을 생성할 수도 있다.
도 12에 도시한 바와 같이, 전송 영상(20)을 복원하는 단계(S400)는, 먼저, 수신부(220)가 수신한 전송 영상(20)에서 얼굴 영상(21) 및 배경 영상(24)을 분리하거나 얼굴 영상(21) 및 전체 영상(22)을 분리한다(S410).
다음, 수신부(220)가 수신한 전송 영상(20)에 포함되는 배경 영상(24) 또는 전체 영상(22)을 원본 영상(10) 상의 원래의 크기 또는 설정된 크기로 확대한다(S420).
다음, 얼굴 영상(21)의 크기 정보를 이용해 얼굴 영상(11)을 확대 또는 축소하고, 얼굴 영상(11)의 위치 정보를 이용해 얼굴 영상(11)을 복원된 배경 영상 또는 전체 영상(32)에 배치하여 얼굴 영상(31)을 배경 영상 또는 전체 영상(32)에 결합한다(S430).
이와 같이, 본 발명의 실시예에 따른 영상 통신 시스템은, 기존의 송수신 대역폭은 그대로 유지하면서, 화상 회의에 중요한 얼굴 영상(31)의 해상도를 최대한 확보함으로써, 화상 회의의 영상 품질을 개선할 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
210: 송신부
211: 검출부
212: 재구성부
220: 수신부
221: 분리부
222: 복원부

Claims (18)

  1. 원본 영상에 포함되는 얼굴 영상 및 배경 영상을 재구성하여 전송 영상을 생성하는 단계;
    상기 전송 영상 및 상기 얼굴 영상의 정보를 전송하는 단계;
    상기 전송 영상을 수신하여 상기 전송 영상에서 상기 얼굴 영상 및 상기 배경 영상을 분리하는 단계; 및
    상기 전송 영상에서 분리된 상기 얼굴 영상 및 상기 배경 영상을 상기 얼굴 영상의 정보를 기초로 결합하여 복원 영상을 생성하는 단계를 포함하고,
    상기 전송 영상을 생성하는 단계는
    상기 전송 영상의 제1 영역에 상기 얼굴 영상을 배치하고, 상기 전송 영상의 제2 영역에 상기 배경 영상의 크기를 변형하여 배치하는 단계를 포함하는
    영상 통신 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제1 영역은 상기 제2 영역 보다 크거나 같은
    영상 통신 방법.
  4. 제 1 항에 있어서,
    상기 전송 영상을 생성하는 단계는
    상기 배경 영상을 제1 비율로 축소하고 상기 얼굴 영상을 상기 제1 비율 보다 작은 제2 비율로 축소하여 상기 전송 영상에 배치하는 단계를 포함하는
    영상 통신 방법.
  5. 제 4 항에 있어서,
    상기 복원 영상을 생성하는 단계는
    상기 전송 영상에서 분리된 상기 배경 영상을 상기 제1 비율 보다 큰 제3 비율로 확대하고, 상기 전송 영상에서 분리된 상기 얼굴 영상을 상기 제2 비율로 확대하는 단계를 포함하는
    영상 통신 방법.
  6. 제 1 항에 있어서,
    상기 전송 영상을 생성하는 단계는
    상기 배경 영상을 축소하고, 상기 얼굴 영상을 확대하거나 상기 배경 영상 보다 작은 비율로 축소하는 단계를 포함하는
    영상 통신 방법.
  7. 제 1 항에 있어서,
    상기 얼굴 영상의 정보는
    상기 얼굴 영상의 크기 및 위치 정보 중 적어도 하나를 포함하는
    영상 통신 방법.
  8. 제 7 항에 있어서,
    상기 복원 영상을 생성하는 단계는
    상기 얼굴 영상의 크기 정보를 이용해 상기 전송 영상에서 분리된 상기 얼굴 영상을 확대 또는 축소하는 단계를 포함하는
    영상 통신 방법.
  9. 제 7 항에 있어서,
    상기 복원 영상을 생성하는 단계는
    상기 얼굴 영상의 위치 정보를 이용해 상기 전송 영상에서 분리된 상기 얼굴 영상을 상기 복원 영상에 배치하는 단계를 포함하는
    영상 통신 방법.
  10. 원본 영상에 포함되는 얼굴 영상 및 상기 원본 영상의 전체 영상을 재구성하여 전송 영상을 생성하는 단계;
    상기 전송 영상 및 상기 얼굴 영상의 정보를 전송하는 단계;
    상기 전송 영상을 수신하여 상기 전송 영상에서 상기 얼굴 영상 및 상기 전체 영상을 분리하는 단계; 및
    상기 전송 영상에서 분리된 상기 얼굴 영상 및 상기 전체 영상을 상기 얼굴 영상의 정보를 기초로 결합하여 복원 영상을 생성하는 단계를 포함하고,
    상기 전송 영상을 생성하는 단계는
    상기 전송 영상의 제1 영역에 상기 얼굴 영상을 배치하고, 상기 전송 영상의 제2 영역에 상기 전체 영상의 크기를 변형하여 배치하는 단계를 포함하는
    영상 통신 방법.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 제1 영역은 상기 제2 영역 보다 크거나 같은
    영상 통신 방법.
  13. 제 10 항에 있어서,
    상기 전송 영상을 생성하는 단계는
    상기 전체 영상을 제1 비율로 축소하고 상기 얼굴 영상을 상기 제1 비율 보다 작은 제2 비율로 축소하여 상기 전송 영상에 배치하는 단계를 포함하는
    영상 통신 방법.
  14. 제 13 항에 있어서,
    상기 복원 영상을 생성하는 단계는
    상기 전송 영상에서 분리된 상기 전체 영상을 상기 제1 비율 보다 큰 제3 비율로 확대하고, 상기 전송 영상에서 분리된 상기 얼굴 영상을 상기 제2 비율로 확대하는 단계를 포함하는
    영상 통신 방법.
  15. 제 10 항에 있어서,
    상기 전송 영상을 생성하는 단계는
    상기 전체 영상을 축소하고, 상기 얼굴 영상을 확대하거나 상기 전체 영상 보다 작은 비율로 축소하는 단계를 포함하는
    영상 통신 방법.
  16. 제 10 항에 있어서,
    상기 얼굴 영상의 정보는
    상기 얼굴 영상의 크기 및 위치 정보 중 적어도 하나를 포함하는
    영상 통신 방법.
  17. 제 16 항에 있어서,
    상기 복원 영상을 생성하는 단계는
    상기 얼굴 영상의 크기 정보를 이용해 상기 전송 영상에서 분리된 상기 얼굴 영상을 확대 또는 축소하는 단계를 포함하는
    영상 통신 방법.
  18. 제 16 항에 있어서,
    상기 복원 영상을 생성하는 단계는
    상기 얼굴 영상의 위치 정보를 이용해 상기 전송 영상에서 분리된 상기 얼굴 영상을 상기 복원 영상에 배치하는 단계를 포함하는
    영상 통신 방법.
KR1020220088707A 2022-07-19 2022-07-19 영상 통신 방법 KR102618188B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220088707A KR102618188B1 (ko) 2022-07-19 2022-07-19 영상 통신 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220088707A KR102618188B1 (ko) 2022-07-19 2022-07-19 영상 통신 방법

Publications (1)

Publication Number Publication Date
KR102618188B1 true KR102618188B1 (ko) 2023-12-27

Family

ID=89377661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220088707A KR102618188B1 (ko) 2022-07-19 2022-07-19 영상 통신 방법

Country Status (1)

Country Link
KR (1) KR102618188B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062042A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신 시스템
KR20090125556A (ko) * 2008-06-02 2009-12-07 에스케이 텔레콤주식회사 영상 코덱 방법, 영상 코덱 장치 및 그 영상 서비스 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062042A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신 시스템
KR20090125556A (ko) * 2008-06-02 2009-12-07 에스케이 텔레콤주식회사 영상 코덱 방법, 영상 코덱 장치 및 그 영상 서비스 시스템

Similar Documents

Publication Publication Date Title
US8798168B2 (en) Video telecommunication system for synthesizing a separated object with a new background picture
US8773498B2 (en) Background compression and resolution enhancement technique for video telephony and video conferencing
JP5772059B2 (ja) テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体
TW201246942A (en) Object of interest based image processing
CN101273351A (zh) 流式视频中的面部注释
CN116584090A (zh) 视频流操作
CN106303565B (zh) 视频直播的画质优化方法和装置
US8279263B2 (en) Mapping psycho-visual characteristics in measuring sharpness feature and blurring artifacts in video streams
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
KR102618188B1 (ko) 영상 통신 방법
CN110740352A (zh) 显卡透传环境下基于spice协议的差异图像显示方法
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
CN112752058B (zh) 调整视频流的属性的方法和装置
Cucchiara et al. Semantic transcoding for live video server
CN115567711A (zh) 一种桌面图像动态采集方法、设备及计算机可读存储介质
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
CN113709401A (zh) 视频通话方法、设备、存储介质及程序产品
US20240185384A1 (en) Video Bandwidth Optimization
CN111818300B (zh) 一种数据存储、查询方法、装置、计算机设备及存储介质
CN117896552B (zh) 视频会议的处理方法、视频会议系统以及相关装置
CN112055212B (zh) 多路视频集中分析处理的系统以及方法
KR20120000755A (ko) 음성인식에 의한 정보를 제공하는 화상회의 장치 및 방법
CN116866635A (zh) 视频传输方法、装置、设备、介质和程序产品
Zhang Image Quality Assessment and Saliency Detection: human visual perception modeling and applications
CN116980652A (zh) 一种多媒体数据传输方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant