KR101995985B1 - 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치 - Google Patents

영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치 Download PDF

Info

Publication number
KR101995985B1
KR101995985B1 KR1020150145169A KR20150145169A KR101995985B1 KR 101995985 B1 KR101995985 B1 KR 101995985B1 KR 1020150145169 A KR1020150145169 A KR 1020150145169A KR 20150145169 A KR20150145169 A KR 20150145169A KR 101995985 B1 KR101995985 B1 KR 101995985B1
Authority
KR
South Korea
Prior art keywords
image
depth
camera
area
occlusion
Prior art date
Application number
KR1020150145169A
Other languages
English (en)
Other versions
KR20160062678A (ko
Inventor
황인기
이미숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/951,005 priority Critical patent/US9807340B2/en
Publication of KR20160062678A publication Critical patent/KR20160062678A/ko
Application granted granted Critical
Publication of KR101995985B1 publication Critical patent/KR101995985B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

본 발명은 영상회의 시스템을 이용한 영상회의 시 한 싸이트에 2명 이상의 원격 참여자들이 있는 경우에, 폐색영역에 대해 정확한 깊이 값을 추정하고 합성된 눈맞춤 영상의 품질을 향상시킬 수 있도록 하기 위하여, 스테레오 영상과 깊이 영상을 이용하여 각 참여자에게 자연스러운 눈맞춤 기능을 제공할 수 있는 새로운 눈맞춤 제공 방법 및 장치에 관한 것이다.

Description

영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치{Method and Apparatus for Providing Eye-contact Function to Multiple Points of　Presence using Stereo Image in Video Conference System}
본 발명은 영상회의(Telepresence/Video Conference)를 위한 눈맞춤 제공 방법 및 장치에 관한 것으로서, 특히, 영상회의 시스템을 이용한 영상회의 시 원격 참여자들 간의 눈맞춤 영상의 품질을 향상시킬 수 있는 눈맞춤 제공 방법 및 장치에 관한 것이다.
영상회의 시스템 상에서 눈맞춤 기능을 제공하기 위한 방법으로는 크게 물리적인 방법과 영상합성 방법이 있다. 그 중 영상합성 방법은 2차원에서 얻어진 영상에서 깊이 값을 추정하여 3차원 공간으로 투사하고 투사된 영상을 다시 Display 하고자 하는 2차원 공간 상에 투영하는 방법을 사용하고 있다. 영상합성 방법의 근간이 되는 기술은 2차원 영상에서 깊이 값을 추정해 내는 방법이며, 기존의 기술은 2대의 카메라를 이용하여 스테레오 매칭을 하거나, 2대의 영상 카메라와 1대의 깊이 카메라를 이용하여 깊이 값을 추정해 내는 기술이 사용되었다.
스테레오 매칭 방법은, 도 1과 같이, 2대의 카메라로 이루어지는 스테레오 카메라에서 입력된 컬러 영상을 이용하는 방법으로서, 한 영상의 특정 기준점(화소)을 다른 영상으로 워핑(warping)시켜서 가장 유사성을 갖는 점(화소)를 찾는 방법을 이용하며, 워핑 식은 두 카메라의 고유 파리미터값들을 이용하여 구해질 수 있다. 깊이 카메라를 이용하는 방식은, 도 2와 같이, 위와 같은 스테레오 매칭을 수행함에 있어서 깊이 값을 기준 값으로 사용함으로써 깊이의 정확도를 향상시키는 방법이다.
종래의 스테레오 매칭을 이용하는 방법에서, 스테레오 카메라의 입력 영상이 시점에 따라 폐색영역(Occlusion region)이 존재하며 이 때문에 스테레오 매칭 방법으로는 폐색영역에 대해 좋은 결과를 획득할 수 없다. 예를 들어, 도 1과 같이, 카메라1이 피사체를 촬영했을 때 입력되는 영상은 A, B 영역이고, 카메라2가 동일 피사체를 촬영했을 때 입력되는 영상은 B, C 영역이다. 이때 B 영역을 제외한 A, C 영역은 카메라1 또는 카메라2에서 촬영되지 않는 폐색영역이 된다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 영상회의 시스템을 이용한 영상회의 시 한 싸이트에 2명 이상의 원격 참여자들이 있는 경우에, 폐색영역에 대해 정확한 깊이 값을 추정하고 합성된 눈맞춤 영상의 품질을 향상시킬 수 있도록 하기 위하여, 스테레오 영상과 깊이 영상을 이용하여 각 참여자에게 자연스러운 눈맞춤 기능을 제공할 수 있는 새로운 눈맞춤 제공 방법 및 장치를 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의 일면에 따른 영상회의를 지원하기 위한 영상 처리 장치에서 영상 처리 방법은, 제1카메라와 제2카메라로부터의 스테레오 영상정보와 깊이 카메라로부터의 깊이 영상 정보를 이용하여, 영상에 대한 객체 마스크를 생성하고, 깊이에 대한 상기 객체 마스크 내의 폐색영역을 계산하는 단계; 상기 객체 마스크와 상기 폐색영역을 이용하여 해당 영상의 객체들 간 경계 좌표를 산출하며, 상기 깊이 영상 정보를 이용한 상기 스테레오 영상의 매칭을 통해 상기 깊이 영상 정보 중 상기 경계 좌표의 깊이 값을 결정하는 단계; 및 상기 경계좌표에서 상기 폐색영역의 방향으로 상기 폐색영역의 끝까지 상기 폐색영역에 대한 깊이 값들이 존재하도록 보정하는 단계를 포함한다.
상기 영상 처리 방법은, 영상회의 시스템에서 원격 참여자와 로컬 참여자 간의 눈맞춤 처리를 위한 것을 특징으로 한다.
상기 폐색영역을 계산하는 단계에서, 스테레오 영상 각각에 대한 객체 부분을 추출하고, 각 영상에서 뒤쪽 객체의 좌측 또는 우측 여부에 따라 좌측의 상기 제1카메라, 또는 우측의 상기 제2카메라의 영상에 대한 객체 부분 영역을 상기 객체 마스크로서 생성할 수 있다.
상기 폐색영역을 계산하는 단계에서, 상기 깊이 영상 정보를 영상 평면으로 워핑해, 워핑된 깊이 값의 유효 영역과 상기 객체 마스크의 배타적 논리합을 수행하여 상기 폐색영역을 계산할 수 있다.
상기 경계 좌표는 앞객체와 뒤객체 간 경계(edge)로서 상기 폐색영역이 시작되기 전의 상기 앞객체 쪽의 픽셀들의 좌표들일 수 있다.
상기 보정하는 단계에서, 상기 폐색영역에 대한 깊이 값들을, 픽셀 인접도에 따라 픽셀 단위당 소정의 값씩 보정한다.
상기 보정하는 단계 후에, 상기 폐색영역에 대한 깊이 값들을 갖는 3차원 영상을 생성하여, 영상의 객체 중 사람의 눈 부분이 맞추어지도록 시점을 변환하여 보정된 영상을 제공하는 단계를 포함할 수 있다.
그리고, 본 발명의 다른 일면에 따른 영상회의를 지원하기 위한 영상 처리 장치는, 제1카메라와 제2카메라로부터의 스테레오 영상정보와 깊이 카메라로부터의 깊이 영상 정보를 이용하여, 영상에 대한 객체 마스크를 생성하고, 깊이에 대한 상기 객체 마스크 내의 폐색영역을 계산하는 폐색 영역 계산부; 상기 객체 마스크와 상기 폐색영역을 이용하여 해당 영상의 객체들 간 경계 좌표를 산출하며, 상기 깊이 영상 정보를 이용한 상기 스테레오 영상의 매칭을 통해 상기 깊이 영상 정보 중 상기 경계 좌표의 깊이 값을 결정하는 스테레오 매칭부; 및 상기 경계좌표에서 상기 폐색영역의 방향으로 상기 폐색영역의 끝까지 상기 폐색영역에 대한 깊이 값들이 존재하도록 보정하는 확산 보정부를 포함한다.
상기 영상 처리 장치는, 영상회의 시스템에서 원격 참여자와 로컬 참여자 간의 눈맞춤 처리를 위한 것을 특징으로 한다.
상기 폐색 영역 계산부는, 스테레오 영상 각각에 대한 객체 부분을 추출하고, 각 영상에서 뒤쪽 객체의 좌측 또는 우측 여부에 따라 좌측의 상기 제1카메라, 또는 우측의 상기 제2카메라의 영상에 대한 객체 부분 영역을 상기 객체 마스크로서 생성할 수 있다.
상기 폐색 영역 계산부는, 상기 깊이 영상 정보를 영상 평면으로 워핑해, 워핑된 깊이 값의 유효 영역과 상기 객체 마스크의 배타적 논리합을 수행하여 상기 폐색영역을 계산할 수 있다.
상기 스테레오 매칭부는, 앞객체와 뒤객체 간 경계(edge)로서 상기 폐색영역이 시작되기 전의 상기 앞객체 쪽의 픽셀들의 좌표들을 상기 경계 좌표로서 산출할 수 있다.
상기 확산 보정부는, 상기 폐색영역에 대한 깊이 값들을, 픽셀 인접도에 따라 픽셀 단위당 소정의 값씩 보정할 수 있다.
상기 확산 보정부는, 상기 폐색영역에 대한 깊이 값들을 갖는 3차원 영상을 생성하여, 영상의 객체 중 사람의 눈 부분이 맞추어지도록 시점을 변환하여 보정된 영상을 제공할 수 있다.
본 발명에 따른 영상회의 시스템에서의 눈맞춤 제공 방법 및 장치에 따르면, 한 싸이트에 2명 이상의 원격 참여자들이 참석한 영상회의 시스템 상에서, 스테레오 영상과 깊이 영상을 이용하여 폐색영역에 대해 정확한 깊이 값을 추정하여 합성된 눈맞춤 영상을 제공함으로써, 보다 자연스러운 눈맞춤 기능을 제공하여 영상 회의 품질을 향상시킬 수 있다.
도 1은 스테레오 카메라를 이용하는 종래의 영상 매칭 방법에서의 스테레오 카메라 시차에 따른 폐색영역을 설명하기 위한 도면이다.
도 2는 스테레오 카메라와 깊이 카메라를 이용하는 종래의 영상 매칭 방법을 설명하기 위한 도면이다.
도 3은 도 2의 깊이 카메라에서 획득한 깊이 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상회의 시스템을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 눈맞춤 제공 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 눈맞춤 제공 장치의 동작 설명을 위한 흐름도이다.
도 7은 도 4의 좌영상 카메라의 획득 영상과 깊이 카메라의 획득 영상을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 객체 마스크, 깊이 카메라 워핑, 폐색영역을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 깊이 값 확산 방식을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 폐색영역에 대한 깊이 값 보정 결과를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상회의 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 본 발명의 영상회의 시스템에서의 눈맞춤 제공 방법에서는, 스테레오 카메라 이외에 깊이 카메라를 함께 이용하여, 깊이 카메라를 이용하여 피사체의 정면(또는 정면 아래)에서 피사체의 깊이 값을 획득하고, 이를 스테레오 카메라를 이용해 획득한 스테레오 영상의 매칭 시 가중치로 사용함으로써, 좌우 카메라의 폐색영역을 좁히고 폐색영역에 대해 정확한 깊이 값을 추정하여 눈맞춤 영상 결과의 정확도를 높일 수 있도록 하였다.
이러한 깊이 값을 획득하기 위하여, 깊이 카메라에서 적외선(IR, Infra red)을 송수신하고 그 시간차이를 이용하는 ToF(Time of Flight) 방식이 이용되며, 이때 적외선(IR)이 도달하지 못하는 깊이에 대한 폐색영역(송신한 IR이 수신되지 않는 영역)에 대해서는, 영상 합성 결과 정확한 깊이 값이 반영되지 못해 도 3과 같이 검은 색으로 표시된다. 한 화면에 표시될 영상회의의 참여자가 한 명인 경우 폐색영역이 인물의 개체 옆면에 발생하여 개체의 깊이 값을 얻는데 큰 문제가 없을 수 있지만, 한 화면에 표시될 영상회의의 참여자가 두 명 이상인 경우, 깊이에 대한 한 사람의 폐색영역이 뒷편의 다른 사람의 얼굴 등을 가리는 경우가 발생할 수 있 다.
따라서, 본 발명에서는, 한 싸이트에 2명 이상의 원격 참여자들이 참석한 영상회의 시스템 상에서, 스테레오 영상과 깊이 영상을 이용하여 깊이에 대한 폐색영역에 대해 정확한 깊이 값을 추정하여 합성된 눈맞춤 영상을 제공함으로써, 보다 자연스러운 눈맞춤 기능을 제공하여 영상 회의 품질을 향상시키고자 한다.
도 4는 본 발명의 일 실시예에 따른 영상회의 시스템(100)을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 영상회의 시스템(100)은, 스크린(101) 양 옆에 설치되는 스테레오 카메라, 즉, 좌카메라(111), 우카메라(112)를 포함하며, 스크린(101) 아래 중앙쪽에 설치되는 깊이 카메라(120)를 포함하며, 영상회의를 지원하기 위한 영상 처리 장치로서 스테레오 영상과 깊이 영상을 이용하여 눈맞춤 기능을 제공하기 위한 눈맞춤 제공 장치(130)를 포함한다.
여기서, 좌카메라(111), 우카메라(112), 깊이 카메라(120)가 설치되는 위치를 도 4와 같이 예시하였으나, 이에 한정되는 것은 아니며, 촬영 영상을 소정의 회의 목적 등에 따라 원격 참여자(10)의 영상회의 시스템으로 적절히 전송할 수 있도록 하기 위하여, 로컬 참여자(들)(20)의 얼굴, 몸 등 회의 싸이트를 적절히 반영해 촬영할 수 있는 적절한 위치에 설치될 수 있다.
스테레오 카메라(111, 112)는 영상회의 중 로컬 참여자(들)(20) 방향으로 촬영하여 로컬 참여자(들)(20) 등 피사체에 대한 각 픽셀의 컬러(색상) 영상(스테레오 영상 정보)을 획득하며, 깊이 카메라(120)는 적외선(IR) 송수신 모듈을 구비해 로컬 참여자(들)(20) 방향으로 적외선(IR)을 송수신하고, 적외선(IR)의 송수신 시간차이를 이용하는 ToF(Time of Flight) 방식으로 로컬 참여자(들)(20) 등 피사체에 대한 각 픽셀의 깊이값(깊이 영상 정보)을 획득한다.
도 5는 본 발명의 일 실시예에 따른 눈맞춤 제공 장치(100)를 설명하기 위한 도면이다.
도 5를 참조하면, 영상회의를 지원하여 스테레오 카메라(111, 112)로부터의 스테레오 영상과 깊이 카메라(120)로부터의 깊이 영상을 이용하여 눈맞춤 기능을 제공하기 위한, 본 발명의 일 실시예에 따른 눈맞춤 제공 장치(130)는, 폐색 영역 계산부(131), 스테레오 매칭부(132), 및 확산 보정부(133)를 포함한다. 이외에도, 도시하지 않았지만, 눈맞춤 제공 장치(100)는 확산 보정부(133)에서 보정된 영상(정보), 즉, 텔레프리젠스 데이터를 원격 참여자(10)의 영상회의 시스템으로 전송하는 전송부, 또는 원격 참여자(10)의 영상회의 시스템으로부터 수신되는 텔레프리젠스 데이터를 처리하여 도 4와 같이 스크린에 원격 참여자(10)가 표시되도록 하기 위한 디스플레이 장치 등을 더 포함할 수 있다.
이와 같은 본 발명의 일 실시예에 따른 눈맞춤 제공 장치(100)의 각부 구성요소들은 하드웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 예를 들어, 소정의 메모리에 저장된 소정의 응용 프로그램을 실행하여 본 발명의 눈맞춤 기능 제공을 위해 필요한 눈맞춤 제공 장치(100)의 각부 구성요소들에 필요한 설정이나 데이터가 제공될 수 있다. 또한, 눈맞춤 제공 장치(100)의 위와 같은 각부 구성요소들의 전부 또는 일부가 하나의 프로세서로 구현될 수도 있다.
위와 같은 본 발명의 일 실시예에 따른 눈맞춤 제공 장치(100)의 동작에 대하여, 도 6의 흐름도를 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 눈맞춤 제공 장치(130)의 동작 설명을 위한 흐름도이다.
폐색 영역 계산부(131)는, 스테레오 카메라(111, 112)로부터의 스테레오 영상정보와 깊이 카메라(120)로부터의 깊이 영상 정보를 이용하여, 해당 영상의 객체 마스크(39)를 생성하고(601) 깊이에 대한 객체 마스크(39) 내의 폐색영역을 계산한다(602, 603).
먼저, 예를 들어, 폐색 영역 계산부(131)는, 소정의 객체 추출 알고리즘을 이용하여 스테레오 영상 각각에서 객체 부분과 배경 부분으로 분리할 수 있으며, 각 영상에서 뒤쪽 객체가 앞쪽 객체의 좌측에 있는지 또는 우측에 있는지 여부에 따라 해당 측의 카메라(예, 도 7의 예에서 좌카메라 111)의 영상에 대한 객체 부분영역의 좌표값들(픽셀들), 즉, 도 8과 같은 객체 마스크(39)를 생성할 수 있다(601).
또한, 폐색 영역 계산부(131)는, 깊이 영상 정보, 즉, 각 픽셀의 깊이값을 해당 카메라(예, 도 7의 예에서 좌카메라 111)의 영상 평면으로 워핑(warping)(예, 확, 축소 등 영상 매칭되도록 변형)해 도 8과 같이 워핑된 깊이 값의 유효 영역(픽셀들)을 계산한 후(602), 상기 객체 마스크(39)와 유효 영역에 대한 배타적 논리합(exclusive or)을 통해 도 8과 같이 객체 마스크(39) 내의 폐색영역(40)을 계산할 수 있다(603). 상기 깊이 값의 유효 영역(픽셀들)은 깊이값이 소정의 값 이상인 부분일 수 있으며, 상기 객체 마스크(39) 내의 폐색영역은 객체 마스크(39)의 영역에 해당하지만 깊이 값의 유효 영역에는 해당하지 않는 영역에 해당한다.
도 7과 같이, 도 4의 좌영상 카메라(111)의 획득 영상과 깊이 카메라(120)의 획득 영상에서, 깊이 카메라(120)에서 획득된 깊이 값에서 뒤쪽에 위치한 객체의 일부분(36)에 대한 깊이 값은 구해지지 않은 폐색 영역(빗금 영역)이며, 이를 좌 카메라(111) 영상 평면으로 워핑하면, 좌카메라(111) 영상의 빗금 영역(40)은 깊이 카메라(120)로부터 깊이 정보가 획득되지 않은 영역이 된다. 이때 좌카메라(111) 영상의 빗금 영역(40)은, 우카메라(112)에서도 화각에 의해 색상정보가 획득되지 않는 영역이기 때문에 깊이 값을 추정할 수 있는 정보는 좌카메라(111) 영상의 색상정보밖에 없는 상태가 되어 깊이 값 추정이 어려워진다.
본 발명에서는, 위와 같이 도 8과 같이 객체 마스크(39) 내의 폐색영역(40)을 계산함으로써, 폐색영역(40)이 포함된 객체의 깊이를 추정하기 위하여, 하기와 같이 객체의 경계에서 추정된 깊이 값을 이용하여 폐색영역으로 그 값을 확산시키는 방법을 이용한다.
이를 위하여, 스테레오 매칭부(132)는 위와 같은 객체 마스크(39)와 폐색영역(40)을 이용하여 해당 영상의 객체들 간 경계 좌표를 산출하며, 깊이 영상 정보(깊이값)를 이용한 스테레오 영상의 스테레오 매칭을 통해 경계 좌표의 깊이 값을 결정한다(610).
스테레오 매칭부(132)는, 예를 들어, 앞객체와 뒤객체 간 경계(edge)로서 폐색영역(40)이 시작되기 직전의 앞객체 쪽의 픽셀들의 좌표들(도 9의 30 위치들 참조)을 경계 좌표로 산출할 수 있다.
또한, 스테레오 매칭부(132)는, 카메라들(111, 112)의 스테레오 영상 중의 한 영상의 특정 기준점(픽셀)을 다른 영상으로 워핑(warping)시켜서 가장 유사성을 갖는 픽셀을 찾는 스테레오 매칭을 수행하되, 깊이 카메라(120)로부터의 깊이 영상 정보(깊이값)를 반영하여, 해당 가장 유사성을 갖는 픽셀을 같은 위치로 결정하여, 두 영상을 매칭시킬 수 있으며, 깊이 카메라(120)로부터의 깊이 영상 정보(깊이값)로부터 이때의 해당 매칭된 영상(들)에 대하여 경계 좌표에 대한 깊이 값들(도 9의 30들)을 결정할 수 있다.
이와 같은 깊이 정보 기반의 스테레오 매칭은, 두 영상의 차이를 이용해 깊이 값을 추정하고, 깊이 카메라(120)로부터의 깊이 영상 정보를 더 반영하여, 해당 가장 유사성을 갖는 픽셀을 같은 위치로 결정하는 방식 등 다양한 방식을 이용할 수 있고, 이와 같은 기술은 잘 알려져 있으므로 여기서 자세한 설명은 생략한다.
확산 보정부(133)는 위와 같은 경계좌표(도 9의 30 위치들 참조)에서 폐색영역 방향으로 폐색영역(40)의 끝(픽셀)까지 깊이 값 확산 보정을 수행한다(604, 605).
예를 들어, 도 9와 같이, 경계 좌표에 대한 깊이 값들이 30인 경우, 그에 가장 인접한 픽셀들의 깊이 값(예, Not Available/∞)은 29로 보정하고, 그 다음 인접 픽셀은 28로 보정한다. 이렇게 픽셀 인접도에 따라 픽셀 단위당 소정의 값씩(예, 1) 깊이 값이 감소하도록 보정하고, 도 10과 같이, 폐색영역 방향으로 폐색영역(40)의 끝(픽셀)까지 깊이 값을 보정하는 과정을 반복함으로써, 도 10과 같이, 폐색영역(40)에 대한 정확한 깊이값을 획득할 수 있다.
이와 같이 객체 마스크(39) 내의 폐색영역(40)에 대한 정확한 깊이값을 획득함으로써, 확산 보정부(133)는 폐색영역(40)에 대한 깊이값을 갖는 3차원 영상을 생성할 수 있으며, 이를 이용하여 카메라들(111, 112)에 의해 획득된 객체 중 사람의 눈 부분이 눈맞춤되지 않은 경우에, 즉, 사람이 정면을 응시하지만 원격 참여자의 스크린에 정면을 응시하지 않는 영상이 출력되는 경우에, 정면으로 시점을 변환하여 눈맞춤되도록 보정된 영상(정보), 즉, 텔레프리젠스 데이터를 제공할 수 있다. 이에 따라 보다 자연스러운 눈맞춤 기능을 제공하여 영상 회의 품질을 향상시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상회의 시스템(100)의 구현 방법의 일례를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 영상회의 시스템(100)은 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 영상회의 시스템(100)는 도 11 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다.
컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
좌카메라(111)
우카메라(112)
스크린(101)
깊이 카메라(120)
눈맞춤 제공 장치(130)
폐색 영역 계산부(131)
스테레오 매칭부(132)
확산 보정부(133)

Claims (14)

  1. 영상회의를 지원하기 위한 장치에서 영상 처리 방법에 있어서,
    제1카메라와 제2카메라로부터의 스테레오 영상정보와 깊이 카메라로부터의 깊이 영상 정보를 이용하여, 영상에 대한 객체 마스크를 생성하고, 깊이에 대한 상기 객체 마스크 내의 폐색영역을 계산하는 단계;
    상기 객체 마스크와 상기 폐색영역을 이용하여 해당 영상의 객체들 간 경계 좌표를 산출하며, 상기 깊이 영상 정보를 이용한 상기 스테레오 영상의 매칭을 통해 상기 깊이 영상 정보 중 상기 경계 좌표의 깊이 값을 결정하는 단계; 및
    상기 경계좌표에서 상기 폐색영역의 방향으로 상기 폐색영역의 끝까지 상기 폐색영역에 대한 깊이 값들이 존재하도록 보정하는 단계
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 영상 처리 방법은, 영상회의 시스템에서 원격 참여자와 로컬 참여자 간의 눈맞춤 처리를 위한 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 폐색영역을 계산하는 단계에서,
    스테레오 영상 각각에 대한 객체 부분을 추출하고, 각 영상에서 뒤쪽 객체의 좌측 또는 우측 여부에 따라 좌측의 상기 제1카메라, 또는 우측의 상기 제2카메라의 영상에 대한 객체 부분 영역을 상기 객체 마스크로서 생성하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 폐색영역을 계산하는 단계에서,
    상기 깊이 영상 정보를 영상 평면으로 워핑해, 워핑된 깊이 값의 유효 영역과 상기 객체 마스크의 배타적 논리합을 수행하여 상기 폐색영역을 계산하는 것을 특징으로 하는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 경계 좌표는 앞객체와 뒤객체 간 경계(edge)로서 상기 폐색영역이 시작되기 전의 상기 앞객체 쪽의 픽셀들의 좌표들인 것을 특징으로 하는 영상 처리 방법.
  6. 제1항에 있어서,
    상기 보정하는 단계에서,
    상기 폐색영역에 대한 깊이 값들을, 픽셀 인접도에 따라 픽셀 단위당 소정의 값씩 보정하는 것을 특징으로 하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 보정하는 단계 후에,
    상기 폐색영역에 대한 깊이 값들을 갖는 3차원 영상을 생성하여, 영상의 객체 중 사람의 눈 부분이 맞추어지도록 시점을 변환하여 보정된 영상을 제공하는 단계
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 영상회의를 지원하기 위한 영상 처리 장치에 있어서,
    제1카메라와 제2카메라로부터의 스테레오 영상정보와 깊이 카메라로부터의 깊이 영상 정보를 이용하여, 영상에 대한 객체 마스크를 생성하고, 깊이에 대한 상기 객체 마스크 내의 폐색영역을 계산하는 폐색 영역 계산부;
    상기 객체 마스크와 상기 폐색영역을 이용하여 해당 영상의 객체들 간 경계 좌표를 산출하며, 상기 깊이 영상 정보를 이용한 상기 스테레오 영상의 매칭을 통해 상기 깊이 영상 정보 중 상기 경계 좌표의 깊이 값을 결정하는 스테레오 매칭부; 및
    상기 경계좌표에서 상기 폐색영역의 방향으로 상기 폐색영역의 끝까지 상기 폐색영역에 대한 깊이 값들이 존재하도록 보정하는 확산 보정부
    를 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 영상 처리 장치는, 영상회의 시스템에서 원격 참여자와 로컬 참여자 간의 눈맞춤 처리를 위한 것을 특징으로 하는 영상 처리 장치.
  10. 제8항에 있어서,
    상기 폐색 영역 계산부는,
    스테레오 영상 각각에 대한 객체 부분을 추출하고, 각 영상에서 뒤쪽 객체의 좌측 또는 우측 여부에 따라 좌측의 상기 제1카메라, 또는 우측의 상기 제2카메라의 영상에 대한 객체 부분 영역을 상기 객체 마스크로서 생성하는 것을 특징으로 하는 영상 처리 장치.
  11. 제8항에 있어서,
    상기 폐색 영역 계산부는,
    상기 깊이 영상 정보를 영상 평면으로 워핑해, 워핑된 깊이 값의 유효 영역과 상기 객체 마스크의 배타적 논리합을 수행하여 상기 폐색영역을 계산하는 것을 특징으로 하는 영상 처리 장치.
  12. 제8항에 있어서,
    상기 스테레오 매칭부는,
    앞객체와 뒤객체 간 경계(edge)로서 상기 폐색영역이 시작되기 전의 상기 앞객체 쪽의 픽셀들의 좌표들을 상기 경계 좌표로서 산출하는 것을 특징으로 하는 영상 처리 장치.
  13. 제8항에 있어서,
    상기 확산 보정부는,
    상기 폐색영역에 대한 깊이 값들을, 픽셀 인접도에 따라 픽셀 단위당 소정의 값씩 보정하는 것을 특징으로 하는 영상 처리 장치.
  14. 제8항에 있어서,
    상기 확산 보정부는,
    상기 폐색영역에 대한 깊이 값들을 갖는 3차원 영상을 생성하여, 영상의 객체 중 사람의 눈 부분이 맞추어지도록 시점을 변환하여 보정된 영상을 제공하는 것을 특징으로 하는 영상 처리 장치.
KR1020150145169A 2014-11-25 2015-10-19 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치 KR101995985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/951,005 US9807340B2 (en) 2014-11-25 2015-11-24 Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140165594 2014-11-25
KR1020140165594 2014-11-25

Publications (2)

Publication Number Publication Date
KR20160062678A KR20160062678A (ko) 2016-06-02
KR101995985B1 true KR101995985B1 (ko) 2019-07-03

Family

ID=56135780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150145169A KR101995985B1 (ko) 2014-11-25 2015-10-19 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101995985B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082958A1 (ja) * 2017-10-27 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317378A1 (en) 2006-02-14 2008-12-25 Fotonation Ireland Limited Digital image enhancement with reference images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101828017B1 (ko) * 2010-11-19 2018-02-13 한국전자통신연구원 입체 영상 디스플레이 장치 및 방법
KR101270025B1 (ko) * 2011-03-08 2013-05-31 (주)하이브 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317378A1 (en) 2006-02-14 2008-12-25 Fotonation Ireland Limited Digital image enhancement with reference images

Also Published As

Publication number Publication date
KR20160062678A (ko) 2016-06-02

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10997696B2 (en) Image processing method, apparatus and device
TWI610571B (zh) 顯示方法及其系統與電腦可讀取記錄媒體
US10306141B2 (en) Image processing apparatus and method therefor
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
EP3067746B1 (en) Photographing method for dual-camera device and dual-camera device
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
US10210660B2 (en) Removing occlusion in camera views
Kuster et al. Gaze correction for home video conferencing
EP2328125A1 (en) Image splicing method and device
WO2018176925A1 (zh) Hdr图像的生成方法及装置
EP3429195A1 (en) Method and system for image processing in video conferencing for gaze correction
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20200023651A (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
KR20110078175A (ko) 영상 데이터 생성 방법 및 장치
US9807340B2 (en) Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
US20150229913A1 (en) Image processing device
EP2887310A1 (en) Method and apparatus for processing light-field image
WO2022142139A1 (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant