KR20120093751A - 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법 - Google Patents

정면시점 영상합성을 통한 시선 맞춤 장치 및 방법 Download PDF

Info

Publication number
KR20120093751A
KR20120093751A KR1020110114965A KR20110114965A KR20120093751A KR 20120093751 A KR20120093751 A KR 20120093751A KR 1020110114965 A KR1020110114965 A KR 1020110114965A KR 20110114965 A KR20110114965 A KR 20110114965A KR 20120093751 A KR20120093751 A KR 20120093751A
Authority
KR
South Korea
Prior art keywords
image
camera
depth information
synthesis
present
Prior art date
Application number
KR1020110114965A
Other languages
English (en)
Inventor
양승준
이한규
차지훈
김진웅
이상범
신인용
호요성
Original Assignee
한국전자통신연구원
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광주과학기술원 filed Critical 한국전자통신연구원
Priority to US13/396,865 priority Critical patent/US20120206578A1/en
Publication of KR20120093751A publication Critical patent/KR20120093751A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법에 관한 것으로서, 멀티 카메라 영상을 획득하는 영상 획득부, 상기 획득된 멀티 카메라 영상을 전처리하는 전처리부, 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하는 깊이 정보 탐색부, 및 상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성하는 영상 합성부를 포함한다.

Description

정면시점 영상합성을 통한 시선 맞춤 장치 및 방법{APPARATUS AND METHOD OF EYE CONTACT USING COMPOSITING IMAGE OF FRONT IMAGE VIEW}
본 발명은 영상회의, 영상통화시 화자간의 아이컨택을 위해 멀티 카메라를 이용한 아이컨택 방법 및 그 장치에 관한 것이다.
"3D가 디지털 미디어의 르네상스를 만들어냈다. 3D는 엔터테인먼트의 획기적 사건이자 전 세계적 변화이다." 영화 "아바타"로 3D의 전 세계적인 관심을 이끌어 낸 제임스 카메룬 감독이 제7회 서울 디지털 포럼에서 언급한 내용이다.
최근 폭발적인 증가세를 보이고 있는 3D 시장의 점화제 역할을 한 제임스 카메룬 감독의 발언은 방송 시스템이 아날로그에서 디지털로 전환되면서 영상 산업 전반에 큰 변화를 가져 왔듯이, 가까운 미래에 디지털 미디어가 2차원에서 3차원으로 전환되는 영상 산업의 또 다른 혁명을 불러일으킬 것이라는 전망과 일치한다.
실제로, 세계 선진국에서는 3차원 방송을 위한 3차원 영상 컨텐츠를 제작하고 있으며, 국내에서도 여러 방송 사업자들을 중심으로 3D 시험방송을 준비하고 있다.
최근 MPEG (moving picture experts group) 국제 표준화 기구에서는 3차원 비디오 시스템을 정의하고, 다시점 색상영상과 깊이영상을 포함하는 3차원 비디오를 압축 부호화하는 국제 표준화 작업을 진행하고 있다.
MPEG에서 정의한 3차원 비디오 시스템은 3시점 혹은 그 이상의 넓은 시야각을 제공하는 고해상도의 3차원 비디오 시스템을 의미한다.
3차원 비디오 시스템을 구현하기 위해서는 다수의 카메라로 획득한 넓은 시야각의 다시점 영상을 이용해서 3차원 장면의 거리 정보를 표현하는 깊이영상을 추정하는 기술과 깊이영상을 이용하여 사용자가 원하는 임의의 시점에서 장면을 시청할 수 있도록 중간시점 영상합성 기술이 사용된다.
도 1은 MPEG에서 구상하는 3차원 비디오 시스템의 개념도를 도시하는 도면이다.
도 1에서 보는 바와 같이, 3차원 비디오 시스템의 핵심 기술들 가운데 하나인 깊이 탐색 기술과 영상 합성 기술은 다양한 응용 분야에 이용될 수 있는데, 그 대표적인 예가 원격 화상 회의를 위한 시선 맞춤(eye contact) 기술이다.
최근, 독일의 HHI 연구소에서는 앞서 언급한 주요 기술들을 이용한 3차원 원격 화상회의 시스템을 개발했다.
이 방법은 4대의 카메라를 이용해서 화자의 깊이 정보를 탐색한 다음, 영상 합성과정을 통해 원격의 화자의 시선을 맞출 수 있다. 하지만, 이 방법은 그 성능에 비해 하드웨어 구성이 너무 복잡하고 시스템을 구축하는데 너무 많은 비용이 든다는 단점이 있다.
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 장치는 멀티 카메라 영상을 획득하는 영상 획득부, 상기 획득된 멀티 카메라 영상을 전처리하는 전처리부, 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하는 깊이 정보 탐색부, 및 상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성하는 영상 합성부를 포함할 수 있다.
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 영상 획득부에서, 수렴형 배열로 구성된 두 대의 스테레오 카메라를 이용하여, 멀티 카메라 영상을 획득하는 단계, 전처리부에서, 상기 획득된 멀티 카메라 영상을 전처리하는 단계, 깊이 정보 탐색부에서, 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하는 단계, 및 영상 합성부에서, 상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 카메라의 물리적 특성에 기반한 상용 제품에 비해 비용을 현저히 줄일 수 있다.
또한 본 발명의 일실시예에 따르면, 중간시점 영상합성 기술을 응용하여 최대한 자연스러운 정면영상을 제공할 수 있다.
도 1은 MPEG에서 구상하는 3차원 비디오 시스템의 개념도를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 장치를 설명하는 블록도이다.
도 3은 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법을 설명하는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 영상합성 방법을 구체적으로 설명하는 흐름도이다.
도 5는 본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법을 설명하는 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 장치를 설명하는 블록도이다.
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 장치(200)는 정면시점 영상합성 방법을 통한 시점 조정 방법을 제안한다.
구체적으로, 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 장치(200)를 이용하며, 기존과는 달리 수렴형 배열로 구성된 두 대의 스테레오 카메라를 이용해서 정면시점 영상을 합성할 수 있고, 최종적으로 정면시점 영상합성 방법을 이용해서 화자가 정면을 바라보는 듯한 영상을 획득할 수 있게 된다.
이를 위해, 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 장치(200)는 영상 획득부(210), 전처리부(220), 깊이 정보 탐색부(230), 및 영상 합성부(240)를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 획득부(210)는 멀티 카메라 영상을 획득할 수 있다.
본 발명의 일실시예에 따른 영상 획득부(210)는 수렴형 배열로 구성된 두 대의 스테레오 카메라를 이용하여, 상기 멀티 카메라 영상을 획득할 수 있다.
본 발명의 일실시예에 따른 전처리부(220)는 상기 획득된 멀티 카메라 영상을 전처리할 수 있다.
본 발명의 일실시예에 따른 전처리부(220)는 일단 화자가 촬영되어 멀티 카메라 영상이 획득되기만 하면, 카메라 매개변수 획득 처리 및 카메라 교정 처리와 같은 영상 전처리 과정을 수행할 수 있다.
일례로, 본 발명의 일실시예에 따른 전처리부(220)는 상기 획득한 카메라 매개변수를 이용하여 변환식을 산출하고, 상기 산출된 변환식을 각 시점의 영상에 적용하는 다시점 영상 정렬(image rectification)을 수행할 수 있다.
카메라 보정(camera calibration)은 카메라 매개 변수를 예측하는 기술로서, 격자 무늬의 패턴이 촬영된 여러 장의 2차원 영상들에서 추출한 특징점을 기반으로 카메라의 내부 매개변수와 외부 매개변수를 계산할 수 있다.
이러한 카메라 내부 매개변수는 카메라의 초점 거리와 같이 카메라 내부의 물리적 특성을 나타내는 값들로 이루어진 행렬로 표현되며, 외부 매개변수는 3차원 공간에서 카메라의 방향과 위치를 나타내는 회전 행렬과 이동 벡터로 이루어진다.
카메라의 내부와 외부 매개변수를 이용하여 카메라의 투영 행렬을 구할 수 있고, 이 투영 행렬은 3차원 공간상의 한 점을 2차원 영상 평면상의 한 점으로 옮겨오는 역할을 한다.
카메라 보정을 통해 얻은 카메라 변수 또는 카메라 투영 행렬은 3차원 영상 처리 및 응용에서 가장 기본이 되는 필수적인 정보이고, 여러 대의 카메라를 사용하는 경우, 모든 카메라에 대해 보정을 수행하는데 이용될 수 있다.
인접한 여러 대의 카메라로 촬영된 영상에는 일반적으로 기하학적 오차가 존재하는데, 이러한 오차는 카메라의 배열을 수동으로 구성한 것에서 기인한 것으로, 각 시점의 영상에서의 대응점들의 수직 좌표와 수평 방향으로의 시차인 변이가 일정하지 않은 것으로 나타날 수 있다.
또한 같은 카메라를 사용할 때에도 카메라 보정을 통해서 얻어지는 각각의 카메라 내부 변수들 사이에 역시 오차가 존재할 수 있다. 이러한 오차들은 깊이 영상을 생성하고 중간 시점 영상을 합성함에 있어서 품질을 떨어뜨리는 원인이 될 수 있다.
본 발명의 일실시예에 따른 전처리부(220)가 수행하는 다시점 영상 정렬(image rectification)은 카메라 매개변수를 이용하여 구한 변환식을 각 시점의 영상에 적용하여 기하학적 오차를 최소화하는 작업으로 해석될 수 있다.
본 발명의 일실시예에 따른 전처리부(220)는 상기 다시점 영상 정렬(image rectification)을 통해서, 상기 카메라 매개변수로부터 카메라의 광축을 예측할 수 있으며, 정렬되지 않은 광축에 대해서 영상 정렬 방법을 통해 정렬할 수 있다.
정렬된 다시점 영상은 대응점 간에 수직 방향으로의 불일치 없이 수평 방향으로의 변이만 가지게 된다.
본 발명의 일실시예에 따른 깊이 정보 탐색부(230)는 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색할 수 있다.
깊이 영상(depth map)이란 영상 내에 존재하는 객체들의 3차원 거리 정보를 8비트로 표현한 영상을 의미한다. 또한, 깊이 영상의 화소값은 각 해당 화소의 깊이 정보를 나타낸다.
이러한 깊이 영상은 깊이 카메라를 이용해 직접 획득할 수 있지만 스테레오 카메라 및 다시점 카메라를 이용하여 획득할 수도 있다. 스테레오 카메라 및 다시점 카메라를 이용하여 획득하는 경우에는 깊이 영상을 계산적으로 추정함으로써 획득할 수 있다.
다시점 깊이 영상을 획득하기 위해서는 다시점 영상 각 시점의 상관관계를 이용하여 깊이 정보를 계산적으로 탐색하는 스테레오 정합 기술을 가장 많이 이용할 수 있다.
스테레오 정합 기술은 인접한 두 시점 영상에서 객체가 수평으로 이동한 정도, 즉, 변이(disparity)를 계산해서 깊이 정보를 획득하는 기술이다. 이러한 스테레오 정합 기술은 특별한 센서 없이도 깊이 정보를 획득할 수 있기 때문에 비용이 적게 들고, 이미 촬영된 영상에 대해서도 깊이 정보를 획득할 수 있다는 장점을 지닌다.
변이값을 계산하기 위해서는 기준이 되는 좌영상의 모든 화소에 대해 우영상에서 동일한 위치의 화소를 탐색해야 하는데 이를 위해서 정합 함수를 사용한다. 정합 함수는 두 시점의 화소를 비교했을 때의 오차값을 나타내는 것으로 오차값이 작을수록 동일한 위치일 확률이 높아진다. 깊이 탐색을 위한 정합 함수는 다음과 [수학식 1], [수학식 2], 및 [수학식 3]같이 정의된다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003

여기서 (x,y)는 비교를 위한 영상의 화소의 좌표를 나타내고, d는 탐색 범위 내의 구하고자 하는 깊이값을 나타낸다.
Edata(x,y,d)는 좌영상과 우영상의 화소값의 차이를 나타낸다.
Esmooth(x,y,d)는 깊이영상 내의 인접 화소들과의 깊이값의 차이를 나타낸다.
본 발명의 일실시예에 따른 깊이 정보 탐색부(230)는 [수학식 1], [수학식 2], 및 [수학식 3]와 같은 정합 함수를 이용해서 좌우 시점 각각에 대한 깊이 영상을 탐색할 수 있다.
본 발명의 일실시예에 따른 영상 합성부(240)는 상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성할 수 있다.
본 발명의 일실시예에 따른 영상 합성부(240)가 수행하는 정면시점 영상합성은 크게 3단계로 나눌 수 있다.
첫 번째, 본 발명의 일실시예에 따른 영상 합성부(240)는 시점 이동 과정을 수행할 수 있다.
시점 이동이란 앞에서 구한 깊이 정보를 이용하여 색상영상을 두 시점의 가운데 위치하는 가상의 시점으로 투영하는 방법을 의미한다.
두 번째, 본 발명의 일실시예에 따른 영상 합성부(240)는 영상 통합 과정을 수행할 수 있다.
시점 이동으로 인해 참조 시점에서 존재하지 않았던 영역은 홀(hole)로 나타나게 된다. 이때, 홀은 좌, 우 참조 화면으로부터 중간시점으로 이동된 두 영상을 하나로 합치기 위해 영상 통합 과정을 통해 대부분 채워질 수 있다.
세 번째, 본 발명의 일실시예에 따른 영상 합성부(240)는 영상 통합 과정에서 남아 있는 홀을 영상 보간법이나 인페인팅(inpainting) 기술을 통해 채우는 과정을 수행할 수 있다.
도 3은 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법을 설명하는 흐름도이다.
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 영상 획득부를 이용하여, 수렴형 배열로 구성된 두 대의 스테레오 카메라를 이용하여, 멀티 카메라 영상을 획득할 수 있다(단계 301).
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 전처리부를 이용하여, 상기 획득된 멀티 카메라 영상을 전처리할 수 있다(단계 302).
일례로, 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 획득된 멀티 카메라 영상을 전처리하기 위해서, 카메라 매개변수의 획득 처리 및 카메라 교정 처리 중에서 적어도 어느 하나의 처리를 수행할 수 있다.
또 다른 일례로, 본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 획득된 멀티 카메라 영상을 전처리하기 위해서, 카메라 매개변수의 획득하고, 상기 획득한 카메라 매개변수를 이용하여 변환식을 산출하며, 상기 산출된 변환식을 각 시점의 영상에 적용하는 다시점 영상 정렬(image rectification)을 수행할 수 있다.
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 깊이 정보 탐색부를 이용하여, 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색할 수 있다(단계 303).
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하기 위해서, 상기 탐색된 영상의 깊이 정보에 기초하여 카메라와 화자 간의 거리를 산출할 수 있다.
본 발명의 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 영상 합성부를 이용하여, 상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성할 수 있다(단계 304).
도 4는 본 발명의 일실시예에 따른 영상합성 방법을 구체적으로 설명하는 흐름도이다.
본 발명의 일실시예에 따른 영상합성 방법은 단계 401 내지 406을 통해서 시점을 이동시킬 수 있다.
즉, 본 발명의 일실시예에 따른 영상합성 방법은 단계 401에서 생성된 좌영상의 색상영상과, 단계 402에서 생성된 좌영상의 깊이영상에 대해서, 깊이영상을 기반으로 하는 시점 이동을 수행할 수 있다(단계 403).
마찬가지로, 본 발명의 일실시예에 따른 영상합성 방법은 단계 404에서 생성된 우영상의 색상영상과, 단계 405에서 생성된 우영상의 깊이영상에 대해서, 깊이영상을 기반으로 하는 시점 이동을 수행할 수 있다(단계 406).
다음으로, 본 발명의 일실시예에 따른 영상합성 방법은 시점 이동으로 인해 참조 시점에서 존재하지 않았던 영역은 홀(hole)로 나타나는데, 홀을 채우기 위해서 영상 통합을 수행한다(단계 407).
홀은 좌, 우 참조 화면으로부터 중간시점으로 이동된 두 영상을 하나로 합치는 단계 407의 영상 통합 과정을 통해 대부분 채워질 수 있다.
마지막으로, 본 발명의 일실시예에 따른 영상합성 방법은 영상 통합 과정에서 남아 있는 홀을 영상 보간법이나 인페인팅 (inpainting) 기술을 통해 채울 수 있다(단계 408).
결국, 본 발명의 일실시예에 따른 영상합성 방법은 완벽히 합성된 영상을 생성할 수 있다(단계 409).
도 5는 본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법을 설명하는 흐름도이다.
본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 서버와 연결된 다수의 카메라로부터 영상을 입력 받는다(단계 501).
이에, 본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 상기 입력된 영상으로부터 카메라의 특성에 따른 카메라 매개변수를 획득한다(단계 502).
다음으로, 본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 카메라 매개변수를 통하여 카메라 교정 및 카메라 수렴 각도에 따라 평행면에 대한 교정 작업 등의 전처리를 수행한다(단계 503).
본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 계산량의 감소를 위해 전경, 즉 사람과 배경을 분리하는 작업을 수행한다(단계 504).
본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 각 영상의 깊이 정보를 탐색하여, 정합 오차가 최소화 되는 깊이영상을 획득하게 된다(단계 505).
이후, 본 발명의 다른 일실시예에 따른 정면시점 영상합성을 통한 시선 맞춤 방법은 깊이 영상을 기반으로 영상을 합성하고(단계 506), 합성된 정면영상에 대한 보정을 수행하는 등의 후처리를 수행한다(단계 507).
본 발명의 일실시예에 따른 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 정면시점 영상합성을 통한 시선 맞춤 장치
210: 영상 획득부
220: 전처리부
230: 깊이 정보 탐색부
240: 영상 합성부

Claims (9)

  1. 멀티 카메라 영상을 획득하는 영상 획득부;
    상기 획득된 멀티 카메라 영상을 전처리하는 전처리부;
    상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하는 깊이 정보 탐색부; 및
    상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성하는 영상 합성부
    를 포함하는 정면시점 영상합성을 통한 시선 맞춤 장치.
  2. 제1항에 있어서,
    상기 영상 획득부는
    수렴형 배열로 구성된 두 대의 스테레오 카메라를 이용하여, 상기 멀티 카메라 영상을 획득하는 정면시점 영상합성을 통한 시선 맞춤 장치.
  3. 제1항에 있어서,
    상기 전처리부는,
    카메라 매개변수의 획득 처리 및 카메라 교정 처리 중에서 적어도 어느 하나의 처리를 수행하는 정면시점 영상합성을 통한 시선 맞춤 장치.
  4. 제3항에 있어서,
    상기 전처리부는,
    상기 획득한 카메라 매개변수를 이용하여 변환식을 산출하고, 상기 산출된 변환식을 각 시점의 영상에 적용하는 다시점 영상 정렬(image rectification)을 수행하는 정면시점 영상합성을 통한 시선 맞춤 장치.
  5. 제1항에 있어서,
    상기 깊이 정보 탐색부는,
    상기 탐색된 영상의 깊이 정보에 기초하여 카메라와 화자 간의 거리를 산출하는 정면시점 영상합성을 통한 시선 맞춤 장치.
  6. 영상 획득부에서, 수렴형 배열로 구성된 두 대의 스테레오 카메라를 이용하여, 멀티 카메라 영상을 획득하는 단계;
    전처리부에서, 상기 획득된 멀티 카메라 영상을 전처리하는 단계;
    깊이 정보 탐색부에서, 상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하는 단계; 및
    영상 합성부에서, 상기 탐색된 깊이 정보를 이용하여, 정면영상을 합성하는 단계
    를 포함하는 정면시점 영상합성을 통한 시선 맞춤 방법.
  7. 제6항에 있어서,
    상기 획득된 멀티 카메라 영상을 전처리하는 단계는,
    카메라 매개변수의 획득 처리 및 카메라 교정 처리 중에서 적어도 어느 하나의 처리를 수행하는 단계
    를 포함하는 정면시점 영상합성을 통한 시선 맞춤 방법.
  8. 제6항에 있어서,
    상기 획득된 멀티 카메라 영상을 전처리하는 단계,
    카메라 매개변수의 획득하는 단계;
    상기 획득한 카메라 매개변수를 이용하여 변환식을 산출하는 단계; 및
    상기 산출된 변환식을 각 시점의 영상에 적용하는 다시점 영상 정렬(image rectification)을 수행하는 단계
    를 포함하는 정면시점 영상합성을 통한 시선 맞춤 방법.
  9. 제6항에 있어서,
    상기 전처리된 멀티 카메라 영상의 깊이 정보를 탐색하는 단계는,
    상기 탐색된 영상의 깊이 정보에 기초하여 카메라와 화자 간의 거리를 산출하는 단계
    를 포함하는 정면시점 영상합성을 통한 시선 맞춤 방법.
KR1020110114965A 2011-02-15 2011-11-07 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법 KR20120093751A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/396,865 US20120206578A1 (en) 2011-02-15 2012-02-15 Apparatus and method for eye contact using composition of front view image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110013150 2011-02-15
KR1020110013150 2011-02-15

Publications (1)

Publication Number Publication Date
KR20120093751A true KR20120093751A (ko) 2012-08-23

Family

ID=46885084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110114965A KR20120093751A (ko) 2011-02-15 2011-11-07 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120093751A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065547A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
US9807340B2 (en) 2014-11-25 2017-10-31 Electronics And Telecommunications Research Institute Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
KR101986433B1 (ko) * 2017-11-28 2019-06-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
KR20190062794A (ko) * 2017-11-29 2019-06-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 결합 방법 및 시스템
KR20190066658A (ko) * 2017-12-06 2019-06-14 서울과학기술대학교 산학협력단 다수의 카메라를 이용한 중간시점 화상 회의 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065547A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
US9807340B2 (en) 2014-11-25 2017-10-31 Electronics And Telecommunications Research Institute Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
KR101986433B1 (ko) * 2017-11-28 2019-06-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
US10778950B2 (en) 2017-11-28 2020-09-15 Center For Integrated Smart Sensors Foundation Image stitching method using viewpoint transformation and system therefor
KR20190062794A (ko) * 2017-11-29 2019-06-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 결합 방법 및 시스템
US10972712B2 (en) 2017-11-29 2021-04-06 Center For Integrated Smart Sensors Foundation Image merging method using viewpoint transformation and system therefor
KR20190066658A (ko) * 2017-12-06 2019-06-14 서울과학기술대학교 산학협력단 다수의 카메라를 이용한 중간시점 화상 회의 장치 및 방법

Similar Documents

Publication Publication Date Title
Anderson et al. Jump: virtual reality video
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
Kauff et al. Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability
CN108886598B (zh) 全景立体视频系统的压缩方法和装置
US9313473B2 (en) Depth video filtering method and apparatus
US20020106120A1 (en) Method of analyzing in real time the correspondence of image characteristics in corresponding video images
KR101804205B1 (ko) 영상 처리 장치 및 방법
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
KR20130107840A (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
WO2012061549A2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
KR102658359B1 (ko) 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
WO2019198501A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像伝送システム
KR20120093751A (ko) 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
Garus et al. Bypassing depth maps transmission for immersive video coding
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
US11579746B2 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
US9838669B2 (en) Apparatus and method for depth-based image scaling of 3D visual content
Köppel et al. Filling disocclusions in extrapolated virtual views using hybrid texture synthesis
Mueller et al. Spatio-temporal consistent depth maps from multi-view video
KR100757259B1 (ko) 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application