KR20160059338A - 영상 시점 처리 장치 및 방법 - Google Patents

영상 시점 처리 장치 및 방법 Download PDF

Info

Publication number
KR20160059338A
KR20160059338A KR1020140161114A KR20140161114A KR20160059338A KR 20160059338 A KR20160059338 A KR 20160059338A KR 1020140161114 A KR1020140161114 A KR 1020140161114A KR 20140161114 A KR20140161114 A KR 20140161114A KR 20160059338 A KR20160059338 A KR 20160059338A
Authority
KR
South Korea
Prior art keywords
image
depth
camera
stereo
stereo camera
Prior art date
Application number
KR1020140161114A
Other languages
English (en)
Inventor
이미숙
황인기
김도영
호요성
이상범
장우석
Original Assignee
한국전자통신연구원
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광주과학기술원 filed Critical 한국전자통신연구원
Priority to KR1020140161114A priority Critical patent/KR20160059338A/ko
Publication of KR20160059338A publication Critical patent/KR20160059338A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 영상 시점 처리 장치 및 방법에 관한 것이다. 본 발명의 영상 시점 처리 장치는, 디스플레이 화면의 상부 및 하부에 각각 배치되어 상기 디스플레이 화면을 응시하는 사용자의 제1 영상 및 제2 영상을 촬영하는 제1 스테레오 카메라 및 제2 스테레오 카메라, 상기 디스플레이 화면을 응시하는 사용자의 깊이 영상을 촬영하는 깊이 카메라, 및 상기 제1 영상 및 상기 제2 영상 각각을 스테레오 정합하여 추정된 깊이 정보 및 상기 깊이 영상으로부터 획득한 깊이 정보를 상기 사용자의 정면 시점으로 워핑(warping) 하고, 상기 워핑된 각 영상들의 깊이 정보를 통합하여 정면 시점의 영상을 합성하는 영상 처리부를 포함한다.

Description

영상 시점 처리 장치 및 방법{Apparatus and method for processing view-point of image}
본 발명은 영상 시점 처리 장치 및 방법에 관한 것으로, 복수의 영상들로부터 시선 맞춤을 위한 정면 시점 영상을 제공하는 기술에 관한 것이다.
3차원 비디오 시스템을 구현하기 위해서는 다수의 카메라로 획득한 넓은 시야각의 다시점 영상을 이용해서 3차원 장면의 거리 정보를 표현하는 깊이 영상을 추정하는 기술과 깊이 영상을 이용하여 사용자가 원하는 임의의 시점에서 장면을 시청할 수 있도록 중간시점 영상합성 기술이 사용된다. 3차원 비디오 시스템의 핵심 기술들 가운데 하나인 깊이 탐색 기술과 영상 합성 기술은 다양한 응용 분야에 이용될 수 있는데, 그 대표적인 예가 원격 화상 회의를 위한 시선 맞춤(eye contact) 기술이다.
종래의 시선 맞춤 기술은 두 카메라를 TV의 좌우 양쪽 끝에 위치시키고, 이들을 수렴형 배열이 되도록 세팅한다. 하지만, 카메라 간 거리 차가 커서 큰 베이스라인을 가질 뿐만 아니라, 수렴형 배열에 의한 서로 다른 각도에서 영상을 습득하기 때문에 두 카메라 사이의 서로 존재하지 않는 영역인 폐색 영역의 범위가 넓어진다. 넓은 폐색 영역은 스테레오 영상에서 정확한 깊이 정보를 얻는데 방해요인이 된다.
또한, 두 개의 색상 카메라만을 이용하여 깊이를 추출하는 경우, 두 시점의 화소 오차 등으로 인해 얼굴 부분의 깊이를 정확히 구분할 수 없게 된다.
국내공개특허 제10-2012-0093751호
본 발명의 목적은, 영상 회의 시스템에 복합형 카메라 시스템을 적용하여 획득 영상의 폐색 영역을 최소화하고 얼굴 영역에 대한 정확도 높은 깊이 추정이 가능하도록 하는 영상 시점 처리 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 정밀하고 자연스러운 정면 시점 합성 영상을 제공하도록 하는 영상 시점 처리 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 영상 시점 처리 장치는, 디스플레이 화면의 상부 및 하부에 각각 배치되어 상기 디스플레이 화면을 응시하는 사용자의 제1 영상 및 제2 영상을 촬영하는 제1 스테레오 카메라 및 제2 스테레오 카메라, 상기 디스플레이 화면을 응시하는 사용자의 깊이 영상을 촬영하는 깊이 카메라, 및 상기 제1 영상 및 상기 제2 영상 각각을 스테레오 정합하여 추정된 깊이 정보 및 상기 깊이 영상으로부터 획득한 깊이 정보를 상기 사용자의 정면 시점으로 워핑(warping) 하고, 상기 워핑된 각 영상들의 깊이 정보를 통합하여 정면 시점의 영상을 합성하는 영상 처리부를 포함할 수 있다.
상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라는, 상기 디스플레이 화면의 높이 방향으로 서로 대응되는 위치에 배치되는 것을 특징으로 한다.
상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라는, 상기 디스플레이 화면의 중심점으로부터 높이 방향으로 상부 및 하부에 각각 배치되는 것을 특징으로 한다.
상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라는, 각각 적어도 두 개의 카메라 렌즈를 구비하고, 적어도 두 개의 카메라 렌즈 중 어느 하나가 상기 사용자의 정면 시점 상에 배치되는 것을 특징으로 한다.
상기 깊이 카메라는, 상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라와 동일한 수직라인 상에 배치되는 것을 특징으로 한다.
상기 깊이 카메라는, 상기 사용자가 정면에서 상기 디스플레이 화면을 응시하는 시선의 라인 상에 배치되는 것을 특징으로 한다.
상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상으로부터 검출된 특징점들을 기준으로 정합하여 상기 사용자에 대한 깊이 정보를 추정하는 스테레오 정합부, 상기 제1 영상, 상기 제2 영상 및 상기 깊이 영상으로부터 획득한 깊이 정보를 상기 사용자의 정면 시점으로 워핑하는 워핑부, 및 상기 워핑된 각 영상들의 깊이 정보를 통합하여 합성하는 영상 합성부를 포함하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 제1 영상, 상기 제2 영상 및 상기 깊이 영상으로부터 각 카메라에 대한 매개변수를 획득하는 영상 전처리부를 더 포함하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 워핑된 깊이 영상을 업샘플링하는 샘플링부를 더 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 영상 시점 처리 방법은, 디스플레이 화면의 상부 및 하부에 각각 배치된 제1 스테레오 카메라 및 제2 스테레오 카메라를 통해 상기 디스플레이 화면을 응시하는 사용자의 제1 영상 및 제2 영상을 촬영하는 단계, 깊이 카메라를 이용하여 상기 디스플레이 화면을 응시하는 사용자의 깊이 영상을 촬영하는 단계, 상기 제1 영상 및 상기 제2 영상 각각을 스테레오 정합하여 깊이 정보를 추정하는 단계, 상기 제1 영상 및 상기 제2 영상으로부터 추정된 깊이 정보 및 상기 깊이 영상으로부터 획득한 깊이 정보를 상기 사용자의 정면 시점으로 워핑(warping) 하는 단계, 및 상기 워핑된 각 영상들의 깊이 정보를 통합하여 정면 시점의 영상을 합성하는 단계를 포함할 수 있다.
상기 제1 영상 및 제2 영상은, 상기 디스플레이 화면의 높이 방향으로 서로 대응되는 위치에 배치된 상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라에 의해 촬영된 스테레오 영상인 것을 특징으로 한다.
상기 제1 영상 및 제2 영상은, 상기 디스플레이 화면의 중심점으로부터 높이 방향으로 상기 디스플레이 화면의 상부 및 하부에 각각 배치된 상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라에 의해 촬영된 스테레오 영상인 것을 특징으로 한다.
상기 제1 영상 및 제2 영상은, 구비된 적어도 두 개의 카메라 렌즈 중 어느 하나가 상기 사용자의 정면 시점 상에 배치된 상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라에 의해 촬영된 것을 특징으로 한다.
상기 깊이 영상은, 상기 제1 스테레오 카메라 및 상기 제2 스테레오 카메라와 동일한 수직라인 상에 배치된 상기 깊이 카메라에 의해 촬영된 것을 특징으로 한다.
상기 깊이 영상은, 상기 사용자가 정면에서 상기 디스플레이 화면을 응시하는 시선의 라인 상에 배치된 상기 깊이 카메라에 의해 촬영된 것을 특징으로 한다.
상기 영상 시점 처리 방법은, 상기 깊이 정보를 추정하는 단계 이전에, 상기 제1 영상, 상기 제2 영상 및 상기 깊이 영상으로부터 각 카메라에 대한 매개변수를 획득하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 시점 처리 방법은, 상기 정면 시점의 영상을 합성하는 단계 이전에, 상기 워핑된 깊이 영상을 업샘플링하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 시점 처리 방법은, 상기 정면 시점의 영상을 합성하는 단계 이전에, 상기 워핑된 깊이 영상을 업샘플링하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 영상 회의 시스템에 복합형 카메라 시스템을 적용하여 획득 영상의 폐색 영역을 최소화하고 얼굴 영역에 대한 정확도 높은 깊이 추정이 가능하며, 그로 인해 정밀하고 자연스러운 정면 시점 합성 영상을 제공할 수 있는 이점이 있다.
도 1a 및 도 1b는 본 발명에 따른 영상 시점 처리 장치의 카메라 배치 구조를 도시한 도이다.
도 2는 본 발명에 따른 영상 시점 처리 장치의 구성을 도시한 블록도이다.
도 3은 본 발명에 따른 영상 시점 처리 방법에 대한 동작 흐름을 도시한 순서도이다.
도 4는 도 3의 깊이 추정 방법에 대한 세부 동작의 흐름을 도시한 순서도이다.
도 5는 본 발명에 따른 영상 시점 처리 장치가 적용되는 컴퓨팅 시스템의 구성을 도시한 블록도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1a 및 도 1b는 본 발명에 따른 영상 시점 처리 장치의 카메라 배치 구조를 도시한 도이다.
도 1a 및 도 1b와 같이, 사용자는 영상회의 참여 시 디스플레이 화면에 표시된 객체를 응시하게 된다. 여기서, 디스플레이(10)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
본 발명에 따른 영상 시점 처리 장치는 디스플레이 화면을 응시하는 사용자를 촬영하는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)는 디스플레이 화면의 상부 및 하부에 각각 배치된다. 예를 들어, 제1 스테레오 카메라(110)는 디스플레이 화면의 상부에, 제2 스테레오 카메라(120)는 디스플레이 화면의 하부에 배치될 수 있다.
여기서, 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)는 디스플레이 화면의 높이 방향으로 서로 대응되는 위치에 배치될 수 있으며, 구체적으로 영상회의에 참여하는 사용자의 정면 시점을 기준으로 디스플레이 화면의 상부 및 하부에 각각 배치될 수 있다. 일 예로서, 영상회의에 참여하는 사용자의 정면 시점은 디스플레이 화면의 중심점이 될 수 있다. 다만, 사용자의 정면 시점은 디스플레이 화면의 중심점이 아닐 수도 있으며, 사용자의 위치 혹은 사용자의 요구 등에 의해 좌측 또는 우측으로 치우친 점 일 수도 있다. 다만, 본 발명의 실시예에서는 정면 시점이 중심점인 것으로 가정하여 설명하도록 한다.
제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)는 각각 적어도 두 개의 카메라 렌즈를 구비하며, 적어도 두 개의 카메라 렌즈는 소정 간격으로 이격되어 배치된다. 따라서, 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)는 서로 다른 위치에 배치된 적어도 두 개의 카메라 렌즈를 통해 입체 영상을 획득하게 된다. 물론, 제1 스테레오 카메라(110)는 카메라 렌즈가 적어도 두 개이고, 이미지를 처리하는 유닛은 하나로 통합된 형태로 구현될 수 있으며, 독립된 적어도 두 개 이상의 단안 카메라를 구비한 형태로 구현될 수도 있다.
이와 같이, 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)에 구비되는 적어도 두 개의 카메라 렌즈 중 어느 하나는 영상회의에 참여하는 사용자의 정면 시점을 포함하는 수직선상에 배치되는 것으로 한다. 도 1b의 실시예에서는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)에 구비된 두 개의 카메라 렌즈 중 동일한 방향의 카메라 렌즈가 정면 시점을 포함하는 수직선상에 배치된 것으로 도시하였으나, 반대방향 혹은 서로 다른 방향의 카메라 렌즈가 정면 시점을 포함하는 수직선상에 배치될 수도 있음은 당연한 것이다. 또한, 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)는 각각 구비된 적어도 두 개의 카메라 렌즈 중 어느 하나만 정면을 향하도록 배치되고, 다른 하나는 다른 방향을 향하도록 배치될 수도 잇다.
제1 스테레오 카메라(110)에 의해 촬영되는 제1 영상 및 제2 스테레오 카메라(120)에 의해 촬영되는 제2 영상은 영상 처리부(140)로 전달되어 사용자의 정면 시점 영상을 생성하는데 이용된다. 다만, 제1 영상 및 제2 영상은 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)에 각각 구비된 적어도 두 개의 카메라 렌즈 중 어느 하나를 통해서만 획득된 영상일 수도 있다.
한편, 본 발명에 따른 영상 시점 처리 장치는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120) 외에 깊이 카메라(130)가 추가로 구비될 수 있다. 깊이 카메라(130)는 스테레오 영상에 대한 스테레오 정합을 통해 얻어지는 깊이 정보 보다 더 정밀한 깊이 정보를 획득할 수 있다. 따라서, 본 발명에서는 깊이 카메라(130)를 반영함으로써, 스테레오 카메라에 의해 발생하는 깊이 추정 오차를 해소하여 깊이의 정확도를 향상시킬 수 있다.
이때, 깊이 카메라(130)는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)와 마찬가지로, 영상회의에 참여하는 사용자의 정면 시점 상에 배치될 수 있다. 일 예로서, 깊이 카메라(130)는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)와 동일한 수직라인 상에 배치될 수 있으며, 사용자가 정면에서 디스플레이 화면을 응시하는 시선의 라인 상에 배치될 수도 있다.
제1 스테레오 카메라(110), 제2 스테레오 카메라(120) 및 깊이 카메라(130)는 디스플레이(10)와 별개로 구비된 형태일 수 있으나, 디스플레이(10)와 일체형으로 구현된 형태일 수도 있다.
깊이 카메라(130)는 영상회의에 참여하는 사용자의 깊이 영상을 촬영하여 영상 처리부(140)로 제공한다. 따라서, 영상 처리부(140)는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)로부터 제공된 제1 영상 및 제2 영상과, 깊이 카메라(130)로부터 제공된 깊이 영상을 합성하여 정면 시점 영상을 생성하게 된다.
이에, 영상 시점 처리 장치의 세부 구성에 대해서는 도 2를 참조하여 더욱 상세히 설명하도록 한다.
도 2는 본 발명에 따른 영상 시점 처리 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 영상 시점 처리 장치는 제1 스테레오 카메라(110), 제2 스테레오 카메라(120), 깊이 카메라(130) 및 영상 처리부(140)를 포함할 수 있다. 영상 처리부(140)는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)에 의해 촬영된 제1 영상 및 제2 영상 각각을 스테레오 정합하여 깊이 정보를 추정하고, 추정된 깊이 정보와 깊이 카메라(130)에 의해 촬영된 깊이 영상으로부터 획득한 깊이 정보를 사용자의 정면 시점으로 워핑(warping) 한다. 이때, 영상 처리부(140)는 워핑된 각 영상들의 깊이 정보를 통합하고, 정면 시점의 영상을 합성하여 그 결과로 정면 시점 영상을 생성한다.
여기서, 영상 처리부(140)는 영상 전처리부(141), 스테레오 정합부(143), 워핑부(145), 샘플링부(147) 및 영상 합성부(149)를 포함할 수 있다.
영상 전처리부(141)는 제1 스테레오 카메라(110) 및 제2 스테레오 카메라(120)와 깊이 카메라(130)에 의해 촬영된 영상, 즉, 제1 영상, 제2 영상 및 깊이 영상으로부터 각 카메라에 대한 매개변수를 획득한다. 여기서, 매개변수는 각 카메라의 초점거리, 렌즈 특성값, 자세 설정값 등이 해당 될 수 있다. 이때, 영상 전처리부(141)는 획득한 각 카메라의 매개변수를 근거로부터 제1 영상, 제2 영상 및 깊이 영상을 각각 보정할 수 있다.
스테레오 정합부(143)는 제1 영상 및 제2 영상으로부터 검출된 특징점들을 기준으로 스테레오 정합하여 사용자에 대한 깊이 정보를 추정한다.
스테레오 정합 기술은 스테레오 카메라의 좌측 및 우측의 카메라 렌즈를 통해 촬영된 영상 간의 일치점을 찾아 각 영상에서 객체가 수평으로 이동한 정도, 즉, 변이(disparity)를 계산해서 깊이 정보를 획득하는 기술이다.
이에, 스테레오 정합부(143)는 제1 영상 및 제2 영상 각각에 대해 스테레오 정합을 수행함에 있어서, 좌/우 영상간의 일치점을 찾는 과정뿐 아니라, 폐색 영역을 탐색하여 처리하고, 영상 내 객체의 경계를 맞추는 작업을 추가로 수행할 수 있다. 이와 같은 스테레오 정합 과정을 통해 스테레오 정합부(143)는 제1 영상과 제2 영상 각각에 대한 깊이 정보를 추출할 수 있게 된다.
워핑부(145)는 스테레오 정합부(143)에 의해 추정된 제1 영상 및 제2 영상의 깊이 정보와, 깊이 영상으로부터 획득한 깊이 정보를 사용자의 정면 시점으로 워핑한다.
워핑은 원본 영상에 대해 픽셀의 위치만 바꾸어 형태를 바꾸어주는 기술이다. 이에, 본 발명에서 워핑부(145)는 각 영상들의 깊이 정보를 각각 정면 시점으로 옮겨 마치 사용자가 정면을 바라보는 듯한 정면 시점 영상을 획득할 수 있게 된다. 다시 말해, 제1 영상, 제2 영상 및 깊이 영상은 모두 정면 시점으로 워핑되어 영상 내 사용자가 정면을 바라보는 형태가 될 수 있다.
여기서, 깊이 카메라(130)는 색상 카메라에 비해 해상도가 낮기 때문에, 깊이 카메라(130)에 의해 촬영된 깊이 영상에 대해서는 업샘플링하는 과정이 필수적으로 요구된다. 따라서, 샘플링부(147)는 워핑부(145)에 의해 정면 시점으로 워핑된 깊이 영상의 각 픽셀들을 미리 정해진 값에 따라 업샘플링한다.
마지막으로, 영상 합성부(149)는 워핑부(145)에 의해 정면 시점으로 워핑된 제1 영상 및 제2 영상과, 샘플링부(147)에 의해 업샘플링된 깊이 영상의 깊이 정보를 모두 통합하고, 통합된 깊이 정보에 텍스처를 입히는 과정을 통해 합성된 하나의 정면 시점 영상을 생성할 수 있다.
이렇게 생성된 정면 시점 영상은 스테레오 카메라를 디스플레이 화면의 상부 및 하부의 정면 시점 위치에 배치함으로써, 스테레오 카메라 사이의 거리를 최소화함으로써 폐색 영역을 최소화하고, 깊이 카메라(130)를 통해 정밀하게 획득한 깊이 정보를 활용하기 때문에, 정밀하고 자연스러운 영상이 될 수 있다.
도 2에는 도시하지 않았으나, 본 발명에 따른 영상 시점 처리 장치는 사용자로부터의 제어 명령을 입력받기 위한 입력부(미도시)를 더 포함할 수 있다. 여기서, 입력부는 키보드, 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜과 같은 형태의 입력 수단일 수 있다.
또한, 영상 시점 처리 장치는 영상 시점 처리 장치가 동작하는데 필요한 데이터와 프로그램 등을 저장하는 저장부(미도시)를 더 포함할 수 있다.
저장부(130)는 영상 시점 처리 장치의 동작을 위한 설정값이 저장될 수 있다. 일 예로서, 저장부(130)는 전처리부(141)에서 획득한 각 카메라의 매개변수가 저장될 수 있으며, 전처리 정보가 저장될 수 있다. 또한, 저장부는 스테레오 정합, 워핑 및 업샘플링을 위한 설정값이 저장될 수 있으며, 스테레오 정합을 수행하는 알고리즘이 저장될 수 있으며, 워핑 동작을 수행하는 알고리즘 등이 저장될 수도 있다.
여기서, 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
또한, 영상 시점 처리 장치는 임의의 외부 단말과 유/무선 통신 기능을 수행하는 통신부(미도시)를 더 포함할 수 있다. 이때, 통신부는 영상 시점 처리 장치에 의해 생성된 정면 시점 영상을 통신 연결된 외부 단말로 송신할 수도 있다.
이때, 통신부는 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access) 등이 포함될 수 있고, 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다. 또한, 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.
상기와 같이 구성되는 본 발명에 따른 제어 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 3은 본 발명에 따른 영상 시점 처리 방법에 대한 동작 흐름을 도시한 순서도이고, 도 4는 도 3의 깊이 추정 방법에 대한 세부 동작의 흐름을 도시한 순서도이다.
영상 시점 처리 장치는, 도 3에 도시된 바와 같이, 제1 스테레오 카메라, 제2 스테레오 카메라 및 깊이 카메라를 구동하여(S100), 영상회의에 참여하는 사용자에 대한 제1 영상, 제2 영상 및 깊이 영상을 획득한다(S120).
이때, 영상 시점 처리 장치는 'S120' 과정에서 획득한 각 영상들에 대한 전처리 동작을 수행하여 제1 스테레오 카메라, 제2 스테레오 카메라 및 깊이 카메라 각각에 대한 매개변수를 획득할 수 있다(S130). 'S130' 과정에서 획득한 각 카메라의 매개변수는 제1 영상 제2 영상 및 깊이 영상의 밝기, 질감 등을 교정하는데 이용될 수 있다.
또한, 영상 시점 처리 장치는 제1 영상 및 제2 영상에 대해 스테레오 정합 동작을 수행하여 제1 영상 및 제2 영상 각각에 대한 깊이 정보를 추정하도록 한다(S140).
여기서, 영상 시점 처리 장치는 'S140' 과정을 수행함에 있어서, 도 4에 도시된 바와 같이, 제1 스테레오 카메라 및 제2 스테레오 카메라 각각에 구비된 좌/우 카메라 렌즈에 의해 좌/우 영상을 획득하게 되며, 이때 좌/우 영상 간 일치점을 탐색할 수 있다(S141).
이후, 영상 시점 처리 장치는 제1 스테레오 카메라 및 제2 스테레오 카메라 각각의 좌/우 영상 간 폐색 영역을 탐색하여 처리하고(S143), 좌/우 영상에 포함된 객체의 경계를 맞추는 과정을 통해(S145), 제1 영상 및 제2 영상에 대한 깊이 정보를 추정할 수 있다(S147).
이후, 영상 시점 처리 장치는 'S140' 과정에서 추정된 제1 영상 및 제2 영상 각각의 깊이 정보와, 깊이 영상으로부터 획득한 깊이 정보를 기준으로 각 영상들의 픽셀을 정면 시점으로 워핑한다(S150). 영상 시점 처리 장치는 'S150' 과정에서 정면 시점으로 워핑된 제1 영상, 제2 영상 및 깊이 영상의 깊이 정보를 모두 통합하여(S160), 합성하도록 한다(S170).
영상 시점 처리 장치는 'S160' 및 'S170' 과정을 통해 하나의 정면 시점 영상을 생성하게 되며, 이때 생성된 정면 시점 영상을 디스플레이 화면을 통해 출력할 수 있다(S180).
도 5는 본 발명에 따른 영상 시점 처리 장치가 적용되는 컴퓨팅 시스템의 구성을 도시한 블록도이다.
도 5는 본 발명에 따른 장치가 적용된 컴퓨팅 시스템을 도시한 도면이다.
도 5를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 디스플레이 110: 제1 스테레오 카메라
120: 제2 스테레오 카메라 130: 깊이 카메라
140: 영상 처리부 141: 영상 전처리부
143: 스테레오 정합부 145: 워핑부
147: 샘플링부 149: 영상 합성부

Claims (1)

  1. 디스플레이 화면의 상부 및 하부에 각각 배치되어 상기 디스플레이 화면을 응시하는 사용자의 제1 영상 및 제2 영상을 촬영하는 제1 스테레오 카메라 및 제2 스테레오 카메라;
    상기 디스플레이 화면을 응시하는 사용자의 깊이 영상을 촬영하는 깊이 카메라; 및
    상기 제1 영상 및 상기 제2 영상 각각을 스테레오 정합하여 추정된 깊이 정보 및 상기 깊이 영상으로부터 획득한 깊이 정보를 상기 사용자의 정면 시점으로 워핑(warping) 하고, 상기 워핑된 각 영상들의 깊이 정보를 통합하여 정면 시점의 영상을 합성하는 영상 처리부
    를 포함하는 영상 시점 처리 장치.
KR1020140161114A 2014-11-18 2014-11-18 영상 시점 처리 장치 및 방법 KR20160059338A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140161114A KR20160059338A (ko) 2014-11-18 2014-11-18 영상 시점 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140161114A KR20160059338A (ko) 2014-11-18 2014-11-18 영상 시점 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160059338A true KR20160059338A (ko) 2016-05-26

Family

ID=56104727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140161114A KR20160059338A (ko) 2014-11-18 2014-11-18 영상 시점 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20160059338A (ko)

Similar Documents

Publication Publication Date Title
US11995902B2 (en) Facial signature methods, systems and software
US20230351623A1 (en) Systems and Methods for Depth Estimation Using Generative Models
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US20200285309A1 (en) Virtual 3d methods, systems and software
EP3560195B1 (en) Stereoscopic omnidirectional imaging
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
US9325968B2 (en) Stereo imaging using disparate imaging devices
US9355433B1 (en) Image stitching in a multi-camera array
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
JP6679577B2 (ja) ３ｄパノラマイメージ生成のための映像生成装置及び方法
EP2328125A1 (en) Image splicing method and device
US9813693B1 (en) Accounting for perspective effects in images
CN109922255A (zh) 用于生成实时深度图的双相机系统
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
US20140168375A1 (en) Image conversion device, camera, video system, image conversion method and recording medium recording a program
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017050684A (ja) 制御装置、制御方法、およびプログラム
US20140347352A1 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
KR101399418B1 (ko) 영상 처리 장치 및 방법
US11758101B2 (en) Restoration of the FOV of images for stereoscopic rendering
US9197874B1 (en) System and method for embedding stereo imagery

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination