KR101303203B1

KR101303203B1 - 정면 영상 생성 영상통화 장치 및 방법

Info

Publication number: KR101303203B1
Application number: KR1020120025917A
Authority: KR
Inventors: 김득화; 김정훈; 김채민
Original assignee: 주식회사 펀진
Priority date: 2012-03-14
Filing date: 2012-03-14
Publication date: 2013-09-10

Abstract

본 발명은 정면 영상 생성 영상통화 장치 및 방법에 관한 것으로, 본 발명에 따른 정면 영상 생성 영상통화 장치는 영상통화 장치의 상단 또는 하단에 위치하여 서로 다른 시점으로 통화자를 촬영하는 복수의 카메라로 구성된 카메라부; 카메라부에서 각각 촬영된 통화자 영상을 조합하여 입체 영상을 생성하는 입체 영상 생성부; 입체 영상에서 통화자의 눈 위치를 검출하고, 카메라부에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통신 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산하는 제어부; 및 제어부에서 검출된 통화자의 눈 위치를 기준으로 입체 영상에 포함된 통화자 얼굴 부위를 통화자 시선 각도만큼 기울여 정면 영상을 생성하는 영상 변환부를 포함한다. 본 발명에 따르면 복수의 카메라에서 촬영된 통화자의 영상을 이용하여 생성한 입체 영상에 통화자의 시선 각도를 적용하여 통화자가 정면을 바라보는 영상을 생성함으로써 통화자와 상대방 간이 서로 시선을 맞추는 통화를 할 수 있게 되고, 이로 인해 영상통화자가 상대의 얼굴을 실제로 바라보면서 이야기하는 것과 같은 자연스러운 통화를 느낄 수 있게 되는 효과가 있다.

Description

정면 영상 생성 영상통화 장치 및 방법{Videotelephony Apparatus and Method for Making Full Face Image}

본 발명은 영상통화중 촬영된 영상에 포함된 통화자의 모습을 정면을 바라보는 모습의 영상으로 변환하는 영상통화 장치 및 방법에 관한 것이다.

디지털 카메라에 대한 기술이 날로 발전함에 따라 통신 장치에 디지털 카메라를 장착한 영상통화 단말기가 널리 보급되고 있다. 이러한 영상통화 단말기는 영상통화 모드로 동작할 때 상대방의 통신 단말기와 카메라에 의해 촬영된 영상을 상호 송수신하면서 통화 기능을 수행할 수 있도록 한다. 휴대용 영상통화 단말기를 예를 들어 설명하면, 일반적으로 휴대용 통신 단말기의 구조상 통화자는 통신 단말기를 자신의 손에 쥐인 상태에서 팔 길이 이내에서 휴대용 통신 단말기에 장착된 카메라로 자신의 얼굴을 찍은 영상을 상대방의 휴대용 통신 단말기에 전송하도록 영상통화 단말기를 조작한다. 이때, 통화자는 카메라에 의해 촬영된 영상이 자신의 영상통화 단말기 영상에 표시되는 것을 통해 촬영된 자신의 모습을 확인하면서 더욱 정확한 자신의 얼굴이 촬영되도록 카메라의 각도 또는 영상통화 단말기의 위치를 조작한다.

하지만, 일반적인 영상통화 단말기의 카메라 위치는 디스플레이부의 위쪽에 위치하고 있어 통화자가 실제 통화할 때 영상통화 단말기를 바라보는 시점과 카메라가 통화자를 촬영하는 시점의 차이가 발생하게 된다. 따라서, 휴대용 영상통화 단말기의 구조상 영상통화 단말기의 디스플레이부를 바라보는 통화자의 눈의 위치보다 높은 곳에 카메라가 위치하기 때문에 카메라는 통화자를 위에서 아래로 비스듬히 찍게 되고, 이로 인해 상대방은 통화자의 정면 시선을 볼 수 없는 문제가 발생한다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 영상통화 장치를 바라보는 통화자의 시점과 영상통화 장치에 설치된 카메라에서 통화자를 촬영하는 시점의 차이로 인해 통화자의 시선이 특정한 각도로 숙여진 상태로 촬영된 영상을 정면을 바라보는 영상으로 보정하는 정면 영상 생성 영상통화 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명에 따른 정면 영상 생성 영상통화 장치는 영상통화 장치의 상단 또는 하단에 위치하여 서로 다른 시점으로 통화자를 촬영하는 복수의 카메라로 구성된 카메라부; 카메라부에서 각각 촬영된 통화자 영상을 조합하여 입체 영상을 생성하는 입체 영상 생성부; 입체 영상에서 통화자의 눈 위치를 검출하고, 카메라부에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통신 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산하는 제어부; 및 제어부에서 검출된 통화자의 눈 위치를 기준으로 입체 영상에 포함된 통화자 얼굴 부위를 통화자 시선 각도만큼 기울여 정면 영상을 생성하는 영상 변환부를 포함한다.

또한, 정면 영상 생성 영상통화 장치는, 영상통화 장치의 기울기를 측정하는 움직임 감지 센서;를 더 포함하고, 제어부는 카메라와 통화자 사이의 거리와 움직임 감지 센서를 통해 측정된 기울기 각도를 이용하여 카메라부에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통신 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산하는 것이 바람직하다.

또한, 제어부는, 통화자 시선 각도 θ를 수학식,

(여기서, h는 영상통화 장치의 표시부 중심부에서 카메라부까지의 거리, Z는 카메라부와 통화자의 눈 사이의 거리)

를 이용하여 계산하고,

카메라부와 통화자 사이의 거리 Z를 수학식,

(여기서, B는 복수의 카메라 간의 거리, F는 카메라 렌즈의 초점거리, d는 복수의 카메라에 의해서 발생하는 변위(Disparity)값)

를 이용하여 계산하는 것이 바람직하다.

또한, 제어부는, 통화자 시선 각도 θ를 수학식,

(여기서, h는 영상통화 장치가 사용자에 의해 특정한 각도로 기울어진 상태에서 영상통화 장치의 중심축과 카메라부의 수직 높이, Z는 카메라부와 통화자의 눈 사이의 거리)를 이용하여 계산하고,

영상통화 장치의 중심축과 카메라부의 수직 높이 h를 수학식,

(여기서, α는 영상통화 장치가 수직축을 기준으로 기울어진 각도)

를 이용하여 계산하고,

카메라부와 통화자 사이의 거리 Z를 수학식,

를 이용하여 계산하는 것이 바람직하다.

또한, 카메라부는 두 개의 카메라가 영상통화 장치의 상단 또는 하단에 좌우 대칭으로 배치되거나 영상통화 장치의 상단과 하단에 상하 대칭으로 배치되고, 입체 영상 생성부는 카메라부에서 각각 촬영된 통화자 영상에 스테레오 매칭(Stereo Matching) 방법을 적용하여 입체 영상을 생성하는 것이 바람직하다.

또한, 정면 영상 생성 영상통화 장치는, 터치 방식의 입력을 지원하는 터치 입력부;를 더 포함하며, 제어부는 사용자로부터 터치 입력부를 통해 특정한 방향의 스크롤 입력이 입력되면 입체 영상을 생성하는 입체 영상 모드를 실행하는 것이 바람직하다.

또한, 움직임 감지 센서는, 자이로스코프 센서 또는 기울기 센서인 것이 바람직하다.

영상통화 장치에서 통화자의 정면 영상을 생성하는 방법에 있어서, (a) 복수의 카메라에서 통화자의 영상을 각각 촬영하는 단계; (b) 단계 (a)에서 촬영된 통화자의 영상을 스테레오 매칭(Stereo Matching) 방법을 적용하여 입체 영상을 생성하는 단계; (c) 입체 영상에서 통화자의 눈 위치를 검출하여 검출된 눈 위치를 기준으로 설정한 카메라와 통화자 사이의 거리 및 카메라와 통화자의 눈 사이의 거리를 이용하여 카메라에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통신 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 시선 각도를 계산하는 단계; 및 (d) 검출된 통화자의 눈 위치를 기준으로 입체 영상에 포함된 통화자 얼굴 부위를 통화자 시선 각도만큼 기울여 정면 영상을 생성하는 단계를 포함한다.

또한, (c) 단계는,

통화자 시선 각도 θ를 수학식,

(여기서, h는 영상통화 장치의 표시부 중심부에서 카메라부까지의 거리, Z는 카메라와 통화자의 눈 사이의 거리)를 이용하여 계산하고,

카메라와 통화자 사이의 거리 Z를 수학식,

를 이용하여 계산하는 것을 특징으로 하는 정면 영상 생성 방법.

또한, (a) 단계는, 두 개의 카메라가 영상통화 장치의 상단 또는 하단에 좌우 대칭으로 배치되거나 영상통화 장치의 상단과 하단에 상하 대칭으로 배치되는 것이 바람직하다.

영상통화 장치에서 통화자의 정면 영상을 생성하는 방법에 있어서, (a) 복수의 카메라에서 통화자의 영상을 각각 촬영하는 단계; (b) 단계 (a)에서 촬영된 통화자의 영상을 스테레오 매칭(Stereo Matching) 방법을 적용하여 입체 영상을 생성하는 단계; (c) 움직임 감지 센서에서 영상통화 장치의 기울기 각도를 측정하는 단계; (d) 입체 영상에서 통화자의 눈 위치를 검출하여 검출된 눈 위치를 기준으로 설정한 카메라와 통화자 사이의 거리와 움직임 감지 센서를 통해 측정된 기울기 각도를 이용하여 카메라에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통신 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 시선 각도를 계산하는 단계; 및 (e) 검출된 통화자의 눈 위치를 기준으로 입체 영상에 포함된 통화자 얼굴 부위를 통화자 시선 각도만큼 기울여 정면 영상을 생성하는 단계를 포함한다.

(d) 단계는,

통화자 시선 각도 θ를 수학식,

(여기서, h는 영상통화 장치가 사용자에 의해 특정한 각도로 기울어진 상태에서 영상통화 장치의 중심축과 카메라의 수직 높이, Z는 카메라와 통화자의 눈 사이의 거리)를 이용하여 계산하고,

영상통화 장치의 중심축과 카메라의 수직 높이 h를 수학식,

(여기서, α는 영상통화 장치가 수직축을 기준으로 기울어진 각도)를 이용하여 계산하고,

카메라와 통화자 사이의 거리 Z를 수학식,

를 이용하여 계산하는 것이 바람직하다.

(a) 단계 이전에, 터치 입력부를 통해 입체 영상을 생성하는 입체 영상 모드를 실행하는 특정한 방향의 스크롤 입력이 사용자로부터 입력되는지 판단하는 단계; 및 특정한 방향의 스크롤 입력이 사용자로부터 입력된다고 판단되면 일반 영상 모드를 입체 영상 모드로 전환하는 단계; 를 더 포함하는 것이 바람직하다.

(a) 단계는, 두 개의 카메라가 영상통화 장치의 상단 또는 하단에 좌우 대칭으로 배치되거나 영상통화 장치의 상단과 하단에 상하 대칭으로 배치되는 것이 바람직하다.

본 발명에 따르면 복수의 카메라에서 촬영된 통화자의 영상을 이용하여 생성한 입체 영상에 통화자의 시선 각도를 적용하여 통화자가 정면을 바라보는 영상을 생성함으로써 통화자와 상대방 간이 서로 시선을 맞추는 통화를 할 수 있게 되고, 이로 인해 영상통화자가 상대의 얼굴을 실제로 바라보면서 이야기하는 것과 같은 자연스러운 통화를 느낄 수 있게 되는 효과가 있다.

도 1은 본 발명의 제1 일실시예에 따른 영상통화 장치의 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 사람이 입체를 인식하는 원리를 나타낸 도면이다.
도 3은 본 발명의 제1 일실시예에 따른 통화자의 정면 영상을 생성하는 원리를 나타내는 제1 예시도이다.
도 4는 본 발명의 제1 일실시예에 따른 통화자의 정면 영상을 생성하는 원리를 나타내는 제2 예시도이다.
도 5는 본 발명의 제1 일실시예에 따른 통화자 시선 각도를 구하기 위한 개념도이다.
도 6은 본 발명의 제1 일실시예에 따른 변위값을 구하는 원리를 나타낸 도면이다.
도 7은 본 발명의 제1 일실시예에 따른 영상통화 장치에서 정면 영상을 생성하는 과정을 나타낸 순서도이다.
도 8은 본 발명의 제2 일실시예에 따른 영상통화 장치의 구성도이다.
도 9는 본 발명의 제2 일실시예에 따른 통화자 시선 각도를 구하기 위한 개념도이다.
도 10은 본 발명의 제2 일실시예에 따른 영상통화 장치에서 정면 영상을 생성하는 과정을 나타낸 순서도이다.

본 발명의 바람직한 일실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명하되, 이미 주지된 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.

이하에서는 설명의 편의를 위해서 휴대형 영상통화 장치는 제1 실시예로, 고정형 영상통화 장치는 제2 실시예로 구분하여 설명하기로 한다.

도 1은 본 발명의 제1 일실시예에 따른 영상통화 장치의 구성도이고, 도 2는 본 발명의 제1 일실시예에 따른 사람이 입체를 인식하는 원리를 나타낸 도면이다.

도 1을 참조하면, 본 발명의 제1 일실시예에 따른 영상통화 장치(100)는 송수신부(101), 데이터 처리부(102), 오디오 처리부(103), 움직임 감지 센서(104), 키 입력부(105), 표시부(106), 카메라부(107), 영상 처리부(108), 영상 생성부(109), 제어부(110), 영상 변환부(111)를 포함한다. 여기서, 영상통화 장치(100)는 유선 또는 무선 통신 방식을 지원하는 이동통신 단말기인 것이 바람직하다.

송수신부(101)는 통신망을 통해 상대방의 영상통화 장치 간에 발생하는 영상 신호를 송수신한다.

데이터 처리부(102)는 상대방의 영상통화 장치와 송수신되는 영상 신호를 영상통화 장치(100)에서 처리 가능한 신호로 변환하거나 영상통화 장치(100)에서 생성된 영상 데이터를 전송 가능한 신호로 변환한다. 여기서, 데이터 처리부(102)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 신호를 처리하는 오디오 코덱을 포함하여 구성된다.

오디오 처리부(103)는 데이터 처리부(102)의 오디오 코덱에서 출력되는 수신 오디오 신호를 스피커를 통해 재생하거나 마이크로부터 발생되는 송신 오디오 신호를 데이터 처리부(102)의 오디오 코덱으로 전송한다.

움직임 감지 센서(104)는 영상통화 장치(100)가 움직이는 정도를 감지하는 센서로, 본 발명의 제1 일실시예에 따른 움직임 감지 센서(104)는 통화자에 의해 영상통화 장치(100)가 통화자를 기준으로 앞 또는 뒤로 기울어진 정도를 감지한다. 여기서, 움직임 감지 센서(104)는 자이로스코프 센서 또는 기울기 센서인 것이 바람직하다.

키 입력부(105)는 숫자 및 문자를 입력하기 위한 키와 각종 기능을 설정하기 위한 기능 키들 포함한다. 여기서, 본 발명의 일실시예에서는 설명의 편의를 위해서 키 입력부(105)가 표시부(106)와 결합된 터치 스크린 장치인 것으로 가정하여 설명하기로 한다.

표시부(106)는 영상을 출력할 수 있는 출력 장치로, 상대방의 영상통화 장치에서 촬영된 상대방의 영상을 출력한다.

카메라부(107)는 통화자의 영상을 촬영한 후 촬영된 광신호를 전기적 신호인 영상 신호로 변환하는 카메라 센서로서, 적어도 두 개 이상의 카메라로 구성된다. 여기서, 카메라부(107)는 통화자의 입체(3D) 영상을 생성하기 위해 적어도 두 개 이상의 카메라로 구성되며, 디스플레이 상단 또는 하단에 적어도 두 개 이상의 카메라가 좌우 대칭으로 설치되거나 두 개 이상의 카메라가 상단과 하단에 각각 상하 대칭으로 설치되어 각각의 카메라에서 통화자를 촬영하게 된다. 여기서, 본 발명의 제1 일실시예에서는 설명의 편의를 위해서 두 개의 카메라가 표시부(106)의 상단에 좌우 대칭으로 설치되는 것으로 가정하여 설명하기로 한다.

영상 처리부(108)는 카메라부(107)에서 촬영된 영상 신호를 디스플레이 데이터인 프레임 데이터로 변환시키는 기능을 수행하며, 영상 처리부(108)는 카메라부(107)에서 각각 출력되는 영상 신호를 프레임 단위로 처리한 영상 데이트를 생성하며, 동시에 프레임을 소정의 색상 및 크기로 맞추어 변환한다.

또한, 영상 처리부(108)는 영상 코덱을 포함하며, 표시부(106)에 디스플레이되는 프레임을 소정의 세팅된 방식으로 압축하거나 압축된 프레임을 원래의 프레임으로 복원한다.

영상 생성부(109)는 카메라부(107)의 좌측 카메라와 우측 카메라가 각각 촬영한 영상 프레임을 사전에 설정된 방법으로 합성하여 입체 영상을 생성한다. 여기서, 영상 생성부(109)는 두 개의 카메라에서 각각 촬영된 좌측 영상과 우측 영상을 스테레오 매칭(Stereo Matching) 방법을 이용하여 입체 영상을 생성하는 것이 바람직하며, 영상통화 장치(100)에서 통화자의 입체 영상을 생성하는 원리는 아래에서 도면과 함께 상세히 설명하기로 한다.

일반적으로, 도 2와 같이 사람은 왼쪽 눈에서 보이는 영상과 오른쪽 눈에서 보이는 영상이 합성되어 입체감을 느끼게 된다. 여기서, 스테레오 매칭 방법은 사람이 입체를 느끼는 원리와 유사하게 두 장의 이미지를 이용하여 입체 영상을 생성하는 방법이다.

제어부(110)는 영상 생성부(109)에서 생성된 통화자의 입체 영상에서 통화자의 눈 위치를 추적하고, 움직임 감지 센서(104)에서 측정한 기울기 각도와 카메라부(107)와 통화자의 눈과의 거리를 이용하여 카메라부(107)에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통화 장치(100)의 표시부(106)를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산한다. 여기서, 제어부(110)에서 통화자 시선 각도를 계산하는 자세한 과정에 대해서는 아래에서 도면과 함께 상세히 설명하기로 한다.

또한, 제어부(110)는 일반 영상으로 통화가 가능한 일반 영상 모드 중에 키 입력부(105)에서 사전에 설정된 방향으로 스크롤 입력이 발생하면, 일반 영상을 입체 영상으로 변환하는 입체 영상 모드를 활성화한다. 여기서, 키 입력부(105)를 통해 입력되는 스크롤 입력 방향은 아래에서 위로, 위에서 아래로, 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 등과 같이 다양한 방향의 스크롤 입력이 가능하며, 본 발명의 일실시예에서는 설명의 편의를 위해서 사용자가 아래에서 위로 스크롤할 때 일반 영상 모드에서 입체 영상 모드로 전환되는 것으로 가정하여 설명하기로 한다.

영상 변환부(111)는 제어부(110)에서 추정한 통화자의 눈 위치를 기준으로 입체 영상에 포함된 통화자 얼굴을 통화자 시선 각도만큼 위로 기울여 통화자가 정면을 바라보는 영상인 정면 영상을 생성한다. 이때, 영상 변환부(111)에서 생성된 정면 영상은 데이터 처리부(102)에서 영상 신호로 변환된 후 송수신부(101)를 통해 상대방의 영상통화 장치로 전송되며, 상대방의 영상통화 장치의 표시부는 통화자가 정면을 바라본 영상을 출력하게 된다.

도 3은 본 발명의 제1 일실시예에 따른 통화자의 정면 영상을 생성하는 원리를 나타내는 제1 예시도이고, 도 4는 본 발명의 제1 일실시예에 따른 통화자의 정면 영상을 생성하는 원리를 나타내는 제2 예시도이다.

도 3과 도 4는 두 개의 카메라를 이용하여 통화자의 입체 영상과 정면 영상을 생성하는 원리를 나타낸 도면으로, 도 3은 카메라부(107)가 표시부(106)의 위쪽에 좌우 대칭으로 위치한 경우를 나타낸 도면이고, 도 4는 카메라부(107)가 표시부(106)를 중심으로 상하 대칭으로 위치한 경우를 나타낸 도면이다. 여기서, 도 3과 도 4 모두 두 개의 카메라를 통해 촬영된 두 장의 통화자 영상을 이용하여 입체 영상과 정면 영상을 생성하는 방법으로, 설명의 편의를 위해서 도 3과 도 4를 함께 설명하기로 한다.

도 3과 도 4를 참조하면, 카메라부(107)의 두 개의 카메라가 통화자를 각각 촬영하면(3a, 4b), 영상 생성부(109)에서 좌우 대칭 또는 상하 대칭으로 위치한 카메라에서 각각 촬영된 통화자의 영상을 스테레오 매칭(Stereo Matching) 기법을 이용하여 변위 맵(Disparity Map)을 생성하는 과정(3b, 4b)을 통해 통화자의 3차원의 입체 영상을 생성한다(3c, 4c). 여기서, 스테레오 매칭 기법은 당업자들 사이에 널리 사용되는 영상 합성 기법 중 하나로, 본 발명의 제1 일실시예에서는 스테레오 매칭 기법에 대한 상세한 설명은 생략하기로 한다.

도 5는 본 발명의 제1 일실시예에 따른 통화자 시선 각도를 구하기 위한 개념도이고, 도 6은 본 발명의 제1 일실시예에 따른 변위값을 구하는 원리를 나타낸 도면이다.

도 5는 제어부(110)에서 통화자 시선 각도를 계산하기 위한 영상통화 장치와 통화자와의 관계를 개념적으로 나타낸 개념도로, θ는 통화자 시선 각도, α는 영상통화 장치가 수직축을 기준으로 사용자에 의해서 기울어진 각도, Z는 카메라부(107)와 통화자의 눈 사이의 거리, h는 영상통화 장치가 통화자에 의해 특정한 각도로 기울어진 상태에서 영상통화 장치의 중심축에서 카메라부(107)까지의 수직 높이, l은 영상통화 장치의 세로 길이를 나타낸다.

여기서, 통화자 시선 각도 θ를 구하는 수학식 1은,

로, 통화자 시선 각도 θ를 구하기 위해서는 카메라부(107)와 통화자의 눈 사이의 거리 Z, 영상통화 장치가 통화자에 의해 특정한 각도로 기울어진 상태에서 영상통화 장치의 중심축에서 카메라부(107)까지의 수직 높이 h를 먼저 구해야 한다.

여기서, 영상통화 장치가 통화자에 의해 특정한 각도로 기울어진 상태에서 영상통화 장치의 중심축에서 카메라부(107)까지의 수직 높이 h를 구하는 수학식 2는,

로, l은 영상통화 장치(100)의 세로 길이, α는 움직임 감지 센서(104)를 통해 측정된 영상통화 장치(100)가 수직축을 기준으로 기울어진 각도를 의미한다.

또한, 카메라부(107)와 통화자의 눈 사이의 거리 Z를 구하는 수학식 3은,

로, B는 카메라부(107)를 구성하는 각각의 카메라 간의 거리, F는 카메라 렌즈의 초점거리, d는 복수의 카메라에 의해서 발생하는 변위(Disparity)값을 의미한다. 여기서, 변위값 d는 도 6과 같이 카메라부(107)의 두 개의 카메라에서 촬영된 두 개 통화자 영상에서의 피사체 간 거리 차를 나타내는 값으로, 영상 생성부(109)에서 스테레오 매칭 기법을 적용하는 과정에서 산출된다.

도 7은 본 발명의 제1 일실시예에 따른 영상통화 장치에서 정면 영상을 생성하는 과정을 나타낸 순서도이다. 여기서, 본 발명의 일실시예에서는 설명의 편의를 위하여 사용자가 사전에 설정된 스크롤 입력을 통해 기존의 일반 영상 통화를 제공하는 일반 영상 모드에서 입체 영상 통화를 제공하는 입체 영상 모드로 전환하여 통화 서비스를 이용하는 것으로 가정하여 설명하기로 한다. 또한, 입체 영상 모드는 사용자가 키 입력부(105)에 터치 방식으로 아래에서 위로 스크롤하는 하상방향 스크롤 입력에 매칭되어 실행되는 것으로 가정하여 설명하기로 한다.

도 7을 참조하면, 제어부(110)는 키 입력부(105)를 통해 사용자로부터 입체 영상 모드를 실행하기 위한 하상방향 스크롤 입력이 발생하는지 판단한다(S710).

만일, 단계 S710에서 하상방향 스크롤 입력이 발생한다고 판단되면 제어부(110)는 현재의 일반 영상 모드를 입체 영상 모드로 전환하고(S711), 단계 S710에서 하상방향 스크롤 입력이 발생하지 않는다고 판단되면 제어부(110)는 현재의 일반 영상 모드를 유지한다(S713).

이어서, 카메라부(107)에서 영상통화 장치(100)의 표시부(106)를 바라보는 통화자를 촬영한다(S720).

이어서, 영상 처리부(108)는 카메라부(107)에서 촬영된 두 장의 통화자 영상을 스테레오 매칭 기법을 적용하여 입체 영상을 생성한다(S730).

이어서, 제어부(110)는 단계 S730에서 생성된 입체 영상으로부터 통화자의 눈 위치를 추정하고(S740), 움직임 감지 센서(104)는 영상통화 장치(100)가 기울어진 각도를 계산한다(S750).

이어서, 제어부(110)는 움직임 감지 센서(104)에서 측정한 기울기 각도와 카메라부(107)와 통화자의 눈과의 거리를 이용하여 통화자 시선 각도를 계산한다(S760).

이어서, 영상 변환부(111)는 단계 S740에서 추정된 통화자의 눈 위치를 기준으로 입체 영상의 통화자 얼굴을 단계 S760에서 계산된 통화자 시선 각도만큼 위로 기울인 정면 영상을 생성한다(S770).

이어서, 제어부(110)는 키 입력부(105)를 통해 사용자로부터 통화 종료 명령이 입력되는지 판단하고(S780), 키 입력부(105)를 통해 통화 종료 명령이 입력된다고 판단되면 현재 연결중인 통화를 종료한다(S790).

또한, 제어부(110)는 단계 S713를 수행중 키 입력부(105)를 통해 사용자로부터 통화 종료 명령이 입력되는지 판단하고(S715), 키 입력부(105)를 통해 통화 종료 명령이 입력된다고 판단되면 현재 연결중인 통화를 종료한다(S790).

만일, 단계 S715에서 통화 종료 명령이 입력되지 않으면 단계 S710을 수행한다.

도 8은 본 발명의 제2 일실시예에 따른 영상통화 장치의 구성도이다. 여기서, 설명의 편의를 위하여 앞서 설명한 본 발명의 제1 실시예에 따른 영상통화 장치의 구성과 유사한 부분에 대한 설명은 생략하기로 한다.

도 8을 참조하면, 본 발명의 제2 일실시예에 따른 영상통화 장치(800)는 송수신부(801), 데이터 처리부(802), 오디오 처리부(803), 명령 수신부(805), 표시부(806), 카메라부(807), 영상 처리부(808), 영상 생성부(809), 제어부(810), 영상 변환부(811)를 포함한다. 여기서, 영상통화 장치(800)는 유선 또는 무선 통신 방식으로 영상통화를 지원하며, 벽이나 책상 등과 같은 곳에 고정 가능한 스마트 TV, 컨퍼런스 콜 기기 등인 것이 바람직하다.

명령 수신부(805)는 통화자로부터 영상통화에 관련된 특정한 명령을 입력받는 장치로, 영상통화 장치(800)의 외부로 노출된 명령 입력을 위한 키입력 장치 또는 외부로부터 영상통화 관련 명령이 포함된 무선 신호를 수신할 수 있는 수신 장치인 것이 바람직하다.

표시부(806)는 영상을 출력할 수 있는 출력 장치로, 상대방의 영상통화 장치에서 촬영된 상대방의 영상을 출력한다.

카메라부(807)는 복수의 카메라를 통해 촬영한 영상을 영상 처리부(808)로 전송한다.

영상 처리부(808)는 카메라부(807)에서 촬영된 영상 신호를 프레임 단위로 처리한 영상 데이트를 생성하며, 동시에 프레임을 소정의 색상 및 크기로 맞추어 변환하여 영상 생성부(809)로 전송한다.

영상 생성부(809)는 영상 처리부(808)로부터 전송된 카메라부(807)의 좌측 카메라와 우측 카메라가 각각 촬영한 영상 프레임을 사전에 설정된 방법으로 합성하여 입체 영상을 생성한다.

제어부(810)는 영상 생성부(809)에서 생성된 통화자의 입체 영상에서 통화자의 눈 위치를 추적하고, 카메라부(807)와 통화자의 눈과의 거리와 영상통화 장치(800)의 중심에서 카메라부(807) 사이의 거리를 이용하여 카메라부(807)에서 통화자의 눈을 바라보는 시선의 연장선과 통화자가 영상통화 장치(800)의 표시부(806)를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산한다. 여기서, 제어부(810)에서 통화자 시선 각도를 계산하는 자세한 과정에 대해서는 아래에서 도면과 함께 상세히 설명하기로 한다.

영상 변환부(811)는 제어부(810)에서 추정한 통화자의 눈 위치를 기준으로 입체 영상에 포함된 통화자 얼굴을 통화자 시선 각도만큼 위로 기울여 통화자가 정면을 바라보는 영상인 정면 영상을 생성하고, 생성된 정면 영상을 데이터 처리부(802)에서 영상 신호로 변환한 후 송수신부(101)를 통해 상대방의 영상통화 장치로 전송한다.

도 9는 본 발명의 제2 일실시예에 따른 통화자 시선 각도를 구하기 위한 개념도이다.

도 9는 제어부(810)에서 통화자 시선 각도를 계산하기 위한 영상통화 장치와 통화자와의 관계를 개념적으로 나타낸 개념도로, θ는 통화자 시선 각도, Z는 카메라부(807)와 통화자의 눈 사이의 거리, h는 영상통화 장치(800)의 중심에서 카메라부(807) 사이의 거리를 나타낸다.

여기서, 통화자 시선 각도 θ를 구하는 수학식 5는,

로, 통화자 시선 각도 θ를 구하기 위해서는 카메라부(807)와 통화자의 눈 사이의 거리 Z, 영상통화 장치(800)의 중심에서 카메라부(807) 사이의 거리 h를 먼저 구해야 한다.

여기서, 영상통화 장치(800)의 중심에서 카메라부(807) 사이의 거리 h는 영상통화 장치(800)를 제작할 때 사전에 설정된 값이다.

또한, 카메라부(807)와 통화자의 눈 사이의 거리 Z는 본 발명의 제1 일시예와 같이 스테레오 매칭 기법을 적용하는 과정에서 산출되는 값이다.

따라서, 통화자 시선 각도 θ는 사전에 설정된 값 h와 스테레오 매칭 기법에 의해서 산출된 값 Z와 수학식 5를 통해 산출할 수 있게 된다.

도 10은 본 발명의 제2 일실시예에 따른 영상통화 장치에서 정면 영상을 생성하는 과정을 나타낸 순서도이다.

도 10을 참조하면, 카메라부(807)에서 영상통화 장치(800)의 표시부(806)를 바라보는 통화자를 촬영한다(S1010).

이어서, 영상 처리부(808)는 카메라부(807)에서 촬영된 두 장의 통화자 영상을 스테레오 매칭 기법을 적용하여 입체 영상을 생성한다(S1020).

이어서, 제어부(810)는 단계 S1020에서 생성된 입체 영상으로부터 통화자의 눈 위치를 추정한다(S1030).

이어서, 제어부(810)는 사전에 설정된 영상통화 장치(800)의 중심에서 카메라부(807) 사이의 거리와 카메라부(807)와 통화자의 눈과의 거리를 이용하여 통화자 시선 각도를 계산한다(S1040).

이어서, 영상 변환부(811)는 단계 S1030에서 추정된 통화자의 눈 위치를 기준으로 입체 영상의 통화자 얼굴을 단계 S1040에서 계산된 통화자 시선 각도만큼 위로 기울인 정면 영상을 생성한다(S1050).

이어서, 제어부(810)는 명령 수신부(805)를 통해 사용자로부터 통화 종료 명령이 입력되는지 판단하고(S1060), 명령 수신부(805)를 통해 통화 종료 명령이 입력된다고 판단되면 현재 연결중인 통화를 종료한다(S1070).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100, 800 : 영상통화 장치 101, 801 : 송수신부
102, 802 : 데이터 처리부 103, 803 : 오디오 처리부
104 : 움직임 감지 센서 105 : 키 입력부
106, 806 : 표시부 107, 807 : 카메라부
108, 808 : 영상 처리부 109, 809 : 영상 생성부
110, 810 : 제어부 111, 811 : 영상 변환부
805 : 명령 수신부

Claims

영상통화 장치에 있어서,
상기 영상통화 장치의 상단 또는 하단에 위치하여 서로 다른 시점으로 통화자를 촬영하는 복수의 카메라로 구성된 카메라부;
상기 카메라부에서 각각 촬영된 통화자 영상을 조합하여 입체 영상을 생성하는 입체 영상 생성부;
상기 입체 영상에서 통화자의 눈 위치를 검출하고, 상기 카메라부에서 상기 통화자의 눈을 바라보는 시선의 연장선과 상기 통화자가 상기 영상통화 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산하는 제어부; 및
상기 제어부에서 검출된 상기 통화자의 눈 위치를 기준으로 상기 입체 영상에 포함된 통화자 얼굴 부위를 상기 통화자 시선 각도만큼 기울여 정면 영상을 생성하는 영상 변환부;를 포함하며,
상기 정면 영상 생성 영상통화 장치는,
상기 영상통화 장치의 기울기를 측정하는 움직임 감지 센서;를 더 포함하고,
상기 제어부는,
상기 카메라와 상기 통화자 사이의 거리와 상기 움직임 감지 센서를 통해 측정된 기울기 각도를 이용하여 상기 카메라부에서 상기 통화자의 눈을 바라보는 시선의 연장선과 상기 통화자가 상기 영상통화 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 통화자 시선 각도를 계산하는 것을 특징으로 하는 정면 영상 생성 영상통화 장치.
삭제
제 1 항에 있어서,
상기 제어부는,
상기 통화자 시선 각도 θ를 수학식,

(여기서, h는 상기 영상통화 장치의 표시부 중심부에서 상기 카메라부까지의 거리, Z는 상기 카메라부와 상기 통화자의 눈 사이의 거리)
를 이용하여 계산하고,
상기 카메라부와 상기 통화자 사이의 거리 Z를 수학식,

(여기서, B는 복수의 카메라 간의 거리, F는 카메라 렌즈의 초점거리, d는 상기 복수의 카메라에 의해서 발생하는 변위(Disparity)값)
를 이용하여 계산하는 것을 특징으로 하는 정면 영상 생성 영상통화 장치.
제 1 항에 있어서,
상기 제어부는,
상기 통화자 시선 각도 θ를 수학식,

(여기서, h는 상기 영상통화 장치가 사용자에 의해 특정한 각도로 기울어진 상태에서 상기 영상통화 장치의 중심축과 상기 카메라부의 수직 높이, Z는 상기 카메라부와 상기 통화자의 눈 사이의 거리)
를 이용하여 계산하고,
상기 영상통화 장치의 중심축과 상기 카메라부의 수직 높이 h를 수학식,

(여기서, α는 상기 영상통화 장치가 수직축을 기준으로 기울어진 각도)
를 이용하여 계산하고,
상기 카메라부와 상기 통화자 사이의 거리 Z를 수학식,

(여기서, B는 복수의 카메라 간의 거리, F는 카메라 렌즈의 초점거리, d는 상기 복수의 카메라에 의해서 발생하는 변위(Disparity)값)
를 이용하여 계산하는 것을 특징으로 하는 정면 영상 생성 영상통화 장치.
제 3 항 또는 제 4 항에 있어서,
상기 카메라부는,
두 개의 카메라가 상기 영상통화 장치의 상단 또는 하단에 좌우 대칭으로 배치되거나 상기 영상통화 장치의 상단과 하단에 상하 대칭으로 배치되고,
상기 입체 영상 생성부는,
상기 카메라부에서 각각 촬영된 통화자 영상에 스테레오 매칭(Stereo Matching) 방법을 적용하여 상기 입체 영상을 생성하는 것을 특징으로 하는 정면 영상 생성 영상통화 장치.
제 4 항에 있어서,
상기 정면 영상 생성 영상통화 장치는,
터치 방식의 입력을 지원하는 터치 입력부;를 더 포함하며,
상기 제어부는,
사용자로부터 상기 터치 입력부를 통해 특정한 방향의 스크롤 입력이 입력되면 입체 영상을 생성하는 입체 영상 모드를 실행하는 것을 특징으로 하는 정면 영상 생성 영상통화 장치.
제 6 항에 있어서,
상기 움직임 감지 센서는,
자이로스코프 센서 또는 기울기 센서인 것을 특징으로 하는 정면 영상 생성 영상통화 장치.
삭제
삭제
삭제
영상통화 장치에서 통화자의 정면 영상을 생성하는 방법에 있어서,
(a) 복수의 카메라에서 통화자의 영상을 각각 촬영하는 단계;
(b) 상기 단계 (a)에서 촬영된 상기 통화자의 영상을 스테레오 매칭(Stereo Matching) 방법을 적용하여 입체 영상을 생성하는 단계;
(c) 움직임 감지 센서에서 상기 영상통화 장치의 기울기 각도를 측정하는 단계;
(d) 상기 입체 영상에서 상기 통화자의 눈 위치를 검출하여 상기 검출된 눈 위치를 기준으로 설정한 상기 카메라와 상기 통화자 사이의 거리와 상기 움직임 감지 센서를 통해 측정된 기울기 각도를 이용하여 상기 카메라에서 상기 통화자의 눈을 바라보는 시선의 연장선과 상기 통화자가 상기 영상통화 장치의 표시부를 바라보는 시선의 연장선이 교차할 때 생기는 각도인 시선 각도를 계산하는 단계; 및
(e) 상기 검출된 상기 통화자의 눈 위치를 기준으로 상기 입체 영상에 포함된 통화자 얼굴 부위를 상기 통화자 시선 각도만큼 기울여 정면 영상을 생성하는 단계;
를 포함하는 정면 영상 생성 방법.
제 11 항에 있어서,
상기 (d) 단계는,
상기 통화자 시선 각도 θ를 수학식,

(여기서, h는 상기 영상통화 장치가 사용자에 의해 특정한 각도로 기울어진 상태에서 상기 영상통화 장치의 중심축과 상기 카메라의 수직 높이, Z는 상기 카메라와 상기 통화자의 눈 사이의 거리)를 이용하여 계산하고,
상기 영상통화 장치의 중심축과 상기 카메라의 수직 높이 h를 수학식,

(여기서, α는 상기 영상통화 장치가 수직축을 기준으로 기울어진 각도)를 이용하여 계산하고,
상기 카메라와 상기 통화자 사이의 거리 Z를 수학식,

(여기서, B는 복수의 카메라 간의 거리, F는 카메라 렌즈의 초점거리, d는 상기 복수의 카메라에 의해서 발생하는 변위(Disparity)값)
를 이용하여 계산하는 것을 특징으로 하는 정면 영상 생성 방법.
제 12 항에 있어서,
상기 (a) 단계 이전에,
터치 입력부를 통해 입체 영상을 생성하는 입체 영상 모드를 실행하는 특정한 방향의 스크롤 입력이 사용자로부터 입력되는지 판단하는 단계; 및
상기 특정한 방향의 스크롤 입력이 사용자로부터 입력된다고 판단되면, 일반 영상 모드를 입체 영상 모드로 전환하는 단계;를 더 포함하는 것을 특징으로 하는 정면 영상 생성 방법.
제 13 항에 있어서,
상기 (a) 단계는,
두 개의 카메라가 상기 영상통화 장치의 상단 또는 하단에 좌우 대칭으로 배치되거나 상기 영상통화 장치의 상단과 하단에 상하 대칭으로 배치되는 것을 특징으로 하는 정면 영상 생성 방법.