KR100713415B1 - 영상 시점을 보정하는 이동통신단말기 - Google Patents

Abstract

본 발명은 이동통신단말기에서 음성과 화상을 동시에 이용해 화상통화가 수행될 때에 자연스러운 대화가 이루어지도록 정면 시점의 화상이 디스플레이되도록 하는 이동통신단말기에 관한 것으로서, 좀 더 상세하게는 이동통신단말기에 두 대 이상의 카메라를 구비시켜 다양한 각도에서 촬영한 후 이를 합성하여 상대 단말기로 전송하는 이동통신단말기에 관한 것이다. 이를 위하여 본 발명은, 서로 다른 각도에서 영상이 촬영되도록 서로 다른 위치에 설치되는 다수개의 카메라와, 상기 카메라에서 촬영된 제1영상과 제2영상을 합성함으로써, 시점이 중간 위치에 놓이도록 보정시킨 중간 영상을 생성하는 중간 영상 생성부를 구비한다.

화상통화, 이동통신단말기, 시점 모핑, 시점 보간법, 카메라

Description

영상 시점을 보정하는 이동통신단말기{MOBILE PHONE MODIFYING IMAGE VIEW}

도 1은 종래의 화상통화 모습을 도시한 플로우차트이다.

도 2는 본 발명의 일 실시 예로서 두 대의 카메라가 부착된 이동통신단말기의 외관 사시도이다.

도 3은 본 발명에 따른 이동통신단말기의 내부 구성 블록도이다.

도 4a, 도 4b는 각 카메라의 각도에서 촬영된 영상이다.

도 4c는 중간 영상으로 합성된 영상이다.

도 5는 중간 영상을 합성하는 과정을 도시한 플로우차트이다.

도 6a, 도 6b는 특징 위치점 정보를 이용하여 중간 영상을 나타낸 그림이다.

*도면의 주요 부분에 대한 부호의 설명*

318: 제1카메라 322: 제2카메라

316: 제1영상처리부 320: 제2영상처리부

314: 중간영상 생성부

본 발명은 이동통신단말기에서 음성과 화상을 동시에 이용해 화상통화가 수행될 때에 자연스러운 대화가 이루어지도록 정면 시점의 화상이 디스플레이되도록 하는 이동통신단말기에 관한 것으로서, 좀 더 상세하게는 이동통신단말기에 두 대 이상의 카메라를 구비시켜 다양한 각도에서 촬영한 후 이를 합성하여 상대 단말기로 전송하는 이동통신단말기에 관한 것이다.

이동통신단말기 부가 기능의 눈부신 발전에 따라 단순한 통화목적으로만 사용되던 종래와 달리 최근에는 GPRS, CDMA EV-DO, CDMA EV-DV, WCDMA HSDPA 등과 같이 데이터 통신의 기능에 대해서 많은 발전이 있어 왔다. 특히, 현재 3세대(3G) 이동통신에 해당하는 IMT-2000 시스템에서 이루어지는 이동통신단말기 상에서의 화상통화는, 단순한 이동 전화가 아니라 데이터를 주고받는 무선네트워크로서의 새로운 개념이다. 상기와 같이 화상 통화용 이동통신단말기를 이용해 화상 통화를 하는 경우, 한대의 카메라로 이용자의 화상모드 선택에 따라 대화가 이뤄진다. 한대의 카메라에서 얻어진 영상정보는 디지털 영상신호로 변환되어 무선망을 통해 상대편에게 전송된다. 그런데, 화상통화에 참여하는 자는 도 1에 도시한 바와 같이 액정화면(104)에 표시된 상대방의 얼굴을 보며 대화를 하는데, 이는 부자연스러운 영상이 상대방에게 전송되는 문제가 있었다. 즉, 현재의 화상통신은 이용자(100)가 카메라(102)에 시선을 두고 대화하는 것이 아니라 액정화면(104)에 디스플레이되는 상대방과 자신의 영상을 보면서 통화를 하게 된다. 따라서, 시점이 정면이 아니라 위나 아래를 향한 얼굴 영상이 상대방에게 전달되어지게 되어 부자연스러운 화상통화가 되는 원인이 되었다.

상기의 문제점을 해결하고자 본 발명은 안출된 것으로서, 이동통신단말기가 다수의 카메라를 구비하여 다양한 각도에서 촬영함으로써, 상기 카메라를 통한 화상통화 당사자의 촬영 영상이 정면을 바라보고 대화를 나누는 듯한 효과를 내도록 함을 목적으로 한다. 즉, 다수의 카메라에서 촬영된 영상을 중간 영상으로 합성 보정하여 당사자 촬영 영상이 아래나 위로 쳐다보는 영상이 아니라 정면을 쳐다보는 영상으로 가상 생성함을 목적으로 한다.

상기 목적을 이루기 위하여 본 발명에 따른 이동통신단말기는, 서로 다른 각도에서 영상이 촬영되도록 서로 다른 위치에 설치되는 다수개의 카메라와 상기 카메라에서 촬영된 제1영상과 제2영상을 합성함으로써, 시점이 중간 위치에 놓이도록 보정시킨 중간 영상을 생성하는 중간 영상 생성부를 구비한다.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련 된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의 내려진 용어들로서 이는 본 발명의 기술 분야에 속하는 자의 일반적 관례에 따라서 달라질 수 있으며, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 2는 본 발명에 따른 이동통신단말기의 내부 구성 블록도이다.

시점 보간법, 시점 모핑 등을 이용하여 화상 통화를 하는 당사자의 중간 영상을 생성하기 위하여 이동통신단말기는 두 대의 카메라로서 영상을 촬영한다. 상기 두 대의 카메라 위치는 이동통신단말기의 상하 양 끝단의 위치시킴으로써 되도록이면 서로 다른 각도의 영상이 촬영되도록 한다. 상기 카메라 설치는 외장형 카메라를 이용하여 하나의 카메라는 상폴더 위에 외장 부착하고, 또 하나의 카메라는 본체 하단에 외장 부착시킴으로써, 상, 하 두 가지 각도에서 당사자를 촬영할 수 있다.

본 발명의 실시 예에서는 도 2에 도시한 바와 같이 두 대의 내장형 카메라 중에서 제1카메라(202)는 상폴더의 스피커 옆쪽에 위치시키고, 나머지 카메라인 제2카메라(206)는 본체의 마이크 옆쪽에 위치시켜 당사자(200)의 영상을 상, 하 두 가지 각도(204,208)에서 촬영하도록 한다. 따라서, 상기 제1카메라(202)는 표시창 위쪽에 위치되고 제2카메라(206)는 표시창 아래에 위치되기 때문에 이동통신단말기는 화상통화 당사자(200)의 상, 하 두 가지 영상(204,208)을 촬영할 수 있는 것이다. 즉, 화상통화 당사자가 표시창을 보고 대화하기 때문에, 표시창 위에 위치한 제1카메라(202)는 당사자 얼굴의 위쪽에서 찍히는 영상(204)을 촬영할 수 있고, 단말기 본체 즉 표시창 아래에 위치하는 제2카메라(206)는 당사 얼굴의 아래쪽에서 보이는 영상(208)을 촬영할 수 있다.

한편, 본 발명에서는 설명의 편의를 위하여 두 각도에서의 영상 촬영하는 두 대의 카메라 즉, 위쪽에 위치한 제1카메라(202)와 아래쪽에 위치한 제2카메라(206)만을 도시하여 설명하겠지만, 합성 영상의 사실성을 향상시키기 위하여 여러 대의 카메라를 이동통신단말기에 구비시켜 다양한 각도에서의 촬영하여 합성 영상 생성할 수 있다. 이하에서는, 이동통신단말기 내에 두 대의 카메라만 설치된 예를 들어서 합성영상이 생성되는 것을 설명하겠지만, 두 대이상의 다수개의 카메라가 이동통신단말기에 설치되는 경우에도 본 발명과 동일한 발명 범위로서 합성 영상이 구현될 수 있음은 자명할 것이다.

도 3은 본 발명의 실시 예에 따른 이동통신단말기의 구성을 도시한 블록도이다.

상기 도 3을 참조하면, RF부(302)는 이동통신단말기의 무선 통신 기능을 수행한다. 상기 RF부(302)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등을 포함한다. 데이터처리부(304)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 즉, 상기 데이터 처리부(304)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱 은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다.

오디오 처리부(306)는 상기 데이터 처리부(104)의 오디오 코덱에서 출력되는 수신 오디오신호를 스피커를 통해 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부(304)의 오디오 코덱에 전송하는 기능을 수행한다.

메모리(308)는 프로그램 메모리, 데이터 메모리들로 구성된다. 상기 프로그램 메모리는 이동통신단말기의 일반적인 동작을 제어하기 위한 부팅(booting) 및 OS가 들어가 있으며, 데이터 메모리는 이동통신말기 동작 중에 발생되는 각종 데이터들이 저장되는 곳이다.

키입력부(310)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비한다. 표시부(312)는 LCD 등의 액정소자로 이루어진 디스플레이 장치로서, 중간 영상 처리부(314)에서 출력되는 중간 영상이 표시부에 디스플레이하고, 또한, 상기 제어부(300)에서 출력되는 각종 사용자 데이터를 표시한다.

제어부(300)는 이동통신단말기의 전반적인 동작을 제어하는 기능을 수행하는데, 특히, 중간 영상 생성부(314)에서 생성된 중간 영상을 표시부에 디스플레이하거나 RF부를 통하여 무선망에 전송한다.

제1카메라(318)와 제2카메라(322)는 영상을 촬영한 후 촬영된 광 신호를 전기적 신호인 영상신호로 변환하는 카메라 센서로서, 상기의 카메라 센서를 통해 촬영된 영상 신호는 제1영상처리부(316)와 제2영상처리부(320)로 각각 전송된다. 상 기의 제1카메라(318)는 도 2에서 도시한 바와 같이 표시창의 위쪽에 설치되어 당사자를 아래로 촬영하는 카메라(202)이며, 상기 제2카메라(322)는 표시창의 아래쪽에 설치되어 당사자를 위로 촬영하는 카메라(206)이다.

제1영상처리부(316)와 제2영상처리부(320)는 상기 제1카메라(318)와 제2카메라(322)에서 출력되는 영상신호를 디스플레이 데이터인 프레임 데이터로 각각 변환시키는 기능을 수행한다. 상기 제1, 제2영상처리부(316,320)는 제1, 제2카메라(318,322) 각각에서 출력되는 영상신호를 프레임 단위로 처리한 영상데이터를 생성하며, 동시에 상기 프레임을 소정의 색상 및 크기에 맞추어 변환하는 작업을 수행한다. 또한 상기 제1, 제2영상처리부(316,320)는 영상코덱을 구비하며, 상기 표시부(312)에 디스플레이되는 프레임을 소정의 세팅된 방식으로 압축하거나, 압축된 프레임을 원래의 프레임으로 복원하는 기능을 수행한다. 상기의 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등 다양한 코덱이 이용 될 수 있다.

결국, 상기의 프레임은 영상신호가 프레임 단위로 변환되어 생성된 데이터로서, 제1영상처리부(316)는 제1카메라(318)에서 촬영된 영상을 프레임 단위(이하, 제1프레임이라 함)로 생성하며, 마찬가지로 제2영상처리부(320)는 제2카메라(322)에서 촬영된 영상을 프레임단위(이하, 제2프레임이라 함)로 생성한다. 상기 생성된 제1프레임과 제2프레임은 중간 영상 생성부(314)로 전송된다.

중간 영상 생성부(314)는 수신한 제1프레임과 제2프레임을 소정의 중간 영상 생성 알고리즘에 따라 혼합하여 중간 영상 프레임을 생성하는 기능부로서, 상기 중간 영상 프레임은 화상통화 당사자가 정면을 보고 대화를 수행하는 것과 같은 효과 를 가진 보정된 영상 프레임이다. 상기의 중간 영상 생성 알고리즘은View Interpolation, View Morphing, Lumigraph, Light-Field Rendering, Plenoptic modeling 등의 기존의 다양한 중간 영상 생성 알고리즘이 있는데, 본 발명은 시점 보간법(View Interpolation)과 시점 모핑(View Morphing)을 이용해 시점이 다른 두개의 영상으로부터 중간 영상을 생성하는 방법으로서 구현하겠지만, 다른 합성 방법에 의해서도 두개의 영상을 보정하여 중간 영상을 생성할 수 있음은 자명한 사실일 것이다.

상기의 시점 모핑(View Morphing)이란 어떤 사물의 형상을 다른 모습으로 서서히 변화시키는 가상 시뮬레이션 그래픽으로서, 모핑은 형태의 차원에서 한 개체가 자신과 무관한 다른 개체로 변형되는 인위적인 과정을 말한다. 상기 모핑 과정은 소스 데이터와 수학적 알고리즘에 의해 규정되며, 이런 과정을 거쳐 산출되는 산물은 다분히 기형적인 모습을 나타낸다. 즉, 소스 데이터를 토대로 수학적 알고리즘이 구동되고, 이를 통해 형태의 연속적인 모핑 과정이 시뮬레이션되는 것으로서, 충분한 데이터와 시간만 주어진다면, 모핑되는 형태들의 수는 무한에 가까울 수도 있다. 결국, 모핑은 한 영상에서 다른 영상으로 부드럽고 점차적인 변환을 하는 방법으로서 이를 위해서는 두 개의 영상을 필요로 하는 것이다. 두 개의 참조 이미지를 와핑을 통해서 새로운 시점에 맞는 영상을 생성하고, 이렇게 생성된 두 개의 영상을 이차원의 보간(Interpolation)법으로 새로운 시점에서의 영상을 생성하는 것이다. 따라서, 시점 보간법과 시점 모핑은 시점이 다른 두개 또는 여러 개의 영상으로부터 임의의 시점의 영상을 생성하기 위한 방법으로, 먼저 영상들 간의 대응되는 위치점으로부터 움직임 정보를 구하고. 이러한 움직임 정보를 보간함으로써 임의의 시점의 영상을 생성해낼 수 있다.

따라서, 중간 영상 생성부(314)는 상기의 시점 모핑 및 시점 보간법을 이용하여 수신한 제1프레임과 제2프레임을 시점 모핑 및 이차원 보간함으로써 정면 시점을 가진 중간 영상 프레임을 생성할 수 있는 것이다. 예를 들어, 도 4a, 도 4b, 도 4c에 도시한 바와 같이 표시창 위에 위치한 제1카메라에서 찍힌 영상(도 4a)과 제2카메라에서 찍은 영상(도 4b)을 중간 영상 생성부가 수신하여 상기의 시점 모핑작업을 거쳐 중간 영상(도 4c)을 생성하는 것이다.

상기의 중간 영상 생성부(314)가 상기의 중간 영상 프레임 생성하는 일 실시 과정을 도 5의 플로우차트에 기술하였다. 시점 모핑 및 시점 보간을 이용한 중간 영상 생성 과정은 종래에 공지된 기술이므로 간략히 설명하기로 한다. 또한, 이하에서 설명되는 시점 모핑 및 시점 보간 방법 이외에도 종래의 다양한 중간 영상 생성 알고리즘에 의하여서도 이루어질 수 있음은 자명할 것이다.

제1카메라와 제2카메라로부터 촬영(S502)되는 영상은 제1, 제2영상 처리부에서 다수개의 제1프레임과 제2프레임으로 변환(S504)되어 중간 영상 생성부에 전송된다. 따라서, 중간 영상 생성부는 특정 동일 순간의 제1프레임과 제2프레임을 수신한 후, 수신한 제1프레임과 제2프레임에서 상호 대응되는 특징 위치점 정보를 각각의 프레임에서 획득(S506)하게 된다. 상기 특징 위치점 정보란 프레임내의 어느 픽셀에서의 각 색소 데이터의 변화량이 임계치를 초과하는 지점의 주소 및 색상 정 보를 말하는 것이다. 예를 들어, 도 6a에 도시한 바와 같이 제1카메라에서 촬영되어 위쪽에서 관찰되는 시점으로 찍힌 제1프레임에서 특징 위치점의 주소 및 해당 위치의 색상 정보를 획득하고, 도 6b에 도시한 바와 같이 제2카메라에서 찍힌 아래쪽 시점인 제2프레임에서 특징 위치점의 주소 및 해당 위치의 색상 정보를 획득함으로써 특징 위치점 정보를 획득할 수 있다. 상기 제1프레임의 특징 위치점과 제2프레임의 특징 위치점은 각각 상호 대응되는 관계에 있다.

상기와 같이 제1프레임 및 제2프레임의 특징 위치점 정보를 획득하게 되면 양 정보를 합성하여 중간 정보를 갖는 움직임 정보를 생성한다. 예컨대, 제1프레임의 부호 1의 특징 위치점이 24*52 픽셀에 위치하고 Ox3ba8f3의 색상을 가지고 있고, 이에 대응되는 제2프레임의 부호 2의 특징 위치점이 25*56 픽셀에 위치하고 있고 Ox3ba8f5의 색상을 가지고 있다면, 이들의 합성으로서 중간 정보를 갖는 움직임 정보는 25*54 픽셀 위치에 Ox3ba8f4의 색상을 가지는 가지게 된다. 따라서, 상기 과정을 거쳐 생성된 움직임 정보를 통하여 정면을 쳐다보는 시점을 가진 영상 프레임을 생성할 수 있다.

상술한 본 발명의 설명에서는 이동통신단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.

상기에서 기술한 바와 같이 본 발명은, 화상통화 시에 두 대이상의 카메라에서 다양한 각도의 촬영을 하여 중간 영상을 보정 생성할 수 있음으로써, 정면 시점으로 된 화상을 보고 대화하는 효과가 있다. 따라서, 화상통화를 하는 당사자들은 상대방의 모습을 정면에서 쳐다보며 대화를 할 수 있는 효과가 있다.

Claims (8)

1. 이동통신단말기에 있어서,

   상기 이동통신단말기에 서로 다른 시점에서 영상이 촬영되도록 서로 다른 위치에 설치되는 다수 개의 카메라와,

   상기 카메라들에서 촬영된 영상들을 합성하여, 상기 합성된 영상을 바라보는 시점이 상기 카메라들의 시점들의 중간 위치가 되도록 보정한 중간 영상을 생성하는 중간 영상 생성부를 구비한 이동통신단말기.
2. 제 1 항에 있어서,

   상기 이동통신단말기는 상기 카메라에서 촬영되는 영상을 프레임 단위로 변환하는 영상 처리부를 더 구비한 것을 특징으로 하는 이동통신단말기.
3. 제 1 항에 있어서,

   상기 카메라는 상기 이동통신단말기에 내장 또는 외장형태로 각각 설치되는 것을 특징으로 하는 이동통신단말기.
4. 제 1 항에 있어서,

   상기 카메라는 상기 이동통신단말기의 최상위 끝단과 최하위 끝단에 설치되는 것을 특징으로 하는 이동통신단말기.
5. 제 1 항에 있어서,

   상기 중간 영상은 각 프레임 단위로 생성되어지는 것을 특징으로 하는 이동통신단말기.
6. 제 1 항에 있어서,

   상기 중간 영상은 상기 촬영된 영상들의 특정 순간의 프레임들을 상호 대응시켜 생성되는 것을 특징으로 하는 이동통신단말기.
7. 제 1 항에 있어서,

   상기 이동통신단말기는 중간 영상을 무선망을 통하여 연결된 다른 이동통신단말기로 전송하는 것을 특징으로 하는 이동통신단말기.
8. 제 1 항에 있어서,

   상기 중간 영상은 시점 보간법(View Interpolation) 또는 시점 모핑(View Morphing)을 이용하여 생성되는 것을 특징으로 하는 이동통신단말기.

Images