KR100739173B1 - 영상통화 중 영상 생성 방법 및 그 장치 - Google Patents

Abstract

본 발명은 단말기로 영상통화 중 영상합성 방법 및 장치에 관한 것으로, 단말기로 영상통화 중에 상대방이 전송한 영상의 배경에 사용자가 촬영한 자신의 영상을 합성하는 방법 및 장치를 제공하는 것이 목적이다.

단말기를 이용하여 상대방과 영상통화 중에 전송된 영상에서 배경만을 추출하고, 사용자의 단말기에 구비된 카메라를 통하여 촬영한 사용자의 영상에서 객체(사용자 모습)만을 추출하여 상기 영상의 배경에 이식하는 방식으로 합성하여 저장하는 것이다.

영상합성, 영상통화

Description

영상통화 중 영상 생성 방법 및 그 장치{METHODE AND APPARUTUS FOR CREATING PICTURES BY CAMERA BUILT-IN TERMINAL ENGAGED}

도 1은 본 발명에 따른 영상통화 중 영상 생성 방법을 도시한 흐름도.

도 2는 본 발명에 따른 영상통화 중 영상 생성 장치의 블락도.

본 발명은 단말기의 영상 생성 방법 및 장치에 관한 것으로서, 특히 단말기로 영상통화 중 적어도 하나 이상의 영상을 합성하여 제3의 영상을 생성하는 방법 및 그 장치에 관한 것이다.

일반적으로 영상합성이란 하나의 영상을 다른 영상에 이식, 채우기(padding),겹치기 등 특정한 작업을 통하여 원하는 영상을 재생산하는 것을 말한다. 이와 같은 영상합성 기술은 디지털 기술의 발전과 함께 비약적으로 발전하고 있다.

또한 유무선 통신서비스 분야에서도 영상합성 기술은 중요한 부분을 차지한다. 특히, 카메라가 구비되어 영상통화가 가능한 유무선 단말기에 있어서, 이와 같은 영상합성 관련 서비스는 다양한 수요가 예측된다.

예를 들면, 영상 통화가 가능한 단말기를 이용하여 상대방과 호 연결되어 영상통화를 하는 가운데, 사용자가 전송된 상대방의 영상을 보고, 상대방이 있는 거리나 경치가 마음에 들어, 사용자 자신이 그 자리에 있으면 좋겠다는 상상을 할 수 있다. 나아가, 사용자 자신이 그 자리에 있는 것처럼 자신의 모습을 상대방이 있는 배경에 담고 싶어하는 경우가 있다.

따라서, 본 발명의 목적은 단말기로 영상통화 중에 상대방이 전송한 영상의 배경에 사용자가 촬영한 자신의 영상을 합성하여 제3의 영상을 생성하는 방법 및 그 장치를 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 영상통화 중 영상 생성 방법은,
상대방과 단말기로 영상통화 중에 영상을 생성하는 방법으로서,
제1 주변배경과 함께 상대방의 모습이 촬영된 제1 영상을 수신하는 과정과;
상대방과 영상통화 중 제2 주변배경과 함께 사용자의 모습을 포함하는 제2 영상을 상기 사용자의 단말기에 구비된 카메라로 촬영하는 과정과;
상기 수신한 제1 영상에서 제1 주변배경과 상기 제2 영상에서 상기 사용자의 모습을 합성하여 제3 영상을 생성하는 과정을 포함한다.

삭제

삭제

삭제

삭제

삭제

삭제

바람직하게는, 상기 제3 영상을 생성하는 과정은,

상기 제1 영상으로부터 객체를 분리하여 배경만을 추출하는 과정과;

상기 분리된 객체의 크기를 검출하는 과정과;

상기 제2 영상으로부터 배경을 분리하여 객체만을 추출하는 과정과;

상기 제2 영상에서 추출한 객체에 포함된 배경부분을 빈 배경으로 처리하는 과정과;

상기 분리된 제2 영상의 객체의 크기를 상기 검출된 제1 영상의 객체의 크기로 재조정하는 과정과;

상기 크기가 재조정된 제2 영상의 객체를 상기 제1 영상의 배경과 합성하는 과정과;

상기 합성된 영상에서 상기 빈 배경으로 처리된 부분을, 상기 제1 영상으로부터 추출된 배경의 화소 값들 중에서 합성된 배경 영상의 경계부분 화소 값으로 채우는 과정을 포함한다.

또한 상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 영상통화 중 영상 생성방법은, 단말기로 영상통화 중에,
상대방의 모습이 주변배경과 함께 촬영되어 전송된 제1 영상을 수신하고,
사용자의 단말기에 구비된 카메라로 주변배경과 함께 사용자의 모습을 포함한 제2 영상을 촬영하고,
제1 영상의 배경에 제2 영상의 객체를 영상 합성하여 제3 영상을 생성하고,
그 생성된 제3 영상을 사용자의 단말기에 저장한다.

또한 상기와 같은 다른 목적을 달성하기 위하여, 본 발명에 따른 영상통화 중 영상 생성장치는,

단말기로 영상통화 중에 상대방의 제1 영상을 전송 받아 배경과 객체를 분리하여 객체의 크기를 검출하고, 배경만을 추출하는 제1 영상 처리부와;

영상통화 중에 단말기의 카메라를 통하여 촬영한 사용자의 제2 영상에서 객체와 배경을 분리하여 객체만을 추출하고, 추출된 객체에 포함된 배경부분을 빈 배경으로 처리하는 제2 영상 처리부와;

상기 제2 영상의 객체 크기를 상기 검출된 제1 영상의 객체 크기에 맞추어 재조정하여 상기 제1 영상으로부터 분리 추출된 배경과 영상 합성하고, 상기 빈 배경을 상기 제1 영상의 배경의 화소 값들 중에서 합성 영상의 배경 경계부분의 화소 값으로 채워서 처리하는 영상 합성 처리부와;

상기 합성된 영상을 부호화하여 파일 포맷형태로 저장하는 영상부호화 및 파일생성부를 포함하여 구성된다.

본 발명은 유무선 단말기의 영상합성 장치에서 구현된다. 그러나, 본 발명은 다른 표준에 따라 동작하는 통신 시스템의 영상합성 장치에도 적용되어 질 수 있다.

본 발명의 개념은, 단말기를 이용하여 상대방과 영상통화 중에 전송된 영상에서 배경만을 추출하고, 사용자의 단말기에 구비된 카메라를 통하여 촬영한 사용자 의 영상에서 객체(사용자 모습)만을 추출하여 상기 영상의 배경에 이식하는 방식으로 합성하여 저장하는 것이다.

본 발명의 실시를 위한 전제로서, 본 발명에 따른 방법 및 장치가 구현될 수 있는 유무선 단말기는 사용자와 상대방 간에 영상통화를 할 수 있어야 하므로 단말기에 카메라가 구비되어야 한다. 또한 본 발명과 관련된 공지 기술에 대하여는 자세한 동작설명은 생략하기로 한다.

도1은 본 발명에 따른 영상통화 중 영상을 생성 방법을 도시 한 흐름도이고, 도2는 본 발명에 따른 영상통화 중 영상 생성 장치의 블락도이다. 도1-2를 참조하여 설명하면 다음과 같다.

본 발명의 실시 예를 간략히 설명하면, 상대방과 영상통화(S10) 중에 전송된 상대방의 영상은 제1영상 처리부(100)에서 가공 처리되고(S20), 사용자의 단말기의 카메라로 촬영한 사용자의 영상을 제2 영상 처리부(200)에서 가공 처리된다(S30). 그리고 상기 가공된 영상들은 영상 합성 처리부(300)에서 합성되어(S40) 영상부호화 및 파일생성부(400)에서 부호화 되고 적당한 파일 형태로 저장된다(S50).

본 발명의 실시 예를 보다 상세히 설명하면 다음과 같다. 먼저, 사용자가 상대방과 호 연결되어 영상통화를 하면서(S10), 제1 영상 처리부(100)에서 상대방이 전송한 영상을 가공처리 한다(S20). 즉, 상대방이 전송한 영상신호를 수신하여, 전송계층(110), 역다중화기(120), 그리고 영상복호화기(130)를 순차적으로 통과하여 상기 영상신호를 신호처리하고, 배경분리기(140)가 신호처리 된 영상에서 객체(상대방 모습)를 사각형 형태로 추출하여 객체부분(상대방 모습)과 배경부분을 분리한 다(S21). 이때 사각형 형태는 상기 객체(상대방 모습)가 포함될 수 있는 최소 크기의 사각형이다. 그리고 상기 사각형으로 추출한 객체(상대방 모습)의 크기를 검출하고(S23), 상기 영상에서 배경부분 만을 추출한다(S25).

다음으로, 상대방과 영상 통화 중에 제2 영상 처리부(200)는 사용자를 촬영한 영상을 가공처리 한다(S30). 즉, 사용자 단말기에 구비된 카메라(210)를 통하여 사용자를 촬영한 영상은, 객체분리기(220)에서 객체부분(사용자 모습)과 배경부분을 분리하고, 분리된 영상 중에서 객체부분(사용자 모습) 만이 포함하도록 최소의 사각형 형태로 객체를 추출한다(S31). 상기 과정(S31)에서 사각형 형태로 추출된 객체에 포함된 배경부분을 빈 배경(empty)으로 처리한다(S33).

상기 과정(S20, S30)에서 가공된 각각의 영상, 즉 상대방으로부터 수신한 배경부분과 사용자를 촬영한 영상의 객체부분(사용자 모습)은 영상 합성 처리부(300)에서 합성된다(S40). 먼저, 객체크기 재조정기(310)가 상기 과정(S31)에서 추출된 객체의 크기를 상기 과정(S23)에서 검출한 객체의 크기와 같게 재조정(resizing)한다(S41). 다음으로, 객체와 배경 합성기(320)가 상기 과정(S25)에서 추출한 영상의 배경 부분과 상기 과정(S21)에서 추출한 영상의 객체부분(사용자 모습)을 이식하는 방법으로 합성하고(S43), 상기 합성된 영상에서 상기 과정(S33)을 통하여 빈 배경으로 처리된 부분을 상기 합성되는 배경 영상의 합성 경계부분의 화소 값으로 채워(padding)(S45) 자연스러운 영상합성이 이루어지도록 한다.

이와 같이, 상기 과정(S40)에서 합성된 영상은 영상부호화 및 파일생성부(400)의 영상부호화기(410)와 파일생성기(420)를 거쳐서 저장에 알맞은 형태로 부호화 및 압축(MP4, 3GP 등 포멧)되어 저장된다(S50).

본 발명은 도면에 도시 된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이, 사용자가 상대방과 영상통화 중에, 상대방이 전송한 영상의 배경에 사용자의 모습을 촬영하여 합성하고 저장할 수 있기 때문에, 상대방의 장소에 있다는 대리만족을 얻을 수 있고, 본 발명에 따른 단말기를 사용하는 사용자에게 보다 향상된 통신서비스를 제공할 수 있는 효과가 있다.

Claims (17)

1. 상대방과 단말기로 영상통화 중에 영상을 생성하는 방법으로서,

   제1 주변배경과 함께 상대방의 모습이 촬영된 제1 영상을 수신하는 과정과;

   상대방과 영상통화 중 제2 주변배경과 함께 사용자의 모습을 포함하는 제2 영상을 상기 사용자의 단말기에 구비된 카메라로 촬영하는 과정과;

   상기 수신한 제1 영상에서 제1 주변배경과 상기 제2 영상에서 상기 사용자의 모습을 합성하여 제3 영상을 생성하는 과정과;

   상기 생성된 제3 영상을 단말기에 저장하는 과정을 포함하는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 제3 영상을 생성하는 과정은,

   상기 제1 영상으로부터 객체를 분리하여 배경만을 추출하는 과정과;

   상기 분리된 객체의 크기를 검출하는 과정과;

   상기 제2 영상으로부터 배경을 분리하여 객체만을 추출하는 과정과;

   상기 제2 영상에서 추출한 객체에 포함된 배경부분을 빈 배경으로 처리하는 과정과;

   상기 분리된 제2 영상의 객체의 크기를 상기 검출된 제1 영상의 객체의 크기로 재조정하는 과정과;

   상기 크기가 재조정된 제2 영상의 객체를, 상기 제1 영상의 배경과 합성하는 과정과;

   상기 합성된 영상에서 상기 빈 배경으로 처리된 부분을, 상기 제1 영상으로부터 추출된 배경의 화소 값들 중에서 합성된 영상의 경계부분의 화소 값으로 채우는 과정을 포함하는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
5. 제4항에 있어서, 상기 제1 영상의 배경은,

   상기 제1 영상에서 객체를 사각형 형태로 분리하고 제외시켜서 추출되는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
6. 제5항에 있어서, 상기 객체는,

   상기 제1 영상에서 객체를 포함하는 최소의 사각형 형태로 분리되는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
7. 제4항에 있어서, 상기 제2 영상의 객체는,

   상기 제2 영상에서 객체를 사각형 형태로 배경으로부터 분리하고, 배경을 제외시켜서 추출되는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
8. 제7항에 있어서, 상기 객체는,

   상기 제2 영상에서 객체를 포함하는 최소의 사각형 형태로 분리되는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
9. 상대방의 모습이 주변배경과 함께 촬영되어 전송된 제1 영상을 수신하고,

   사용자의 단말기에 구비된 카메라로 주변배경과 함께 사용자의 모습을 포함한 제2 영상을 촬영하고,

   제1 영상의 배경에 제2 영상의 객체를 영상 합성하여 제3 영상을 생성하고,

   그 생성된 제3 영상을 사용자의 단말기에 저장하는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
10. 제9항에 있어서, 상기 제3 영상의 생성은,

    단말기로 상대방과 영상통화 중에 이루어지는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
11. 제9항에 있어서, 상기 제3 영상의 생성은,

    상기 제1 영상에서 객체를 사각형 형태로 분리하여 객체 크기를 검출하고, 상기 제1 영상에서 배경만을 추출하여, 상기 제1 영상으로부터 추출된 배경에 상기 제2 영상에서 사각형 형태로 분리하여 추출된 객체를 합성하는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
12. 제11항에 있어서, 상기 제2 영상에서 추출된 객체는,

    상기 제1 영상에서 검출된 객체의 크기와 맞추어 그 크기가 재조정 되고, 상기 제2 영상에서 추출한 객체에 포함된 배경부분을 빈 배경으로 처리하는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
13. 제11항에 있어서, 상기 제3 영상의 생성은,

    상기 제2 영상으로부터 추출된 객체에 포함된 빈 배경을, 상기 제1 영상으로부터 추출된 배경의 화소 값들 중에서 합성된 영상의 경계부분의 화소 값으로 채워지는 것을 특징으로 하는 영상통화 중 영상 생성 방법.
14. 단말기로 영상통화 중에 상대방의 제1 영상을 전송 받아 배경과 객체를 분리하여 객체의 크기를 검출하고, 배경만을 추출하는 제1 영상 처리부와;

    영상통화 중에 단말기의 카메라를 통하여 촬영한 사용자의 제2 영상에서 객체와 배경을 분리하여 객체만을 추출하고, 추출된 객체에 포함된 배경부분을 빈 배경으로 처리하는 제2 영상 처리부와;

    상기 제2 영상의 객체 크기를 상기 검출된 제1 영상의 객체 크기에 맞추어 재조정하여 상기 제1 영상으로부터 분리 추출된 배경과 영상 합성하고, 상기 빈 배경을 상기 제1 영상의 배경의 화소 값들 중에서 합성 영상의 배경 경계부분의 화소 값으로 채워서 처리하는 영상 합성 처리부와;

    상기 합성된 영상을 부호화하여 파일 포맷형태로 저장하는 영상부호화 및 파일생성부를 포함하여 구성된 것을 특징으로 하는 영상 생성 장치.
15. 제14항에 있어서, 상기 제1 및 제2 영상의 객체는,

    상기 영상으로부터 객체를 포함하는 최소의 사각형 형태로 추출되는 것을 특징으로 하는 영상 생성 장치.
16. 제14항에 있어서, 상기 제1 영상 처리부는,

    상기 전송된 제1 영상에서 배경과 객체를 분리하는 배경분리기와, 상기 분리된 객체의 크기를 검출하는 객체크기 검출기를 포함하는 것을 특징으로 하는 영상 생성 장치.
17. 제14항에 있어서, 상기 영상합성 처리부는,

    상기 제2 영상의 객체 크기를 상기 검출된 제1 영상의 객체 크기에 맞추어 재조정하는 객체크기 재조정기를 포함하는 것을 특징으로 하는 영상 생성 장치.

Images