KR102357262B1

KR102357262B1 - 통신 장치 및 그 영상통화 방법

Info

Publication number: KR102357262B1
Application number: KR1020210055669A
Authority: KR
Inventors: 박성수; 신승민
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2018-10-05
Filing date: 2021-04-29
Publication date: 2022-02-08
Also published as: KR20210052424A

Abstract

실시예에 따라 제 1 통신 장치가 제 2 통신 장치와 영상통화를 수행하는 방법은, 상기 제 2 통신 장치와 영상통화가 연결될 때, 상기 제 1 통신 장치의 360 영상 이미지를 촬영하는 단계와, 상기 제 1 통신 장치의 360 영상 이미지를 영상통화 상대방인 상기 제 2 통신 장치로 송신하는 단계와, 상기 제 2 통신 장치가 수신한 상기 제 1 통신 장치의 360 영상 이미지 중에서 상기 제 2 통신 장치에서 출력되는 영역에 관한 재생 화면 정보를 상기 제 2 통신 장치로부터 수신하는 단계와, 상기 제 2 통신 장치로부터 수신되는 상기 재생 화면 정보에 기초하여, 상기 제 1 통신 장치의 360 영상 이미지 중에서 상기 제 2 통신 장치에 출력되는 영역을 추출하여 상기 제 1 통신 장치의 디스플레이부에 상대방 재생 화면으로서 출력하는 단계를 포함한다.

Description

통신 장치 및 그 영상통화 방법{COMMUNICATION APPARATUS AND METHOD OF VIDEO CALL THEREFOR}

본 발명은 통신 장치 및 그 영상통화 방법에 관한 것으로서, 더욱 상세하게는 다른 통신 장치에 대하여 영상통화를 수행하는 통신 장치 및 이러한 통신 장치에서 영상통화를 수행하는 방법에 관한 것이다.

주지하고 있는 바와 같이, 통신 서비스 분야에서 음성전화 서비스뿐만 아니라 영상전화 서비스를 제공하고 있으며, 소위 스마트폰이라 불리는 이동 통신 단말 장치에 카메라가 탑재됨으로 인해 영상전화 서비스를 제공활 수 있는 환경은 보편적으로 제공되고 있다.

한편, 최근에는 광시야각을 가지는 복수개의 카메라를 연결하여 다양한 각도의 영상을 촬영하고, 이를 상호 연결(스티칭)하여 하나의 영상으로 만들어냄으로써, 카메라를 중심으로 360도 전체 영역을 볼 수 있는 360 카메라가 등장하였다. 이러한 360 카메라에 의해 촬영된 360도 영상이나 동영상(이하, '영상'이라 함)은 일반 디스플레이에서 방향을 회전하며 보거나 또는 HMD(Head Mounted Display) 기기를 통해 시선의 방향을 돌림으로써, 촬영 공간에 있는 것과 같은 효과를 느낄 수 있도록 하고 있다.

아울러, 이러한 360 카메라가 통신 장치에 내장되거나 또는 부가 인터페이스를 통해 연결되는 환경에서는, 실시간으로 상대방의 주변환경까지 공유할 수 있는 360도 영상전화 서비스를 제공할 수 있다.

그런데, 360도 영상전화 서비스는 일반적인 영상통화와는 달리 발신측에서 카메라를 기준으로 전방향의 영상, 즉 360도의 영상을 착신측으로 전송하고, 착신측의 통신 장치는 360도의 영상 중 일부 영역만을 부분적으로 화면에 출력할 수 있다. 이때, 발신측의 송화자는 통신 장치의 방향을 회전시켜 360도의 영상 중 자신이 원하는 영역으로 변경하여 영상을 볼 수 있는데, 이러한 상황을 착신측에서는 알 수 없기 때문에 발신측과 착신측에서 각각 출력되는 발신측 영상이 일치하지 않으며, 이 경우에 360도 영상통화 중 발신측과 착신측 사이에 상호간 영상 불일치에 의한 혼선이 초래될 수 있는 문제점이 있다.

한국공개특허 10-2017-0095035 (공개일 : 2017년 08월 22일)

실시예에 따르면, 통신 장치에서 영상데이터를 처리함에 있어서, 다른 통신 장치에 의한 영상데이터의 출력 정보에 기초하여 영상데이터에 대한 출력을 처리하는 통신 장치 및 그 영상데이터 처리 방법을 제공한다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 제 1 관점에 따른, 제 1 통신 장치가 제 2 통신 장치와 영상통화를 수행하는 방법은, 상기 제 2 통신 장치와 영상통화가 연결될 때, 상기 제 1 통신 장치의 360 영상 이미지를 촬영하는 단계와, 상기 제 1 통신 장치의 360 영상 이미지를 영상통화 상대방인 상기 제 2 통신 장치로 송신하는 단계와, 상기 제 2 통신 장치가 수신한 상기 제 1 통신 장치의 360 영상 이미지 중에서 상기 제 2 통신 장치에서 출력되는 영역에 관한 재생 화면 정보를 상기 제 2 통신 장치로부터 수신하는 단계와, 상기 제 2 통신 장치로부터 수신되는 상기 재생 화면 정보에 기초하여, 상기 제 1 통신 장치의 360 영상 이미지 중에서 상기 제 2 통신 장치에 출력되는 영역을 추출하여 상기 제 1 통신 장치의 디스플레이부에 상대방 재생 화면으로서 출력하는 단계를 포함한다.

본 발명의 제 2 관점에 따른, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램은 상기 영상통화 방법에 따른 각각의 단계를 수행한다.

본 발명의 제 3 관점에 따르면, 상기 영상통화 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 컴퓨터 프로그램이 컴퓨터 판독 가능 기록매체에 기록된다.

본 발명의 제 4 관점에 따른, 통신 장치는, 다른 통신 장치에 대하여 데이터를 송수신하는 통신부와, 영상 이미지를 출력하는 디스플레이부와, 제어부를 포함하고, 상기 제어부는, 상기 다른 통신 장치와 영상통화가 연결될 때, 360 영상 이미지를 상기 다른 통신 장치로 송신하도록 상기 통신부를 제어하고, 상기 360 영상 이미지 중에서 상기 다른 통신 장치에서 출력되는 영역에 관한 재생 화면 정보가 상기 다른 통신 장치로부터 상기 통신부를 통해 수신되면, 상기 재생 화면 정보에 기초하여, 상기 360 영상 이미지 중에서 상기 다른 통신 장치에 출력되는 영역을 추출하여 상기 디스플레이부에 상대방 재생 화면으로서 출력한다.

본 발명의 실시예에 의하면, 통신 장치에서 영상데이터를 처리함에 있어서, 다른 통신 장치에 의한 영상데이터의 출력 정보에 기초하여 영상데이터에 대한 출력을 처리한다.

따라서, 360도 영상전화 서비스를 제공할 경우, 착신측에서 360도 영상 정보 중 실시간 출력 중인 일부 영역에 대한 정보를 발신측으로 제공하고, 발신측은 실시간 출력 중인 일부 영역에 대한 정보에 기초하여 착신측에서 실시간 출력 중인 일부 영역에 대응하는 영상을 화면에 출력할 수 있다. 마찬가지로, 발신측에서 360도 영상 정보 중 실시간 출력 중인 일부 영역에 대한 정보를 착신측으로 제공하고, 착신측은 발신측의 실시간 출력 중인 일부 영역에 대한 정보에 기초하여 발신측에서 실시간 출력 중인 일부 영역에 대응하는 영상을 화면에 출력할 수 있다.

그러므로, 발신측과 착신측에서 각각 출력되는 발신측 영상이 일치하고, 발신측과 착신측에서 각각 출력되는 착신측 영상이 일치하기 때문에, 360도 영상통화 중 발신측과 착신측 사이에 상호간 영상 불일치에 의한 혼선이 발생하지 않는다.

도 1은 본 발명의 일 실시예에 따른 영상통화 방법을 수행할 수 있는 통신 장치를 포함하는 영상전화 서비스 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 영상통화 서비스를 제공하기 위한 영상통화 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 발신측 통신 장치와 착신측 통신 장치에서 출력되는 영상 출력데이터의 상태를 보인 도면이다.
도 4는 본 발명의 일 실시예에 따라 영상통화 중에 출력되는 360도 영상의 예를 보인 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 영상통화 방법을 수행할 수 있는 통신 장치를 포함하는 영상전화 서비스 시스템의 구성도이다. 이하, 제 1 통신 장치(110)와 제 2 통신 장치(130) 사이에서 360 영상 이미지를 이용하여 360도 영상통화를 수행하는 예를 고려하여 설명하기로 한다.

이에 나타낸 바와 같이 일 실시예에 따른 영상전화 서비스 시스템(100)은 제 1 통신 장치(110), 360 카메라(120, 140), 제 2 통신 장치(130) 및 영상 전화 서버(150)를 포함한다.

360 카메라(120, 140)는 카메라를 중심으로 하여 주변 전방향 영상을 촬영할 수 있으며, 360 카메라(120, 140)에 의해 촬영된 주변 전방향 영상은 카메라를 중심으로 하는 구형 영상일 수 있다. 이러한 360 카메라(120, 140)는 이동 통신 단말 장치 등과 같은 통신 장치에 내장 탑재될 수 있고, USB(Universal Serial Bus) 인터페이스나 와이파이(Wi-Fi) 인터페이스 등과 같은 통신 인터페이스를 통해 통신 장치에 연결될 수 있다. 도 1에는 제 1 통신 장치(110)에 통신 인터페이스를 통해 360 카메라(120)가 연결되고, 제 2 통신 장치(110)에 통신 인터페이스를 통해 360 카메라(140)가 연결된 예를 나타내었다.

제 1 통신 장치(110)와 제 2 통신 장치(130)를 영상 전화 서버(150)를 통해 영상통화를 수행할 수 있으며, 제 1 통신 장치(110)는 360 카메라(120)에 의해 촬영된 360 영상 이미지를 영상 전화 서버(150)를 통해 제 2 통신 장치(130)에게 전송하고, 제 2 통신 장치(130)는 360 카메라(140)에 의해 촬영된 360 영상 이미지를 영상 전화 서버(150)를 통해 제 1 통신 장치(110)에게 전송함으로써, 360도 영상통화를 수행할 수 있다. 예를 들어, 제 1 통신 장치(110)와 제 2 통신 장치(130)는 360 영상 이미지를 송수신할 때, 송신측에서는 360 영상 이미지를 3D 모델, 일례로 구의 표면에 맵핑시켜 3D 영상을 생성한 후 2D 영상으로 변환하여 송신하고, 수신측에서는 2D 영상을 수신한 후 3D 영상으로 역변환하여 출력할 수 있다.

제 1 통신 장치(110)는 영상 획득부(111), 통신부(112), 디스플레이부(113) 및 제어부(114)를 포함한다. 도 1에는 도시 생략하였지만, 제 2 통신 장치(130)는 제 1 통신 장치(110)와 비교할 때에 동일 또는 대응하는 구성요소들을 포함할 수 있다.

제 1 통신 장치(110)의 영상 획득부(111)는 360 카메라(120)에 촬영된 360 영상 이미지를 획득할 수 있다.

제 1 통신 장치(110)의 통신부(112)는 제 2 통신 장치(130)에 대하여 데이터를 송수신할 수 있다.

제 1 통신 장치(110)의 디스플레이부(113)는 영상을 출력할 수 있다.

제 1 통신 장치(110)의 제어부(110)에는 영상전화 서비스를 영상전화 애플리케이션(App.)이 설치될 수 있고, 영상전화 애플리케이션이 실행되면 제어부(110)는 통신부(112)를 제어하여 영상 전화 서버(150)에 360 영상전화 서비스를 등록할 수 있고, 영상 전화 서버(150)에게 제 2 통신 장치(110)와의 360 영상전화 호를 요청할 수 있다.

아울러, 제 1 통신 장치(110)의 제어부(110)는 제 2 통신 장치(130)에 의해 360 영상전화 호가 수락되면, 발신측 360 영상 이미지를 획득하도록 영상 획득부(111)를 제어할 수 있으며, 발신측 360 영상 이미지를 통화 상대방인 제 2 통신 장치(130)에게 송신하도록 통신부(112)를 제어할 수 있다.

그리고, 제 2 통신 장치(130)로부터 발신측 360 영상 이미지 중 제 2 통신 장치(130)에 의해 출력되는 제 1 영상 출력데이터에 관한 제 1 화면 출력 정보(예컨대, 360 영상 이미지 중 출력되는 일부 영역에 대한 정보), 즉 재생 화면 정보가 통신부(112)를 통해 수신되면, 제 1 통신 장치(110)의 제어부(110)는 제 1 화면 출력 정보에 기초하여, 제 2 통신 장치(130)에 의해 출력되는 것에 대응하는 제 1 영상 출력데이터를 출력하도록 디스플레이부(113)를 제어할 수 있다. 여기서, 발신측 360 영상 이미지 중 제 1 통신 장치(110)에 의해 출력되는 제 1 영상 출력데이터는 제 2 통신 장치(130)에 의해 출력되는 제 1 영상 출력데이터의 일부 영역을 파악할 수 있는 정보, 즉 재생 화면 정보를 포함한다. 예컨대, 제 1 통신 장치(110)에 의해 출력되는 제 1 영상 출력데이터와 제 2 통신 장치(130)에 의해 출력되는 제 1 영상 출력데이터는 동일할 수 있다.

또, 360 카메라(140)에 의해 촬영된 착신측 360 영상 이미지가 제 2 통신 장치(130)에 의해 획득된 후 영상 전화 서버(150)를 거쳐서 통신부(112)를 통해 수신되면, 제 1 통신 장치(110)의 제어부(110)는 착신측 360 영상 이미지 중 일부 영역을 포함하는 제 2 영상 출력데이터를 제 1 영상 출력데이터와 함께 출력하도록 디스플레이부(113)를 제어한다.

아울러, 제 1 통신 장치(110)의 제어부(110)는 디스플레이부(113)에 의한 제 2 영상 출력데이터에 대한 제 2 화면 출력 정보(예컨대, 360 영상 이미지 중 출력되는 일부 영역에 대한 정보), 즉 재생 화면 정보를 생성하여 제 2 통신 장치(130)에게 송신하도록 통신부(112)를 제어할 수 있다. 여기서, 제 1 화면 출력 정보와 제 2 화면 출력 정보는 360 영상 이미지 중 각각의 통신 장치에서 실시간 출력 중인 영상데이터의 일부 영역에 대한 정보, 즉 재생 화면 정보를 포함할 수 있다. 예컨대, 360 영상 이미지의 전체 영상의 중심을 기분으로 상대방 통신 장치에 출력된 영역의 중심점의 각도 정보를 포함할 수 있다.

영상 전화 서버(150)는 제 1 통신 장치(110) 및 제 2 통신 장치(130)에 대하여 360 영상전화 서비스를 등록 받을 수 있고, 제 1 통신 장치(110)에 의해 제 2 통신 장치(110)와의 360 영상전화 호가 요청되면 제 2 통신 장치(130)에 대하여 360 영상전화 페이징을 수행할 수 있으며, 제 2 통신 장치(130)에 의해 360 영상전화 호가 수락되면 이를 제 1 통신 장치(110)에게 전달함으로써, 360 영상전화 호를 연결해 줄 수 있다. 아울러, 제 1 통신 장치(110) 또는 제 2 통신 장치(130)에 의해 360 영상전화 서비스에 대한 종료가 요청되면 상호간에 연결되어 있던 360 영상전화 호를 차단할 수 있다.

도 2는 본 발명의 일 실시예에 따라 영상통화 서비스를 제공하기 위한 영상통화 방법을 설명하기 위한 흐름도이다. 도 2의 흐름도 및 도 1을 참고하여, 제 1 통신 장치(110) 및 제 2 통신 장치(130)에 의한 영상통화 방법에 대해 제 1 통신 장치(110)의 관점에서 살펴보기로 한다.

제 1 통신 장치(110)에서 수행되는 영상통화 방법은, 발신측 360 영상 이미지를 획득하는 단계(S207, S209), 발신측 360 영상 이미지를 통화 상대방인 제 2 통신 장치(130)에게 송신하는 단계(S211), 제 2 통신 장치(130)로부터 발신측 360 영상 이미지 중 제 2 통신 장치(130)에 의해 출력되는 제 1 영상 출력데이터에 관한 제 1 화면 출력 정보(예컨대, 360 영상 이미지 중 출력되는 일부 영역에 대한 정보), 즉 재생 화면 정보를 수신하는 단계(S223), 제 1 화면 출력 정보에 기초하여, 제 1 영상 출력데이터를 제 1 통신 장치(110)의 디스플레이부(113)에 출력하는 단계(S224)를 포함한다. 도 1에는 제 1 통신 장치(110)가 단계 S207에서 획득된 발신측 360 영상 이미지를 초기 설정값에 맞추어 그 일부 영역을 출력한 상태(S215)에서 제 1 화면 출력 정보에 기초하여 제 1 영상 출력데이터가 출력되도록 조정하는 경우를 예시하였다.

그리고, 제 1 통신 장치(110)에서 수행되는 영상통화 방법은, 제 2 통신 장치(130)에 의해 획득된 착신측 360 영상 이미지를 수신하는 단계(S212), 착신측 360 영상 이미지 중 일부 영역인 제 2 영상 출력데이터를 제 1 영상 출력데이터와 함께 디스플레이부(113)에 출력하는 단계(S219), 제 2 영상 출력데이터에 대한 제 2 화면 출력 정보(예컨대, 360 영상 이미지 중 출력되는 일부 영역에 대한 정보), 재생 화면 정보를 생성하여 제 2 통신 장치(130)에게 송신하는 단계(S221)를 더 포함할 수 있다. 예컨대, 제 1 화면 출력 정보와 제 2 화면 출력 정보는 360 영상 이미지 중 각각의 통신 장치(110, 130)에서 실시간 출력 중인 영상데이터의 일부 영역에 대한 정보, 즉 재생 화면 정보를 포함할 수 있다.

아울러, 사용자에 의한 제 1 통신 장치(110)의 조작에 대응하여 디스플레이부(113)에 실시간 출력 중인 제 2 영상 출력데이터의 일부 영역이 변경되도록 조정할 수 있고, 조정된 제 2 영상 출력데이터에 대한 제 2 화면 출력 정보를 갱신 생성하여 제 2 통신 장치(130)에게 송신할 수 있다. 이는 단계 S221 및 단계 S222가 여러 번 반복되거나 단계 S223 및 단계 S224가 여러 번 반복될 수 있음을 의미한다.

도 3은 본 발명의 일 실시예에 따라 발신측 통신 장치와 착신측 통신 장치에서 출력되는 영상 출력데이터의 상태를 보인 도면이며, 도 4는 본 발명의 일 실시예에 따라 영상통화 중에 출력되는 360도 영상의 예를 보인 도면이다.

이하, 도 1 내지 도 4를 참조하여 영상전화 서비스 시스템에서 수행되는 영상전화 서비스 과정에 대해 살펴보기로 한다.

먼저, 제 1 통신 장치(110)와 제 2 통신 장치(130)의 사용자는 영상전화 서비스를 이용하고자 할 때에 영상전화 애플리케이션을 구동하고(S201, S202), 영상전화 애플리케이션이 구동되면 제 1 통신 장치(110) 및 제 2 통신 장치(130)의 제어부(114)는 통신부(112)를 제어하여 영상 전화 서버(150)에 360 영상전화 서비스를 등록한다(S203, S204).

영상 전화 서버(150)에 360 영상전화 서비스가 등록된 후, 제 1 통신 장치(110)에 의해 제 2 통신 장치(130)와의 360 영상전화 호가 요청되면 제 2 통신 장치(130)에 대하여 360 영상전화 페이징을 수행하고(S205), 제 2 통신 장치(130)에 의해 360 영상전화 호가 수락되면 이를 제 1 통신 장치(110)에게 전달함으로써, 제 1 통신 장치(110)와 제 2 통신 장치(130) 사이의 360 영상전화 호를 연결해 준다(S206).

이후, 제 1 통신 장치(110) 및 제 2 통신 장치(130)의 제어부(114)는 360 영상 이미지를 획득하도록 영상 획득부(111)를 제어하며(S207, S208), 영상 획득부(111)는 360 카메라(120, 140)를 구동하여 발신측 360 영상 이미지 및 착신측 360 영상 이미지를 획득하여 제어부(114)에게 제공한다(S209, S210).

그러면, 제 1 통신 장치(110)의 제어부(114)는 통신부(112)를 제어하여 발신측 360 영상 이미지를 통화 상대방인 제 2 통신 장치(130)에게 송신하고(S211), 제 2 통신 장치(130)의 제어부(114)는 통신부(112)를 제어하여 착신측 360 영상 이미지를 통화 상대방인 제 1 통신 장치(110)에게 송신한다(S212).

한편, 단계 S211 및 단계 S212의 수행 중에, 제 1 통신 장치(110)의 제어부(114)는 발신측 360 영상 이미지를 렌더링하여 디스플레이부(113)를 통해 그 일부 영역의 영상 출력데이터를 출력하고(S213, S215), 제 2 통신 장치(110)의 제어부(114)는 착신측 360 영상 이미지를 렌더링하여 디스플레이부(113)를 통해 그 일부 영역의 영상 출력데이터를 출력한다(S214, S216).

그리고, 단계 S211 및 단계 S212의 수행이 완료되면, 제 1 통신 장치(110)의 제어부(114)는 착신측 360 영상 이미지를 렌더링하여 디스플레이부(113)를 통해 그 일부 영역인 영상 출력데이터를 상대방 재생 화면으로서 발신측 영상 출력데이터와 함께 출력하고(S217, S219), 제 2 통신 장치(110)의 제어부(114)는 발신측 360 영상 이미지를 렌더링하여 디스플레이부(113)를 통해 그 일부 영역인 영상 출력데이터를 상대방 재생 화면으로서 착신측 영상 출력데이터와 함께 출력한다(S218, S220).

여기서, 제 1 통신 장치(110) 및 제 2 통신 장치(130)의 사용자는 각자의 통신 장치에 대한 약속된 조작을 수행하여 디스플레이부(113)에 출력 중인 영상 출력데이터의 영역을 변경할 수 있다. 예컨대, 제 1 통신 장치(110)를 상하좌우로 움직이면 제어부(114)는 자이로센서 등에 의한 각도 센싱값을 입력받아 사용자에 의한 조작 각도를 파악하고, 360 영상 이미지 중 디스플레이부(113)에 출력하는 영상 출력데이터의 각도를 앞서 파악된 조작 각도에 대응하여 조정한다.

한편, 제 1 통신 장치(110)의 제어부(114)는 착신측 360 영상 이미지 중 디스플레이부(113)에 출력 중인 영상 출력데이터에 대한 화면 출력 정보, 즉 재생 화면 정보를 생성하고, 생성된 재생 화면 정보를 통신부(112)를 통해 제 2 통신 장치(130)에게 송신한다(S221). 그리고, 제 2 통신 장치(130)의 제어부(114)는 발신측 360 영상 이미지 중 디스플레이부(113)에 출력 중인 영상 출력데이터에 대한 화면 출력 정보(예컨대, 360 영상 이미지 중 출력되는 일부 영역에 대한 정보), 즉 재생 화면 정보를 생성하고, 생성된 재생 화면 정보를 통신부(112)를 통해 제 1 통신 장치(110)에게 송신한다(S223). 이때, 제 1 통신 장치(110)와 제 2 통신 장치(130) 사이에 송수신되는 재생 화면 정보에는 360 영상 이미지의 전체 영상의 중심을 기준으로 각 통신 장치(110, 130)에 출력된 영역의 중심점의 각도 정보가 포함될 수 있다. 예컨대, 단계 S211 및 S223은 기 설정된 시간 간격으로 반복 수행되거나 제 1 통신 장치(110) 또는 제 2 통신 장치(130)에 대한 조작 이벤트가 발생할 때마다 수행될 수 있으며, 이는 제어부(114)가 재생 화면 정보를 갱신 생성하여 통화 상대방인 통신 장치에게 송신하는 것을 의미한다.

도 4는 본 발명의 일 실시예에 따라 영상통화 중에 출력되는 360도 영상의 예를 보인 도면이다. 제어부(114)는 초기의 출력 영상의 중심을 기준점 좌표로 설정한 후 기준점 좌표의 상하좌우에 대해 360도의 좌표를 설정하고, 단계 S221 및 단계 S223에서 디스플레이부(113)에 실시간 출력 중인 영상 출력데이터의 중심점 좌표값을 화면 출력 정보에 포함하여 전송할 수 있다.

그러면, 제 2 통신 장치(130)는 제 1 통신 장치(110)로부터 착신측 360 영상 이미지 중 제 1 통신 장치(110)에 의해 출력되는 영상 출력데이터에 관한 화면 출력 정보, 재생 화면 정보가 통신부(112)를 통해 수신되면, 제 2 통신 장치(130)의 제어부(114)는 수신된 재생 화면 정보에 기초하여, 제 1 통신 장치(110)에 의해 출력되는 것에 대응하는 영상 출력데이터를 출력하도록 디스플레이부(113)를 제어한다(S222). 예컨대, 도 4에 예시한 바와 같이 화면 출력 정보에 중심점 좌표값이 포함된 경우에 제 2 통신 장치(130)의 제어부(110)는 디스플레이부(113)에 실시간 출력 중인 영상의 중심이 재생 화면 정보에 포함된 중심점 좌표값을 갖도록 해당 영상에 대해 설정된 360도의 좌표를 조정할 수 있다.

마찬가지로, 제 1 통신 장치(110)는 제 2 통신 장치(130)로부터 발신측 360 영상 이미지 중 제 2 통신 장치(130)에 의해 출력되는 영상 출력데이터에 관한 화면 출력 정보(예컨대, 360 영상 이미지 중 출력되는 일부 영역에 대한 정보), 즉 재생 화면 정보가 통신부(112)를 통해 수신되면, 제 1 통신 장치(110)의 제어부(114)는 수신된 재생 화면 정보에 기초하여, 제 2 통신 장치(130)에 의해 출력되는 것에 대응하는 영상 출력데이터를 출력하도록 디스플레이부(113)를 제어한다(S224). 예컨대, 도 4에 예시한 바와 같이 재생 화면 정보에 중심점 좌표값이 포함된 경우에 제 1 통신 장치(1130)의 제어부(110)는 디스플레이부(113)에 실시간 출력 중인 영상의 중심이 재생 화면 정보에 포함된 중심점 좌표값을 갖도록 해당 영상에 대해 설정된 360도의 좌표를 조정할 수 있다.

이로써, 도 3에 예시한 바와 같이, 제 1 통신 장치(110)에 실시간 출력 중인 발신측 360 영상과 제 2 통신 장치(130)에 실시간 출력 중인 발신측 360 영상은 영상 출력 각도가 일치, 즉 360 영상 중 출력되는 일부 영역이 일치되며, 제 1 통신 장치(110)에 실시간 출력 중인 착신측 360 영상과 제 2 통신 장치(130)에 실시간 출력 중인 착신측 360 영상도 영상 출력 각도가 일치, 360 영상 중 출력되는 일부 영역이 일치된다.

한편, 제 1 통신 장치(110) 또는 제 2 통신 장치(130)에 의해 360 영상전화 서비스에 대한 종료가 요청되면 영상 전화 서버(150)는 제 1 통신 장치(110)와 제 2 통신 장치(130)의 상호간에 연결되어 있던 360 영상전화 호를 차단한다(S225, S226).

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 통신 장치에서 영상데이터를 처리함에 있어서, 다른 통신 장치에 의한 영상데이터에 대한 재생 화면 정보에 기초하여 영상데이터에 대한 출력을 처리한다.

따라서, 360도 영상전화 서비스를 제공할 경우, 착신측에서 360도 영상 정보 중 실시간 출력 중인 일부 영역에 대한 정보를 재생 화면 정보에 포함하여 발신측으로 제공하고, 발신측은 재생 화면 정보에 기초하여 착신측에서 실시간 출력 중인 일부 영역에 대응하는 영상을 화면에 출력할 수 있다. 마찬가지로, 발신측에서 360도 영상 정보 중 실시간 출력 중인 일부 영역에 대한 정보를 재생 화면 정보에 포함하여 착신측으로 제공하고, 착신측은 재생 화면 정보에 기초하여 발신측에서 실시간 출력 중인 일부 영역에 대응하는 영상을 화면에 출력할 수 있다.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 실시예에 의하면, 통신 장치에서 영상데이터를 처리함에 있어서, 다른 통신 장치에 의한 영상데이터에 대한 재생 화면 정보에 기초하여 영상데이터에 대한 출력을 처리한다.

이러한 본 발명은 360도 영상전화 서비스뿐만 아니라 일반적인 영상전화 서비스에 적용할 수 있으며, 복수의 통신 장치 사이에서 출력용 영상데이터를 송수신하는 모든 기술분야 이용할 수 있다.

100 : 영상전화 서비스 시스템
110, 130 : 통신 장치
120, 140 : 360 카메라
150 : 영상 전화 서버

Claims

제 1 통신 장치가 제 2 통신 장치와 영상통화를 수행하는 방법에 있어서,
상기 제 2 통신 장치와 영상통화가 연결될 때, 상기 제 1 통신 장치의 360 영상 이미지를 촬영하는 단계와,
상기 제 1 통신 장치의 360 영상 이미지를 영상통화 상대방인 상기 제 2 통신 장치로 송신하는 단계와,
상기 제 2 통신 장치가 수신한 상기 제 1 통신 장치의 360 영상 이미지 중에서 상기 제 2 통신 장치에서 출력되는 영역에 관한 재생 화면 정보를 상기 제 2 통신 장치로부터 수신하는 단계와,
상기 제 2 통신 장치로부터 수신되는 상기 재생 화면 정보에 기초하여, 상기 제 1 통신 장치의 360 영상 이미지 중에서 상기 제 2 통신 장치에 출력되는 영역을 추출하여 상기 제 1 통신 장치의 디스플레이부에 상대방 재생 화면으로서 출력하는 단계를 포함하는
영상통화 방법.
제 1 항에 있어서,
상기 제 2 통신 장치에 출력되는 영역에 관한 재생 화면 정보는 상기 제 1 통신 장치의 360 영상 이미지의 전체 영상의 중심을 기준으로 상기 제 2 통신 장치에 출력되는 영역의 중심점의 각도 정보를 포함하는
영상통화 방법.
제 1 항에 있어서,
상기 제 2 통신 장치의 360 영상 이미지를 상기 제 2 통신 장치로부터 수신하는 단계와,
상기 제 2 통신 장치의 360 영상 이미지 중 적어도 일부 영역을 상기 제 1 통신 장치의 360 영상 이미지와 함께 상기 디스플레이부에 출력하는 단계와,
상기 제 2 통신 장치의 360 영상 이미지 중에서 상기 디스플레이부에 출력되는 영역에 관한 재생 화면 정보를 상기 제 2 통신 장치로 송신하는 단계를 더 포함하는
영상통화 방법.
제 3 항에 있어서,
상기 제 1 통신 장치의 조작에 대응하여 상기 제 2 통신 장치의 360 영상 이미지 중 상기 디스플레이부에 출력되는 영역을 조정하는 단계와,
상기 재생 화면 정보를 갱신하여 상기 제 2 통신 장치로 송신하는 단계를 더 포함하는
영상통화 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 기재된 영상통화 방법에 따른 각각의 단계를 수행하는
컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
제 1 항 내지 제 4 항 중 어느 한 항에 기재된 영상통화 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는
컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
다른 통신 장치에 대하여 데이터를 송수신하는 통신부와,
영상 이미지를 출력하는 디스플레이부와,
제어부를 포함하고,
상기 제어부는,
상기 다른 통신 장치와 영상통화가 연결될 때, 360 영상 이미지를 상기 다른 통신 장치로 송신하도록 상기 통신부를 제어하고,
상기 360 영상 이미지 중에서 상기 다른 통신 장치에서 출력되는 영역에 관한 재생 화면 정보가 상기 다른 통신 장치로부터 상기 통신부를 통해 수신되면, 상기 재생 화면 정보에 기초하여, 상기 360 영상 이미지 중에서 상기 다른 통신 장치에 출력되는 영역을 추출하여 상기 디스플레이부에 상대방 재생 화면으로서 출력하는
통신 장치.