KR102067642B1 - 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법 - Google Patents

휴대 단말기에서 영상 통화를 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR102067642B1
KR102067642B1 KR1020120147441A KR20120147441A KR102067642B1 KR 102067642 B1 KR102067642 B1 KR 102067642B1 KR 1020120147441 A KR1020120147441 A KR 1020120147441A KR 20120147441 A KR20120147441 A KR 20120147441A KR 102067642 B1 KR102067642 B1 KR 102067642B1
Authority
KR
South Korea
Prior art keywords
images
mobile terminal
data
synthesis
image data
Prior art date
Application number
KR1020120147441A
Other languages
English (en)
Other versions
KR20140090289A (ko
Inventor
정진홍
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120147441A priority Critical patent/KR102067642B1/ko
Priority to US14/107,234 priority patent/US9137487B2/en
Priority to CN201310692570.7A priority patent/CN103873810B/zh
Priority to EP13197652.4A priority patent/EP2744195B1/en
Publication of KR20140090289A publication Critical patent/KR20140090289A/ko
Application granted granted Critical
Publication of KR102067642B1 publication Critical patent/KR102067642B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Abstract

본 발명은 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법에 관한 것으로, 미리 지정된 제1영역에 복수의 제1영상 데이터들을 표시하며, 상기 제1영상 데이터들을 전송하며, 다른 휴대 단말기로부터 복수의 제2영상 데이터들을 수신하고, 미리 지정된 제2영역에 상기 제2영상 데이터들을 표시하는 것을 특징으로 한다.

Description

휴대 단말기에서 영상 통화를 제공하는 장치 및 방법{APPARATAUS AND METHOD FOR PROVIDING VIDEOTELEPHONY IN A PORTABLE TERMINAL}
본 발명은 휴대 단말기에 관한 것으로, 특히, 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법에 관한 것이다.
휴대 단말기와 관련된 기술이 급속하게 발달함에 따라 휴대 단말기의 일종인 스마트 폰(Smart Phone)이 출현하게 되었다. 이러한 스마트 폰은 PC(Personal Computer)와 같은 기능과 더불어 고급 기능을 제공한다. 예를 들면, 스마트 폰은 전자 우편, 인터넷(internet), 전자책 읽기 기능 및 각종 애플리케이션 등을 실행할 수 있다. 특히, 휴대 단말기는, 실시간으로 상대방의 음성뿐만 아니라 상대방의 영상을 송/수신하는 영상 통화 기능을 제공한다.
일반적으로, 휴대 단말기는 복수의 카메라들을 구비하며, 복수의 카메라들을 이용하여 복수의 영상 데이터들을 생성할 수 한다. 그러나 영상 통화 기능을 제공할 때, 휴대 단말기가 복수의 영상 데이터들을 제공할 수 있음에도 불구하고, 하나의 영상 데이터만을 제공함으로써 휴대 단말기의 효율성이 낮아지는 문제점이 있었다. 따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두되었다.
본 발명은 복수의 영상 데이터들을 송/수신함으로써 상대방 휴대 단말기로 복수의 영상 데이터들을 제공하는 영상 통화 장치 및 방법을 제안한다.
그리고 본 발명은 복수의 영상 데이터들이 합성된 합성 데이터를 송/수신함으로써 상대방 휴대 단말기로 복수의 영상 데이터들을 제공하는 영상 통화 장치 및 방법을 제안한다.
상기한 과제를 해결하기 위한, 본 발명의 장치는, 휴대 단말기에서 영상 통화를 제공하는 장치에 있어서, 무선 송수신부와, 표시부와, 상기 표시부의 미리 지정된 제1영역에 복수의 제1영상 데이터들을 표시하고, 상기 무선 송수신부를 통해 상기 제1영상 데이터들을 전송하고, 상기 무선 송수신부를 통해 다른 휴대 단말기로부터 복수의 제2영상 데이터들을 수신하고, 상기 표시부의 미리 지정된 제2영역에 상기 제2영상 데이터들을 표시하는 제어부를 포함하는 것을 특징으로 한다.
상기한 과제를 해결하기 위한, 본 발명의 방법은, 휴대 단말기에서 영상 통화를 제공하는 방법에 있어서, 미리 지정된 제1영역에 복수의 제1영상 데이터들을 표시하며, 상기 제1영상 데이터들을 전송하며, 다른 휴대 단말기로부터 복수의 제2영상 데이터들을 수신하고, 미리 지정된 제2영역에 상기 제2영상 데이터들을 표시하는 것을 특징으로 한다.
본 발명은 복수의 영상 데이터들을 송/수신함으로써 상대방 휴대 단말기로 복수의 영상 데이터들을 제공할 수 있는 효과를 가진다.
그리고 본 발명은 복수의 영상 데이터들이 합성된 합성 데이터를 송/수신함으로써 상대방 휴대 단말기로 복수의 영상 데이터들을 제공할 수 있는 효과를 가진다.
도 1은 본 발명의 실시 예에 따른 통신 시스템의 구성도,
도 2는 본 발명의 실시 예에 따른 제1휴대 단말기의 블록 구성도,
도 3은 본 발명의 실시 예에 따른 제2휴대 단말기의 블록 구성도,
도 4는 본 발명의 실시 예에 따른 통신 시스템에서 영상 통화를 제공하는 흐름도,
도 5는 본 발명의 실시 예에 따른 제1휴대 단말기에서 영상 통화를 제공하는 흐름도,
도 6a 및 6b는 본 발명의 실시 예에 따른 통신 시스템에서 영상 데이터에 대한 제어 권한을 제공하는 흐름도,
도 7은 본 발명의 실시 예에 따른 제1휴대 단말기에서 영상 데이터에 대한 제어 권한을 제공하는 흐름도,
도 8은 본 발명의 실시 예에 따른 제2휴대 단말기에서 영상 데이터에 대한 제어 권한을 제공하는 흐름도,
도 9는 본 발명의 실시 예에 따른 통신 시스템에서 영상 데이터를 변경하는 흐름도,
도 10은 본 발명의 실시 예에 따른 제1휴대 단말기에서 영상 데이터를 변경하는 흐름도,
도 11은 본 발명의 실시 예에 따라 영상 데이터를 표시하는 화면을 도시한 도면,
도 12는 본 발명의 실시 예에 따라 영상 데이터의 구조를 나타내는 도면,
도 13a 및 13b는 본 발명의 실시 예에 따라 영상 데이터에 대한 제어 권한의 부여 여부를 표시하는 화면을 도시한 도면,
도 14a 내지 14c는 본 발명의 제1실시 예에 따라 상대방 영상 데이터를 변경하는 화면을 도시한 도면,
도 15a 및 15b는 본 발명의 제2실시 예에 따라 상대방 영상 데이터를 변경하는 화면을 도시한 도면,
도 16a 및 16b는 본 발명의 제3실시 예에 따라 상대방 영상 데이터를 변경하는 화면을 도시한 도면,
도 17a 내지 17c는 본 발명의 제1실시 예에 따라 자신의 영상 데이터를 변경하는 화면을 도시한 도면,
도 18a 및 18b는 본 발명의 제2실시 예에 따라 자신의 영상 데이터를 변경하는 화면을 도시한 도면,
도 19는 본 발명의 실시 예에 따라 영상 데이터를 표시하는 화면을 도시한 도면,
도 20은 본 발명의 실시 예에 따라 복수의 영상 데이터들 중에서 상대방 휴대 단말기에서 표시 중인 영상 데이터를 식별하기 위한 아이콘을 표시하는 화면을 도시한 도면이다.
이하, 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시 예에 따른 휴대 단말기는 휴대가 용이하게 이동 가능한 전자기기로서, 화상전화기, 휴대폰, 스마트 폰(smart phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA 단말기, UMTS(Universal Mobile Telecommunication Service) 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), DMB(Digital Multimedia Broadcasting) 단말기, E-Book, 휴대용 컴퓨터(Notebook, Tablet 등) 또는 디지털 카메라(Digital Camera) 등이 될 수 있다.
도 1은 본 발명의 실시 예에 따른 통신 시스템의 구성도이다.
도 1을 참조하면, 통신 시스템은 제1휴대 단말기(101)와 무선 통신망(103)과 제2휴대 단말기(105)를 포함한다.
각 구성 요소를 살펴보면, 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화 기능을 실행한다. 특히, 제1휴대 단말기(101)는 영상 통화 기능의 실행이 요청되면, 미리 지정된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 생성된 제1합성 데이터를 표시한다. 여기서, 제1합성 설정 정보는 제1합성 데이터를 생성하기 위한 정보를 말하며, 제1합성 데이터의 크기 정보와 제1합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제1휴대 단말기(101)는 미리 지정된 제2합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 생성된 제2합성 데이터를 무선 통신망(103)을 통해 제2휴대 단말기(105)로 전송한다. 여기서, 제2합성 설정 정보는 제2합성 데이터를 생성하기 위한 정보를 말하며, 제2합성 데이터의 크기 정보와 제2합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제1휴대 단말기(101)는 무선 통신망(103)을 통해 제2휴대 단말기(103)로부터 제4합성 데이터를 수신하고, 수신된 제4합성 데이터를 표시한다. 즉, 제1휴대 단말기(101)는 제1합성 데이터와 제4합성 데이터를 함께 표시함으로써 사용자에게 영상 통화를 제공한다.
그리고 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화 중에 사용자에 의해 영상 제어 권한의 부여가 요청되면, 무선 통신망(103)을 통해 제2휴대 단말기(105)로 영상 제어 권한 부여 메시지를 전송한다. 여기서, 영상 제어 권한은 제2휴대 단말기(105)가 제2휴대 단말기(105)에 표시된 제2합성 데이터를 변경할 수 있는 권한을 말하고, 영상 제어 권한 부여 메시지는 제2휴대 단말기(105)에게 영상 제어 권한을 부여한다는 것을 나타내는 메시지이다. 그리고 제1휴대 단말기(101)는 사용자에 의해 영상 제어 권한의 회수가 요청되면, 무선 통신망(103)을 통해 제2휴대 단말기(105)로 영상 제어 권한 회수 메시지를 전송한다. 여기서, 영상 제어 권한 회수 메시지는 제2휴대 단말기(105)에 부여된 영상 제어 권한을 회수한다는 것을 나타내는 메시지이다.
그리고 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화 중에 무선 통신망(103)을 통해 제2휴대 단말기(105)로부터 변경 요청 메시지를 수신하면, 수신된 변경 요청 메시지에 따라 제2합성 설정 정보를 업데이트(update)한다. 여기서, 변경 요청 메시지는 제2휴대 단말기(105)에 표시된 제2합성 데이터의 변경(예를 들면, 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등)을 요청하는 메시지이다. 그리고 제1휴대 단말기(101)는 업데이트된 제2합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 생성된 제2합성 데이터를 무선 통신망(103)을 통해 제2휴대 단말기(105)로 전송한다.
그리고 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화 중에 사용자에 의해 제1합성 데이터의 변경이 요청되면, 변경 요청에 따라 제1합성 설정 정보를 업데이트한다. 여기서, 제1합성 데이터의 변경은 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다. 그리고 제1휴대 단말기(101)는 업데이트된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 생성된 제1합성 데이터를 표시한다.
그리고 무선 통신망(103)은 제1휴대 단말기(101)와 제2휴대 단말기(105) 간에 영상 통화를 제공하기 위한 여러 가지 데이터들을 전달한다. 특히, 무선 통신망(103)은 제1휴대 단말기(101)로부터 제2합성 데이터를 수신하고, 수신된 제2합성 데이터를 제2휴대 단말기(105)로 전송하고, 제2휴대 단말기(105)로부터 제4합성 데이터를 수신하고, 수신된 제4합성 데이터를 제1휴대 단말기(101)로 전송한다. 그리고 무선 통신망(103)은 제1휴대 단말기(101)로부터 영상 제어 권한 부여 메시지 또는 영상 제어 권한 회수 메시지를 수신하고, 영상 제어 권한 부여 메시지 또는 영상 제어 권한 회수 메시지를 제2휴대 단말기(105)로 전송한다. 그리고 무선 통신망(103)는 제2휴대 단말기(105)로부터 변경 요청 메시지를 수신하고, 변경 요청 메시지를 제1휴대 단말기(101)로 전송한다.
그리고 제2휴대 단말기(105)는 제1휴대 단말기(101)와 영상 통화 기능을 실행한다. 특히, 제2휴대 단말기(105)는 영상 통화 기능의 실행이 요청되면, 미리 지정된 제3합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제3합성 데이터를 생성하고, 생성된 제3합성 데이터를 표시한다. 여기서, 제3합성 설정 정보는 제3합성 데이터를 생성하기 위한 정보를 말하며, 제3합성 데이터의 크기 정보와 제3합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제2휴대 단말기(105)는 미리 지정된 제4합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제4합성 데이터를 생성하고, 생성된 제4합성 데이터를 무선 통신망(103)을 통해 제1휴대 단말기(101)로 전송한다. 여기서, 제4합성 설정 정보는 제4합성 데이터를 생성하기 위한 정보를 말하며, 제4합성 데이터의 크기 정보와 제4합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제2휴대 단말기(105)는 무선 통신망(103)을 통해 제1휴대 단말기(101)로부터 제2합성 데이터를 수신하고, 수신된 제2합성 데이터를 표시한다. 즉, 제2휴대 단말기(105)는 제2합성 데이터와 제3합성 데이터를 함께 표시함으로써 사용자에게 영상 통화를 제공한다.
그리고 제2휴대 단말기(105)는 제1휴대 단말기(101)와 영상 통화 중에 무선 통신망(103)을 통해 제1휴대 단말기(101)로부터 영상 제어 권한 부여 메시지를 수신하면, 제2합성 데이터에 대한 영상 제어 권한을 획득한 것으로 결정한다. 그리고 제2휴대 단말기(105)는 무선 통신망(103)을 통해 제1휴대 단말기(101)로부터 영상 제어 권한 회수 메시지를 수신하면, 제2합성 데이터에 대한 영상 제어 권한을 상실한 것으로 결정한다.
그리고 제2휴대 단말기(105)는 제1휴대 단말기(101)와 영상 통화 중에 사용자에 의해 제2합성 데이터의 변경이 요청되면, 변경 요청 메시지를 생성하고, 생성된 변경 요청 메시지를 무선 통신망(103)을 통해 제1휴대 단말기(101)로 전송한다. 그리고 제2휴대 단말기(105)는 무선 통신망(103)을 통해 제1휴대 단말기(101)로부터 제2휴대 단말기(105)의 사용자의 변경 요청에 따라 생성된 제2합성 데이터를 수신하고, 수신된 제2합성 데이터를 표시한다.
그리고 제2휴대 단말기(105)는 제1휴대 단말기(101)와 영상 통화 중에 사용자에 의해 제3합성 데이터의 변경이 요청되면, 변경 요청에 따라 제3합성 설정 정보를 업데이트한다. 여기서, 제3합성 데이터의 변경은 제3합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다. 그리고 제2휴대 단말기(105)는 업데이트된 제3합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제3합성 데이터를 생성하고, 생성된 제3합성 데이터를 표시한다.
도 2는 본 발명의 실시 예에 따른 제1휴대 단말기의 블록 구성도이다.
도 2를 참조하면, 제1휴대 단말기(101)는 제1제어부(201)와 제1표시부(203)와 제1메모리부(205)와 제1카메라부(215)와 제1입력부(207)와 제1무선 송수신부(209)와 제1데이터 처리부(211)와 제1오디오 처리부(213)를 포함한다.
각 구성요소를 살펴보면, 제1무선 송수신부(209)는 제1휴대 단말기(101)의 무선 통신 기능을 수행한다. 좀 더 자세히 설명하면, 제1무선 송수신부(209)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 수신기 등을 포함한다. 그리고 제1데이터 처리부(211)는 송신되는 신호를 부호화 및 변조하는 송신기 및 수신되는 신호를 복조 및 복호화하는 수신기 등을 포함한다. 여기서, 제1데이터 처리부(211)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 포함할 수 있다.
그리고 제1오디오 처리부(213)는 제1데이터 처리부(211)에서 출력되는 수신 오디오 신호를 스피커를 통해 재생하거나 마이크로부터 발생되는 송신 오디오 신호를 제1데이터 처리부(211)에 전송하는 기능을 수행한다. 그리고 제1입력부(207)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비하고, 제1표시부(203)는 영상 신호를 화면으로 표시하며, 제1제어부(201)로부터 출력 요청되는 데이터를 표시한다.
만약에, 제1표시부(203)가 정전식 또는 감압식 등의 터치 표시 화면 방식으로 구현될 경우, 제1입력부(207)는 미리 설정된 최소한의 키만을 포함할 수 있으며 제1표시부(203)는 제1입력부(207)의 키입력 기능을 일부 대체할 수 있다. 특히, 본 발명에서는 제1표시부(203)가 터치 표시 화면 방식으로 구현된다고 가정한다.
그리고 제1메모리(205)는 프로그램 메모리와 데이터 메모리를 포함한다. 여기서, 프로그램 메모리는 제1휴대 단말기(101)의 일반적인 동작을 제어하기 위한 부팅(booting) 및 운영 시스템(Operating System, 이하 'OS'라 한다)을 저장하고, 데이터 메모리는 휴대 단말기 동작 중에 발생되는 각종 데이터들을 저장한다. 특히, 제1메모리(205)는 적어도 하나의 영상 데이터를 저장한다.
그리고 제1카메라부(215)는 복수의 카메라들을 구비하며, 복수의 카메라들 각각은 피사체를 촬상하여 영상 데이터를 생성하고, 생성된 영상 데이터를 제1메모리(205)로 출력하거나 제1제어부(201)로 출력한다. 여기서, 복수의 카메라들은 전방 카메라와 후방 카메라가 될 수 있으며, 전방 카메라는 제1휴대 단말기(101)의 전방에 구비되는 카메라를 말하고, 후방 카메라는 제1휴대 단말기(101)의 후방에 구비되는 카메라를 말한다.
그리고 제1제어부(201)는 제1휴대 단말기(101)의 전반적인 동작을 제어하는 기능을 수행한다. 특히, 제1제어부(201)는 영상 통화 기능의 실행이 요청되면, 미리 지정된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 제1표시부(203)로 생성된 제1합성 데이터를 표시한다. 여기서, 제1합성 설정 정보는 제1합성 데이터를 생성하기 위한 정보를 말하며, 제1합성 데이터의 크기 정보와 제1합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제1제어부(201)는 미리 지정된 제2합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 생성된 제2합성 데이터를 제2휴대 단말기(105)로 전송한다. 여기서, 제2합성 설정 정보는 제2합성 데이터를 생성하기 위한 정보를 말하며, 제2합성 데이터의 크기 정보와 제2합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제1제어부(201)는 제2휴대 단말기(103)로부터 제4합성 데이터를 수신하고, 제1표시부(203)로 수신된 제4합성 데이터를 표시한다. 즉, 제1제어부(201)는 제1합성 데이터와 제4합성 데이터를 함께 표시함으로써 사용자에게 영상 통화를 제공한다.
이와 같이, 본원 발명은 제1제어부(201)가 복수의 영상 데이터들을 합성하여 전송함으로써 채널의 효율성을 높이는 효과를 가진다. 본원 발명에서는 복수의 영상 데이터들을 합성하여 전송하는 것으로 설명하였으나 복수의 영상 데이터들을 합성하지 않고 복수의 영상 데이터들을 멀티 채널들을 통해 전송할 수 있다. 이와 같이, 복수의 영상 데이터들을 멀티 채널들을 통해 전송하는 경우, 복수의 영상 데이터들 중에서 제2휴대 단말기(105)에 중점적으로 표시되는 영상 데이터를 멀티 채널들 중에서 채널 상태가 더 좋은 채널을 통해 전송할 수 있다.
그리고 제1제어부(201)는 제2휴대 단말기(105)와 영상 통화 중에 사용자에 의해 영상 제어 권한의 부여가 요청되면, 영상 제어 권한 부여 메시지를 생성하고, 생성된 영상 제어 권한 부여 메시지를 제2휴대 단말기(105)로 전송한다. 여기서, 영상 제어 권한은 제2휴대 단말기(105)가 제2휴대 단말기(105)에 표시된 제2합성 데이터를 변경할 수 있는 권한을 말하고, 영상 제어 권한 부여 메시지는 제2휴대 단말기(105)에게 영상 제어 권한을 부여한다는 것을 나타내는 메시지이다. 그리고 제1제어부(201)는 사용자에 의해 영상 제어 권한의 회수가 요청되면, 영상 제어 권한 회수 메시지를 생성하고, 생성된 영상 제어 권한 회수 메시지를 제2휴대 단말기(105)로 전송한다. 여기서, 영상 제어 권한 회수 메시지는 제2휴대 단말기(105)에 부여된 영상 제어 권한을 회수한다는 것을 나타내는 메시지이다.
그리고 제1제어부(201)는 제2휴대 단말기(105)와 영상 통화 중에 제2휴대 단말기(105)로부터 변경 요청 메시지를 수신하면, 수신된 변경 요청 메시지에 따라 제2합성 설정 정보를 업데이트한다. 여기서, 변경 요청 메시지는 제2휴대 단말기(105)에 표시된 제2합성 데이터의 변경(예를 들면, 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등)을 요청하는 메시지이다. 그리고 제1제어부(201)는 업데이트된 제2합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 생성된 제2합성 데이터를 제2휴대 단말기(105)로 전송한다.
그리고 제1제어부(201)는 제2휴대 단말기(105)와 영상 통화 중에 사용자에 의해 제1합성 데이터의 변경이 요청되면, 변경 요청에 따라 제1합성 설정 정보를 업데이트한다. 여기서, 제1합성 데이터의 변경은 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다. 그리고 제1제어부(201)는 업데이트된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 제1표시부(203)를 통해 생성된 제1합성 데이터를 표시한다.
도 3은 본 발명의 실시 예에 따른 제2휴대 단말기의 블록 구성도이다.
도 3을 참조하면, 제2휴대 단말기(105)는 제2제어부(301)와 제2표시부(303)와 제2메모리부(305)와 제2카메라부(315)와 제2입력부(307)와 제2무선 송수신부(309)와 제2데이터 처리부(311)와 제2오디오 처리부(313)를 포함한다.
각 구성요소를 살펴보면, 제2무선 송수신부(309)는 제2휴대 단말기(105)의 무선 통신 기능을 수행한다. 좀 더 자세히 설명하면, 제2무선 송수신부(309)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 수신기 등을 포함한다. 그리고 제2데이터 처리부(311)는 송신되는 신호를 부호화 및 변조하는 송신기 및 수신되는 신호를 복조 및 복호화하는 수신기 등을 포함한다. 여기서, 제2데이터 처리부(311)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 포함할 수 있다.
그리고 제2오디오 처리부(313)는 제1데이터 처리부(311)에서 출력되는 수신 오디오 신호를 스피커를 통해 재생하거나 마이크로부터 발생되는 송신 오디오 신호를 제2데이터 처리부(311)에 전송하는 기능을 수행한다. 그리고 제2입력부(307)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비하고, 제2표시부(303)는 영상 신호를 화면으로 표시하며, 제2제어부(301)로부터 출력 요청되는 데이터를 표시한다.
만약에, 제2표시부(303)가 정전식 또는 감압식 등의 터치 표시 화면 방식으로 구현될 경우, 제2입력부(307)는 미리 설정된 최소한의 키만을 포함할 수 있으며 제2표시부(303)는 제2입력부(307)의 키입력 기능을 일부 대체할 수 있다. 특히, 본 발명에서는 제2표시부(303)가 터치 표시 화면 방식으로 구현된다고 가정한다.
그리고 제2메모리(305)는 프로그램 메모리와 데이터 메모리를 포함한다. 여기서, 프로그램 메모리는 제2휴대 단말기(105)의 일반적인 동작을 제어하기 위한 부팅(booting) 및 운영 시스템(Operating System, 이하 'OS'라 한다)을 저장하고, 데이터 메모리는 휴대 단말기 동작 중에 발생되는 각종 데이터들을 저장한다. 특히, 제2메모리(305)는 적어도 하나의 영상 데이터를 저장한다.
그리고 제2카메라부(315)는 복수의 카메라들을 구비하며, 복수의 카메라들 각각은 피사체를 촬상하여 영상 데이터를 생성하고, 생성된 영상 데이터를 제2메모리(305)로 출력하거나 제2제어부(301)로 출력한다. 여기서, 복수의 카메라들은 전방 카메라와 후방 카메라가 될 수 있으며, 전방 카메라는 제2휴대 단말기(105)의 전방에 구비되는 카메라를 말하고, 후방 카메라는 제2휴대 단말기(105)의 후방에 구비되는 카메라를 말한다.
그리고 제2제어부(301)는 제2휴대 단말기(105)의 전반적인 동작을 제어하는 기능을 수행한다. 특히, 제2제어부(301)는 영상 통화 기능의 실행이 요청되면, 미리 지정된 제3합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제3합성 데이터를 생성하고, 제2표시부(303)로 생성된 제3합성 데이터를 표시한다. 여기서, 제3합성 설정 정보는 제3합성 데이터를 생성하기 위한 정보를 말하며, 제3합성 데이터의 크기 정보와 제3합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제2제어부(301)는 미리 지정된 제4합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제4합성 데이터를 생성하고, 생성된 제4합성 데이터를 제1휴대 단말기(101)로 전송한다. 여기서, 제4합성 설정 정보는 제4합성 데이터를 생성하기 위한 정보를 말하며, 제4합성 데이터의 크기 정보와 제4합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
그리고 제2제어부(301)는 제1휴대 단말기(101)로부터 제2합성 데이터를 수신하고, 제2표시부(303)로 수신된 제2합성 데이터를 표시한다. 즉, 제2제어부(301)는 제2합성 데이터와 제3합성 데이터를 함께 표시함으로써 사용자에게 영상 통화를 제공한다.
이와 같이, 본원 발명은 제2제어부(301)가 복수의 영상 데이터들을 합성하여 전송함으로써 채널의 효율성을 높이는 효과를 가진다. 본원 발명에서는 복수의 영상 데이터들을 합성하여 전송하는 것으로 설명하였으나 복수의 영상 데이터들을 합성하지 않고 복수의 영상 데이터들을 멀티 채널들을 통해 전송할 수 있다. 이와 같이, 복수의 영상 데이터들을 멀티 채널들을 통해 전송하는 경우, 복수의 영상 데이터들 중에서 제1휴대 단말기(101)에 중점적으로 표시되는 영상 데이터를 멀티 채널들 중에서 채널 상태가 더 좋은 채널을 통해 전송할 수 있다.
그리고 제2제어부(301)는 제1휴대 단말기(101)와 영상 통화 중에 제1휴대 단말기(101)로부터 영상 제어 권한 부여 메시지를 수신하면, 제2합성 데이터에 대한 영상 제어 권한을 획득한 것으로 결정한다. 여기서, 영상 제어 권한 부여 메시지는 제2휴대 단말기(105)에게 영상 제어 권한을 부여한다는 것을 나타내는 메시지이다. 그리고 제2제어부(301)는 제1휴대 단말기(101)로부터 영상 제어 권한 회수 메시지를 수신하면, 제2합성 데이터에 대한 영상 제어 권한을 상실한 것으로 결정한다. 여기서, 영상 제어 권한 회수 메시지는 제2휴대 단말기(105)에 부여된 영상 제어 권한을 회수한다는 것을 나타내는 메시지이다.
그리고 제2제어부(301)는 제1휴대 단말기(101)와 영상 통화 중에 사용자에 의해 제2합성 데이터의 변경이 요청되면, 변경 요청 메시지를 생성하고, 생성된 변경 요청 메시지를 무선 통신망(103)을 통해 제1휴대 단말기(101)로 전송한다. 여기서, 변경 요청 메시지는 제2표시부(303)에 표시된 제2합성 데이터의 변경(예를 들면, 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등)을 요청하는 메시지이다. 그리고 제2제어부(301)는 제1휴대 단말기(101)로부터 제2휴대 단말기(105)의 사용자의 변경 요청에 따라 생성된 제2합성 데이터를 수신하고, 수신된 제2합성 데이터를 표시한다.
그리고 제2제어부(301)는 제1휴대 단말기(101)와 영상 통화 중에 사용자에 의해 제3합성 데이터의 변경이 요청되면, 변경 요청에 따라 제3합성 설정 정보를 업데이트한다. 여기서, 제3합성 데이터의 변경은 제3합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다. 그리고 제2제어부(301)는 업데이트된 제3합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제3합성 데이터를 생성하고, 제2표시부(303)로 생성된 제3합성 데이터를 표시한다.
도 4는 본 발명의 실시 예에 따른 통신 시스템에서 영상 통화를 제공하는 흐름도이다.
도 4를 참조하면, 401 단계에서, 제1휴대 단말기(101)는 사용자에 의해 영상 통화가 요청되는지 여부를 확인한다. 확인 결과, 영상 통화가 요청되면, 제1휴대 단말기(101)는 403 단계로 진행하고, 그렇지 않으면, 401 단계를 반복적으로 수행한다. 여기서, 영상 통화가 제1휴대 단말기(101)의 사용자에 의해 요청되는 것으로 설명하였으나 제2휴대 단말기(105)의 사용자에 의해 요청될 수 있다.
만약에, 403 단계로 진행하면, 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화를 연결한 후, 405 단계로 진행한다. 그리고 405 단계에서, 제1휴대 단말기(101)는 미리 지정된 제1합성 설정 정보에 따라 제1휴대 단말기(101)의 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 407 단계에서, 생성된 제1합성 데이터를 표시한 후, 409 단계로 진행한다. 여기서, 제1합성 설정 정보는 제1합성 데이터를 생성하기 위한 정보를 말하며, 제1합성 데이터의 크기 정보와 제1합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다. 그리고 제1휴대 단말기(101)의 복수의 영상 데이터들은 제1휴대 단말기(101)의 제1메모리부(205) 내에 미리 저장된 영상 데이터 또는 제1카메라부(215)에 의해 현재 생성되는 영상 데이터가 될 수 있다.
그리고 409 단계에서, 제1휴대 단말기(101)는 미리 지정된 제2합성 설정 정보에 따라 제1휴대 단말기(101)의 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성한 후, 417 단계로 진행한다. 여기서, 제2합성 설정 정보는 제2합성 데이터를 생성하기 위한 정보를 말하며, 제2합성 데이터의 크기 정보와 제2합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
이때, 제1휴대 단말기(101)는 제1휴대 단말기(101)의 복수의 영상 데이터들을 합성함으로써 제1합성 데이터 또는 제2합성 데이터를 생성한다. 제1합성 데이터는 제1휴대 단말기(101)에 표시되는 영상 데이터이며, 제2합성 데이터는 제2휴대 단말기(105)에 표시되는 영상 데이터이다. 제1합성 설정 정보와 제2합성 설정 정보가 서로 동일한 경우, 제1합성 데이터와 제2합성 데이터는 동일하나 제1합성 설정 정보와 제2합성 설정 정보가 서로 다른 경우, 제1합성 데이터와 제2합성 데이터는 서로 다르다.
그리고 411 단계에서, 제2휴대 단말기(105)는 미리 지정된 제3합성 설정 정보에 따라 제2휴대 단말기의 복수의 영상 데이터들을 합성함으로써 제3합성 데이터를 생성하고, 413 단계에서, 생성된 제3합성 데이터를 표시한 후, 415 단계로 진행한다. 여기서, 제3합성 설정 정보는 제3합성 데이터를 생성하기 위한 정보를 말하며, 제3합성 데이터의 크기 정보와 제3합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다. 그리고 제2휴대 단말기(105)의 복수의 영상 데이터들은 제2휴대 단말기(105)의 제2메모리부(305) 내에 미리 저장된 영상 데이터 또는 제2카메라부(315)에 의해 현재 생성되는 영상 데이터가 될 수 있다.
그리고 415 단계에서, 제2휴대 단말기(105)는 미리 지정된 제4합성 설정 정보에 따라 제2휴대 단말기(105)의 복수의 영상 데이터들을 합성함으로써 제4합성 데이터를 생성한 후, 419 단계로 진행한다. 여기서, 제4합성 설정 정보는 제4합성 데이터를 생성하기 위한 정보를 말하며, 제4합성 데이터의 크기 정보와 제4합성 데이터에 포함되는 복수의 영상 데이터들의 위치 정보와 크기 정보를 포함한다.
이때, 제2휴대 단말기(105)는 제2휴대 단말기(105)의 복수의 영상 데이터들을 합성함으로써 제3합성 데이터 또는 제4합성 데이터를 생성한다. 제3합성 데이터는 제2휴대 단말기(105)에 표시되는 영상 데이터이며, 제4합성 데이터는 제1휴대 단말기(101)에 표시되는 영상 데이터이다. 제3합성 설정 정보와 제4합성 설정 정보가 서로 동일한 경우, 제3합성 데이터와 제4합성 데이터는 동일하나 제3합성 설정 정보와 제4합성 설정 정보가 서로 다른 경우, 제3합성 데이터와 제4합성 데이터는 서로 다르다.
그리고 417 단계에서, 제1휴대 단말기(101)는 제2휴대 단말기(105)로 생성된 제2합성 데이터를 전송하고, 419 단계에서, 제2휴대 단말기(105)는 제1휴대 단말기(101)로 생성된 제4합성 데이터를 전송한다. 그리고 421 단계에서, 제1휴대 단말기(101)는 제4합성 데이터를 수신하고, 수신된 제4합성 데이터를 표시하고, 423 단계에서, 제2휴대 단말기(105)는 제2합성 데이터를 수신하고, 수신된 제2합성 데이터를 표시한다.
즉, 제1휴대 단말기(101)는 제1휴대 단말기(101)의 합성 영상 데이터인 제1합성 데이터와 제2휴대 단말기(105)의 합성 영상 데이터인 제4합성 데이터를 함께 표시함으로써 영상 통화를 제1휴대 단말기(101)의 사용자에게 제공한다. 그리고 제2휴대 단말기(105)는 제2휴대 단말기(105)의 합성 영상 데이터인 제3합성 데이터와 제1휴대 단말기(101)의 합성 영상 데이터인 제2합성 데이터를 함께 표시함으로써 영상 통화를 제2휴대 단말기(105)의 사용자에게 제공한다.
도 5는 본 발명의 실시 예에 따른 제1휴대 단말기에서 영상 통화를 제공하는 흐름도이다.
501 단계에서, 제1휴대 단말기(101)의 제1제어부(201)는 사용자에 의해 영상 통화가 요청되는지 여부를 확인한다. 확인 결과, 영상 통화가 요청되면, 제1제어부(201)는 503 단계로 진행하고, 그렇지 않으면, 501 단계를 반복적으로 수행한다.
만약에, 503 단계로 진행하면, 제1제어부(201)는 제2휴대 단말기(105)와 영상 통화를 연결한 후, 505 단계로 진행한다. 그리고 505 단계에서, 제1제어부(201)는 제1카메라부(215)의 복수의 카메라들에 의해 현재 생성된 복수의 영상 데이터를 수신하고, 507 단계에서, 미리 지정된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성한다. 그리고 509 단계에서, 제1제어부(201)는 제1표시부(203)의 미리 지정된 제1영역에 생성된 제1합성 데이터를 표시한 후, 511 단계로 진행한다.
그리고 511 단계에서, 제1제어부(201)는 미리 지정된 제2합성 설정 정보에 따라 상기 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 생성된 제2합성 데이터를 제2휴대 단말기(105)로 전송한 후, 513 단계로 진행한다.
위의 505 내지 511 단계를 통해, 제1제어부(201)는 복수의 영상 데이터들을 합성함으로써 제1합성 데이터 또는 제2합성 데이터를 생성한다. 여기서, 제1합성 데이터는 제1휴대 단말기(101)에 표시되는 영상 데이터이며, 제2합성 데이터는 제2휴대 단말기(105)에 표시되는 영상 데이터이다. 만약에, 제1합성 설정 정보와 제2합성 설정 정보가 서로 동일한 경우, 제1합성 데이터와 제2합성 데이터는 동일하나 제1합성 설정 정보와 제2합성 설정 정보가 서로 다른 경우, 제1합성 데이터와 제2합성 데이터는 서로 다르다.
그리고 513 단계에서, 제1제어부(201)는 제2휴대 단말기(105)로부터 제4합성 데이터를 수신하는지 여부를 확인한다. 여기서, 제4합성 데이터는 영상 통화를 위해 제2휴대 단말기(105)에서 생성된 합성 영상 데이터를 말한다. 확인 결과, 제4합성 데이터가 수신되면, 제1제어부(201)는 515 단계로 진행하고, 그렇지 않으면, 513 단계를 반복적으로 수행한다.
만약에, 515 단계로 진행하면, 제1제어부(201)는 제1표시부(203)의 미리 지정된 제2영역에 수신된 제4합성 데이터를 표시한다. 여기서, 제1영역과 제2영역은 서로 겹쳐지지 않는다.
도 6a 및 6b는 본 발명의 실시 예에 따른 통신 시스템에서 영상 데이터에 대한 제어 권한을 제공하는 흐름도이다.
도 6a 및 6b를 참조하면, 601 단계에서, 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화를 연결한 후, 603 단계로 진행한다. 이때, 제1휴대 단말기(101)는 제1합성 데이터와 제4합성 데이터를 함께 표시하고, 제2휴대 단말기(105)는 제2합성 데이터와 제3합성 데이터를 함께 표시한다. 그리고 603 단계에서, 제1휴대 단말기(101)는 사용자에 의해 제2합성 데이터에 대한 영상 제어 권한의 부여가 요청되는지 여부를 확인한다. 확인 결과, 영상 제어 권한의 부여가 요청되면, 제1휴대 단말기(101)는 605 단계로 진행하고, 그렇지 않으면, 603 단계를 반복적으로 수행한다.
만약에, 605 단계로 진행하면, 제1휴대 단말기(101)는 영상 제어 권한 부여 메시지를 생성하고, 제2휴대 단말기(105)로 생성된 영상 제어 권한 부여 메시지를 전송한 후, 607 단계로 진행한다. 여기서, 영상 제어 권한은 제2휴대 단말기(105)의 사용자가 제2휴대 단말기(105)에 표시된 제2합성 데이터를 변경할 수 있는 권한을 말하고, 영상 제어 권한 부여 메시지는 제2합성 데이터에 대한 영상 제어 권한을 부여한다는 것을 나타내는 메시지이다.
그리고 607 단계에서, 제2휴대 단말기(105)는 제1휴대 단말기(101)로부터 영상 제어 권한 부여 메시지를 수신하고, 수신된 영상 제어 권한 부여 메시지를 기반으로 제2합성 데이터에 대한 영상 제어 권한을 획득한 것으로 결정한 후, 609 단계로 진행한다.
그리고 609 단계에서, 제2휴대 단말기(105)는 사용자에 의해 제2합성 데이터의 변경이 요청되는지 여부를 확인한다. 확인 결과, 제2합성 데이터의 변경이 요청되면, 제2휴대 단말기(105)는 611 단계로 진행하고, 그렇지 않으면, 609 단계를 반복적으로 수행한다. 여기서, 제2합성 데이터의 변경은 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다.
이때, 제2휴대 단말기(105)는 사용자에 의해 미리 지정된 제스처가 입력되거나 메뉴가 선택되면, 제2합성 데이터의 변경이 요청된 것으로 결정한다. 예를 들면, 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대할 것을 요청하는 미리 지정된 확대 제스처가 입력되면, 제2휴대 단말기(105)는 제2합성 데이터의 확대가 요청된 것으로 결정할 수 있다. 또 다른 예로, 복수의 메뉴들(확대, 축소, 캡쳐 등) 중에서 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대할 것을 요청하는 확대 메뉴가 선택되면, 제2휴대 단말기(105)는 제2합성 데이터의 확대가 요청된 것으로 결정할 수 있다.
만약에, 611 단계로 진행하면, 제2휴대 단말기(105)는 제2합성 데이터의 변경 요청에 따라 변경 요청 메시지를 생성하고, 613 단계에서, 제1휴대 단말기(101)로 생성된 변경 요청 메시지를 전송한 후, 615 단계로 진행한다. 예를 들면, 제2합성 데이터의 변경 요청이 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 제1영상 데이터의 확대 요청인 경우, 제2휴대 단말기(105)는 제1영상 데이터의 확대를 요청하는 변경 요청 메시지를 생성할 수 있다.
그리고 615 단계에서, 제1휴대 단말기(101)는 제2휴대 단말기(105)로부터 변경 요청 메시지를 수신하고, 수신된 변경 요청 메시지를 기반으로 제2합성 설정 정보를 업데이트한 후, 617 단계로 진행한다. 예를 들면, 변경 요청 메시지가 제1영상 데이터의 확대를 요청하는 메시지인 경우, 제1휴대 단말기(101)는 제1영상 데이터가 미리 지정된 배율로 확대되도록 제1합성 설정 정보에 포함된 제1영상 데이터의 크기 정보를 변경할 수 있다.
그리고 617 단계에서, 제1휴대 단말기(101)는 업데이트된 제2합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 619 단계에서, 제2휴대 단말기(105)로 생성된 제2합성 데이터를 전송한 후, 621 단계로 진행한다. 그리고 621 단계에서, 제2휴대 단말기(105)는 제2합성 데이터의 변경 요청에 따라 생성된 제2합성 데이터를 수신하고, 제2표시부(303)의 제2영역에 수신된 제2합성 데이터를 표시한 후, 623 단계로 진행한다.
그리고 623 단계에서, 제1휴대 단말기(101)는 사용자에 의해 영상 제어 권한의 회수가 요청되는지 여부를 확인한다. 확인 결과, 영상 제어 권한의 회수가 요청되면, 제1휴대 단말기(101)는 625 단계로 진행하고, 그렇지 않으면, 623 단계를 반복적으로 수행한다.
만약에, 625 단계로 진행하면, 제1휴대 단말기(101)는 영상 제어 권한 회수 메시지를 생성하고, 제2휴대 단말기(105)로 생성된 영상 제어 권한 회수 메시지를 전송한 후, 627 단계로 진행한다. 여기서, 영상 제어 권한 회수 메시지는 제2휴대 단말기(105)에 부여된 제2합성 데이터에 대한 영상 제어 권한을 회수한다는 것을 나타내는 메시지이다. 그리고 627 단계에서, 제2휴대 단말기(105)는 제1휴대 단말기(101)로부터 영상 제어 권한 회수 메시지를 수신하고, 수신된 영상 제어 권한 회수 메시지를 기반으로 제2합성 데이터에 대한 영상 제어 권한을 상실한 것으로 결정한다.
도 7은 본 발명의 실시 예에 따른 제1휴대 단말기에서 영상 데이터에 대한 제어 권한을 제공하는 흐름도이다.
701 단계에서, 제1제어부(201)는 제2휴대 단말기(105)와 영상 통화를 연결하고, 703 단계에서, 제1합성 데이터와 제4합성 데이터를 함께 표시한 후, 705 단계로 진행한다. 그리고 705 단계에서, 제1제어부(201)는 사용자에 의해 제2합성 데이터에 대한 영상 제어 권한의 부여가 요청되는지 여부를 확인한다. 확인 결과, 영상 제어 권한의 부여가 요청되면, 제1제어부(201)는 707 단계로 진행하고, 그렇지 않으면, 705 단계를 반복적으로 수행한다.
만약에, 707 단계로 진행하면, 제1제어부(201)는 영상 제어 권한 부여 메시지를 생성하고, 제2휴대 단말기(105)로 생성된 영상 제어 권한 부여 메시지를 전송한 후, 709 단계로 진행한다. 여기서, 영상 제어 권한 부여 메시지는 제2합성 데이터에 대한 영상 제어 권한을 부여한다는 것을 나타내는 메시지이다.
그리고 709 단계에서, 제1제어부(201)는 제2휴대 단말기(105)로부터 변경 요청 메시지를 수신하는지 여부를 확인한다. 확인 결과, 변경 요청 메시지가 수신되면, 711 단계로 진행하고, 그렇지 않으면, 709 단계를 반복적으로 수행한다.
만약에, 711 단계로 진행하면, 제1제어부(201)는 수신된 변경 요청 메시지를 기반으로 제2합성 설정 정보를 업데이트한 후, 713 단계로 진행한다. 예를 들면, 변경 요청 메시지가 제1영상 데이터의 확대를 요청하는 메시지인 경우, 제1제어부(201)는 제1영상 데이터가 미리 지정된 배율로 확대되도록 제1합성 설정 정보에 포함된 제1영상 데이터의 크기 정보를 변경할 수 있다.
그리고 713 단계에서,제1제어부(201)는 업데이트된 제2합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제2합성 데이터를 생성하고, 제2휴대 단말기(105)로 생성된 제2합성 데이터를 전송한 후, 715 단계로 진행한다.
그리고 715 단계에서, 제1제어부(201)는 사용자에 의해 영상 제어 권한의 회수가 요청되는지 여부를 확인한다. 확인 결과, 영상 제어 권한의 회수가 요청되면, 제1제어부(201)는 717 단계로 진행하고, 그렇지 않으면, 715 단계를 반복적으로 수행한다.
만약에, 717 단계로 진행하면, 제1제어부(201)는 영상 제어 권한 회수 메시지를 생성하고, 제2휴대 단말기(105)로 생성된 영상 제어 권한 회수 메시지를 전송한다. 여기서, 영상 제어 권한 회수 메시지는 제2휴대 단말기(105)에 부여된 제2합성 데이터에 대한 영상 제어 권한을 회수한다는 것을 나타내는 메시지이다.
도 8은 본 발명의 실시 예에 따른 제2휴대 단말기에서 영상 데이터에 대한 제어 권한을 제공하는 흐름도이다.
도 8을 참조하면, 801 단계에서, 제2제어부(301)는 제1휴대 단말기(101)와 영상 통화를 연결하고, 803 단계에서, 제2합성 데이터와 제3합성 데이터를 함께 표시한 후, 805 단계로 진행한다.
그리고 805 단계에서, 제2제어부(301)는 제1휴대 단말기(101)로부터 영상 제어 권한 부여 메시지를 수신하는지 여부를 확인한다. 만약에, 영상 제어 권한 부여 메시지가 수신되면, 제2제어부(301)는 807 단계로 진행하고, 그렇지 않으면, 805 단계로 진행한다. 여기서, 영상 제어 권한 부여 메시지는 제2합성 데이터에 대한 영상 제어 권한을 부여한다는 것을 나타내는 메시지이다.
만약에, 807 단계로 진행하면, 제2제어부(301)는 수신된 영상 제어 권한 부여 메시지를 기반으로 제2합성 데이터에 대한 영상 제어 권한을 획득한 것으로 결정한 후, 809 단계로 진행한다.
그리고 809 단계에서, 제2제어부(301)는 사용자에 의해 제2합성 데이터의 변경이 요청되는지 여부를 확인한다. 확인 결과, 제2합성 데이터의 변경이 요청되면, 제2제어부(301)는 811 단계로 진행하고, 그렇지 않으면, 809 단계로 진행한다. 여기서, 제2합성 데이터의 변경은 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다.
이때, 제2제어부(301)는 사용자에 의해 미리 지정된 제스처가 입력되거나 메뉴가 선택되면, 제2합성 데이터의 변경이 요청된 것으로 결정한다. 예를 들면, 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대할 것을 요청하는 미리 지정된 확대 제스처가 입력되면, 제2제어부(301)는 제2합성 데이터의 확대가 요청된 것으로 결정할 수 있다. 또 다른 예로, 복수의 메뉴들(확대, 축소, 캡쳐 등) 중에서 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대할 것을 요청하는 확대 메뉴가 선택되면, 제2제어부(301)는 제2합성 데이터의 확대가 요청된 것으로 결정할 수 있다.
만약에, 811 단계로 진행하면, 제2제어부(301)는 제2합성 데이터의 변경 요청에 따라 변경 요청 메시지를 생성하고, 제1휴대 단말기(101)로 생성된 변경 요청 메시지를 전송한 후, 813 단계로 진행한다. 예를 들면, 제2합성 데이터의 변경 요청이 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 제1영상 데이터의 확대 요청인 경우, 제2제어부(301)는 제1영상 데이터의 확대를 요청하는 변경 요청 메시지를 생성할 수 있다.
그리고 813 단계에서, 제2제어부(301)는 변경 요청 메시지에 대한 응답으로 제1휴대 단말기(101)로부터 제2합성 데이터를 수신하는지 여부를 확인한다. 확인 결과, 제2합성 데이터가 수신되면, 815 단계로 진행하고, 그렇지 않으면, 813 단계로 진행한다. 만약에, 815 단계로 진행하면, 제2제어부(301)는 수신된 제2합성 데이터를 표시한 후, 817 단계로 진행한다.
그리고 817 단계에서, 제2제어부(301)는 제1휴대 단말기(101)로부터 영상 제어 권한 회수 메시지를 수신하는지 여부를 확인한다.여기서, 영상 제어 권한 회수 메시지는 제2휴대 단말기(105)에 부여된 제2합성 데이터에 대한 영상 제어 권한을 회수한다는 것을 나타내는 메시지이다. 확인 결과, 영상 제어 권한 회수 메시지가 수신되면, 제2제어부(301)는 819 단계로 진행하고, 그렇지 않으면, 817 단계를 반복적으로 수행한다.
만약에, 819 단계로 진행하면, 제2제어부(301)는 수신된 영상 제어 권한 회수 메시지를 기반으로 제2합성 데이터에 대한 영상 제어 권한을 상실한 것으로 결정한다.
도 9는 본 발명의 실시 예에 따른 통신 시스템에서 영상 데이터를 변경하는 흐름도이다.
도 9를 참조하면, 901 단계에서, 제1휴대 단말기(101)는 제2휴대 단말기(105)와 영상 통화를 연결한 후, 903 단계로 진행한다. 이때, 제1휴대 단말기(101)는 제1합성 데이터와 제4합성 데이터를 함께 표시하고, 제2휴대 단말기(105)는 제2합성 데이터와 제3합성 데이터를 함께 표시한다.
그리고 903 단계에서, 제1휴대 단말기(101)는 사용자에 의해 제1합성 데이터의 변경이 요청되는지 여부를 확인한다. 확인 결과, 제1합성 데이터의 변경이 요청되면, 제1휴대 단말기(101)는 905 단계로 진행하고, 그렇지 않으면, 903 단계로 진행한다.
만약에, 905 단계로 진행하면, 제1휴대 단말기(101)는 제1합성 데이터의 변경 요청에 따라 제1합성 설정 정보를 업데이트한 후, 907 단계로 진행한다. 여기서, 제1합성 데이터의 변경은 제1합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다.
그리고 907 단계에서, 제1휴대 단말기(101)는 업데이트된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 909 단계에서, 생성된 제1합성 데이터를 표시한다.
그리고 911 단계에서, 제2휴대 단말기(105)는 사용자에 의해 제3합성 데이터의 변경이 요청되는지 여부를 확인한다. 확인 결과, 제3합성 데이터의 변경이 요청되면, 913 단계로 진행하고, 그렇지 않으면, 911 단계를 반복적으로 수행한다.
만약에, 913 단계로 진행하면, 제2휴대 단말기(105)는 제3합성 데이터의 변경 요청에 따라 제3합성 설정 정보를 업데이트한 후, 915 단계로 진행한다. 여기서, 제3합성 데이터의 변경은 제3합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다.
그리고 915 단계에서, 제2휴대 단말기(105)는 업데이트된 제3합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제3합성 데이터를 생성하고, 917 단계에서, 생성된 제3합성 데이터를 표시한다.
도 10은 본 발명의 실시 예에 따른 제1휴대 단말기에서 영상 데이터를 변경하는 흐름도이다.
도 10을 참조하면, 1001 단계에서, 제1제어부(201)는 제2휴대 단말기(105)와 영상 통화를 연결한 후, 1003 단계에서, 제1합성 데이터와 제4합성 데이터를 함께 표시한 후, 1005 단계로 진행한다.
그리고 1005 단계에서, 제1제어부(201)는 사용자에 의해 제1합성 데이터의 변경이 요청되는지 여부를 확인한다. 확인 결과, 제1합성 데이터의 변경이 요청되면, 제1제어부(201)는 1007 단계로 진행하고, 그렇지 않으면, 1005 단계로 진행한다.
만약에, 1007 단계로 진행하면, 제1제어부(201)는 제1합성 데이터의 변경 요청에 따라 제1합성 설정 정보를 업데이트한 후, 1009 단계로 진행한다. 여기서, 제1합성 데이터의 변경은 제1합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나의 축소 또는 확대, 그리고 복수의 영상 데이터들 간의 위치 변환 등을 포함한다.
그리고 1009 단계에서, 제1제어부(201)는 업데이트된 제1합성 설정 정보에 따라 복수의 영상 데이터들을 합성함으로써 제1합성 데이터를 생성하고, 1011 단계에서, 생성된 제1합성 데이터를 표시한다.
도 11은 본 발명의 실시 예에 따라 영상 데이터를 표시하는 화면을 도시한 도면이다.
도 11을 참조하면, 제1휴대 단말기(101)는 1101 화면과 같이, 제1휴대 단말기(101)에서 생성된 복수의 영상 데이터들이 합성된 제1합성 데이터(1103)를 미리 지정된 제1영역에 표시하고, 제2휴대 단말기(105)에서 생성된 복수의 영상 데이터들의 합성된 제4합성 데이터(1105)를 미리 지정된 제2영역에 표시한다.
그리고 제2휴대 단말기(105)는 1107 화면과 같이, 제2휴대 단말기(105)에서 생성된 복수의 영상 데이터들이 합성된 제3합성 데이터(1109)를 미리 지정된 제3영역에 표시하고, 제1휴대 단말기(101)에서 생성된 복수의 영상 데이터들이 합성된 제2합성 데이터(1107)를 미리 지정된 제4영역에 표시한다.
도 12는 본 발명의 실시 예에 따라 영상 데이터의 구조를 나타내는 도면이다.
도 12를 참조하면, 제4합성 데이터(1105)는 제1영상 데이터(1201)와 제2영상 데이터(1203)가 합성된 것으로, 제1 및 제2영상 데이터들을 레이어 형태로 합성한다. 예를 들면, 제어부(201)는 제1영상 데이터(1201) 다음에 제2영상 데이터(1203)가 위치하도록 제1 및 제2영상 데이터들을 합성할 수 있다. 또 다른 예로, 제어부(201)는 제2영상 데이터(1203) 다음에 제1영상 데이터(1201)가 위치하도록 제1 및 제2영상 데이터들을 합성할 수 있다.
도 12에서는 제4합성 데이터(1105)만 레이어 형태로 합성되는 것으로 설명하였으나 제1 내지 제3합성 데이터들도 레이어 형태로 합성될 수 있다.
도 13a 및 13b는 본 발명의 실시 예에 따라 영상 데이터에 대한 제어 권한의 부여 여부를 표시하는 화면을 도시한 도면이다.
도 13a 및 13b를 참조하면, 제1휴대 단말기(101)는 1301 화면과 같이, 제2휴대 단말기(105)에서 제2합성 데이터에 대한 영상 제어 권한을 부여하기 위한 메뉴(이하 '영상 제어 권한 부여 메뉴'라 한다)(1303)를 표시한다. 그리고 제1휴대 단말기(101)의 사용자에 의해 영상 제어 권한 부여 메뉴가 선택되면, 제1휴대 단말기(101)는 영상 제어 권한 부여 메시지를 제2휴대 단말기(105)로 전송한다.
그리고 제2휴대 단말기(105)는 영상 제어 권한 부여 메시지를 수신하고, 수신된 영상 제어 권한 부여 메시지를 기반으로 제2휴대 단말기(105)가 제2합성 데이터에 대한 영상 제어 권한을 부여받은 것으로 결정한다. 그리고 제2휴대 단말기(105)는 1305 화면과 같이, 영상 제어 권한이 부여되었음을 나타내기 위해 아이콘(1307)을 생성하여 표시한다. 여기서, 제2휴대 단말기(105)가 영상 제어 권한이 부여되었음을 나타내기 위한 아이콘(1307)을 열린 자물쇠로 표시하였으나 이는 하나의 예일 뿐, 다른 모양의 아이콘으로도 영상 제어 권한이 부여되었음을 나타낼 수 있다.
그리고 제2휴대 단말기(105)에 영상 제어 권한 부여 메시지를 전송한 후에, 제1휴대 단말기(101)는 1309 화면과 같이, 제2휴대 단말기(105)에서 제2합성 데이터에 대한 영상 제어 권한을 회수하기 위한 메뉴(이하 '영상 제어 권한 회수 메뉴'라 한다)(1311)를 표시한다. 그리고 제1휴대 단말기(101)의 사용자에 의해 영상 제어 권한 회수 메뉴가 선택되면, 제1휴대 단말기(101)는 영상 제어 권한 회수 메시지를 제2휴대 단말기(105)로 전송한다.
그리고 제2휴대 단말기(105)는 영상 제어 권한 회수 메시지를 수신하고, 수신된 영상 제어 권한 회수 메시지를 기반으로 제2휴대 단말기(105)가 제2합성 데이터에 대한 영상 제어 권한을 상실한 것으로 결정한다. 그리고 제2휴대 단말기(105)는 1313 화면과 같이, 영상 제어 권한이 상실되었음을 나타내기 위해 아이콘(1315)을 생성하여 표시한다. 여기서, 제2휴대 단말기(105)가 영상 제어 권한이 상실되었음을 나타내기 위한 아이콘(1307)을 닫힌 자물쇠로 표시하였으나 이는 하나의 예일 뿐, 다른 모양의 아이콘으로도 영상 제어 권한이 상실되었음을 나타낼 수 있다.
도 14a 내지 14c는 본 발명의 제1실시 예에 따라 상대방 영상 데이터를 변경하는 화면을 도시한 도면이다. 여기서, 상대방 영상 데이터는 상대방 휴대 단말기로부터 전송된 합성 데이터를 말한다.
도 14a 내지 14c를 참조하면, 제1휴대 단말기(101)는 1401 화면과 같이, 사용자에 의해 제1확대 제스처가 입력되면, 1403 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 전체 화면으로 표시한다. 여기서, 제1확대 제스처는 표시부(203) 상에 서로 접촉된 두 손가락이 터치된 후에 두 손가락이 이격되는 제스처를 말한다.
그리고 제1휴대 단말기(101)는 1405 화면과 같이, 사용자에 의해 제1축소 제스처가 입력되면, 1407 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들을 레이어 형태로 표시한다. 여기서, 제1축소 제스처는 표시부(203) 상에 서로 이격된 두 손가락을 터치된 후에 두 손가락을 접촉하는 제스처를 말한다.
그리고 제1휴대 단말기(101)는 1409 화면과 같이, 사용자에 의해 체인징 제스처가 입력되면, 1411 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들 간의 위치를 서로 바꾼 후 표시한다. 여기서, 체인징 제스처는 복수의 영상 데이터들 중에서 하나가 터치된 후 다른 영상 데이터로 드래그하는 제스처를 말한다.
도 15a 및 15b는 본 발명의 제2실시 예에 따라 상대방 영상 데이터를 변경하는 화면을 도시한 도면이다.
도 15a 및 15b를 참조하면, 제1휴대 단말기(101)는 1501 화면과 같이, 사용자에 의해 제2확대 제스처가 입력되면, 1503 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 전체 화면으로 표시한다. 여기서, 제2확대 제스처는 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 더블 클릭하는 제스처를 말한다.
그리고 제1휴대 단말기(101)는 1505 화면과 같이, 사용자에 의해 제2축소 제스처가 입력되면, 1507 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들을 레이어 형태로 표시한다. 여기서, 제2축소 제스처는 확대된 영상 데이터를 더블 클릭하는 제스처를 말한다.
도 16a 및 16b는 본 발명의 제3실시 예에 따라 상대방 영상 데이터를 변경하는 화면을 도시한 도면이다.
도 16a 및 16b를 참조하면, 제1휴대 단말기(101)는 1601 화면과 같이, 사용자에 의해 제4합성 데이터가 클릭되면, 1603 화면과 같이, 제1메뉴 바(bar)를 표시한다. 여기서, 제1메뉴 바는 확대 메뉴와 캡처 메뉴와 녹화 메뉴와 제1메뉴 바를 닫기 위한 오프(OFF) 메뉴를 포함한다. 그리고 사용자에 위해 메뉴 바에 포함된 확대 메뉴(1605)가 선택되면, 제1휴대 단말기(101)는 1607 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 전체 화면으로 표시한다.
그리고 제1휴대 단말기(101)는 1609 화면과 같이, 사용자에 의해 확대된 영상 데이터가 클릭되면, 1611 화면과 같이, 제2메뉴 바를 표시한다. 여기서, 제2메뉴 바는 축소 메뉴와 캡처 메뉴와 녹화 메뉴와 제2메뉴 바를 닫기 위한 오프 메뉴를 포함한다. 그리고 사용자에 위해 제2메뉴 바에 포함된 축소 메뉴(1613)가 선택되면, 제1휴대 단말기(101)는 1615 화면과 같이, 제4합성 데이터에 포함된 복수의 영상 데이터들을 레이어 형태로 표시한다.
도 14a 내지 16c에서는 제1휴대 단말기(101)를 예로 들어 제4합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대 또는 축소하거나 복수의 영상 데이터들 간의 위치를 서로 체인징하는 것을 설명하였으나, 제2휴대 단말기(105)도 동일한 방식을 이용하여 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대 또는 축소하거나 복수의 영상 데이터들 간의 위치를 서로 체인징할 수 있다.
도 17은 본 발명의 제1실시 예에 따라 자신의 영상 데이터를 변경하는 화면을 도시한 도면이다. 여기서, 자신의 영상 데이터는 상대방 휴대 단말기로부터 전송된 합성 데이터가 아닌, 휴대 단말기 자체에서 생성되어 표시되는 합성 데이터를 말한다.
도 17을 살펴보면, 제1휴대 단말기(101)는 1701 화면과 같이, 사용자에 의해 제3확대 제스처가 입력되면, 1703 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 전체 화면으로 표시한다. 여기서, 제3확대 제스처는 표시부(203) 상에 서로 접촉된 두 손가락이 터치된 후에 두 손가락이 이격되는 제스처를 말한다.
그리고 제1휴대 단말기(101)는 1705 화면과 같이, 사용자에 의해 제3축소 제스처가 입력되면, 1707 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들을 레이어 형태로 표시한다. 여기서, 제3축소 제스처는 표시부(203) 상에 서로 이격된 두 손가락을 터치된 후에 두 손가락을 접촉하는 제스처를 말한다.
그리고 제1휴대 단말기(101)는 1709 화면과 같이, 사용자에 의해 체인징 제스처가 입력되면, 1711 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들 간의 위치를 서로 바꾼 후 표시한다. 여기서, 체인징 제스처는 복수의 영상 데이터들 중에서 하나가 터치된 후 다른 영상 데이터로 드래그하는 제스처를 말한다.
도 18a 및 18b는 본 발명의 제2실시 예에 따라 자신의 영상 데이터를 변경하는 화면을 도시한 도면이다.
도 18a 및 18b를 참조하면, 제1휴대 단말기(101)는 1801 화면과 같이, 사용자에 의해 제4확대 제스처가 입력되면, 1803 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 전체 화면으로 표시한다. 여기서, 제4확대 제스처는 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 더블 클릭하는 제스처를 말한다.
그리고 제1휴대 단말기(101)는 1805 화면과 같이, 사용자에 의해 제4축소 제스처가 입력되면, 1807 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들을 레이어 형태로 표시한다. 여기서, 제4축소 제스처는 확대된 영상 데이터를 더블 클릭하는 제스처를 말한다.
도 17a 내지 18b에서는 제1휴대 단말기(101)를 예로 들어 제1합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대 또는 축소하거나 복수의 영상 데이터들 간의 위치를 서로 체인징하는 것을 설명하였으나, 제2휴대 단말기(105)도 동일한 방식을 이용하여 제3합성 데이터에 포함된 복수의 영상 데이터들 중에서 어느 하나를 확대 또는 축소하거나 복수의 영상 데이터들 간의 위치를 서로 체인징할 수 있다.
도 19는 본 발명의 실시 예에 따라 영상 데이터를 표시하는 화면을 도시한 도면이다.
도 19를 참조하면, 제1휴대 단말기(101)는 1901 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들을 레이어 형태로 표시하고, 복수의 데이터들 간에 서로 겹쳐지는 부분을 반투명으로 표시할 수 있다.
그리고 제1휴대 단말기(101)는 1903 화면과 같이, 제1합성 데이터에 포함된 복수의 영상 데이터들이 서로 겹쳐지지 않도록 복수의 영상 데이터들을 표시할 수 있다. 이때, 제1휴대 단말기(101)는 복수의 영상 데이터들의 가로 비율들을 서로 다르게 하여 표시할 수 있다.
도 19에서는 제1합성 데이터만을 예로 들어 설명하였으나, 제2휴대 단말기(105)로부터 전송된 제4합성 데이터도 동일한 방식으로 표시할 수 있다.
도 20은 본 발명의 실시 예에 따라 복수의 영상 데이터들 중에서 상대방 휴대 단말기에서 표시 중인 영상 데이터를 식별하기 위한 아이콘을 표시하는 화면을 도시한 도면이다.
도 20을 참조하면, 제2휴대 단말기(105)에서 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 제2영상 데이터가 전체 화면으로 표시하거나 복수의 영상 데이터들이 레이어 형태로 표시된 경우에 제2영상 데이터가 제1영상 데이터보다 우선적으로 표시된 경우, 제1휴대 단말기(101)는 2001 화면과 같이, 제2휴대 단말기(105)에서 제2영상 데이터를 중점적으로 표시하고 있음을 나타내는 제1아이콘(2003)을 생성하고, 제2영상 데이터 내에 생성된 아이콘(2003)을 표시한다. 여기서, 제1아이콘은 눈을 형상화한 아이콘이 될 수 있다.
그리고 제2휴대 단말기(105)에서 제2합성 데이터에 포함된 복수의 영상 데이터들 중에서 제1영상 데이터가 전체 화면으로 표시하거나 복수의 영상 데이터들이 레이어 형태로 표시된 경우에 제1영상 데이터가 제2영상 데이터보다 우선적으로 표시된 경우, 제1휴대 단말기(101)는 2005 화면과 같이, 제2휴대 단말기(105)에서 제1영상 데이터를 중점적으로 표시하고 있음을 나타내는 제2아이콘(2007)을 생성하고, 제1영상 데이터 내에 생성된 아이콘(2007)을 표시한다. 여기서, 제2아이콘은 제2휴대 단말기(105)의 사용자를 형상화한 아이콘이 될 수 있다.
도 20에서는 제1휴대 단말기(101)가 복수의 영상 데이터들 중에서 제2휴대 단말기(105)에서 중점적으로 표시되는 영상 데이터를 식별하기 위한 아이콘을 표시하는 것을 설명하였으나, 제2휴대 단말기(105)도 동일한 방식을 이용하여 복수의 영상 데이터들 중에서 제1휴대 단말기(101)에서 중점적으로 표시되는 영상 데이터를 식별하기 위한 아이콘을 표시할 수 있다.
이러한 동작을 통해, 본 발명은 복수의 영상 데이터들을 송/수신함으로써 상대방 휴대 단말기로 복수의 영상 데이터들을 제공할 수 있는 효과를 가진다. 그리고 본 발명은 복수의 영상 데이터들이 합성된 합성 데이터를 송/수신함으로써 상대방 휴대 단말기로 복수의 영상 데이터들을 제공할 수 있는 효과를 가진다.
본 발명의 휴대 단말기에서 영상 통화를 제공하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.　또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상술한 본 발명의 설명에서는 이동통신단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.
예를 들면, 본 발명에서는 휴대 단말기가 복수의 영상 데이터들을 합성하여 전송하는 것으로 설명하였으나 복수의 영상 데이터들을 합성하지 않고, 복수의 영상 데이터들을 각각 전송할 수 있다. 그리고 휴대 단말기가 복수의 영상 데이터들을 합성하여 표시하는 것으로 설명하였으나 복수의 영상 데이터들을 합성하지 dskg고, 복수의 영상 데이터들을 표시할 수 있다.
101: 제1휴대 단말기 103: 무선 통신망
105: 제2휴대 단말기
201: 제1제어부 203: 제1표시부
205: 제1메모리부 207: 제1입력부
209: 제1무선 송수신부 211: 제1데이터 처리부
213: 제1오디오 처리부 215: 제1카메라부
301: 제2제어부 303: 제2표시부
305: 제2메모리부 307: 제2입력부
309: 제2무선 송수신부 311: 제2데이터 처리부
313: 제2오디오 처리부 315: 제2카메라부

Claims (24)

  1. 휴대 단말기에서 영상 통화를 제공하는 장치에 있어서,
    적어도 하나의 카메라;
    무선 통신부;
    표시부; 및
    상기 무선 통신부를 통해 상기 휴대 단말기와 외부 장치와의 영상 통화를 수행하고, 상기 영상 통화 중 상기 적어도 하나의 카메라에 의해 획득된 이미지들을 포함하는 제1 이미지들을 상기 외부 장치로 전송하도록 제어하고, 상기 외부 장치로부터 수신된 제2 이미지들을 상기 표시부에 표시하도록 제어하고, 제스쳐 입력에 기반하여 상기 표시부에 표시된 복수의 이미지들 각각의 표시 위치를 변경하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 영상 통화 제공 장치.
  2. 제1항에 있어서,
    상기 제어부는, 미리 지정된 제1 합성 설정 정보에 따라 상기 제1 이미지들을 합성하여 제1 합성 이미지를 생성하고, 상기 제1 합성 이미지를 표시하는 것을 특징으로 하는 영상 통화 제공 장치.
  3. 제2항에 있어서,
    상기 제1 합성 설정 정보는, 상기 제1 합성 이미지의 크기 정보와 상기 제1 이미지들 각각의 크기 정보와 표시 위치 정보를 포함하는 것을 특징으로 하는 영상 통화 제공 장치.
  4. 제1항에 있어서,
    상기 제어부는, 미리 지정된 제2 합성 설정 정보에 따라 상기 제1 이미지들을 합성하여 제2 합성 이미지를 생성하고, 상기 제2 합성 이미지를 전송하는 것을 특징으로 하는 영상 통화 제공 장치.
  5. 제4항에 있어서,
    상기 제2 합성 설정 정보는, 상기 제2 합성 이미지의 크기 정보와 상기 제1 이미지들 각각의 크기 정보와 표시 위치 정보를 포함하는 것을 특징으로 하는 영상 통화 제공 장치.
  6. 제1항에 있어서,
    상기 제1 이미지들은 메모리에 미리 저장된 이미지를 더 포함하는 것을 특징으로 하는 영상 통화 제공 장치.
  7. 제1항에 있어서,
    상기 제어부는, 상기 외부 장치에 상기 전송된 제1 이미지들의 제어 권한을 부여하는 영상 제어 권한의 부여가 요청되면, 영상 제어 권한 부여 메시지를 상기 외부 장치에 전송하도록 제어하는 것을 특징으로 하는 영상 통화 제공 장치.
  8. 제1항에 있어서,
    상기 제어부는, 상기 외부 장치로부터 상기 전송된 제1 이미지들의 제어 권한을 회수하는 영상 제어 권한의 회수가 요청되면, 영상 제어 권한 회수 메시지를 상기 외부 장치에 전송하도록 제어하는 것을 특징으로 하는 영상 통화 제공 장치.
  9. 제1항에 있어서,
    상기 제어부는, 상기 외부 장치로부터 상기 전송된 제1 이미지들의 변경을 요청하는 변경 요청 메시지를 수신하면, 상기 변경 요청 메시지에 따라 상기 제1 이미지들 중 적어도 하나의 이미지의 크기 및 표시 위치를 변경하고, 상기 변경된 제1 이미지들을 전송하는 것을 특징으로 하는 영상 통화 제공 장치.
  10. 제1항에 있어서,
    상기 제어부는, 상기 표시된 제1 이미지들의 변경이 요청되면, 상기 변경의 요청에 따라 상기 제1 이미지들 중 적어도 하나의 이미지의 크기 및 표시 위치를 변경하고, 상기 변경된 제1 이미지들을 전송하는 것을 특징으로 하는 영상 통화 제공 장치.
  11. 제1항에 있어서,
    상기 제1 이미지들은 레이어 형태로 표시하는 것을 특징으로 하는 영상 통화 제공 장치.
  12. 제1항에 있어서,
    상기 제2 이미지들은 레이어 형태로 표시하는 것을 특징으로 하는 영상 통화 제공 장치.
  13. 휴대 단말기에서 영상 통화를 제공하는 방법에 있어서,
    무선 통신부를 통해 상기 휴대 단말기와 외부 장치와의 영상 통화를 수행하는 동작;
    상기 영상 통화 중 적어도 하나의 카메라에 의해 획득된 이미지들을 포함하는 제1 이미지들을 상기 외부 장치로 전송하고 상기 외부 장치로부터 수신된 제2 이미지들을 표시부에 표시하는 동작; 및
    제스쳐 입력에 기반하여 상기 표시부에 표시된 제2 이미지들 각각의 표시 위치를 변경하도록 제어하는 동작을 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  14. 제13항에 있어서,
    상기 제1 이미지들을 상기 표시부에 표시하는 동작을 더 포함하고,
    상기 제1 이미지들을 상기 표시부에 표시하는 동작은,
    미리 지정된 제1 합성 설정 정보에 따라 상기 제1 이미지들을 합성하여 제1 합성 이미지를 생성하는 과정과,
    상기 제1 합성 이미지를 표시하는 과정을 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  15. 제14항에 있어서,
    상기 제1 합성 설정 정보는, 상기 제1 합성 이미지의 크기 정보와 상기 제1 이미지들 각각의 크기 정보와 표시 위치 정보를 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  16. 제13항에 있어서,
    상기 제1 이미지들을 전송하는 동작은,
    미리 지정된 제2 합성 설정 정보에 따라 상기 제1 이미지들을 합성하여 제2 합성 이미지를 생성하는 과정과,
    상기 제2 합성 이미지를 전송하는 과정을 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  17. 제16항에 있어서,
    상기 제2 합성 설정 정보는, 상기 제2 합성 이미지의 크기 정보와 상기 제1 이미지들 각각의 크기 정보와 표시 위치 정보를 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  18. 제13항에 있어서,
    상기 제1 이미지들 각각은 메모리에 미리 저장된 이미지를 더 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  19. 제13항에 있어서,
    상기 외부 장치에 상기 전송된 제1 이미지들의 제어 권한을 부여하기 위한 영상 제어 권한의 부여가 요청되면, 영상 제어 권한 부여 메시지를 상기 외부 장치에 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  20. 제13항에 있어서,
    상기 외부 장치로부터 상기 전송된 제1 이미지들의 제어 권한을 회수하기 위한 영상 제어 권한의 회수가 요청되면, 영상 제어 권한 회수 메시지를 상기 외부 장치에 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  21. 제13항에 있어서,
    상기 외부 장치로부터 상기 전송된 제1 이미지들의 변경을 요청하는 변경 요청 메시지를 수신하면, 상기 변경 요청 메시지에 따라 상기 제1 이미지들 중 적어도 하나의 이미지의 크기 및 표시 위치를 변경하는 과정과,
    상기 변경된 제1 이미지들을 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  22. 제13항에 있어서,
    상기 표시된 제1 이미지들의 변경이 요청되면, 상기 변경의 요청에 따라 상기 제1 이미지들 중 적어도 하나의 이미지의 크기 및 표시 위치를 변경하는 과정과,
    상기 변경된 제1 이미지들을 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 통화 제공 방법.
  23. 제13항에 있어서,
    상기 제1 이미지들은 레이어 형태로 표시되는 것을 특징으로 하는 영상 통화 제공 방법.
  24. 제13항에 있어서,
    상기 제2 이미지들은 레이어 형태로 표시되는 것을 특징으로 하는 영상 통화 제공 방법.
KR1020120147441A 2012-12-17 2012-12-17 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법 KR102067642B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120147441A KR102067642B1 (ko) 2012-12-17 2012-12-17 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법
US14/107,234 US9137487B2 (en) 2012-12-17 2013-12-16 Apparatus and method for providing video call in portable terminal
CN201310692570.7A CN103873810B (zh) 2012-12-17 2013-12-17 用于在便携式终端中提供视频呼叫的装置和方法
EP13197652.4A EP2744195B1 (en) 2012-12-17 2013-12-17 Apparatus and Method for Providing Video Call in Portable Terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120147441A KR102067642B1 (ko) 2012-12-17 2012-12-17 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140090289A KR20140090289A (ko) 2014-07-17
KR102067642B1 true KR102067642B1 (ko) 2020-01-17

Family

ID=49919997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147441A KR102067642B1 (ko) 2012-12-17 2012-12-17 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법

Country Status (4)

Country Link
US (1) US9137487B2 (ko)
EP (1) EP2744195B1 (ko)
KR (1) KR102067642B1 (ko)
CN (1) CN103873810B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102067642B1 (ko) * 2012-12-17 2020-01-17 삼성전자주식회사 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법
CN108462850A (zh) * 2017-02-21 2018-08-28 展讯通信（上海）有限公司 视频会议电话装置
CN109672845B (zh) * 2018-12-29 2020-11-03 维沃移动通信有限公司 一种视频通话的方法、装置以及移动终端

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4182464B2 (ja) 2001-02-09 2008-11-19 富士フイルム株式会社 ビデオ会議システム
US6833874B2 (en) * 2001-03-27 2004-12-21 Sony Corporation Ticker tape picture-in-picture system
JP4016388B2 (ja) 2003-01-21 2007-12-05 日本電気株式会社 テレビ電話機能付き携帯電話端末
US7176956B2 (en) 2004-05-26 2007-02-13 Motorola, Inc. Video enhancement of an avatar
KR100678226B1 (ko) * 2004-11-11 2007-02-02 삼성전자주식회사 무선 착탈 표시창이 구비된 이동통신단말기의 동작 방법
US8713613B2 (en) * 2006-01-04 2014-04-29 Voxx International Corporation Data distribution unit for vehicle entertainment system
US8330866B2 (en) * 2006-02-21 2012-12-11 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
JP5067370B2 (ja) * 2006-08-08 2012-11-07 ソニー株式会社 受信装置、表示制御方法、及びプログラム
KR100826157B1 (ko) * 2006-09-18 2008-04-30 삼성전자주식회사 이동통신 단말기의 디지털 방송 전송 방법 및 장치
US8244229B2 (en) * 2006-12-26 2012-08-14 Nokia Corporation Mobile video call response
KR101301032B1 (ko) * 2007-03-08 2013-08-28 엘지전자 주식회사 통신기기 및 이를 이용한 영상 통화시 데이터파일의전송방법
JP2008263297A (ja) 2007-04-10 2008-10-30 Ntt Docomo Inc 通信制御装置および通信端末
KR101328950B1 (ko) * 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
KR101394515B1 (ko) * 2007-04-26 2014-05-13 엘지전자 주식회사 화상채팅 기록을 저장할 수 있는 이동통신 단말기 및 그동작방법
KR20080103813A (ko) * 2007-05-25 2008-11-28 삼성전자주식회사 이동통신 단말기 및 그의 화상 통화 방법
KR101487771B1 (ko) * 2007-08-10 2015-01-30 삼성전자주식회사 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치
KR101405948B1 (ko) * 2007-10-22 2014-06-12 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
KR101489194B1 (ko) * 2007-12-17 2015-02-03 삼성전자주식회사 휴대 단말기의 통신 정보 삭제 방법
KR100950911B1 (ko) 2008-02-22 2010-04-01 주식회사 텔레칩스 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기
JP5124351B2 (ja) * 2008-06-04 2013-01-23 三洋電機株式会社 車両操作システム
KR20100007447A (ko) 2008-07-14 2010-01-22 삼성전자주식회사 휴대용 단말기에서 화상통화 화면 전환 방법 및 장치
KR101510723B1 (ko) * 2009-04-20 2015-04-20 삼성전자주식회사 프로젝터를 구비한 휴대 단말기 및 그 휴대 단말기에서 데이터 표시 방법
CN101924903B (zh) * 2009-06-17 2013-03-20 华为技术有限公司 实现视频通话的方法、装置和系统
KR20110040468A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 휴대 단말기의 카메라 운용 방법 및 장치
US8436887B2 (en) * 2009-11-13 2013-05-07 Samsung Electronics Co., Ltd. Mobile terminal, display apparatus and control method thereof
US8463317B2 (en) * 2009-11-17 2013-06-11 Lg Electronics Inc. Mobile terminal and method of controlling the operation of the mobile terminal
KR20110090001A (ko) 2010-02-02 2011-08-10 삼성전자주식회사 영상통화장치 및 그 방법
KR101660305B1 (ko) 2010-03-31 2016-09-27 삼성전자주식회사 이동통신 단말기 간의 원격 제어 방법 및 장치
US8957919B2 (en) * 2010-04-05 2015-02-17 Lg Electronics Inc. Mobile terminal and method for displaying image of mobile terminal
KR20120081879A (ko) * 2011-01-12 2012-07-20 엘지전자 주식회사 통신 단말기 및 그 동작 방법
US9223802B2 (en) * 2011-01-24 2015-12-29 T-Mobile Usa, Inc. Automatic sharing of superlative digital images
US9588669B2 (en) * 2011-02-17 2017-03-07 T-Mobile Usa, Inc. Sticky messages
US9392102B2 (en) * 2011-08-23 2016-07-12 Samsung Electronics Co., Ltd. Apparatus and method for providing panoramic view during video telephony and video messaging
KR20130068313A (ko) * 2011-12-15 2013-06-26 삼성전자주식회사 시간차를 이용한 그래픽 사용자 인터페이스 표시 방법 및 이를 지원하는 단말기
US9253433B2 (en) * 2012-11-27 2016-02-02 International Business Machines Corporation Method and apparatus for tagging media with identity of creator or scene
KR102067642B1 (ko) * 2012-12-17 2020-01-17 삼성전자주식회사 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법

Also Published As

Publication number Publication date
US20140168346A1 (en) 2014-06-19
EP2744195A1 (en) 2014-06-18
US9137487B2 (en) 2015-09-15
CN103873810A (zh) 2014-06-18
KR20140090289A (ko) 2014-07-17
CN103873810B (zh) 2018-07-27
EP2744195B1 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
US9465479B2 (en) Mobile terminal and image converting method thereof
KR101660742B1 (ko) 이동 단말기 및 그 제어방법
US9563350B2 (en) Mobile terminal and method for controlling the same
US9176660B2 (en) Mobile terminal and method of controlling application execution in a mobile terminal
US9367534B2 (en) Mobile terminal and method for controlling the same
US9659015B2 (en) Mobile terminal and controlling method thereof
KR101695810B1 (ko) 이동 단말기 및 그 제어방법
US9569159B2 (en) Apparatus, systems and methods for presenting displayed image information of a mobile media device on a large display and control of the mobile media device therefrom
US8515404B2 (en) Mobile terminal and controlling method thereof
US9565146B2 (en) Apparatus and method for controlling messenger in terminal
EP2693323B1 (en) Method and apparatus for virtual tour creation in mobile device
KR20170018724A (ko) 이동 단말기 및 그 제어방법
KR20140038105A (ko) 휴대 단말기 및 그 제어 방법
KR20170029837A (ko) 이동 단말기 및 그 제어 방법
US20150065207A1 (en) Electronic device and method of expanding function in electronic device
KR102067642B1 (ko) 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법
KR20120068246A (ko) 이동 단말기 및 디바이스 제어방법
KR101850158B1 (ko) 휴대 단말기에서 이미지를 출력하는 장치 및 방법
KR101987463B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
CN109491655A (zh) 一种输入事件处理方法及装置
KR101635208B1 (ko) 이동 단말기에서의 터치 신호 처리 방법 및 이를 이용한 이동 단말기
KR20110139791A (ko) 이동 통신 단말기에서 증강현실을 이용한 메신저 제공방법
KR100913585B1 (ko) 북마킹 영역을 설정할 수 있는 휴대 단말기 및 그 동작제어방법
KR101984572B1 (ko) 단말기 및 그 제어 방법
KR20140143623A (ko) 휴대 단말기에서 컨텐츠를 표시하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant