KR20170140369A - 통신 처리 방법 및 전자 장치 - Google Patents

통신 처리 방법 및 전자 장치 Download PDF

Info

Publication number
KR20170140369A
KR20170140369A KR1020177034253A KR20177034253A KR20170140369A KR 20170140369 A KR20170140369 A KR 20170140369A KR 1020177034253 A KR1020177034253 A KR 1020177034253A KR 20177034253 A KR20177034253 A KR 20177034253A KR 20170140369 A KR20170140369 A KR 20170140369A
Authority
KR
South Korea
Prior art keywords
electronic device
communication state
voice data
image frame
image
Prior art date
Application number
KR1020177034253A
Other languages
English (en)
Other versions
KR102110644B1 (ko
Inventor
샤오보 천
항 시앙
신량 왕
빈 리
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20170140369A publication Critical patent/KR20170140369A/ko
Application granted granted Critical
Publication of KR102110644B1 publication Critical patent/KR102110644B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 통신 처리 방법 및 전자 장치를 개시하며, 상기 방법은, 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하는 단계; 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계; 및 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하는 단계;를 포함한다.

Description

통신 처리 방법 및 전자 장치
본 발명은 정보 처리 분야의 통신 관리 기술에 관한 것으로서, 특히 통신 처리 방법 및 전자 장치에 관한 것이다.
기술의 발전과 더불어, 기존의 네트워크 전화(VOIP, Voice over Internet Protocol) 기반 음성 제품은 통화 중인 각 측에서 단순히 음성 통화를 진행하든지 아니면 단순히 영상 통화를 진행하든지 이며, 기본적으로 영상 통화를 종료하면 동시에 금번 통화 자체를 종료하게 된다. 이러한 영상 교류 방식은 아래와 같은 두 개의 단점이 있다. 첫째, 일측에서 능동적으로 영상을 공유할 수 없다. 예를 들어, 양측 중 일측에서 영상 요청을 하면 상대방이 영상을 수락하기만 하면 자동적으로 자신의 카메라를 켜고 영상 프레임을 수집하며, 수신인은 그 시각 수락하기 불편하면 일반적으로 개시인의 요청을 바로 거절하여 금번 통화를 종료한다. 그러나, 이러한 경우 개시인은 단지 자신의 영상을 수신인에게 공유하고자 할 뿐, 수신인의 영상을 동시에 꼭 보려는 것이 아닐 수도 있다. 둘째, 통화 중에 영상을 진행할 것인지를 제어하는 주동권이 없다. 예를 들어, 자신의 영상을 어느 때에 켜거나 끄는지를 수시로 제어할 수 없다. 즉, 자신이 영상통화를 켰을 때 통화 상대방 측에서 자신의 영상을 볼 수 있고, 반대로 영상통화를 자신이 껐을 때 통화 상대방 측은 자신의 영상을 볼 수 없도록 제어할 수 없다.
보다시피, 종래기술은 통화 각 측에서 영상 프레임을 공유하는 타이밍을 능동적으로 제어할 수 없으며, 서버의 자원 처리의 사용을 감소시킬 수 없으며, 통화쌍방의 유창성을 보장할 수 없다.
이를 감안하여, 본 발명의 실시예는 적어도 종래기술에 존재하는 상술한 문제점을 해결할 수 있는 통신 처리 방법 및 전자 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예는 제1 전자 장치에 적용되는 통신 처리 방법을 제공하며, 상기 방법은,
적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하는 단계;
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계;
제2 동작에 응답하여, 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하는 단계;를 포함한다.
본 발명의 실시예는 전자 장치를 더 제공하며, 상기 전자 장치는,
적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하고, 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하도록 구성되는 제1 처리 유닛;
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하도록 구성되는 제2 처리 유닛;을 포함한다.
도 1은 본 발명의 실시예에 따른 통신 처리 방법의 흐름을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 연결 시나리오를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 프레임 송신을 수행하는 인터페이스를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상 프레임 송신 및 파싱 흐름을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상 프레임 인터랙션 흐름을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 영상 프레임 인터랙션을 종료하는 흐름을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 두 사용자가 영상 프레임을 공유하는 동작 인터페이스를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 복수의 사용자가 영상 프레임을 공유하는 흐름을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 복수의 사용자가 영상 프레임을 공유하는 동작 인터페이스를 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 예시도 1이다.
도 11은 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 예시도 2이다.
도 12는 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 예시도 3이다.
이하, 첨부 도면 및 구체적인 실시예를 결합하여 본 발명의 실시예를 더 상세히 설명한다.
실시예 1
본 발명의 실시예는 제1 전자 장치에 적용되는 통신 처리 방법을 제공하며, 도 1에 도시된 바와 같이, 상기 방법은 아래의 단계를 포함한다.
11단계: 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어한다.
12단계: 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어한다.
13단계: 제2 동작에 응답하여, 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어한다.
여기서, 상기 제1 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
상기 제2 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
바람직하게, 11단계를 수행하기 전에, 상기 제1 전자 장치는 적어도 하나의 제2 전자 장치와 통신 연결을 이룰 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 제1 전자 장치(21)는 제2 전자 장치(221) 및 제2 전자 장치(222)와 통신 연결을 이룬다.
이해할 것은, 본 실시예에서 제1 전자 장치가 제2 전자 장치와 통신 연결을 이루는 방식은 모바일 셀룰러망에 의해 연결을 이룰 수도 있고 IP 네트워크에 의해 연결을 이룰 수도 있다.
본 실시예에서, 상기 제1 전자 장치가 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하기 전에, 상기 제1 전자 장치는 음성 수집 유닛을 켜서 음성 수집을 수행하고 수집한 음성을 이용하여 코딩하여 음성 데이터를 얻을 수 있다. 여기서, 상기 음성 수집 유닛은 마이크로폰일 수 있다.
상술한 12단계에서, 상기 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계는,
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하는 제2 통신 상태로 스위칭되도록 제어하는 단계;
적어도 하나의 영상 프레임을 수집하고, 상기 적어도 하나의 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 송신하는 단계;를 포함한다.
여기서, 상기 적어도 하나의 영상 프레임은 적어도 하나의 이미지 정보를 이용하여 수집 시간에 따라 조합하여 얻은 적어도 하나의 영상 프레임일 수 있다.
여기서, 상기 적어도 하나의 영상 프레임을 수집하는 단계는 카메라를 켜고 카메라에 의해 주기적으로 수집하는 단계일 수 있다. 여기서, 상기 주기는 카메라의 성능에 따라 설정될 수 있으며 예를 들어 2ms마다 한번 이미지 정보를 수집하여 하나의 영상 프레임으로 하도록 설정될 수 있다.
바람직하게, 본 실시예에서, 제1 동작에 응답하거나 제2 동작에 응답하기 전에, 제1 동작을 검출하거나 제2 동작을 검출하며, 구체적으로,
상기 제1 동작에 응답하기 전에, 상기 방법은 제1 터치 동작 영역에 대한 동작 시간이 제1 임계치보다 큰 터치 동작을 검출하면, 제1 동작을 검출한 것으로 확정하는 단계를 더 포함하고,
상기 제2 동작에 응답하기 전에, 상기 방법은 상기 제1 터치 동작 영역에 대한 터치 동작을 취소한 것을 검출하면, 제2 동작을 검출한 것으로 확정하는 단계를 더 포함한다.
여기서, 상기 제1 터치 동작 영역은 실제 정황에 따라 설정한 터치 동작을 검출하는 터치 포인트 또는 터치 동작을 검출하는 사전에 설정된 영역일 수 있다.
상기 터치 포인트는 적어도 터치 포인트의 횡좌표 및 종좌표를 포함할 수 있고, 상기 사전에 설정된 영역은 적어도 당해 영역의 왼쪽 아랫 부분의 종횡좌표 및 오른쪽 윗부분의 종횡좌표를 포함한다.
또한, 상기 제1 터치 동작 영역의 표현 형식은 도 3에 도시된 바와 같이 제1 전자 장치에 디스플레이된 하나의 가상 버튼(31)일 수 있다.
상기 동작 지속시간은 사용자가 상기 제1 터치 동작 영역을 클릭하는 지속시간일 수 있다. 다시 말하면, 사용자가 상기 제1 터치 동작 영역을 클릭하여 카메라가 켜지도록 제어하고 카메라에 의해 적어도 하나의 영상 프레임을 수집하여 적어도 하나의 제2 전자 장치에 송신하기 시작해서 사용자가 제1 터치 동작 영역을 클릭하는 동작을 취소한 것을 검출할 때까지이다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 이미지 파일 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 이미지 파일 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 이미지 파일 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 통화 쌍방의 유창성을 보장한다.
실시예 2
본 발명의 실시예는 제1 전자 장치에 적용되는 통신 처리 방법을 제공하며, 도 1에 도시된 바와 같이, 상기 방법은 아래의 단계를 포함한다.
11단계: 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어한다.
12단계: 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어한다.
13단계: 제2 동작에 응답하여, 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어한다.
여기서, 상기 제1 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
상기 제2 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
바람직하게, 11단계를 수행하기 전에, 상기 제1 전자 장치는 적어도 하나의 제2 전자 장치와 통신 연결을 이룰 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 제1 전자 장치(21)는 제2 전자 장치(221) 및 제2 전자 장치(222)와 통신 연결을 이룬다.
이해할 것은, 본 실시예에서 제1 전자 장치가 제2 전자 장치와 통신 연결을 이루는 방식은 모바일 셀룰러망에 의해 연결을 이룰 수도 있고 IP 네트워크에 의해 연결을 이룰 수도 있다.
본 실시예에서, 상기 제1 전자 장치가 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하기 전에, 상기 제1 전자 장치는 음성 수집 유닛을 켜서 음성 수집을 수행하고 수집한 음성을 이용하여 코딩하여 음성 데이터를 얻을 수 있다. 여기서, 상기 음성 수집 유닛은 마이크로폰일 수 있다.
본 실시예와 실시예 1의 차이점은, 상술한 12단계에서, 상기 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계는,
적어도 하나의 제2 전자 장치에서 송신한 적어도 하나의 영상 프레임을 수신하는 단계;
적어도 하나의 제2 전자 장치에서 송신한 상기 적어도 하나의 영상 프레임을 파싱하는 단계;를 포함하는 것이다.
여기서, 상기 영상 프레임을 파싱하는 단계는 제1 전자 장치가 영상 파싱 기능에 의해 영상 프레임을 파싱하여 하나 또는 복수 개의 영상 프레임에 대응하는 이미지를 얻는 단계일 수 있다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 통화 쌍방의 유창성을 보장한다.
실시예 3
본 발명의 실시예는 제1 전자 장치에 적용되는 통신 처리 방법을 제공하며, 도 1에 도시된 바와 같이, 상기 방법은 아래의 단계를 포함한다.
11단계: 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어한다.
12단계: 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어한다.
13단계: 제2 동작에 응답하여, 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어한다.
여기서, 상기 제1 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
상기 제2 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
바람직하게, 11단계를 수행하기 전에, 상기 제1 전자 장치는 적어도 하나의 제2 전자 장치와 통신 연결을 이룰 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 제1 전자 장치(21)는 제2 전자 장치(221) 및 제2 전자 장치(222)와 통신 연결을 이룬다.
이해할 것은, 본 실시예에서 제1 전자 장치가 제2 전자 장치와 통신 연결을 이루는 방식은 모바일 셀룰러망에 의해 연결을 이룰 수도 있고 IP 네트워크에 의해 연결을 이룰 수도 있다.
본 실시예에서, 상기 제1 전자 장치가 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하기 전에, 상기 제1 전자 장치는 음성 수집 유닛을 켜서 음성 수집을 수행하고 수집한 음성을 이용하여 코딩하여 음성 데이터를 얻을 수 있다. 여기서, 상기 음성 수집 유닛은 마이크로폰일 수 있다.
상술한 두 개의 실시예와의 차이점은, 본 실시예에서 제1 전자 장치가 영상 프레임을 수집 및 송신할 수 있을 뿐만 아니라 영상 프레임을 수신 및 디스플레이할 수 있는 시나리오를 제공한 것이다.
구체적으로, 상술한 12단계에서, 상기 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계는,
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하는 제2 통신 상태로 스위칭되도록 제어하고, 적어도 하나의 영상 프레임을 수집하여 상기 적어도 하나의 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 송신하는 단계를 포함한다.
또한, 적어도 하나의 제2 전자 장치에서 송신한 적어도 하나의 영상 프레임을 수신하고, 제2 전자 장치에서 송신한 적어도 하나의 영상 프레임을 파싱할 수도 있다. 상기 제2 전자 장치에서 송신한 영상 프레임을 파싱한 후 상기 영상 프레임을 렌더링 및 디스플레이할 수도 있다.
바람직하게, 본 실시예에서, 상기 영상 프레임을 송신하는 단계는,
영상 프레임 공유 요청을 시그널링 서버에 송신하는 단계, - 여기서 상기 시그널링 서버는 VOIP 시그널링 서버이거나 모바일 셀룰러망 시그널링 서버일 수 있음 - ;
상기 시그널링 서버에 의해 상기 영상 프레임 공유 요청을 적어도 하나의 제2 전자 장치에 송신하는 단계;
카메라를 켜고 적어도 하나의 이미지 정보를 수집하며, 상기 이미지 정보를 코딩하여 영상 프레임을 얻는 단계;
영상 프레임을 데이터 서버에 송신하는 단계, - 여기서 상기 데이터 서버는 VOIP 데이터 서버이거나 모바일 셀룰러망 중의 데이터 서버일 수 있음 - ;
상기 데이터 서버에 의해 상기 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 전송하는 단계;를 포함할 수 있다.
바람직하게, 본 실시예에서, 영상 프레임 및 음성 데이터 각각에 대응하는 타임 스탬프를 추가하여 송신된 영상 프레임 및 음성 데이터의 수신측에서의 동기화를 보장할 수도 있으며, 구체적으로, 음성 데이터를 수집하면, 음성 데이터에 타임 스탬프를 추가하고, 영상 프레임을 수집하면, 수집된 영상 프레임에 대응하는 타임 스탬프를 추가할 수 있다. 여기서, 상기 타임 스탬프는 음성 데이터 또는 영상 프레임을 수집한 시각일 수 있다.
상기 적어도 하나의 제2 전자 장치에서 송신한 상기 적어도 하나의 영상 프레임을 파싱하는 단계는,
음성 데이터 중의 음성 및 타임 스탬프를 파싱하는 단계; 영상 프레임 및 대응하는 타임 스탬프를 파싱하는 단계;
파싱하여 얻은 타임 스탬프에 따라 음성 데이터 및 영상 프레임의 출력을 제어하는 단계;를 포함한다.
본 실시예에서, 상기 파싱하여 얻은 타임 스탬프에 따라 음성 데이터 및 영상 프레임의 출력을 제어하는 방식은 동일한 타임 스탬프를 구비한 음성 데이터 및 영상 프레임을 동시에 출력하는 것일 수 있다.
바람직하게, 본 실시예에서, 제1 동작에 응답하거나 제2 동작에 응답하기 전에, 제1 동작을 검출하거나 제2 동작을 검출하며, 구체적으로,
상기 제1 동작에 응답하기 전에, 상기 방법은 제1 터치 동작 영역에 대한 동작 시간이 제1 임계치보다 큰 터치 동작을 검출하면, 제1 동작을 검출한 것으로 확정하는 단계를 더 포함하고,
상기 제2 동작에 응답하기 전에, 상기 방법은 상기 제1 터치 동작 영역에 대한 터치 동작을 취소한 것을 검출하면, 제2 동작을 검출한 것으로 확정하는 단계를 더 포함한다.
여기서, 상기 제1 터치 동작 영역은 실제 정황에 따라 설정한 터치 동작을 검출하는 터치 포인트 또는 터치 동작을 검출하는 사전에 설정된 영역일 수 있다. 여기서, 상기 터치 포인트는 적어도 터치 포인트의 횡좌표 및 종좌표를 포함할 수 있고, 상기 사전에 설정된 영역은 적어도 당해 영역의 왼쪽 아랫 부분의 종횡좌표 및 오른쪽 윗부분의 종횡좌표를 포함한다.
또한, 상기 제1 터치 동작 영역의 표현 형식은 도 3에 도시된 바와 같이 제1 전자 장치에 디스플레이된 하나의 가상 버튼(31)일 수 있다. 본 실시예에서, 상기 제1 터치 동작 영역을 클릭하여 트리거한 기능을 ‘흘낏 보기’ 동작으로 설정할 수 있다.
상기 동작 지속시간은 사용자가 상기 제1 터치 동작 영역을 클릭하는 지속시간일 수 있다. 다시 말하면, 사용자가 상기 제1 터치 동작 영역을 클릭하여 카메라가 켜지도록 제어하고 카메라에 의해 적어도 하나의 영상 프레임을 수집하기 시작해서 사용자가 제1 터치 동작 영역을 클릭하는 동작을 취소한 것을 검출할 때까지이다.
또한, 본 실시예의 상기 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 단계는,
영상 프레임을 상기 적어도 하나의 제2 전자 장치 중의 모든 제2 전자 장치에 송신하는 단계; 또는,
상기 적어도 하나의 제2 전자 장치 중에서 타겟 제2 전자 장치를 선택하고 상기 영상 프레임을 상기 타겟 제2 전자 장치에 송신하는 단계를 포함한다.
다시 말하면, 제1 전자 장치가 복수 개의 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태 후에 제2 통신 상태로 스위칭되면, 수집한 이미지를 모든 제2 전자 장치에 송신하는 것을 선택할 수도 있고 복수 개의 전자 장치에서 하나의 타겟 장치를 선택하여 이미지를 선택한 타겟 장치에 송신할 수도 있다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 통화 쌍방의 유창성을 보장한다.
실시예 4
본 실시예는 시그널링 서버 및 데이터 서버가 VOIP 시그널링 서버 및 VOIP 데이터 서버인 것을 예로 하여 영상 프레임을 전송하는 동작을 설명한다.
도 4에 도시된 바와 같이, 실시간 영상의 하나의 간단한 구현 흐름도를 나타낸다. 여기서, VOIP 시그널링 서버는 주로 통화 과정 중의 상태에 대해 제어 및 동기화를 수행하고, 데이터 서버는 주로 영상 또는 음성 데이터에 대해 전송(투명적 전송)을 수행하며, 이하 두 개의 장치(M1 및 M2) 사이에서 실시간 영상을 진행하는 과정에 대해 설명하며 여기서 장치(M1)는 곧 제1 전자 장치이고 장치(M2)는 제2 전자 장치이다.
1. M1은 카메라 장치를 켜고 영상 프레임을 수집한다.
2. 영상 코덱 엔진은 M1가 수집한 영상 프레임에 대해 코딩 처리를 수행한다.
3. M1은 영상 프레임 코딩 후 네트워크 패킹을 수행하며 UDP 방식으로 VOIP 데이터 서버에 송신한다.
4. VOIP 데이터 서버는 영상 프레임을 장치(M2)에 투명적 전송한다.
5. 장치(M2)는 영상 프레임을 수신하고 패킹해제를 수행한다.
6. 영상 코덱 엔진은 영상 프레임에 대해 디코딩 처리를 수행한다.
7. 장치(M2)는 디코딩된 영상 프레임에 대해 프레임 렌더링 및 디스플레이를 수행한다.
바람직하게, 본 실시예에서 두 개의 전자 장치 사이의 음성 데이터 및 영상 프레임의 인터랙션 동작의 실예, 및 하나의 전자 장치와 복수 개의 전자 장치 사이의 음성 데이터 및 영상 프레임의 인터랙션 동작의 실예를 각각 제공한다.
실예 1.
2인 사이의 흘낏 보기 인터랙션은 실시간 영상 기술을 기반으로 하는 유희 형식으로서, 여기의 형식은 하나의 버튼(유사한 형식에 한정되지 않음)을 제공하여, 버튼을 눌러 상대방에게 실시간 영상을 송신하기 시작하고 버튼을 놓아 상대방에게 실시간 영상을 송신하는 것을 종료하는 것이다. 사용자 A 및 사용자 B 사이의 흘낏 보기 인터랙션 흐름을 예로 들면, 4가지 인터랙션 경우를 포함하며, 도 5에 도시된 바와 같이, 2인 사이의 흘낏 보기 인터랙션은 실시간 영상 기술을 기반으로 하며, 여기의 형식은 하나의 버튼을 제공하여, 사용자 A가 장치에 의해 제공된 디스플레이 인터페이스에 제공된 제1 터치 동작 영역, 즉 하나의 가상 버튼을 누르면, ‘흘낏 보기’ 동작이 트리거되며, 다시 말하면, 사용자 B, 즉 제2 전자 장치로 수집한 영상 프레임을 실시간으로 송신하는 동작이 트리거된다. 이에 상응하여, 버튼을 놓으면 ‘흘낏 보기’ 동작이 종료되며 상대방에게 실시간 영상을 송신하는 것도 중지된다. 구체적으로 아래의 경우를 포함한다.
경우 1: 일방향 영상 공유
1) ~ 2) 사용자 A는 버튼을 눌러 영상 공유 요청을 VOIP 시그널링 서버에 보내며, 카메라를 켜고 영상 수집을 시작한다. 여기서, 상기 버튼은 실제 정황에 따라 설정한 버튼일 수 있다.
3) VOIP 시그널링 서버는 사용자 B에게 사용자 A가 영상 공유 요청을 개시하였음을 통지한다.
4) ~ 5) 사용자 A는 수집한 실시간 영상 프레임을 VOIP 데이터 서버에 송신하고, 그 후 VOIP 데이터 서버는 영상 프레임을 사용자 B에게 투명적 전송한다.
6) 사용자 B는 사용자 A로부터의 실시간 영상 프레임을 수신한 후, 먼저 3)의 통지를 수신하였는지를 체크하며, 수신하였으면 영상 프레임의 렌더링 및 디스플레이를 수행한다.
경우 2: 양방향 영상 공유
7) ~ 8) 경우 1의 기초상에서, 사용자 B도 영상 공유 요청을 VOIP 시그널링 서버에 보내기 시작하며 카메라를 켜고 영상 프레임 수집을 시작한다.
9) VOIP 시그널링 서버는 사용자 A에게 사용자 B는 흘낏 보기를 시작하였음을 통지한다.
10) ~ 11) 사용자 B는 수집한 실시간 영상 프레임을 VOIP 데이터 서버에 송신하고, 그 후 VOIP 데이터 서버는 영상 프레임을 사용자 A에게 투명적 전송한다.
12) 사용자 A는 사용자 B로부터의 실시간 영상 프레임을 수신한 후, 먼저 9)의 통지를 수신하였는지를 체크하며, 수신하였으면 영상 프레임의 렌더링 및 디스플레이를 수행한다. 이렇게 사용자 A와 사용자 B 사이에서 동시에 실시간 영상 공유를 수행하는 흐름을 완료한다.
경우 3: 일측에서 영상 공유를 종료
13) ~ 14) 사용자 A는 버튼을 놓고(버튼 누름을 해제) VOIP 시그널링 서버에 영상 공유 종료 요청을 송신하며, 카메라의 영상 프레임 수집을 중지하며, 이와 동시에 VOIP 데이터 서버도 사용자 A의 영상 프레임을 더이상 수신하지 않는다.
15) VOIP 시그널링 서버는 사용자 B에게 사용자 A는 영상 공유를 종료하였음을 통지한다.
16) 사용자 B는 더 이상 사용자 A로부터의 영상 프레임을 수신하지 않으며, 15)의 통지를 수신한 기초에서, 일방향 영상 공유로 스위칭된다.
경우 4: 양측에서 영상 공유를 종료
17) ~ 18) 경우 3의 기초에서, 사용자 B도 버튼을 놓고 VOIP 시그널링 서버에 영상 공유 종료 요청을 송신하며, 카메라의 영상 프레임 수집을 중지하며, 일반 음성 통화의 인터랙션 형식으로 스위칭하며, 이와 동시에 VOIP 데이터 서버도 사용자 B의 영상 프레임을 더이상 수신하지 않는다.
19) VOIP 시그널링 서버는 사용자 A에게 사용자 B는 영상 공유를 종료하였음을 통지한다.
20) 사용자 A는 더 이상 사용자 B로부터의 영상 프레임을 수신하지 않으며, 19)의 통지를 수신한 기초에서, 일반 음성 통화의 인터랙션 형식으로 스위칭한다.
본 실시예에서 제공한 두 개의 전자 장치 사이에서 음성 데이터의 인터랙션을 진행하는 경우, 음성 데이터 및 영상 프레임의 인터랙션을 진행하는 예시도는 도 6 내지 도 7에 도시된 바와 같다.
도 6의 인터페이스(61)는 곧 사용자 A가 제1 전자 장치를 제1 통신 상태로 하고 사용자 B의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 시나리오이다. ‘촬영’ 버튼(611)을 길게 누를 때를, ‘영상 공유 요청 보내기’의 가상 버튼으로 한다.
그 후 영상 프레임의 일측 송신을 켠 시나리오이며, 사용자 A의 제1 전자 장치의 동작 인터페이스가 인터페이스(62)로 들어가며, 인터페이스(62)에는 현재 수집하여 얻은 영상 프레임이 디스플레이되고 현재 통화한 시간과 ‘실시간 공유 중’의 프롬프트 문자도 디스플레이되며 가상 버튼(611)은 손가락이 스크린에서 이동함에 따라 이동한다.
수신측 사용자 B가 사용자 A의 프레임 영상을 수신하였을 때, 하나의 간단한 사운드 알림이 있으며 사용자 B의 디스플레이 인터페이스(63)에 시작 측에서 송신해 온 영상 프레임 화면이 전 화면으로 디스플레이되는 동시에 현재 통화한 시간 및 ‘상대방이 실시간으로 공유 중’의 프롬프트 문자가 디스플레이된다. 수신측 사용자 B는 이 인터페이스(63)에서 사전에 설정된 버튼(631)을 터치 동작 영역으로 하고, 버튼(631)을 클릭하여 제2 전자 장치의 ‘영상 공유’ 기능을 켜고 양방향 영상 공유에 들어간다.
양방향 영상 공유: 양방향 영상 공유에 들어간 후 양측의 인터페이스는 각각 도 7의 인터페이스(64)와 인터페이스(65)에 도시된 바와 같다. 인터페이스(64)와 인터페이스(65)에서, 원형 영역(641)과 원형 영역(651)으로 자신의 카메라 촬영 내용을 디스플레이하며, 동시에 원형 영역은 손가락이 스크린에서 이동함에 따라 이동하며, 상대방의 영상 프레임 화면을 전 화면 영역으로 디스플레이한다. 이러한 경우, 어느 한 측에서 능동적으로 버튼을 놓으면, 놓은 일 측은 인터페이스(63)로 돌아가고, 놓지 않은 일 측은 인터페이스(62)로 돌아가며, 양측에서 모두 놓았으면, 모두 인터페이스(61)로 돌아간다.
실예 2.
본 실시예는 도 8에 도시된 바와 같은 복수인(3인 이상) 사이의 흘낏 보기 인터랙션을 제공하며, 마찬가지로 실시간 영상 기술을 기반으로 하는 유희 형식이며, 2인 사이의 형식과 달리, 동일한 시각에 한 명이 영상 공유를 켤 수 밖에 없으며, 복수인이 동시에 영상 공유 요청을 보내는 경우, VOIP 시그널링 서버는 중재를 수행하며, 영상 공유 요청이 제일 먼저 VOIP 시그널링 서버에 도착한 사용자에게 영상 공유 요청 보내기 성공을 리턴하고, 타인에게는 영상 공유 요청 보내기 실패를 리턴한다. 타인이 영상 공유 보내기에 성공하려면 반드시 현재 영상 공유를 하고 있는 사용자가 종료한 후에 성공적으로 보낼 수 있다(여기서 복수인이 영상 공유를 ‘빼앗기’하는 과정으로 이해하여도 된다). 복수의 사용자 A1 내지 An 사이의 영상 공유 인터랙션 흐름을 예로 들면, 두 가지 인터랙션 경우를 포함한다.
경우 1: 영상 공유를 시작
1) 사용자 A1 내지 An 중의 몇 명의 사용자가 복수인 VOIP 시그널링 서버에 동시에 영상 공유 요청을 보낸다.
2) 복수인 VOIP 시그널링 서버는 영상 공유 요청을 수신한 선후 순서에 따라 중재를 수행하고 제일 먼저 수신된 요청의 사용자 A1에게 영상 공유 성공을 리턴하고 다른 사용자에게 영상 공유 요청 실패를 리턴한다.
3) 복수인 VOIP 시그널링 서버는 다른 사용자에게 사용자 A1이 흘낏 보기를 시작하였음을 통지한다.
4) 사용자 A1은 카메라를 켜고 영상 프레임 수집을 시작한다.
5) ~ 6) 사용자 A1은 수집한 실시간 영상 프레임을 복수인 VOIP 데이터 서버에 송신하고, 그 후 VOIP 데이터 서버는 영상 프레임을 다른 사용자에게 투명적 전송한다.
7) 다른 사용자는 사용자 A1로부터의 실시간 영상 프레임을 수신한 후, 먼저 3)의 통지를 수신하였는지를 체크하며, 수신하였으면 영상 프레임의 렌더링 및 디스플레이를 수행한다.
경우 2: 영상 공유를 종료
8) ~ 9) 경우 1의 기초에서, 사용자 A1은 버튼을 놓고 복수인 VOIP 시그널링 서버에 영상 공유 종료 요청을 송신하는 동시에 카메라의 영상 프레임 수집을 중지하고 일반 복수인 음성 상태로 스위칭하며, 이와 동시에 VOIP 데이터 서버도 사용자 A1의 영상 프레임을 더 이상 수신하지 않는다.
10) VOIP 시그널링 서버는 다른 사용자에게 사용자 A1이 흘낏 보기를 종료하였음을 통지한다.
11) 다른 사용자는 더 이상 사용자 A1로부터의 영상 프레임을 수신하지 않으며, 10)의 통지를 수신한 기초에서, 일반 복수인 음성 통화의 인터랙션 형식으로 스위칭한다.
도 9에 도시된 바와 같이, 아래에 각 효과도를 차례로 설명한다.
복수인 영상 공유 입구: 복수인 통화 인터페이스(91), 인터페이스(91)에서 ‘촬영’(911) 버튼을 길게 눌러 제1 터치 동작 영역을 트리거하는 동작으로 하는바, 즉 영상 공유 기능을 켜며, 동시에 하나의 간단한 사운드 효과를 프롬프트할 수도 있다. 영상 공유 기능을 켜서 인터페이스(92)로 들어가고, 인터페이스(92)에 들어간 후 ‘빼앗기’하는 과정이 존재하므로, ‘빼앗기’에 성공하면 인터페이스(92)에 머물고, 그렇지 않으면 인터페이스(91)로 리턴하며, 또는 디스플레이 인터페이스(93)는 타인의 힐끗 보기 데이터를 수신한다.
인터페이스(92)에서, 즉 영상 공유 기능으로 들어간 후, 시작측은 자신의 카메라 촬영 내용을 전 화면으로 디스플레이하고, 현재 통화한 시간과 ‘실시간 공유 중’의 프롬프트 문자를 디스플레이하며, 여기서 버튼은 손가락이 스크린에서 이동함에 따라 이동한다. 시작측이 버튼을 놓으면, 인터페이스(91)로 리턴된다.
인터페이스(93)는 복수 측이 영상 프레임 공유를 수행할 때, 이미지 공유를 수행하지 않은 장치는 시작측에서 영상 프레임을 송신하여 왔을 때 하나의 간단한 사운드 알림이 있으며, 그 후 시작측에서 송신해 온 영상 프레임 화면을 전 화면으로 디스플레이하는 동시에 현재의 통화한 시간과 ‘모모가 실시간 공유 중’의 프롬프트 문자를 동시에 디스플레이한다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 사용자의 사용 체험을 향상시킨다.
실시예 4
본 발명의 실시예는 전자 장치를 제공하며, 도 10에 도시된 바와 같이, 상기 전자 장치는,
적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하고, 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하는 제1 처리 유닛(1001);
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 제2 처리 유닛(1002);을 포함한다.
여기서, 상기 제1 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
상기 제2 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
바람직하게, 상기 전자 장치는 적어도 하나의 제2 전자 장치와 통신 연결을 이룰 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 제1 전자 장치(21)는 제2 전자 장치(221) 및 제2 전자 장치(222)와 통신 연결을 이룬다.
이해할 것은, 본 실시예에서 전자 장치가 제2 전자 장치와 통신 연결을 이루는 방식은 모바일 셀룰러망에 의해 연결을 이룰 수도 있고 IP 네트워크에 의해 연결을 이룰 수도 있다.
본 실시예에서, 상기 제1 전자 장치가 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하기 전에, 상기 제1 전자 장치는 음성 수집 유닛을 켜서 음성 수집을 수행하고 수집한 음성을 이용하여 코딩하여 음성 데이터를 얻을 수 있다. 여기서, 상기 음성 수집 유닛은 마이크로폰일 수 있다.
상기 전자 장치는 적어도 하나의 이미지 정보를 수집하는 이미지 수집 유닛(1003)을 더 포함한다.
이에 상응하여, 상기 제2 처리 유닛(1002)은 구체적으로 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하는 제2 통신 상태로 스위칭되도록 제어하고, 수집한 상기 적어도 하나의 이미지 정보를 이용하여 제1 영상 프레임을 생성하고 상기 제1 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 송신한다.
여기서, 상기 적어도 하나의 이미지 정보를 수집하는 것은 카메라를 켜고 카메라에 의해 주기적으로 이미지 정보를 수집하여 적어도 하나의 이미지 정보를 얻는 것일 수 있다. 여기서, 상기 주기는 카메라의 성능에 따라 설정될 수 있으며 예를 들어 10ms마다 한번 이미지 정보를 수집하도록 설정될 수 있다.
또는, 상기 적어도 하나의 이미지 정보를 수집하는 것은 카메라를 켜고 이미지 촬영을 진행하여 한 장의 이미지만 수집하고 상기 이미지를 영상 프레임으로 하는 것일 수 있다.
바람직하게, 상기 전자 장치는 제1 터치 동작 영역에 대한 동작 시간이 제1 임계치보다 큰 터치 동작을 검출하면, 제1 동작을 검출한 것으로 확정하고, 상기 제1 터치 동작 영역에 대한 터치 동작을 취소한 것을 검출하면, 제2 동작을 검출한 것으로 확정하는 터치 검출 유닛(1004)을 더 포함한다.
여기서, 상기 제1 터치 동작 영역은 실제 정황에 따라 설정한 터치 동작을 검출하는 터치 포인트 또는 터치 동작을 검출하는 사전에 설정된 영역일 수 있다. 여기서, 상기 터치 포인트는 적어도 터치 포인트의 횡좌표 및 종좌표를 포함할 수 있고, 상기 사전에 설정된 영역은 적어도 당해 영역의 왼쪽 아랫 부분의 종횡좌표 및 오른쪽 윗부분의 종횡좌표를 포함한다.
또한, 상기 제1 터치 동작 영역의 표현 형식은 도 3에 도시된 바와 같이 제1 전자 장치에 디스플레이된 하나의 가상 버튼(31)일 수 있다.
상기 동작 지속시간은 사용자가 상기 제1 터치 동작 영역을 클릭하는 지속시간일 수 있다. 다시 말하면, 사용자가 상기 제1 터치 동작 영역을 클릭하여 카메라가 켜지도록 제어하고 카메라에 의해 적어도 하나의 이미지 정보를 수집하여 상기 적어도 하나의 이미지 정보를 영상 프레임으로 하기 시작해서 사용자가 제1 터치 동작 영역을 클릭하는 동작을 취소한 것을 검출할 때까지이다.
도 4에 도시된 바와 같이, 본 실시예의 영상 프레임을 전송하는 하나의 간단한 구현 흐름도를 나타낸다. 여기서, VOIP 시그널링 서버는 주로 통화 과정 중의 상태에 대해 제어 및 동기화를 수행하고, 시그널링 서버가 통화 과정을 진행하는 제어 및 동기화의 인터랙션 방식은 TCP를 사용하며, 데이터 서버는 주로 영상 또는 음성 데이터에 대해 전송(투명적 전송)을 수행하며 UDP 프로토콜에 따라 데이터를 전송한다.
이하 두 개의 장치, 즉 제1 전자 장치와 제2 전자 장치 사이에서 실시간 영상을 진행하는 과정에 대해 설명한다.
제1 전자 장치는 카메라 장치를 시작하여 이미지 정보를 수집하고, 영상 코덱 엔진은 이미지 정보에 대해 코딩 처리를 수행하며, 코딩 후 얻은 영상 프레임에 대해 네트워크 패킹을 수행하여 UDP 방식으로 데이터 서버에 송신하고, 상기 데이터 서버는 VOIP 데이터 서버일 수 있으며,
VOIP 데이터 서버는 제2 전자 장치에 투명적 전송하고,
제2 전자 장치는 영상 프레임을 수신 및 패킹해제하며, 영상 코덱 엔진은 영상 프레임에 대해 디코딩 처리를 수행하고, 디코딩된 영상 프레임에 대해 프레임 렌더링 및 디스플레이를 수행한다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 사용자의 사용 체험을 향상시킨다.
실시예 5
본 발명의 실시예는 전자 장치를 제공하며, 도 11에 도시된 바와 같이, 상기 전자 장치는,
적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하고, 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하는 제1 처리 유닛(1101);
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 제2 처리 유닛(1102);을 포함한다.
여기서, 상기 제1 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
상기 제2 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
이해할 것은, 본 실시예에서 제1 전자 장치가 제2 전자 장치와 통신 연결을 이루는 방식은 모바일 셀룰러망에 의해 연결을 이룰 수도 있고 IP 네트워크에 의해 연결을 이룰 수도 있다.
본 실시예에서, 상기 제1 전자 장치가 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하기 전에, 상기 제1 전자 장치는 음성 수집 유닛을 켜서 음성 수집을 수행하고 수집한 음성을 이용하여 코딩하여 음성 데이터를 얻을 수 있다. 여기서, 상기 음성 수집 유닛은 마이크로폰일 수 있다.
본 실시예와 실시예 1의 차이점은 상기 전자 장치가 상기 제2 영상 프레임을 파싱하여 적어도 하나의 이미지 정보를 얻고 상기 적어도 하나의 이미지 정보를 각각 디스플레이하는 파싱 유닛(1103)을 더 포함하고,
상기 제2 처리 유닛(1102)은 또한 적어도 하나의 제2 전자 장치에서 송신한 제2 영상 프레임을 수신하는 것이다.
여기서, 상기 제2 영상 프레임을 파싱하는 단계는 제1 전자 장치가 이미지 파싱 기능에 의해 영상 프레임을 파싱하여 하나 또는 복수 개의 이미지 정보를 얻는 것일 수 있다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 사용자의 사용 체험을 향상시킨다.
실시예 6
본 발명의 실시예는 전자 장치를 제공하며, 도 12에 도시된 바와 같이, 상기 전자 장치는,
적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하고, 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하는 제1 처리 유닛(1201);
제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 제2 처리 유닛(1202);을 포함한다.
여기서, 상기 제1 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
상기 제2 전자 장치는 스마트폰, 태블릿, 노트북 등 장치일 수 있다.
이해할 것은, 본 실시예에서 제2 전자 장치와 통신 연결을 이루는 방식은 모바일 셀룰러망에 의해 연결을 이룰 수도 있고 IP 네트워크에 의해 연결을 이룰 수도 있다.
본 실시예에서, 상기 제1 전자 장치가 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하기 전에, 상기 제1 전자 장치는 음성 수집 유닛을 켜서 음성 수집을 수행하고 수집한 음성을 이용하여 코딩하여 음성 데이터를 얻을 수 있다. 여기서, 상기 음성 수집 유닛은 마이크로폰일 수 있다.
본 실시예는 제1 전자 장치가 영상 프레임을 수집 및 송신할 수 있을 뿐만 아니라 영상 프레임을 수신 및 디스플레이할 수 있는 시나리오를 제공하며, 구체적으로, 상기 전자 장치는 적어도 하나의 이미지 정보를 수집하는 이미지 수집 유닛(1203)을 더 포함한다. 이에 상응하여, 상기 제2 처리 유닛(1202)은 구체적으로 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하는 제2 통신 상태로 스위칭되도록 제어하고, 수집된 상기 적어도 하나의 이미지 정보를 이용하여 제1 영상 프레임을 생성하고 상기 제1 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 송신한다.
또한, 상기 전자 장치는 상기 제2 영상 프레임을 파싱하여 적어도 하나의 이미지 정보를 얻고 상기 적어도 하나의 이미지 정보를 각각 디스플레이하는 파싱 유닛(1205)을 더 포함하고,
상기 제2 처리 유닛(1202)은 또한 적어도 하나의 제2 전자 장치에서 송신한 제2 영상 프레임을 수신한다.
바람직하게, 본 실시예에서, 상기 영상 프레임을 송신하는 것은, 상기 제2 처리 유닛(1202)이 영상 프레임 공유 요청을 시그널링 서버에 송신하는 것, 여기서 상기 시그널링 서버는 VOIP 시그널링 서버이거나 모바일 셀룰러망 시그널링 서버일 수 있고; 상기 시그널링 서버에 의해 상기 영상 프레임 공유 요청을 적어도 하나의 제2 전자 장치에 송신하는 것; 카메라를 켜고 적어도 하나의 이미지 정보를 수집하며, 상기 이미지 정보를 코딩하여 영상 프레임을 얻는 것; 영상 프레임을 데이터 서버에 송신하는 것, 여기서 상기 데이터 서버는 VOIP 데이터 서버이거나 모바일 셀룰러망 중의 데이터 서버일 수 있고; 상기 데이터 서버에 의해 상기 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 전송하는 것;를 포함할 수 있다.
여기서, 상기 적어도 하나의 이미지 정보를 수집하는 것은 카메라를 켜고 카메라에 의해 주기적으로 이미지 정보를 수집하여 적어도 하나의 이미지 정보를 얻는 것일 수 있다. 여기서, 상기 주기는 카메라의 성능에 따라 설정될 수 있으며 예를 들어 10ms마다 한번 이미지 정보를 수집하도록 설정될 수 있다.
또는, 상기 적어도 하나의 이미지 정보를 수집하는 것은 카메라를 켜고 이미지 촬영을 진행하여 한 장의 이미지만 수집하고 상기 이미지를 영상 프레임으로 하는 것일 수 있다.
상기 전자 장치는 제1 터치 동작 영역에 대한 동작 시간이 제1 임계치보다 큰 터치 동작을 검출하면, 제1 동작을 검출한 것으로 확정하고, 상기 제1 터치 동작 영역에 대한 터치 동작을 취소한 것을 검출하면, 제2 동작을 검출한 것으로 확정하는 터치 검출 유닛(1204)을 더 포함한다.
여기서, 상기 제1 터치 동작 영역은 실제 정황에 따라 설정한 터치 동작을 검출하는 터치 포인트 또는 터치 동작을 검출하는 사전에 설정된 영역일 수 있다. 여기서, 상기 터치 포인트는 적어도 터치 포인트의 횡좌표 및 종좌표를 포함할 수 있고, 상기 사전에 설정된 영역은 적어도 당해 영역의 왼쪽 아랫 부분의 종횡좌표 및 오른쪽 윗부분의 종횡좌표를 포함한다.
또한, 상기 제1 터치 동작 영역의 표현 형식은 도 3에 도시된 바와 같이 제1 전자 장치에 디스플레이된 하나의 가상 버튼(31)일 수 있다.
상기 동작 지속시간은 사용자가 상기 제1 터치 동작 영역을 클릭하는 지속시간일 수 있다. 다시 말하면, 사용자가 상기 제1 터치 동작 영역을 클릭하여 카메라가 켜지도록 제어하고 카메라에 의해 적어도 하나의 이미지 정보를 수집하여 상기 적어도 하나의 이미지를 영상 프레임으로 하기 시작해서 사용자가 제1 터치 동작 영역을 클릭하는 동작을 취소한 것을 검출할 때까지이다.
또한, 상기 제2 처리 유닛(1202)은 구체적으로 영상 프레임을 상기 적어도 하나의 제2 전자 장치 중의 모든 제2 전자 장치에 송신하거나, 또는,
상기 제2 처리 유닛(1202)은 구체적으로 상기 적어도 하나의 제2 전자 장치 중에서 타겟 제2 전자 장치를 선택하고 상기 영상 프레임을 상기 타겟 제2 전자 장치에 송신한다.
다시 말하면, 제1 전자 장치가 복수 개의 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태 후에 제2 통신 상태로 스위칭되면, 수집된 이미지를 모든 제2 전자 장치에 송신하는 것을 선택할 수도 있고 복수 개의 전자 장치에서 하나의 타겟 장치를 선택하여 이미지를 선택한 타겟 장치에 송신할 수도 있다.
상기 전자 장치는 음성 데이터를 수집하면, 음성 데이터에 타임 스탬프를 추가하는 음성 수집 유닛(1206)을 더 포함하고,
상기 이미지 수집 유닛(1203)은 구체적으로 영상 프레임을 수집하면, 수집된 영상 프레임에 대응하는 타임 스탬프를 추가한다.
상기 제1 처리 유닛(1201)은 구체적으로 음성 데이터 중의 음성 및 타임 스탬프를 파싱하며, 파싱하여 얻은 타임 스탬프에 따라 음성 데이터 출력을 제어한다. 상기 파싱 유닛(1205)은 구체적으로 영상 프레임 및 대응하는 타임 스탬프를 파싱하며, 파싱하여 얻은 타임 스탬프에 따라 영상 프레임 출력을 제어한다.
보다시피, 상술한 방안을 적용하면, 사용자가 제1 통신 상태일 때 음성 데이터만 인터랙션하고, 제1 동작에 응답하여 제2 통신 상태로 스위칭되도록 전자 장치를 제어하여 음성 데이터를 전송할 뿐만 아니라 현재 수집한 영상 프레임을 공유하며, 제2 동작에 응답하여 전자 장치를 다시 제1 통신 상태로 스위칭할 수 있다. 이와 같이, 사용자가 음성 통신 인터랙션을 할 때 영상 프레임의 인터랙션 타이밍을 유연하게 제어할 수 있으므로, 통신시 영상 프레임 및 음성 데이터의 지속적인 전송으로 인해 점용되는 서버의 처리 자원을 감소시켜 사용자의 사용 체험을 향상시킨다.
본원에서 제공한 몇몇 실시예에서, 개시된 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해하여야 한다. 이상에서 설명한 장치 실시예는 단지 예시적인 것이다. 예를 들어, 상기 유닛의 구분은 단지 논리 기능적 구분이며 실제 구현시 다른 구분 방식이 있을 수 있다. 예를 들어, 복수 개의 유닛 또는 컴포넌트는 결합되거나 다른 한 시스템에 집적되거나 일부 특징을 간략하거나 수행하지 않을 수 있다. 또한, 나타내거나 토론한 각 구성요소 상호 간의 커플링, 직접적 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접적 커플링 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형식일 수 있다.
상기 분리된 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수도 있으며, 유닛으로 표현된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 한 곳에 위치하거나 복수 개 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 그중의 일부 또는 모든 유닛을 선정하여 본 실시예에 따른 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예 중의 각 기능 유닛은 모든 하나의 처리 모듈에 집적되거나 각 유닛이 각각 단독으로 하나의 유닛으로 되거나 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 집적될 수도 있다. 상기 집적된 유닛은 하드웨어의 형식을 적용하여 구현될 수도 있고 하드웨어 플러스 소프트웨어 기능 유닛의 형식으로 구현될 수도 있다.
본 분야의 통상의 기술자는 상술한 방법 실시예를 구현하는 전부 또는 일부 단계가 프로그램 명령과 관련된 하드웨어에 의해 완성될 수 있고 전술한 프로그램은 컴퓨터 판독 가능한 저장매체에 저장될 수 있으며, 상기 프로그램은 수행시 상술한 방법 실시예를 포함하는 단계를 수행하며; 전술한 저장매체는 모바일 저장 장치, 읽기 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 디스켓 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 각종 매체를 포함하는 것임을 이해할 수 있다.
본 실시예는 상술한 장치 실시예를 기반으로 하나의 구체적인 하드웨어를 제공하며, 전자 장치는 적어도 프로세서, 메모리, 마이크로폰 및 카메라를 포함한다.
여기서, 상기 프로세서는 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 전자 장치를 제어하고, 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하며, 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어한다.
상술한 것은 본 발명의 구체적인 실시방식일 뿐, 본 발명의 보호범위가 이에 한정되는 것은 아니며, 이 기술분야에서 통상의 기술을 가진 자라면 본 발명이 개시한 기술적 범위 내에서 변경과 교체를 용이하게 생각할 수 있으며 이러한 변경과 교체는 모두 본 발명의 보호범위에 포함되어야 한다. 따라서, 본 발명의 보호범위는 특허청구범위를 기준으로 해야 한다.
21: 제1 전자 장치
31: 가상 버튼
91: 인터페이스
221: 제2 전자 장치
222: 제2 전자 장치
1001: 제1 처리 유닛
1002: 제2 처리 유닛
1003: 이미지 수집 유닛
1004: 터치 검출 유닛
1101: 제1 처리 유닛
1102: 제2 처리 유닛
1103: 파싱 유닛
1201: 제1 처리 유닛
1202: 제2 처리 유닛
1203: 이미지 수집 유닛
1204: 터치 검출 유닛
1205: 파싱 유닛

Claims (15)

  1. 제1 전자 장치에 적용되는 통신 처리 방법에 있어서,
    적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 제1 전자 장치를 제어하는 단계;
    제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계; 및
    제2 동작에 응답하여, 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하는 단계;
    를 포함하는 통신 처리 방법.
  2. 청구항 1에 있어서,
    상기 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하는 단계는,
    제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하는 제2 통신 상태로 스위칭되도록 제어하는 단계;
    적어도 하나의 영상 프레임을 수집하고, 상기 적어도 하나의 영상 프레임을 상기 적어도 하나의 제2 전자 장치에 송신하는 단계;를 포함하는, 통신 처리 방법.
  3. 청구항 2에 있어서,
    상기 제1 동작에 응답하기 전에, 상기 방법은 제1 터치 동작 영역에 대한 동작 시간이 제1 임계치보다 큰 터치 동작을 검출하면, 제1 동작을 검출한 것으로 확정하는 단계를 더 포함하고,
    상기 제2 동작에 응답하기 전에, 상기 방법은 상기 제1 터치 동작 영역에 대한 터치 동작을 취소한 것을 검출하면, 제2 동작을 검출한 것으로 확정하는 단계를 더 포함하는, 통신 처리 방법.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 단계는,
    적어도 하나의 제2 전자 장치에서 송신한 적어도 하나의 영상 프레임을 수신하는 단계;
    적어도 하나의 제2 전자 장치에서 송신한 상기 적어도 하나의 영상 프레임을 파싱하는 단계;를 포함하는, 통신 처리 방법.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 단계는,
    적어도 하나의 영상 프레임을 상기 적어도 하나의 제2 전자 장치 중의 모든 제2 전자 장치에 송신하는 단계; 또는,
    상기 적어도 하나의 제2 전자 장치 중에서 타겟 제2 전자 장치를 선택하고 상기 적어도 하나의 영상 프레임을 상기 타겟 제2 전자 장치에 송신하는 단계를 포함하는, 통신 처리 방법.
  6. 청구항 4에 있어서,
    음성 데이터를 수집하면, 음성 데이터에 타임 스탬프를 추가하는 단계;
    영상 프레임을 수집하면, 수집된 영상 프레임에 대응하는 타임 스탬프를 추가하는 단계;를 더 포함하는, 통신 처리 방법.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 제2 전자 장치에서 송신한 상기 적어도 하나의 영상 프레임을 파싱하는 단계는,
    음성 데이터 중의 음성 및 타임 스탬프를 파싱하는 단계;
    영상 프레임 및 이에 대응하는 타임 스탬프를 파싱하는 단계; 및
    파싱하여 얻은 타임 스탬프에 따라 음성 데이터 및 영상 프레임의 출력을 제어하는 단계;를 포함하는, 통신 처리 방법.
  8. 전자 장치에 있어서,
    적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 제1 전자 장치를 제어하고, 제2 동작에 응답하여 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하도록 구성되는 제1 처리 유닛;
    제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하도록 구성되는 제2 처리 유닛;
    을 포함하는 전자 장치.
  9. 청구항 8에 있어서,
    적어도 하나의 영상 프레임을 수집하도록 구성되는 이미지 수집 유닛을 더 포함하며,
    상기 제2 처리 유닛은, 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하는 제2 통신 상태로 스위칭되도록 제어하고, 상기 적어도 하나의 영상 프레임을 상기 적어도 하나의 제2 전자 장치로 송신하도록 구성되는, 전자 장치.
  10. 청구항 9에 있어서,
    제1 터치 동작 영역에 대한 동작 시간이 제1 임계치보다 큰 터치 동작을 검출하면, 제1 동작을 검출한 것으로 확정하고, 상기 제1 터치 동작 영역에 대한 터치 동작을 취소한 것을 검출하면, 제2 동작을 검출한 것으로 확정하도록 구성되는 터치 검출 유닛을 더 포함하는, 전자 장치.
  11. 청구항 9 또는 청구항 10에 있어서,
    적어도 하나의 제2 전자 장치에서 송신한 적어도 하나의 영상 프레임을 파싱하도록 구성되는 파싱 유닛을 더 포함하며,
    상기 제2 처리 유닛은 적어도 하나의 제2 전자 장치에서 송신한 적어도 하나의 영상 프레임을 수신하도록 구성되는, 전자 장치.
  12. 청구항 9에 있어서,
    상기 제2 처리 유닛은 적어도 하나의 영상 프레임을 상기 적어도 하나의 제2 전자 장치 중의 모든 제2 전자 장치에 송신하도록 구성되거나; 또는,
    상기 제2 처리 유닛은 상기 적어도 하나의 제2 전자 장치 중에서 타겟 제2 전자 장치를 선택하고 상기 적어도 하나의 영상 프레임을 상기 타겟 제2 전자 장치에 송신하도록 구성되는, 전자 장치.
  13. 청구항 11에 있어서,
    음성 데이터를 수집하면, 음성 데이터에 타임 스탬프를 추가하는 음성 수집 유닛을 더 포함하고,
    상기 이미지 수집 유닛은 영상 프레임을 수집하면, 수집된 영상 프레임에 대응하는 타임 스탬프를 추가하도록 구성되는, 전자 장치.
  14. 청구항 13에 있어서,
    상기 제1 처리 유닛은 음성 데이터 중의 음성 및 타임 스탬프를 파싱하며, 파싱하여 얻은 타임 스탬프에 따라 음성 데이터 출력을 제어하도록 구성되고,
    상기 파싱 유닛은 영상 프레임 및 대응하는 타임 스탬프를 파싱하며, 파싱하여 얻은 타임 스탬프에 따라 영상 프레임 출력을 제어하도록 구성되는, 전자 장치.
  15. 전자 장치에 있어서,
    프로세서, 메모리, 마이크로폰 및 카메라를 포함하되,
    상기 메모리는, 수행 시 적어도 하나의 프로세서가 동작을 수행하도록 하는 한 세트의 명령을 저장하도록 구성되고,
    상기 프로세서는, 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 진행하는 제1 통신 상태가 되도록 상기 전자 장치를 제어하고, 제1 동작에 응답하여, 제1 통신 상태로부터 상기 적어도 하나의 제2 전자 장치와 음성 데이터 인터랙션을 유지하면서 적어도 하나의 제2 전자 장치와 영상 프레임을 공유하는 제2 통신 상태로 스위칭되도록 제어하며, 제2 동작에 응답하여 상기 제2 통신 상태로부터 제1 통신 상태로 스위칭되도록 제어하도록 구성되는,
    전자 장치.
KR1020177034253A 2015-08-05 2016-07-21 통신 처리 방법 및 전자 장치 KR102110644B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510474631.1A CN105187758B (zh) 2015-08-05 2015-08-05 一种通信处理方法及电子设备
CN201510474631.1 2015-08-05
PCT/CN2016/090811 WO2017020711A1 (zh) 2015-08-05 2016-07-21 一种通信处理方法及电子设备

Publications (2)

Publication Number Publication Date
KR20170140369A true KR20170140369A (ko) 2017-12-20
KR102110644B1 KR102110644B1 (ko) 2020-06-26

Family

ID=54909581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177034253A KR102110644B1 (ko) 2015-08-05 2016-07-21 통신 처리 방법 및 전자 장치

Country Status (4)

Country Link
JP (1) JP2018515979A (ko)
KR (1) KR102110644B1 (ko)
CN (1) CN105187758B (ko)
WO (1) WO2017020711A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187758B (zh) * 2015-08-05 2019-01-29 腾讯科技（深圳）有限公司 一种通信处理方法及电子设备
CN108712577B (zh) * 2018-08-28 2021-03-12 维沃移动通信有限公司 一种通话模式切换方法及终端设备
CN111212452B (zh) * 2020-01-13 2022-05-17 海能达通信股份有限公司 语音通信的越区切换方法、通信系统、终端和存储介质
CN113301289B (zh) * 2020-02-21 2023-04-11 深圳市万普拉斯科技有限公司 通信处理方法、装置、电子设备和存储介质
CN111726561B (zh) * 2020-06-17 2022-07-08 千脉文化传媒(上海)有限公司 异终端同账号的会议方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103813A (ko) * 2007-05-25 2008-11-28 삼성전자주식회사 이동통신 단말기 및 그의 화상 통화 방법
KR20090013392A (ko) * 2007-08-01 2009-02-05 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 영상 통화 방법
KR20140070134A (ko) * 2012-11-30 2014-06-10 엘지전자 주식회사 이동 단말기 및 그 동작 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0964777A (ja) * 1995-08-24 1997-03-07 Hitachi Ltd 無線映像信号送受信装置
JP2007318283A (ja) * 2006-05-24 2007-12-06 Konica Minolta Holdings Inc パケット通信システム、データ受信機器
CN101489309B (zh) * 2008-01-18 2011-03-30 希姆通信息技术（上海）有限公司 实现视频共享业务的方法和双模双待终端
CN101426246A (zh) * 2008-12-04 2009-05-06 中兴通讯股份有限公司 可视电话和语音电话的切换方法和装置
CN102026162A (zh) * 2009-09-15 2011-04-20 中兴通讯股份有限公司 一种发起视频辅助语音通话的方法和系统
KR101960306B1 (ko) * 2012-07-13 2019-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
WO2014168030A1 (ja) * 2013-04-11 2014-10-16 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 通信端末及び通信方法
CN104539871B (zh) * 2014-12-22 2019-03-15 小米科技有限责任公司 多媒体通话方法及装置
CN105187758B (zh) * 2015-08-05 2019-01-29 腾讯科技（深圳）有限公司 一种通信处理方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103813A (ko) * 2007-05-25 2008-11-28 삼성전자주식회사 이동통신 단말기 및 그의 화상 통화 방법
KR20090013392A (ko) * 2007-08-01 2009-02-05 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 영상 통화 방법
KR20140070134A (ko) * 2012-11-30 2014-06-10 엘지전자 주식회사 이동 단말기 및 그 동작 방법

Also Published As

Publication number Publication date
KR102110644B1 (ko) 2020-06-26
JP2018515979A (ja) 2018-06-14
CN105187758A (zh) 2015-12-23
WO2017020711A1 (zh) 2017-02-09
CN105187758B (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
KR20170140369A (ko) 통신 처리 방법 및 전자 장치
US9100200B2 (en) Video augmented text chatting
JP2019505117A5 (ko)
CN106713127B (zh) 即时聊天记录的获取及处理方法和装置
KR101650368B1 (ko) 네트워크 환경에 기초하는 영상화질의 조정방법, 장치, 프로그램 및 기록매체
CN105430317B (zh) 一种视频背景设置方法及终端设备
WO2016062170A1 (zh) 救援处理方法及装置
WO2022135005A1 (zh) 一种基于通话的屏幕共享方法、装置、设备及存储介质
US20230138804A1 (en) Enhanced video call method and system, and electronic device
US11444992B2 (en) Method and apparatus for communication processing
CN112044055A (zh) 图像数据采集方法、系统、装置、电子设备及存储介质
US9277174B2 (en) Information processing apparatus, information processing method and information processing program
CN108574689B (zh) 一种可视通话的方法和装置
CN110198477A (zh) 一种线下弹幕的交互方法、弹幕服务端及交互系统
US9485458B2 (en) Data processing method and device
KR101728271B1 (ko) 정보 조회 방법, 장치, 프로그램 및 기록매체
KR100631624B1 (ko) 휴대폰의 프라이버시 정보 처리방법
CN114915852A (zh) 视频通话交互方法、装置、计算机设备和存储介质
CN107395895B (zh) 解锁方法及装置、电子设备
CN109815030B (zh) 通信方法及装置
CN115361365B (zh) 基于视频流的处理方法及相关装置
CN110475302A (zh) 一种语音业务处理方法及终端设备
CN110007982B (zh) 通信方法及装置
CN109041101B (zh) Wifi断流处理方法、终端、服务器及存储介质
CN109561081B (zh) 移动终端视频会议方法、装置及存储介质、服务器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant