KR102056633B1 - 다자간 영상 통화 단말기 및 그의 ui 운용 방법 - Google Patents

다자간 영상 통화 단말기 및 그의 ui 운용 방법 Download PDF

Info

Publication number
KR102056633B1
KR102056633B1 KR1020130025277A KR20130025277A KR102056633B1 KR 102056633 B1 KR102056633 B1 KR 102056633B1 KR 1020130025277 A KR1020130025277 A KR 1020130025277A KR 20130025277 A KR20130025277 A KR 20130025277A KR 102056633 B1 KR102056633 B1 KR 102056633B1
Authority
KR
South Korea
Prior art keywords
image
area
video call
speaker
person
Prior art date
Application number
KR1020130025277A
Other languages
English (en)
Other versions
KR20140110631A (ko
Inventor
김건수
양홍석
유나겸
황형석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130025277A priority Critical patent/KR102056633B1/ko
Priority to EP14158026.6A priority patent/EP2775704B1/en
Priority to US14/199,446 priority patent/US9509946B2/en
Priority to CN201410085814.XA priority patent/CN104038723A/zh
Publication of KR20140110631A publication Critical patent/KR20140110631A/ko
Application granted granted Critical
Publication of KR102056633B1 publication Critical patent/KR102056633B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Abstract

본 발명에 따른 다자간 영상 통화 단말기 및 그의 UI 운용 방법은, 다자간 영상 통화가 개시되면, 제1 카메라 및 제2 카메라를 구동하는 단계; 상기 제1 카메라 및 제2 카메라로부터 수집된 제1 영상 및 제2 영상이 겹쳐지지 않게 배치되는 다자간 영상 통화 화면을 출력하는 단계; 및 상기 다자간 영상 통화 화면의 출력 영상에서 화자 인물이 검출된 경우, 상기 화자 인물 영상과 다른 인물영상을 구별되게 출력하는 단계를 포함한다.

Description

다자간 영상 통화 단말기 및 그의 UI 운용 방법{The conference call terminal and method for operating a user interface thereof}
본 발명은 다자간 영상 통화 단말기의 UI 운용 방법 및 장치 및 장치에 관한 것으로, 특히, 듀얼 카메라를 구비하는 다자간 영상 통화 단말기 및 그의 UI 운용 방법에 관한 것이다.
통신 기술이 발달됨에 따라, 휴대 단말기 예컨대, 스마트폰, 태블릿 PC 등이 널리 보급되고 있다. 휴대단말기는 음성 통화, 문자 통화, 영상 통화 서비스 이외에 다양한 기능들을 새롭게 부가하여 사용자 기능을 통합적으로 제공하고 있다.
특히, 영상 통화 서비스는 사용자 간의 서로 영상과 음성을 동시에 제공하는 서비스로서, 발신자의 이동 통신단말기에서 음성/영상 신호를 수신자에게 전송하면, 수신자는 발신자가 전송한 영상/음성 신호를 자신의 이동 단말기에서 수신하여 발신자의 통화 내용을 보고, 듣는 방식이다.
최근 이동통신 기술의 발전과 이동 단말기의 사양이 높아짐에 따라 영상 통화 서비스가 많은 사용자들에 의해 이용되고 있다. 영상 통화 시 휴대 단말기는 카메라를 통해 입력된 사용자의 영상 및 마이크를 통해 입력된 사용자의 음성을 획득하여 상대방 휴대 단말기로 전송하며, 상대방 휴대 단말기로부터 수신된 영상은 표시부에 출력하고, 음성은 스피커를 통해 출력한다. 그런데, 휴대 단말기의 제한적인 크기로 인하여 영상 통화를 하는데 있어서, 하나의 휴대 단말기를 이용해 여러 명이 동시에 영상 통화를 하기가 어려운 문제점이 있다.
일반적으로, 영상 통화의 경우, 휴대 단말기 전면에 부착된 전면 카메라가 이용되고 있다. 즉, 영상 통화 시 전면 카메라 또는 후면 카메라 등 하나의 카메라만을 이용하고 있어, 카메라를 통해 인식될 수 있는 사용자가 제한적일 수밖에 없는 단점이 있다. 여러 사람이 하나의 휴대단말기를 이용하여 통화하기 위해서는, 휴대 단말기를 이동시켜 가면서 카메라를 통해 통화 대상자의 얼굴을 표시부에 출력해야 한다. 또한, 하나의 카메라를 이용해 여러 명의 사용자가 휴대 단말기의 작은 화면 상에 출력하더라도 화자가 누구인지 식별하기 어려운 문제점이 있다.
본 발명은 영상 통화에 있어서, 제1 및 제2 카메라를 구동시켜 다 수의 인물과 동시에 영상 통화를 수행할 수 있도록 제어하는 다자간 영상 통화 단말기 및 그의 UI 운용 방법을 제공하는 데 그 목적이 있다.
또한, 본 발명은 다자간 영상 통화 시 화자 인물을 인식하여 대화에 참여하는 사람과 대화에 참여하지 않는 사람을 구별하여 표시하는 다자간 영상 통화 단말기 및 그의 UI 운용 방법을 제공하는 데 그 목적이 있다.
본 발명에 따른 다자간 영상 통화 단말기의 UI 운용 방법은, 다자간 영상 통화가 개시되면, 제1 카메라 및 제2 카메라를 구동하는 단계; 상기 제1 카메라를 통해 단말기의 전면 방향에 있는 인물들의 제1 영상을 수집하고, 상기 제2 카메라를 통해 상기 단말기의 후면 방향에 있는 인물들의 제2 영상을 수집하고, 상대방 단말기로부터 상대방 영상을 수집하는 단계; 상기 제1 영상, 상기 제2 영상 및 상기 상대방 영상이 겹쳐지지 않게 배치되는 다자간 영상 통화 화면을 출력하는 단계; 상기 다자간 영상 통화 화면의 출력 영상에서 화자 영역을 검출하는 단계; 및 상기 제1 영상 및 상기 제2 영상에 화자 영역 및 비화자 영역이 포함된 경우, 상기 출력 영상에서 상기 화자 영역과 비화자 영역을 구분하여 출력하는 단계를 포함하되, 상기 화자 영역은 하이라이트로 표시되고, 상기 비화자 영역은 그레이로 표시될 수 있다.
본 발명에 따른 다자간 영상 통화 단말기는, 단말기의 전면 방향에 있는 인물들의 제1 영상을 수집하는 제1 카메라; 상기 단말기의 후면 방향에 있는 인물들의 제2 영상을 수집하는 제2 카메라; 오디오 신호를 수집하고 출력하는 오디오 처리부; 영상 및 음성 신호를 송수신하는 무선 통신부; 다자간 영상 통화가 개시되면, 상기 제1 카메라 및 상기 제2 카메라를 구동하여 상기 제1 영상 및 상기 제2 영상을 수집하고, 상기 무선 통신부를 통해 상대방 단말기로부터 상대방 영상을 수집하고, 상기 제1 영상, 상기 제2 영상 및 상기 상대방 영상이 겹쳐지지 않게 배치되는 다자간 영상 통화 화면을 출력하고, 상기 다자간 영상 통화 화면의 출력 영상에서 화자 영역을 검출하는 제어부; 및 상기 제1 영상 및 상기 제2 영상에 화자 영역 및 비화자 영역이 포함된 경우, 상기 출력 영상에서 상기 화자 영역과 비화자 영역을 구분하여 하는 표시부를 포함하되, 상기 화자 영역은 하이라이트로 표시되고, 상기 비화자 영역은 그레이로 표시될 수 있다.
본 발명은 다자간 영상 통화 시 전면 카메라 및 후면 카메라를 통해 다수 인물들의 영상을 수집하고, 수집된 영상 중 화자(話者)를 다른 인물과 구별하여 표시할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다자간 영상 통화 단말기의 구성을 설명하기 위해 나타내 보인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다자간 영상 통화 단말기의 UI 운용 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 제1 실시예에 따른 다자간 영상 통화 화면 UI를 설명하기 위한 예시도들이다.
도 4는 본 발명의 제1 실시예에 따른 화자 표시 방법을 설명하기 위한 화면이다.
도 5는 본 발명의 제2 실시예에 따른 화자 표시 방법을 설명하기 위한 화면이다.
도 6은 본 발명의 제2 실시예에 따른 휴대 단말기의 다자간 영상 통화 화면 UI의 예시도이다.
도 7은 본 발명의 제3 실시예에 따른 휴대 단말기의 다자간 영상 통화 화면 UI의 예시도이다.
이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 메시지 관리 방법 및 장치에 대해서 상세하게 설명한다. 본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
본 발명에 따른 듀얼 카메라를 구비하는 다자간 영상 통화 단말기는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드헬드(hand-held) PC, 등 카메라와 통신 기능을 구비한 모든 종류의 정보 통신 기기가 될 수 있음은 자명하다. 또한, 본 발명에 따른 영상 통화 장치는 여러 태스트(task)를 동시에 수행할 수 있는 멀티 태스킹(Multi Tasking) 기능을 구비할 수 있다. 이하에서는 영상 통화 단말기가 스마트폰에 해당하는 것으로 가정하여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다.
도 1을 참조하면, 본 발명에 다른 휴대 단말기(100)는, 터치 패널(111)과 표시부(112)로 구성된 터치스크린(110), 키 입력부(120), 무선통신부(130), 오디오 처리부(140), 제1 카메라(150), 제2 카메라(155), 저장부(160) 및 제어부(170)를 포함하여 이루어질 수 있다.
터치스크린(110)은 터치 패널(111) 및 표시부(112)를 포함한다. 터치스크린은 사용자 기능 실행에 따른 화면을 표시하고, 사용자 기능 제어 관련 터치 이벤트를 감지한다. 본 발명에 따른 터치스크린은 투명 터치스크린일 수 있으나, 이에 한정하는 것은 아니다.
터치 패널(111)은 표시부(112)에 안착(place on)된다. 구체적으로, 터치 패널(111)은 표시부(112) 전면에 위치하는 애드 온 타입(add-on type)이나 표시부(112) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다. 터치스크린의 크기는 터치 패널의 크기로 결정될 수 있다. 터치 패널(111)은 터치 패널(111)에 대한 사용자 입력정보(예컨대, 사용자제스처)에 응답하여 아날로그 신호(예, 터치 이벤트)를 발생하고, 아날로그 신호를 A/D 변환하여 제어부(170)로 전달한다. 여기서, 터치 이벤트는 터치 좌표(X, Y) 정보를 포함한다. 제어부(170)는 터치스크린(110)으로부터 터치 이벤트가 수신될 경우, 터치 기구(예, 손가락이나 펜)가 터치스크린(110)에 터치된 것으로 결정하고, 터치스크린(110)으로부터 터치이벤트가 수신되지 않을 경우 터치 해제된 것으로 결정한다. 또한, 제어부(170)는 터치 좌표가 변화된 경우, 터치가 이동한 것으로 결정하고, 터치의 이동에 응답하여 터치의 위치 변화량 및 터치의 이동 속도 등을 산출한다. 제어부(170)는 터치 좌표, 터치의 해제 여부, 터치의 이동 여부, 터치의 위치 변화량 및 터치의 이동 속도 등을 기반으로 사용자 제스처를 구분한다. 사용자 제스처는 터치(touch), 멀티 터치(multi touch), 탭(Tap), 더블 탭(Double Tap), 롱 탭(Long tap), 탭 앤 터치(Tap & touch), 드래그(Drag), 플릭(Flick), 프레스(Press), 롱 프레스(long press), 핀치인(pinch in) 및 핀치아웃(pinch out) 등을 포함할 수 있다. 또한, 터치스크린은 압력 센서를 구비하여 터치된 지점의 압력을 감지할 수 있다. 감지된 압력 정보는 제어부로 전달되어 터치와 프레스를 구분한다. 터치 패널(111)은 저항막 방식(resistive type), 정전용량 방식(capacitive type) 및 전자유도 방식(electromagnetic induction type) 등이 적용될 수 있다.
표시부(112)은 제어부(170)의 제어 하에, 제어부(170)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 즉, 표시부(112)은 휴대 단말기의 이용에 따른 다양한 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(이하 줄여 “앱(App)”이라 한다) 실행 화면, 메뉴 화면, 키패드 화면, 메시지 작성 화면, 인터넷 화면 등을 제공할 수 있다. 표시부(112)은 액정 표시 장치(Liquid Crystal Display: LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode), 플렉서블 디스플레이(Flexible display), 투명 디스플레이(Transparent display) 등의 형태로 형성될 수 있다. 여기서, 표시부가 투명 디스플레이 형태로 형성된 경우, 표시부를 구성하는 구성 요소들 예를 들어, 액정 패널, 편광판 및 백라이트 유닛 등은 모두 투명하다. 표시부가 플렉서블 형태로 형성된 경우, 유연성이 부여된 플라스틱 필름 또는 금속 호일로 대체될 수 있다.
본 발명에 따른 표시부(110)는 제어부(170)의 제어 하에, 다자간 영상 통화 시 제1 카메라로부터 수집된 제1 영상 및 제2 카메라로부터 수집된 제1 영상을 겹쳐지지 않게 배치하여 출력하는 다자간 영상 통화 화면 인터페이스를 제공할 수 있다. 또한, 본 발명에 따른 표시부(112)는 제어부의 제어 하에, 특정 인물 영상 즉, 화자 영상을 다른 인물 영상과 구별하여 표시한다. 예컨대, 표시부(112)는 제어부의 제어 하에, 화자 인물 영상을 아이콘, 색상, 명도, 효과 중 적어도 하나를 화자 인물 영상과, 말을 하지 않는 인물 영상이 구별되게 그래픽 처리하여 표시한다. 예를 들어, 화자 인물은 하이라이트(highlight) 처리하여 표시하고, 말을 하지 않는 인물 영상은 그레이(gray)처리하여 표시할 수 있다. 또한, 표시부(112)는 화자 인물을 별도의 영상으로 추출하여 별도의 표시 영역에 출력할 수 있다. 특히, 본 발명에 따른 표시부는 다자간 영상 통화를 위해 가로모드의 영상 통화 화면 UI(User Interface)를 제공할 수 있다. 영상 통화 화면 UI에 대해서는 도 4 내지 도 8을 참조하여 보다 상세히 설명하기로 한다.
키 입력부(120)는 숫자 또는 문자 정보를 입력받고, 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 키 입력부(120)는 사용자 설정 및 휴대 단말기(100)의 기능 제어와 관련한 키 신호를 생성하여 제어부(170)로 전달한다. 키 신호는 전원 온/오프 신호, 볼륨 조절 신호, 화면 온/오프 신호 등으로 구분될 수 있다. 제어부(170)는 이러한 키 신호에 응답하여 상기한 구성들을 제어할 수 있다. 또한, 또한 키 입력부(120)는 다수 개의 키들을 포함하는 쿼티 키패드, 3*4 키패드, 4*3 키패드 등을 포함할 수 있다. 그리고 키 입력부(120)는 휴대 단말기(100)의 터치 패널(111)이 풀 터치스크린 형태로 지원된 경우, 휴대 단말기(100)의 케이스 측면에 형성되는, 화면 온/오프 및 휴대 단말기 온/오프 등을 위한 적어도 하나의 사이드 키만을 포함할 수도 있다.
무선 통신부(130)는 휴대 단말기의 통신을 수행한다. 무선 통신부(130)은 지원 가능한 이동 통신 네트워크가 설정된 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신 등과 같은 통신을 수행한다. 무선통신부(130)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한 무선 통신부(130)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5세대(3.5-Generation) 이동통신모듈 또는 4세대(4-Generation) 이동통신모듈 등), 및 디지털 방송 모듈(예컨대, DMB 모듈)을 포함할 수 있다.
오디오 처리부(140)는 제어부(170)로부터 입력받은 음성 등의 오디오 데이터를 DA(Digital to Analog) 변환하여 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력받은 음성 등의 오디오 데이터를 AD(Analog to Digital) 변환하여 제어부(170)로 전달한다. 오디오 처리부(140)는 코덱(codec; coder/decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오 처리부(140)는 수신되는 디지털 오디오신호를 오디오 코덱을 통해 아날로그 신호로 변환하여 스피커를 통해 재생한다. 오디오 처리부(140)는 마이크로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오신호로 변환하여 제어부(170)로 전달한다.
제1 카메라(150) 및 제2 카메라(155)는 촬영을 통하여 수집 영상을 제공한다. 여기서, 제1 카메라(150)와 제2 카메라(155) 중 하나가 휴대 단말기의 일측에 배치된 경우, 다른 하나는 타측에 배치된다. 예를 들어, 제1 카메라(150)는 휴대 단말기 후면에 장착되는 후면 카메라로서 고해상도의 이미지로 피사체의 영상을 촬영할 수 있다. 이에 반해 제2 카메라(155)는 휴대 단말기의 전면에 장착되는 전면 카메라로서, 제1 카메라(150)에 비해 상대적으로 낮은 저해상도 이미지로 촬영자의 영상을 촬영할 수 있다. 제1 카메라(150) 및 제2 카메라(155)는 터치스크린(110) 또는 키 입력부(120)에서 발생하는 신호에 따라 활성화되어 영상을 수집할 수 있다.
본 발명에서 제1 카메라(150) 및 제2 카메라(155)는 입력된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 카메라 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 영상처리 장치(Image Signal Processor) 및 영상처리 장치에서 출력되는 디지털 데이터를 터치스크린에 표시하기 위해 비디오 신호를 영상 처리(예, 크기 조정(scaling), 잡음 제거, RCG 신호 변환 등) 하는 신호처리장치(Digital Signal Processor) 등을 포함할 수 있다. 여기서, 카메라 센서는 CCD(Charge-coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 사용될 수 있고, 신호 처리장치는 구성이 생략되고, DSP로 구현될 수도 있다.
저장부(160)는 휴대 단말기(100)의 운영체제(OS;Operating System) 및 다양한 어플리케이션(이하, 앱)을 비롯하여, 휴대 단말에서 생성되는 다양한 데이터 등을 저장한다. 데이터는 휴대 단말기의 어플리케이션 (이하, 앱) 실행에 발생하는 데이터 및 휴대단말을 이용하여 생성하거나 외부(예컨대, 외부 서버, 다른 휴대 단말, 개인용 컴퓨터)로부터 수신하여 저장 가능한 모든 형태의 데이터들을 포함할 수 있다. 저장부(160)는 휴대 단말기에서 제공되는 사용자 인터페이스 및 휴대 단말기 기능 처리에 대한 다양한 설정 정보를 저장할 수 있다.
제어부(170)는 다자간 영상 통화 단말기의 전반적인 동작 및 다자간 영상 통화 단말기의 내부 블록들 간의 신호 흐름을 제어한다. 다자간 영상 통화가 개시되면, 제어부(170)는 수집되는 영상들을 기반으로 가로 모드의 다자간 영상 통화 화면 UI를 구성한다. 제어부(170)는 다자간 영상 통화가 개시되면, 제1 카메라(150) 및 제2 카메라(155)를 구동하여 제1 영상 및 제2 영상을 수집하고, 제1 영상 및 제2 영상이 겹쳐지지 않게 배치되는 다자간 영상 통화 화면을 구성한다. 제어부(170)는 상대방 단말기로부터 상대방 영상이 수신되면, 상대방 영상 및 영상정보를 기반으로 현재 출력되고 있는 다자간 영상 통화 화면을 갱신하여 상대방 영상이 출력되도록 제어한다.
제어부(170)는 다자간 영상 통화 화면에서 출력되는 영상에서 인물 영상들을 추출하고, 추출된 인물 영상 중에서 화자 영상을 결정하는 기능을 수행한다. 제어부(10)는 다자간 영상 통화 화면에서 화자 인물 영상을 하이라이트 처리하여 출력하거나, 화자 인물 영상을 별도의 영상 프레임으로 출력하도록 제어하는 기능을 수행한다. 제어부(170)는 다자간 영상 통화 화면에서 제1 영상 및 제2 영상의 배경이미지가 동일한 배경이미지를 갖도록 처리하여 출력하는 기능을 수행한다.
이와 같은 기능에 대해 구체적으로 설명하면, 제어부(170)는 화자 추출부(171) 및 처리부(172)를 포함하여 이루어진다. 화자 추출부(171)는 여러 가지의 검출 기법을 이용하여 다자간 영상 통화 화면의 출력 영상에서 인물영상들을 검출한다. 검출 기법에 대해 예를 들면, 인물 영상의 윤곽선(edge: 즉, 픽셀 밝기의 불연속점)을 검출하여 출력 영상에서 인물 영상을 분리해낼 수 있다. 이러한 검출 기법은, 인물 영상뿐만 아니라, 인물을 제외한 배경이미지도 분리해낼 수 있다.
화자 추출부(171)는 출력 영상을 그레이(gray)또는 이진(binary)처리하고, 처리된 영상에 대해 템플릿 매칭(template matching)을 수행하여, 출력 영상에서 얼굴, 입술 등을 검출할 수도 있다. 화자 추출부(171)는 인물 영상을 추출하고, 여러 가지의 검출 기법을 이용하여 화자 인물을 결정한다. 예를 들어, 화자 추출부(171)는 인물 영상들의 입술 영역에서 이전 프레임과의 변화량을 계산하여 화자 인물을 결정할 수 있다. 화자 추출부(171)는 결정된 화자 인물 정보를 처리부(172)로 전달한다.
처리부(172)는 화자 추출부로부터 화자 인물 정보가 전달되면, 화자 영상이 다른 인물 영상과 구별되도록 출력 영상을 처리하고, 처리된 영상을 표시부(110)로 전달한다. 예를 들어, 처리부(172)는 화자 인물이 출력되는 영상 프레임 부분을 추출하고, 별도의 화자인물영상을 생성하고, 이를 표시부(110)에 전달한다. 또한, 처리부(172)는 화자 인물이 출력되는 영상 부분은 하이라이트 처리하거나, 화자 인물 영상 부분은 하이라이트 및 비 화자 인물 영상 부분은 그레이 처리하고, 처리된 영상을 표시부(110)에 전달한다. 처리부(172)는 제1 영상 및 제2 영상의 배경이미지가 동일한 배경이미지 효과를 가지도록 추출된 인물 영상이미지와 특정 배경이미지를 합성하고, 합성된 영상을 표시부(110)에 전달한다.
또한, 처리부(172)는 제1 카메라(150) 및 제2 카메라(155)로부터 수집된 제1 영상 및 제2 영상이 겹쳐지지 않게 합성하고, 합성된 영상을 상대방 단말기로 전송하도록 제어할 수 있다.
또한, 본 발명에 따른 휴대 단말기는 다자간 영상 통화 화면을 표시할 시 휴대 단말기의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로 모드에 의한 화면 표시, 가로모드와 세로 모드 간의 변화에 따른 적응적 화면 전환 표시를 지원할 수 있다.
디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 본 발명에 따른 휴대 단말기(100)는 휴대 단말기의 위치 변화와 관련된 정보를 감지하기 위한 센서 모듈과, 휴대 단말기(100)의 위치를 측정하기 위한 GPS 모듈과, 카메라 모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 또한 본 발명의 휴대 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 또한 본 발명에서 입력부는 터치스크린(110) 및 키입력부(120) 이외에, 터치패드, 트랙볼 등이 될 수 있음은 물론이다.
본 발명의 실시예에 따른 휴대 단말기는 영상 통화를 수행함에 있어서, 송신측 단말기 및 수신측 단말기 모두 적용이 가능하다. 즉, 본 발명에 따른 휴대 단말기는 다자간 영상 통화가 개시되면, 제1 카메라 및 제2 카메라로부터 수집되는 제1 영상 및 제2 영상을 상대방 단말기로 전송할 수 있으며, 또는 제1 영상과 제2 영상이 겹쳐지지 않게 합성된 합성영상을 상대방 단말기로 전송할 수도 있다. 이와 반대로, 휴대 단말기는 상대방 단말기로부터 영상이 겹쳐지지 않게 합성된 합성영상을 수신할 수 있다. 휴대 단말기는 카메라들로부터 수집되는 영상 및 상대방 단말기로부터 수신되는 영상들을 기반으로 다자간 영상 통화 화면 UI를 다양한 형태로 구성할 수 있다. 특히, 본 발명의 실시예에 따른 다자간 영상 통화 화면 UI는 가로 모드로 출력되도록 설정될 수 있으나, 이에 한정하는 것은 아니다. 또한, 본 발명에 따른 휴대 단말기는 통화 영상에서 화자 인물을 결정하고, 화자 인물을 다른 인물들과 다르게 출력하도록 화면 UI를 구성할 수 있다.
설명의 편의를 위하여, 본 발명에 따른 영상 통화 시의 화면 UI 운용 방법은 송신측 단말기를 기준으로 설명하기로 하나, 본 발명에 따른 UI 운용 방법 및 장치는 이에 한정되지 않고 본 발명의 실시예 따른 모든 구성의 실시가 가능한 휴대 단말기가 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 다자간 영상 통화를 위한 휴대 단말기의 UI 운용 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계 210에서 제어부(170)는 영상 통화 연결을 수신한다. 이 과정에서 사용자 단말기(예컨대, 송신측)가 상대방 단말기(예컨대, 수신측)로 영상 통화 연결을 요청하거나, 상대방 단말기로부터 통화 연결 요청을 수신할 수 있다.
제어부(170)는 상대방 단말기로부터 통화 연결을 허용하는 응답 신호를 수신하거나, 상대방 단말기의 통화 연결 요청을 허용하는 경우 상대방 휴대 단말기와 영상 통화가 연결된다.
단계 220에서 제어부(170)는 영상 통화 연결이 다자간 영상 통화 연결 요청인지 여부를 결정한다. 예컨대, 본 발명의 실시예에 따른 휴대 단말기는 다자간 영상 통화 연결을 요청하는 옵션 메뉴를 제공할 수 있다. 사용자가 휴대 단말기의 콜 기능에서 다자간 영상 통화 연결 메뉴를 선택하는 경우, 제어부(170)는 다자간 영상 통화 연결 요청 이벤트를 수신한다.
단계 230에서 제어부(170)는 다자간 영상 통화 연결 요청이벤트가 수신되면, 제1 카메라(150) 및 제2 카메라(155)를 구동한다. 여기서, 제1 카메라(150) 및 제2 카메라(155)는 사용자 단말기에 구비되는 전면카메라와 후면 카메라일 수 있다. 한편, 제어부(170)는 다자간 영상 통화 연결이 아니라 일반적인 영상 통화를 위한 요청이벤트가 수신되면, 제1 카메라(150) 및 제2 카메라(155) 중 하나만 구동할 수도 있다.
단계 240에서 제어부(170)는 제1 카메라(150) 및 제2 카메라(155)로부터 촬영되는 제1 영상 및 제2 영상을 수집한다. 동시에, 제어부(170)는 마이크를 통해 수신되는 음성 신호를 수집한다.
예를 들어, 다자간 영상 통화를 위해, 사용자 단말기의 전면 방향에 3명의 인물들이 있고, 사용자 단말기의 후면 방향에 3명의 인물들이 있는 경우, 제어부(170)는 제1 카메라(150)를 통해 전면 방향에 있는 인물들의 제1 영상을 수집하고, 제2 카메라(155)를 통해 후면 방향에 있는 인물들의 제2 영상을 수집할 수 있다.
제어부(170)는 제1 카메라를 통해 수집되는 제1 영상을 기반으로 제1 영상데이터를 생성하고, 제2 카메라를 통해 수집되는 제2 영상을 기반으로 제2 영상데이터를 생성할 수 있다. 이때, 제어부(170)는 영상들이 겹쳐지지 않게 출력되도록 출력위치정보를 제1 영상데이터 및 제2 영상데이터에 포함할 수 있다. 여기서, 출력위치 정보는 다자간 영상 통화 화면 UI에서 제1 영상 및 제2 영상이 출력되는 위치 정보를 의미한다. 또한, 제어부(170)는 다자간 영상 통화 화면에 출력되는 영상 그대로 제1 영상 및 제2 영상을 합성하여 합성된 영상데이터를 생성할 수 있다. 제어부(170)는 생성된 제1 영상데이터 및 제2 영상데이터 각각 압축부호화하거나, 합성 영상데이터를 압축부호화하여 상대방 단말기로 전송할 수 있다. 제어부(170)는 상대방 단말기로부터 통화 연결을 허용하는 응답 신호를 수신하거나, 상대방 단말기의 통화 연결 요청을 허용하여 상대방 휴대 단말기와 영상 통화가 연결된 경우, 상대방 단말기로부터 상대방 영상을 수집할 수도 있다.
단계 250에서 제어부(170)는 수집된 영상들을 기반으로 다자간 영상 통화 화면 UI(User Interface)를 출력한다. 제어부(170)는 제1 영상 및 제2 영상이 겹쳐지지 않게 다자간 영상 통화 화면 UI를 구성한다. 특히, 본 발명의 실시예에 따른 휴대 단말기는 제1 및 제2 영상이 가로모드로 출력되도록 설정될 수 있으나, 이에 한정하는 것은 아니다. 여기서, 다자간 영상 통화 화면 UI에 대해서는 후술하는 도 3 내지 도 7에서 상세하게 설명하기로 한다.
한편, 제어부(170)는 상대방 단말기로부터 상대방 영상을 수신하면, 상대방 영상 정보 및 상대방 영상정보를 기반으로 상대방 영상을 다자간 영상 통화 화면에 출력한다. 이 경우, 제어부(170)는 상대방 단말기로부터 영상들이 합성된 합성영상을 수신하거나, 두 개의 상대방영상 및 출력위치 정보를 수신할 수 있다.
단계 260에서 제어부(170)는 다자간 영상 화면의 출력 영상에서 인물 영상을 검출한다. 예를 들어, 제어부(170)는 출력 영상에서 인물 영상의 윤곽선(edge: 즉, 픽셀 밝기의 불연속점)을 검출하여 인물 영상을 분리해낼 수 있다. 이때, 제어부는 인물 영상뿐만 아니라, 인물을 제외한 배경이미지도 분리해낼 수 있다.
단계 270에서 제어부(170)은 검출된 인물 영상에서 화자 인물이 있는지 여부를 결정한다. 예를 들어, 제어부(170)는 인물 영상들의 입술 영역에서 이전 프레임과의 변화량을 계산하여 화자 인물을 결정할 수 있다.
단계 280에서 제어부(170)는 인물 영상 정보를 추출하여 다자간 영상 통화 화면에서 아이콘, 색상, 명도, 효과 중 적어도 하나를 화자 인물 영상과, 말을 하지 않는 인물 영상이 구별되게 그래픽 처리하여 화자 인물과 다른 인물과 다르게 출력한다.
예를 들어, 제어부(170)는 화자 인물이 출력되는 영상 프레임 부분을 추출하고, 별도의 화자인물영상을 생성하고, 이를 표시부(110)에 전달할 수 있다. 제어부(170)는 표시부에 별도의 화자인물영상이 출력되도록 다자간 영상통화 화면을 갱신한다. 또한, 제어부(170)는 화자인물이 출력되는 영상 부분은 하이라이트 처리하고, 다른 인물 영상 부분은 그레이 처리하여, 처리된 영상을 표시부(110)에 전달할 수 있다. 제어부(170)는 제1 영상 및 제2 영상의 배경이미지가 동일한 배경이미지 효과를 가지도록 추출된 인물 영상이미지와 특정 배경이미지를 합성하고, 합성된 영상을 표시부(110)에 전달한다.
본 발명에 따르면, 다자간 영상 통화 시 제1 카메라 및 제2 카메라를 구동함으로써, 하나의 카메라만을 이용하여 영상 통화를 수행하는 것보다 상대적으로 많은 인물들이 영상 통화에 참여할 수 있도록 할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 휴대 단말기의 표시되는 다자간 영상 통화 화면 UI를 설명하기 위한 예시도들이다.
도 3을 참조하면, 다자간 영상 통화가 개시되면, 제어부(170)는 화면 301에 도시된 바와 같이, 다자간 영상 통화 화면 UI를 표시부(110)에 출력한다. 여기서, 다자간 영상 통화 화면 UI는 가로 모드로 출력되도록 설정될 수 있으나, 이에 한정하는 것은 아니다.
이를 위해, 제어부(170)는 휴대 단말기를 가로 모드 배치로 지시하는 메시지(예, 가로 모드로 배치해주세요) 또는 아이콘(예, ↓↓↓)을 표시부에 출력할 수 있으나, 이는 예시일 뿐 이에 한정하는 것은 아니다. 다자간 영상 통화 화면(310)은 영상통화를 위해 수집된 영상들 즉, 사용자 단말기로부터 수집되는 영상 및 상대방 단말기로부터 수집되는 영상의 프레임 비율 및 위치 정보에 따라 다양한 형태로 구성될 수 있다.
301 화면에서의 다자간 영상 통화 화면(310)은 사용자 표시 영역(320) 및 상대방 표시 영역(330)을 포함할 수 있다. 또한, 도면에는 도시되지 않았으나, 다자간 영상 통화 화면은 영상 통화와 관련된 기능 메뉴(예, 일반 영상통화로 전환 기능, 음소거 기능 등) 영역을 포함할 수 있으나, 이에 한정하는 것은 아니다. 가로 모드의 다자간 영상 통화 화면(310)의 경우, 사용자 표시 영역(320) 및 상대방 표시 영역(330)은 상하 배열로 배치될 수 있다. 설명의 편의를 위하여, 301 화면에는 사용자 표시 영역이 상측에 배치된 것으로 도시되어 있으나, 이에 한정하는 것은 아니다.
사용자 표시 영역(320)은 기 정의된 설정에 따라 제1 카메라 및 제2 카메라로부터 수집된 제1 영상(321) 및 제2 영상(322)이 겹쳐지지 않도록 배치된다. 사용자 표시 영역(320)의 출력 사이즈는 수집되는 영상의 수에 따라 변경될 수 있다. 즉, 제어부(170)는 사용자 표시 영역을 2개의 영상 출력 사이즈로 설정하고, 사용자 표시 영역(320)의 우측 영역에 제1 영상(321)을 출력하고, 좌측 영역에 제2 영상(322)을 출력할 수 있다. 이 경우, 제어부(170)는 제1 영상 및 제2 영상의 출력 위치 정보를 생성하여 저장한다. 사용자 표시 영역의 점선은 설명의 편의를 위하여 도시된 것이며, 본 발명의 구성이 적용된 휴대 단말기에는 적용되지 않을 수 있다.
상대방 표시 영역(330)은 상대방 단말기로부터 수신된 상대방 영상이 출력된다. 이때, 상대방 표시 영역(330)은 상대방 영상의 프레임 비율 및 수에 따라 출력사이즈가 변경될 수 있다.
예를 들어, 제어부(170)는 301에 도시된 바와 같이, 상대방 단말기로부터 수신된 영상의 출력프레임 비율이 4:3인 경우, 상대방 표시 영역(330)을 1 개의 영상출력 사이즈로 설정하여 상대방 영상을 출력할 수 있다. 한편, 제어부(170)는 상대방 단말기로부터 수신된 영상의 출력 프레임 비율이 8:3인 경우, 상대방 표시 영역(30)을 2개의 영상출력 사이즈로 설정하여 상대방 영상을 출력할 수 있다.
화면 302는 사용자 표시 영역 및 상대방 표시 영역이 2개의 영상출력 사이즈로 설정된 경우의 다자간 영상 통화 화면의 예시도이다.
예컨대, 제어부(302)는 상대방 단말기로부터 수신된 상대방 영상을 처리하는 과정에서 수신된 영상이 2개 이거나, 1개의 합성 영상(예를 들어, 출력프레임 비율이 8:3인 경우) 상대방 표시 영역을 2개의 영상출력 사이즈로 설정하여 상대방 영상을 출력한다. 302에 도시된 바와 같이, 제어부(170)는 상대방 단말기로부터 수신된 영상이 2개인 경우, 사용자 표시 영역에 영상을 출력하는 것과 같이, 수신된 2개의 영상(331,332)이 서로 겹쳐지지 않게 배치하여 출력한다. 이 때, 제어부(170)는 상대방 단말기로부터 두 개의 영상을 수신한 경우, 각각의 영상의 출력위치 정보를 확인하고, 두 개의 영상 프레임이 서로 겹쳐지지 않도록 출력한다. 예컨대, 제어부(170)는 상대방 단말기로부터 수신된 두 개의 영상 중 출력위치 정보를 기반으로 상대방 표시 영역(330)의 좌측에 한 개의 영상(331)을 출력하고, 우측에 다른 하나의 영상(332)을 출력하도록 구성한다.
상술한 바와 같이, 본 발명에 다른 다자간 영상 통화 단말기는 사용자 단말기로부터 수집되는 영상뿐만 아니라 상대방 단말기로부터 수신되는 영상의 수 및 비율에 따라 상술한 화면 UI를 구성할 수 있다. 또한, 다자간 영상 통화 단말기는 화면 UI 구성에 따른 화면 구성 정보를 상대방 단말기로 전송할 수 있다. 즉, 다자간 영상 통화 단말기는 제1 영상 및 제2 영상을 각각 상대방 단말기로 전송하거나, 제1 영상 및 제2 영상이 겹쳐지지 않게 합성하여 합성된 합성영상을 상대방 단말기로 전송할 수 있다. 이에 따라, 상대방 단말기 역시, 상술한 화면 UI 와 동일한 화면 UI 구성으로 다자간 영상 통화를 수행할 수 있다.
본 발명에 따른 다자간 영상 통화 단말기는 제1 카메라 및 제2 카메라를 구동함으로써, 하나의 카메라만을 이용하여 영상 통화를 수행하는 것보다 상대적으로 많은 인물들이 영상 통화에 참여할 수 있도록 할 수 있다.
도 4는 본 발명의 제1 실시예에 따른 화자 표시 방법을 설명하기 위한 화면이다.
도 4를 참조하면, 다자간 영상 통화 화면은 영상 정보에 따라 다양한 형태의 이미지 효과를 가지고 출력될 수 있다. 이를 위해, 제어부(170)는 상에 포함된 인물들의 영상정보를 추출하고, 인물 영상 정보로부터 특정 인물이 화자 인물로 결정되면, 아이콘, 색상, 명도, 효과 중 적어도 하나를 화자 인물 영상과, 다른 인물 영상이 구별되게 그래픽 처리하여 표시한다. 예를 들어, 제어부(170)는 인물 영상을 하이라이트처리하고, 다른 인물 영상은 그레이 처리하여 출력하도록 제어한다.
구체적으로, 다자간 영상 통화가 개시되면, 제어부(170)는 사용자 표시 영역(420) 및 상대방 표시 영역(430)을 포함하는 다자간 영상 통화 화면(410)을 구성하고, 출력 영상들에서 인물 영상을 검출한다. 제어부(170)는 검출된 인물들이 화자 인물인지 여부를 결정한다. 여기서, 제어부(170)는 출력 영상에서 인물 영상만을 추출하고, 인물들의 음성 특징 정보, 입술의 움직임 정보, 얼굴의 움직임 정보, 인물들의 특정 제스처 정보 등을 이용하여 화자 인물을 결정할 수 있다.
예를 들어, 제어부(170)는 출력 영상(즉, 사용자 영상 및 상대방 영상)에서 인물 영상만을 추출하고, 인물의 얼굴색 정보 및 형태 정보를 이용하여 각 사람의 얼굴 및 입술 영역을 검출한다. 그리고, 제어부(170)는 입술 영역에서 이전 프레임과의 변화량을 계산하여 화자 인물을 결정한다. 화자 인물의 결정하는 구성은 발명의 편의를 위하여 설명한 것이며 이에 한정되는 것은 아니다.
제어부(170)는 출력 영상에서 화자 인물이 있다고 결정되면, 출력 영상을 화자 영역(440)과, 비 화자 영역(450)으로 구분하고, 도 4에 도시된 바와 같이, 화자 영역(440)을 하이라이트 처리하여 출력한다.
또한, 제어부(170)는 화자 영역(440)은 하이라이트 처리하여 출력하고, 비 화자 영역(450)은 그레이 처리하여 출력할 수 있으며, 화자 영역(440) 위에 화살표 모양의 마크(예컨대, 깜빡이는 포인트, 다각형 모양 등의 아이콘과 같은 그래픽 처리)를 출력할 수도 있다. 이로 인해, 사용자는 다자간 영상 통화 화면에서 출력되는 다수의 인물들 중 화자 인물이 누구인지 직관적으로 구별할 수 있다.
도 5는 본 발명의 제2 실시예에 따른 화자 표시 방법을 설명하기 위한 화면이다.
도 5를 참조하면, 사용자 표시 영역(520) 및 상대방 표시 영역(530)을 포함하는 다자간 영상 통화 화면(510)은 영상 통화에 참여하는 다수의 인물들 중 화자 인물의 영상이 화면 화단에 별도의 영상(540)으로 출력된다. 제어부(170)는 다자간 영상 통화가 개시되면, 다자간 영상 통화 화면(510)을 구성하고, 출력 영상(즉, 상대방 영상 및 사용자 영상)에서 인물 영상을 검출한다. 제어부(170)는 검출된 인물 영상들 중 화자 인물이 있다고 결정되면, 출력 영상 중 화자 영역의 영상 부분만 프레임 별로 추출한다. 제어부(170)는 추출된 화자 인물의 영상(540)을 다자간 영상 통화의 화면 하단에 출력한다.
도 6은 본 발명의 제2 실시예에 따른 휴대 단말기의 다자간 영상 통화 화면 UI의 예시도이다.
도 6을 참조하면, 다자간 영상 통화 화면(610)은 각각 수집되는 두 개의 영상 배경이 동일한 배경 이미지 효과를 가지고 출력될 수 있다. 예컨대, 다자간 영상 통화 화면(610)을 구성하는 제1 영상 및 제2 영상은 휴대 단말기에 구비되는 전면카메라와 후면 카메라에서 수집되는 영상들이므로, 제1 영상 및 제2 영상의 배경이미지는 서로 다를 수 있다. 제어부(170)는 제1 영상 및 제2 영상에서 인물 이미지들 및 배경 이미지들을 추출하고, 추출된 인물 이미지들이 하나의 특정 배경이미지와 합성하여 합성된 영상을 사용자 표시 영역(620)에 출력할 수 있다. 여기서, 특정 배경이미지는 기 정의된 설정에 따라, 사용자 선택에 따라 휴대 단말기에서 제공되는 배경이미지 또는 출력 영상에서 추출되는 배경이미지 중 하나 일 수 있다. 예컨대, 제어부(170)는 제1 영상 및 제2 영상에서 추출된 배경이미지 중 제1 영상의 배경이미지를 선택하고, 제2 영상의 인물이미지와 제1 영상의 배경이미지와 합성하여 출력하도록 제어할 수도 있다.
다자간 영상 통화 화면(610)에서 상대방 표시 영역(630)은 상대방 단말기로부로부터 수신된 상대방 영상이 출력된다. 여기서, 상대방 표시 영역은 수신된 상대방 영상의 수 및 프레임 비율에 따라 영상의 출력 사이즈가 변경될 수 있다.
도 7은 본 발명의 제3 실시예에 따른 휴대 단말기의 다자간 영상 통화 화면 UI의 예시도이다.
도 7을 참조하면, 다자간 영상 통화가 개시되면, 제어부(170)는 도 7에 도시된 바와 같이, 세로 모드의 다자간 영상통화 화면 UI를 표시부에 출력한다. 다자간 영상 통화 화면(710)은 사용자 표시 영역(720) 및 상대방 표시 영역(730)을 포함할 수 있다.
세로 모드의 다자간 영상 통화 화면(710)에서 사용자 표시 영역(720)은 기 정의된 설정에 따라 제1 카메라(150) 및 제2 카메라(155)로부터 수집된 제1 영상 및 제2 영상이 겹쳐지지 않도록 상하 배열로 배치될 수 있다. 세로 모드의 다자간 영상통화 화면(710)은 영상 따라 다양한 형태의 이미지 효과를 가지로 출력될 수 있다. 예컨대, 세로 모드의 다자간 영상 통화 화면(710)은 화자 인물 영역을 하이라이트 처리하여 출력하거나, 제1 영상 및 제2 영상의 배경이미지가 동일한 배경이미지로 처리하여 출력할 수 있다.
다자간 영상 통화 화면(710)에서 상대방 표시 영역(730)은 상대방 단말로부터 수신된 상대방 영상이 출력된다. 상대방 표시 영역은 수신된 상대방 영상의 수 및 프레임 비율에 따라 영상의 출력 사이즈가 변경될 수 있다. 예컨대, 상대방 단말기로부터 2개의 영상을 수신되거나, 2개의 영상이 상하 배치로 합성된 영상이 수신된 경우, 사용자 표시 영역과 동일하게 두 개의 영상이 겹쳐지지 않도록 상해 배열로 배치될 수 있다.
이상에서와 같이, 본 발명에 따른 다자간 영상 통화 단말기 및 그의 UI 운용 방법에 대하여 본 명세서 및 도면을 통해 바람직한 실시예를 들어 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고, 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능 함은 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자에게 자명한 것이다.
100: 휴대 단말기
110: 표시부 120: 입력부
130: 무선통신부 140: 오디오 처리부
150: 제1 카메라 155: 제2 카메라
160: 저장부
170: 제어부

Claims (14)

  1. 다자간 영상 통화가 개시되면, 제1 카메라 및 제2 카메라를 구동하는 단계;
    상기 제1 카메라를 통해 단말기의 전면 방향에 있는 인물들의 제1 영상을 수집하고, 상기 제2 카메라를 통해 상기 단말기의 후면 방향에 있는 인물들의 제2 영상을 수집하고, 상대방 단말기로부터 상대방 영상을 수집하는 단계;
    상기 제1 영상, 상기 제2 영상 및 상기 상대방 영상이 겹쳐지지 않게 배치되는 다자간 영상 통화 화면을 출력하는 단계;
    상기 다자간 영상 통화 화면의 출력 영상에서 화자 영역을 검출하는 단계; 및
    상기 제1 영상 및 상기 제2 영상에 화자 영역 및 비화자 영역이 포함된 경우, 상기 출력 영상에서 상기 화자 영역과 비화자 영역을 구분하여 출력하는 단계를 포함하되,
    상기 화자 영역은 하이라이트로 표시되고, 상기 비화자 영역은 그레이로 표시되는 다자간 영상 통화 단말기의 UI 운용 방법.
  2. 제1항에 있어서,
    상기 다자간 영상 통화 화면을 출력하는 단계는,
    상기 제1 영상 및 제2 영상이 출력되는 사용자 표시 영역과, 상대방 단말기로부터 상대방 영상을 수신하고, 상대방 영상이 출력이 되는 상대방 표시 영역을 포함하며, 상기 제1 영상 및 제2 영상이 출력되는 사용자 표시 영역과, 상기 상대방 표시 영역이 상하 배열로 배치되는 다자간 영상 통화 화면을 출력하는 것을 특징으로 하는 다자간 영상 통화 단말기의 UI 운용 방법.
  3. 제1항에 있어서,
    상기 다자간 영상 통화 화면을 출력하는 단계는,
    가로 모드의 다자간 영상 통화 화면으로 출력하는 것을 특징으로 하는 다자간 영상 통화 단말기의 UI 운용 방법.
  4. 제1항에 있어서,
    상기 다자간 영상 통화 화면을 출력하는 단계는,
    상기 제1 영상 및 제2 영상에서 인물 영상이미지들과 배경이미지들을 분리하여 추출하는 단계;
    상기 추출된 인물 영상이미지들과 하나의 배경이미지를 합성하는 단계; 및
    상기 합성된 제1 영상 및 제2 영상을 출력하는 단계로 이루어지는 다자간 영상 통화 단말기의 UI 운용 방법.
  5. 제1항에 있어서,
    상기 검출된 화자 영역과 비화자 영역을 구분하여 출력하는 단계는,
    상기 화자 영역과 비화자 영역의 프레임 영역을 분리하여 추출하는 단계; 및
    상기 화자 영역과 비화자 영역의 프레임 영역을 아이콘, 색상, 명도, 효과 중 적어도 하나를 그래픽처리하여 출력하는 단계로 이루어지는 것을 특징으로 다자간 영상 통화 단말기의 UI 운용 방법.
  6. 제5항에 있어서,
    상기 그래픽 처리하여 출력하는 단계는,
    상기 검출된 화자 영역의 프레임 영역은 하이라이트 처리하고, 상기 비화자 영역의 프레임 영역은 그레이 처리하여 출력하는 것을 특징으로 하는 다자간 영상 통화 단말기의 UI 운용 방법.
  7. 제1항에 있어서,
    상기 검출된 화자 영역과 비화자 영역을 구분하여 출력하는 단계는,
    상기 화자 영역과 비화자 영역의 프레임 영역을 분리하여 추출하는 단계;
    상기 추출된 화자 영역에 포함된 화자 영상만을 생성하는 단계; 및
    상기 생성된 화자 영상을 다자간 영상 통화 화면의 특정 영역에 출력하는 단계를 포함하는 다자간 영상 통화 단말기의 UI 운용 방법.
  8. 단말기의 전면 방향에 있는 인물들의 제1 영상을 수집하는 제1 카메라;
    상기 단말기의 후면 방향에 있는 인물들의 제2 영상을 수집하는 제2 카메라;
    오디오 신호를 수집하고 출력하는 오디오 처리부;
    영상 및 음성 신호를 송수신하는 무선 통신부;
    다자간 영상 통화가 개시되면, 상기 제1 카메라 및 상기 제2 카메라를 구동하여 상기 제1 영상 및 상기 제2 영상을 수집하고, 상기 무선 통신부를 통해 상대방 단말기로부터 상대방 영상을 수집하고, 상기 제1 영상, 상기 제2 영상 및 상기 상대방 영상이 겹쳐지지 않게 배치되는 다자간 영상 통화 화면을 출력하고, 상기 다자간 영상 통화 화면의 출력 영상에서 화자 영역을 검출하는 제어부; 및
    상기 제1 영상 및 상기 제2 영상에 화자 영역 및 비화자 영역이 포함된 경우, 상기 출력 영상에서 상기 화자 영역과 비화자 영역을 구분하여 하는 표시부를 포함하되,
    상기 화자 영역은 하이라이트로 표시되고, 상기 비화자 영역은 그레이로 표시되는 다자간 영상 통화 단말기.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 다자간 영상 통화 화면의 출력 영상에서 인물 영상의 윤곽선을 검출하여 인물 영상을 추출하고, 인물 영상들에서 화자 인물을 결정하는 화자 추출부; 및
    상기 화자 인물이 결정되면, 화자 인물 영상과 비화자 인물 영상이 구별되도록 출력 영상을 처리하는 처리부를 더 포함하는 것을 특징으로 하는 다자간 영상 통화 단말기.
  10. 제8항에 있어서,
    상기 표시부는,
    상기 제1 영상 및 제2 영상들의 인물 이미지들과, 하나의 배경이미지가 합성되어 표시되는 다자간 영상 통화 화면을 출력하는 것을 특징으로 하는 다자간 영상 통화 단말기.
  11. 삭제
  12. 제8항에 있어서,
    상기 표시부는,
    상기 화자 영역과 비화자 영역의 프레임 영역을 분리하여 추출하고, 상기 화자 영역과 비화자 영역의 프레임 영역을 아이콘, 색상, 명도, 효과 중 적어도 하나를 그래픽 처리하여 출력하는 것을 특징으로 하는 다자간 영상 통화 단말기.
  13. 삭제
  14. 제8항에 있어서,
    상기 표시부는,
    상기 화자 영역을 다자간 영상 통화 화면의 특정 영역에 출력하는 것을 특징으로 하는 다자간 영상 통화 단말기.
KR1020130025277A 2013-03-08 2013-03-08 다자간 영상 통화 단말기 및 그의 ui 운용 방법 KR102056633B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130025277A KR102056633B1 (ko) 2013-03-08 2013-03-08 다자간 영상 통화 단말기 및 그의 ui 운용 방법
EP14158026.6A EP2775704B1 (en) 2013-03-08 2014-03-06 A conference call terminal and method for operating user interface thereof
US14/199,446 US9509946B2 (en) 2013-03-08 2014-03-06 Conference call terminal and method for operating user interface thereof
CN201410085814.XA CN104038723A (zh) 2013-03-08 2014-03-10 会议呼叫终端和操作所述会议呼叫终端的用户界面的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130025277A KR102056633B1 (ko) 2013-03-08 2013-03-08 다자간 영상 통화 단말기 및 그의 ui 운용 방법

Publications (2)

Publication Number Publication Date
KR20140110631A KR20140110631A (ko) 2014-09-17
KR102056633B1 true KR102056633B1 (ko) 2019-12-17

Family

ID=50382198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025277A KR102056633B1 (ko) 2013-03-08 2013-03-08 다자간 영상 통화 단말기 및 그의 ui 운용 방법

Country Status (4)

Country Link
US (1) US9509946B2 (ko)
EP (1) EP2775704B1 (ko)
KR (1) KR102056633B1 (ko)
CN (1) CN104038723A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082349A (ko) 2016-01-06 2017-07-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108111797A (zh) * 2016-11-24 2018-06-01 北京中创视讯科技有限公司 与会者处理方法和装置
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
EP3506629A1 (en) * 2017-12-27 2019-07-03 Nokia Technologies Oy Multi-camera display
CN110109636B (zh) * 2019-04-28 2022-04-05 华为技术有限公司 投屏方法、电子设备以及系统
CN110213520A (zh) * 2019-05-10 2019-09-06 珠海格力电器股份有限公司 一种视频通话的方法及设备
CN111556277B (zh) * 2020-05-19 2022-07-26 安徽听见科技有限公司 视频会议参会人标识处理方法、装置、设备及存储介质
CN113286114A (zh) * 2021-07-20 2021-08-20 北京微吼时代科技有限公司 基于视频混流直播技术的视频画面标记方法、装置和设备
CN113840100A (zh) * 2021-09-15 2021-12-24 维沃移动通信有限公司 视频处理方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070263076A1 (en) * 2006-04-21 2007-11-15 Andrews Carlton A Virtual ring camera
JP2009049734A (ja) * 2007-08-21 2009-03-05 Sony Corp カメラ付きマイクロフォン、カメラ付きマイクロフォンの制御プログラムおよびテレビ会議システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996038983A1 (en) * 1995-06-02 1996-12-05 Intel Corporation Method and apparatus for controlling participant input in a conferencing environment
US6046896A (en) * 1995-08-11 2000-04-04 Fijitsu Limited DC-to-DC converter capable of preventing overvoltage
US6304648B1 (en) * 1998-12-21 2001-10-16 Lucent Technologies Inc. Multimedia conference call participant identification system and method
US20020093531A1 (en) * 2001-01-17 2002-07-18 John Barile Adaptive display for video conferences
KR100516638B1 (ko) * 2001-09-26 2005-09-22 엘지전자 주식회사 화상 통신 시스템
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US7355623B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques
KR100747581B1 (ko) * 2005-09-29 2007-08-08 엘지전자 주식회사 카메라를 구비한 통신 단말 장치와 이를 이용한 데이터송수신 방법
US8125508B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
KR100836616B1 (ko) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
US8863187B2 (en) * 2007-04-02 2014-10-14 Tp Lab, Inc. System and method for presenting multiple pictures on a television
KR101432830B1 (ko) * 2008-06-25 2014-08-26 주식회사 케이티 다자간 영상 통화 제어 방법, 이동통신 단말기 및 기록매체
US8823739B2 (en) * 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
KR101786944B1 (ko) 2011-05-12 2017-10-18 삼성전자 주식회사 화자 표시 방법 및 이를 구현하는 영상 통화 단말기
US8520114B2 (en) * 2011-06-01 2013-08-27 Global Oled Technology Llc Apparatus for displaying and sensing images
US9143728B2 (en) * 2011-09-19 2015-09-22 Telefonaktiebolaget L M Ericsson (Publ) User interface control in a multimedia conference system
US9131266B2 (en) * 2012-08-10 2015-09-08 Qualcomm Incorporated Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070263076A1 (en) * 2006-04-21 2007-11-15 Andrews Carlton A Virtual ring camera
JP2009049734A (ja) * 2007-08-21 2009-03-05 Sony Corp カメラ付きマイクロフォン、カメラ付きマイクロフォンの制御プログラムおよびテレビ会議システム

Also Published As

Publication number Publication date
EP2775704B1 (en) 2020-04-29
CN104038723A (zh) 2014-09-10
EP2775704A2 (en) 2014-09-10
EP2775704A3 (en) 2016-01-06
US9509946B2 (en) 2016-11-29
US20140253669A1 (en) 2014-09-11
KR20140110631A (ko) 2014-09-17

Similar Documents

Publication Publication Date Title
KR102056633B1 (ko) 다자간 영상 통화 단말기 및 그의 ui 운용 방법
KR101901919B1 (ko) 휴대 단말기 및 메신저 영상 서비스 운용 방법
US11797143B2 (en) Method for controlling small screen window and related device
CN107528938B (zh) 一种视频通话方法、终端及计算机可读存储介质
KR102036054B1 (ko) 듀얼 카메라를 구비하는 휴대 단말기의 영상 촬영 방법 및 그 장치
KR101786944B1 (ko) 화자 표시 방법 및 이를 구현하는 영상 통화 단말기
JP6321296B2 (ja) テキスト入力方法、装置、プログラム及び記録媒体
US9952687B2 (en) Apparatus for implementing touch control and fingerprint identification and terminal device comprising such apparatus
JP6196398B2 (ja) タッチボタン及び指紋認証を実現する装置、方法、端末機器、並びにプログラム及び記録媒体
KR20140112920A (ko) 사용자 기기의 오브젝트 운용 방법 및 장치
WO2021104227A1 (zh) 拍照方法及电子设备
CN110109608B (zh) 文本显示方法、装置、终端及存储介质
US20180268568A1 (en) Color analysis and control using an electronic mobile device transparent display screen
JP2017505971A (ja) タッチスクリーン及び指紋認証を実現する装置、並びに端末機器
KR20220158101A (ko) 이미지 촬영 방법 및 전자 장비
JP2018508008A (ja) 圧力検出方法、装置、プログラム、及び記録媒体
CN107959755B (zh) 一种拍照方法、移动终端及计算机可读存储介质
KR101559772B1 (ko) 단말기 및 그 제어 방법
KR20110053396A (ko) 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
CN112256180A (zh) 消息展示方法、消息评论处理方法、装置及电子设备
KR20160092820A (ko) 이동 단말기 및 그 제어방법
KR101750872B1 (ko) 이동 단말기 및 그 제어방법
KR101511383B1 (ko) 단말기 및 이를 이용한 드로잉 패턴 전송 방법
US20210247897A1 (en) Method and apparatus for calling shortcut function, and storage medium
CN114661209A (zh) 会议对象账号的移除方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant