KR101434728B1 - 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법 - Google Patents

영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법 Download PDF

Info

Publication number
KR101434728B1
KR101434728B1 KR1020120051424A KR20120051424A KR101434728B1 KR 101434728 B1 KR101434728 B1 KR 101434728B1 KR 1020120051424 A KR1020120051424 A KR 1020120051424A KR 20120051424 A KR20120051424 A KR 20120051424A KR 101434728 B1 KR101434728 B1 KR 101434728B1
Authority
KR
South Korea
Prior art keywords
drawing point
mobile terminals
screen
terminal
map
Prior art date
Application number
KR1020120051424A
Other languages
English (en)
Other versions
KR20130127704A (ko
Inventor
조현근
Original Assignee
조현근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조현근 filed Critical 조현근
Priority to KR1020120051424A priority Critical patent/KR101434728B1/ko
Priority to PCT/KR2013/004311 priority patent/WO2013172657A1/ko
Publication of KR20130127704A publication Critical patent/KR20130127704A/ko
Application granted granted Critical
Publication of KR101434728B1 publication Critical patent/KR101434728B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 관한 것으로,
상기 방법은 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서, 상기 다수의 모바일 단말이 상기 영상 호스트 단말이 제공하는 카메라 이미지를 공유하면서, 영상 통화를 수행하는 단계; 상기 다수의 모바일 단말 중 적어도 하나가 화면을 터치하거나 화면 터치상태에서 변화되는 모바일 단말 이동을 감지하여, 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및 상기 다수의 모바일 단말 각각이 상기 영상 호스트 단말이 제공하는 카메라 이미지에 상기 드로잉 포인트를 매핑하여 표시하는 단계를 포함할 수 있다.

Description

영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법{METHOD FOR VIEW POINT REMOTE CONTROL IN VIDEO TELEPHONE SYSTEM}
본 발명은 모바일 단말을 이용한 영상 통화 기술에 관한 것으로, 특히 영상 통화 중에 여러 명의 사용자가 동일한 화면을 보면서 드로잉 협업 동작을 수행할 수 있도록 하는 기술에 관한 것이다.
근래에 들어, 모바일 기술이 발달함에 따라 모바일 단말에 카메라, 스피커, 마이크 등을 내장하고, 영상 통화자들이 서로 상대편 얼굴을 보면서 영상 통화를 수행하도록 한다.
이러한 영상 통화의 목적 중 하나는 상대편 통화자와 같은 장소에 함께 있는 듯한 현장감을 증대하는 것이다. 다만, 현실에서 같은 장소에 함께 있을 때에는 주변의 임의 장소를 손으로 가리키거나 특정 물건의 작동법 등을 제스처로 설명하는 것이 가능하다.
그러나 현재의 영상 통화 기술에서는 영상만을 전송할 뿐, 그 외의 의사 소통은 전적으로 언어에 의존하도록 한다. 이에 따라 화면 중 특정 부분/사물을 가리키거나 설명할 때 시각적 사항을 언어로 바꾸어 설명해야 하므로, 설명의 모호함이 발생하여, 정확하고 원활한 의사소통을 저해하게 된다.
따라서 본 발명에서는 영상 통화 중에 통화자들 각각이 자신이 구비한 모바일 단말의 화면에 글씨 또는 이미지를 그리면, 모든 모바일 단말의 화면에 해당 글씨 또는 이미지가 표시되고 통화 중 모바일 단말이 이동하여 모바일 단말에 표시되는 영상의 시점이 변화되더라도 드로잉 포인트는 항상 동일한 영상 객체 위에 표시될 수 있도록 함으로써, 영상 통화의 활용 분야가 다양하게 확대될 수 있도록 하는 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제1 실시 형태에 따르면, 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서, 상기 다수의 모바일 단말이 상기 영상 호스트 단말이 제공하는 카메라 이미지를 공유하면서, 영상 통화를 수행하는 단계; 상기 다수의 모바일 단말 중 적어도 하나가 화면을 터치하거나 화면 터치상태에서 변화되는 모바일 단말 이동을 감지하여, 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및 상기 다수의 모바일 단말 각각이 상기 영상 호스트 단말이 제공하는 카메라 이미지에 상기 드로잉 포인트를 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법을 제공한다.
상기 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계는 상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계; 상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 이미지 갱신 주기가 될 때마다, 새로운 카메라 이미지를 획득하고 맵을 업데이트한 후, 새로운 카메라 이미지과 업데이트된 맵을 게스트 단말에 제공하는 단계; 및 상기 다수의 모바일 단말 각각이 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계를 포함할 수 있다.
상기 드로잉 포인트의 기준좌표계 좌표는 드로잉 포인트의 터치 좌표에 새로운 카메라 이미지에 상응하는 맵을 곱하여 획득될 수 있으며, 이때의 상기 새로운 카메라 이미지에 상응하는 맵은 화면 변환 매트릭스(view transform matrix)일 수 있다.
상기 드로잉 포인트의 기준좌표계 좌표는 새로운 카메라 이미지에 상응하는 맵에 포함된 영상 특징점을 삼각화하여 다수의 삼각 영역을 생성한 후, 드로잉 포인트의 터치 좌표가 속하는 삼각 영역의 무게 중심 좌표를 상기 기준좌표계 좌표로 획득될 수 있으며, 이때의 상기 새로운 카메라 이미지에 상응하는 맵은 상기 새로운 카메라 이미지에 포함된 영상 특징점들의 목록일 수 있다.
상기 드로잉 포인트를 매핑하여 표시하는 단계는 상기 드로잉 포인트의 터치 좌표가 속하는 삼각 영역의 세 정점의 좌표를 기준으로, 상기 새로운 카메라 이미지에 상응하는 맵에서 상기 드로잉 포인트의 기준좌표계 좌표를 상기 드로잉 포인트의 터치 좌표로 복원함으로써, 상기 영상 호스트 단말이 제공하는 카메라 이미지에 상기 드로잉 포인트를 매핑하여 표시할 수 있다.
상기 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계는 드로잉 포인트 생성 직전 맵과 드로잉 포인트 생성 직후 맵을 보간한 맵을 생성한 후, 상기 보간된 맵을 이용하여 상기 드로잉 포인트의 기준좌표계 좌표를 수정하는 단계를 더 포함할 수 있다.
상기 드로잉 포인트를 오버레이하여 표시하는 단계는 사용자별로 드로잉 포인트의 표시 방법을 달리할 수 있다.
상기 방법은 상기 다수의 모바일 단말 각각 중 적어도 하나가 화면 정지 요청을 감지하면, 화면 정지 요청 단말이 화면 정지 동작을 수행한 후, 화면 정지 시점의 맵을 이용하여 드로잉 포인트의 기준좌표계 좌표를 획득하고 공유하는 단계를 더 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제2 실시 형태에 따르면, 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서, 상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계; 상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 이미지 갱신 주기가 될 때마다, 새로운 카메라 이미지를 획득하고 맵을 업데이트한 후, 새로운 카메라 이미지과 업데이트된 맵을 게스트 단말에 제공하는 단계; 상기 다수의 모바일 단말 각각이 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및 상기 다수의 모바일 단말 각각이 상기 드로잉 포인트의 기준좌표계 좌표에 따라 상기 드로잉 포인트를 상기 카메라 이미지에 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법을 제공할 수 있다.
상기 방법은 드로잉 포인트가 불연속되면, 드로잉 포인트 생성 직전 맵과 드로잉 포인트 생성 직후 맵을 보간한 맵을 생성한 후, 상기 보간된 맵을 이용하여 상기 드로잉 포인트의 기준좌표계 좌표를 수정하는 단계를 더 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제3 실시 형태에 따르면, 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서, 상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계; 상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 이미지 갱신 주기가 될 때마다, 새로운 카메라 이미지를 획득하고 맵을 업데이트한 후, 새로운 카메라 이미지과 업데이트된 맵을 게스트 단말에 제공하는 단계; 상기 다수의 모바일 단말 각각 중 적어도 하나가 화면 정지 요청을 감지하면, 화면 정지 요청 단말은 화면 정지 동작을 수행한 후 화면 정지 시점의 맵을 이용하여 드로잉 포인트의 기준좌표계 좌표를 획득하고, 그렇지 않은 모바일 단말은 상기 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득하는 단계; 및 상기 다수의 모바일 단말 각각이 상기 드로잉 포인트의 기준좌표계 좌표를 공유하고, 상기 드로잉 포인트의 기준좌표계 좌표에 따라 상기 드로잉 포인트를 카메라 이미지에 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법을 제공할 수 있다.
본 발명에서는 영상 통화 중에 화면을 이용한 드로잉 동작을 지원함으로써, 화면에 포함된 특정 부분/사물을 지시하거나 설명하고자 하는 내용을 시각적으로 표시할 수 있도록 한다. 또한, 드로잉 동작을 모든 통화자가 협업하여 수행할 수 있도록 함으로써, 영상 통화 활용도가 더욱 극대화될 수 있도록 한다.
그 결과, 영상 통화자들은 가전 제품 등의 사용법을 원격으로 설명하거나, 집(또는 사무실)에 놓고 온 물건을 그 곳의 다른 사람을 통해 찾아보거나, 상대방 얼굴에 낙서하며 놀거나, 원격으로 디자인을 협업하는 등의 다양한 작업을 모바일을 통한 영상 통화를 통해 모두 수행할 수 있게 될 것이다.
도1a 내지 도1c는 본 발명의 일 실시예에 따른 통화모드별 화면 구성 방법을 설명하기 위한 도면이다.
도2은 본 발명의 일 실시예에 따른 드로잉 협업 동작을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 영상 통화 시스템의 구성을 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 예를 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 영상 통화 중 드로잉 협업 방법의 드로잉 포인트 생성 동작을 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 도4의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면이다.
도8은 본 발명의 다른 실시예에 따른 도4의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면이다.
도9은 본 발명의 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도10은 본 발명의 일 실시예에 따른 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환하는 드로잉 포인트 보간 동작을 설명하기 위한 도면이다.
도11은 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도12는 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 예를 도시한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 통화 목적에 따라 모바일 단말에 표시되는 영상의 종류를 자유자재로 변경하고, 사용자들의 화면 터치 내역을 감지하여 모바일 단말의 화면상에 드로잉 객체도 추가적으로 표시할 수 있도록 함으로써, 단순 통화 기능에서 벗어나 영상 통화 화면에 각종 글씨나 이미지를 그려가면서 영상 통화를 할 수 있도록 하고자 한다.
이를 위해, 본 발명에서는 도1a 및 도1c에 도시된 바와 같이, 상대방의 얼굴을 보고 영상 통화를 수행하는 일반 모드(도1a 참고) 이외에 다수의 단말 중 하나가 촬영한 영상을 다수의 단말이 공유하는 영상 공유 모드(도1b, 도1c 참고)를 추가적으로 제공하고, 도2에서와 같이 다수의 사용자 중 적어도 한명이 영상 통화 화면 위에 글씨를 쓰거나 그림을 그려 드로잉 객체를 생성하면, 해당 드로잉 객체가 다른 사용자의 영상 통화 화면 위에도 실시간 표시될 수 있도록 한다.
도3는 본 발명의 일 실시예에 따른 영상 통화 시스템을 도시한 도면이다.
도3에 도시된 바와 같이, 본 발명에 따른 영상 통화 시스템은 일반 통화 모드 이외에 영상 공유 모드를 제공할 수 있으며, 더 나아가 영상 통화 화면을 이용한 드로잉 협업 동작을 수행할 수 있는 다수의 모바일 단말(100, 200)로 구성된다.
이때의 다수의 모바일 단말(100, 200) 중 하나는 카메라 영상을 획득 및 제공하는 영상 호스트 단말로, 나머지 단말은 공유받은 영상을 자신의 단말 화면에 표시하는 게스트 단말로 동작할 수 있을 것이다. 다만, 이하에서는 설명의 편이를 위해, 제1 모바일 단말(100)은 영상 호스트 단말로써 동작하고, 제2 모바일 단말(200)이 게스트 단말로 동작한다고 가정하여 설명하기로 한다.
도4는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도4를 참고하면, 본 발명의 드로잉 협업 방법은 터치 포인트 이동 또는 터치 상태의 단말 이동이 검출될 때마다 수행되는 드로잉 과정(S10)과 카메라 이미지 또는 화면 갱신 주기가 될 때마다 수행되는 정보 공유 과정(S20)으로 구성된다.
먼저, 드로잉 과정(S10)을 보다 상세히 설명하면 다음과 같다.
본 발명의 드로잉 과정(S10)은 사용자가 화면 드래그 동작을 통해 터치 포인트를 이동시키는 경우 이외에, 사용자가 모바일 단말의 화면을 터치한 상태에서 모바일 단말을 이동시킨 경우(즉, 터치 포인트는 이동하지 않았으나, 모바일 단말의 이동에 의해 모바일 단말의 카메라 시점에 해당하는 맵이 변경되는 경우)에도 수행될 수 있도록 한다.
이에 제1 및 제2 모바일 단말(100, 200) 각각은 사용자의 터치 포인트가 이동되는 지 또는 사용자가 화면 터치한 모바일 단말이 이동되는지를 반복적으로 확인한다(S11).
만약, 특정 모바일 단말(예를 들어, 제1 모바일 단말(100))이 사용자의 터치 포인트가 이동되거나 사용자가 화면 터치한 모바일 단말이 이동함을 검출하면, 해당 모바일 단말(예를 들어, 제1 모바일 단말(100))은 사용자 터치 포인트에 대응되는 적어도 하나의 드로잉 포인트를 생성하고, 이들 각각의 터치 좌표를 획득한다(S12). 이때, 드로잉 포인트는 점 형태로 생성될 수도 있고, 선 형태로 생성될 수도 있는 데, 점 형태일 때에는 하나의 화면 좌표가, 선 형태일 때에는 연속되는 다수의 터치 좌표가 획득될 수 있을 것이다.
그리고, 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환한 후, 드로잉 포인트의 메타 데이터로 저장한다(S13). 기준좌표계 좌표는 크게 2 가지 방법에 의해 획득될 수 있는 데, 하나는 화면 변환 매트릭스를 통해 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환하는 방법(제1 방법)이고, 나머지 하나는 카메라 이미지((또는 카메라 프레임)내 영상 특징점들을 서로 연결하여 다수의 삼각형 메쉬 영역을 형성한 후, 드로잉 포인트가 속한 삼각형 영역의 무게 중심 좌표를 계산한 후, 이를 드로잉 포인트의 기준 좌표로 선정하는 방법(제2 방법)이다.
영상 호스트로 동작하는 제1 모바일 단말(100)은 카메라 프레임 갱신 주기(즉, 카메라 이미지 업데이트 주기)마다 새로운 카메라 이미지를 획득한 후(S21-1), 새로운 카메라 이미지에 따라 맵 업데이트 동작을 수행한다(S22). 이때, 맵은 기준좌표계 좌표 방법에 따라 포함 내용이 서로 상이해질 수 있다. 즉, 제1 방법 이용시에는 화면 변환 매트릭스(view transform matrix)을 포함하고, 제2 방법 이용시에는 카메라 이미지에 포함된 영상 특징점들의 좌표 목록을 포함할 수 있을 것이다.
그리고, 제1 모바일 단말(100)은 새로운 카메라 이미지과 업데이트된 맵을 게스트로 동작하는 제2 모바일 단말(200)에 제공하고, 게스트로 동작하는 제2 모바일 단말(200)은 화면 갱신 주기가 될 때마다 제1 모바일 단말(100)가 전송하는 새로운 카메라 이미지과 업데이트된 맵을 수신하도록 한다(S23). 다만, 본 발명에서는 제1 모바일 단말(100)과 제2 모바일 단말(200)간 통신 환경을 고려하여, 정보 제공 주기를 임의로 조정할 수 있도록 한다. 즉, 낮은 통신 속도시에는 일부 카메라 이미지에 대한 정보를 전송치 않고 건너뛸 수도 있을 것이다.
그리고, 각 모바일 단말(100, 200)은 맵 업데이트에 따른 신규 드로잉 포인트 생성 여부를 판정한다(S24). 즉, 사용자의 현재 드로잉 포인트의 터치 좌표와 마지막 드로잉 포인트가 현재 화면에 매핑된 좌표간 유클리드 거리(Euclidean distance)가 기 설정된 임계치를 초과하는 지 판단하고, 임계치를 초과하는 경우에 한해 사용자의 현재 드로잉 포인트를 신규 드로잉 포인트로 획득하도록 한다.
그리고, 신규 드로잉 포인트 각각에 상응하는 기준좌표계 좌표로 획득한다(S25). 이때의 기준좌표계 좌표는 단계 S13과 동일한 방식으로 획득될 수 잇을 것이다.
그리고, 각 모바일 단말(100, 200)은 자신이 생성한 드로잉 포인트들, 드로잉 포인트 각각의 기준좌표계 좌표를 서로 공유한다(S26). 이때, 각 모바일 단말(100, 200)은 모든 드로잉 포인트에 대한 정보를 일괄 전송할 수도 있으나, 통신 용량의 최소화를 위해 새로이 생성/소멸된 드로잉 포인트에 대한 정보만을 선별적으로 전송한 후, 주기적으로 전체 드로잉 포인트에 대한 정보를 갱신할 수도 있을 것이다.
마지막으로, 각 모바일 단말(100, 200)은 자신이 자체 생성하거나 또는 전송받은 드로잉 포인트의 기준좌표계 좌표를 수학식 1에서와 같이 자신의 화면(즉, 현재 카메라 이미지)에 매핑하여 표시한다(S27).
Figure 112012038729578-pat00001
이때, f 는 매핑 함수, V는 드로잉 포인트의 기준좌표계 좌표, M은 현재 카메라 이미지의 맵, V'는 V가 모바일 단말의 현재 화면에 매핑된 드로잉 포인트의 화면 표시 좌표.
도5는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 변화 예를 도시한 도면이다.
즉, 본 발명에서는 도5에서와 같이 제1 모바일 단말(100)과 제2 모바일 단말(200)은 동일한 화면을 구성 및 표시하여, 다수의 사용자가 동일한 화면을 보면서 드로잉 동작을 수행할 수 있도록 하고, 이에 더 나아가 서로의 드로잉 정보를 모두 공유할 수 있도록 한다.
그리고, 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환한 후, 이를 화면에 매핑하도록 함으로써, 모바일 단말의 움직임과 상관없이 드로잉 정보는 항상 동일한 영상 객체 위에 고정 표시될 수 있도록 하는 효과를 제공한다. 즉, 모바일 단말이 이동하여 모바일 단말에 표시되는 영상의 시점이 변화되더라도, 드로잉 포인트는 항상 동일한 영상 객체 위에 표시될 수 있도록 한다.
또한, 본 발명에서는 사용자 식별을 위해, 사용자 별로 드로잉 포인트의 표시 방법을 달리함으로써, 누가 어떤 드로잉 패턴을 그렸는지를 서로 인식할 수 있도록 하기도 한다.
도6는 본 발명의 일 실시예에 따른 영상 통화 시스템의 드로잉 포인트 생성 방법을 설명하기 위한 도시한 도면이다.
도6에 도시된 바와 같이, 본 발명에서는 일반 드로잉 동작에서와 같이 사용자가 화면상에서 손가락을 드래그하여 사용자 터치 지점(파란 점선으로 표시)을 직접 이동시킴으로써, 드로잉 포인트(빨간 실선으로 표시)를 새로이 생성할 수 있다.
한편, 본 발명에서는 사용자 손가락이 아닌 모바일 단말을 이동시켜서도 드로잉 포인트(빨간 실선으로 표시)를 새로이 생성할 수도 있다. 즉, 사용자가 모바일 단말의 일 지점을 터치한 후 터치 지점(파란 점으로 표시)은 그대로 유지한 채, 모바일 단말만을 이동시킴으로써 드로잉 포인트(빨간 실선으로 표시)를 생성할 수도 있도록 한다.
이와 같이, 본 발명에서는 모바일 단말이 사용자에 의해 이동될 수 있음을고려하여 고려하여 새로운 방식의 드로잉 포인트 생성 방법을 제안함을 알 수 있다. 이에 사용자는 자신의 사용 환경에 적합한 드로잉 포인트 생성 방법을 선택하여, 보다 편리하고 효과적으로 드로잉 포인트를 생성할 수 있게 된다.
도7은 본 발명의 일 실시예에 따른 도4의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면으로, 도7에서는 드로잉 포인트의 터치 좌표에 화면 변환 매트릭스의 역행렬을 곱하여 드로잉 포인트의 기준좌표계 좌표를 획득하는 방법(제1 방법)에 대해 설명하기로 한다.
먼저, 모바일 단말(100, 200)은 새로운 카메라 이미지에 대응되는 맵(M)을 획득한다(S31).
단계 S31에서 획득되는 맵(M)은 화면 변환 매트릭스로 구성되며, 맵 획득 방법은 카메라 이미지가 2차원 영상인 경우와 3차원 영상인 경우, 그 방법이 달라질 수 있다.
예를 들어, 카메라 이미지가 2차원 영상인 경우에는 드로잉 포인트의 터치 좌표가 일반 2차원 화면 좌표이므로, 새로운 프레임과 이전 프레임 사이에서 영상 특징점들이 이동한 2차원 아핀 변화(affine transform)을 x방향과 y방향 이동 평균값으로 구하고, 이를 최초 프레임으로부터 계속 곱하여 누적하여 화면 변환 매트릭스를 생성하도록 한다. 즉, 이동량만을 간주하여 방법으로 맵으로 사용될 화면 변환 매트릭스를 생성하도록 한다.
한편, 카메라 이미지가 3차원 영상인 경우에는 드로잉 포인트의 터치 좌표가 드로잉 포인트의 깊이 정보를 포함하는 3차원 좌표이므로, 새로운 프레임과 이전 프레임 사이에서 영상 특징점들이 이동한 3차원 아핀 변화(affine transform)을 RANSAC 등의 알고리즘으로 구하고, 이를 최초 프레임으로부터 계속 곱하여 누적하여 화면 변환 매트릭스를 생성하도록 한다.
그리고 드로잉 포인트의 터치 좌표(u)와, 각 드로잉 포인트 생성 시점의 맵(N)을 획득한 후(S32), 이들을 수학식 2에 따라 서로 곱하여 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환한다(S33).
Figure 112012038729578-pat00002
이때, N은 각 드로잉 포인트 생성 시점의 맵, N-1 은 N의 역행렬, u는 드로잉 포인트의 터치 좌표, V는 드로잉 포인트의 기준좌표계 좌표.
그리고 수학식 3에 따라 드로잉 포인트의 기준좌표계 좌표(V)를 현재 화면(즉, 현재 카메라 이미지)에 매핑하여 드로잉 포인트의 화면 표시 좌표(V')를 획득한 후, 현재 카메라 이미지에 오버레이시켜 표시하여 준다(S34).
Figure 112012038729578-pat00003
도8은 본 발명의 다른 실시예에 따른 도4의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면으로, 도8에서는 각 드로잉 포인트에 인접한 영상 특징점들의 이동량의 보간(interpolation)으로서 드로잉 포인트의 이동량을 결정하는 방법(제2 방법)에 관해 설명하기로 한다.
먼저, 모바일 단말(100, 200)은 새로운 카메라 이미지에 대응되는 맵(M)을 획득한다(S41).
단계 S41에서 획득되는 맵(M)은 카메라 이미지에 대한 영상 특징점들의 좌표 목록으로 구성되며, 이때의 특징점들은 옵티컬 플로우(optical flow)를 통해 서로 다른 카메라 이미지간에 트랙킹될 것이다.
물론, 단계 S41의 맵 획득 방법도, 단계 S31의 맵 획득 방법과 동일한 원리로 2차원 영상인 경우와 3차원 영상인 경우에 대해 그 방법이 달라질 수 있다.
그리고 드로잉 포인트의 터치 좌표(u)와, 각 드로잉 포인트 생성 시점의 맵(N)을 획득한 후(S42), 맵(N)에 대한 들로네 삼각화(Delaunay triangulation)을 수행한다(S43). 즉, 들로네 삼각화 알고리즘을 이용하여 현재 카메라 이미지에 포함된 영상 특징점들을 서로 연결하여, 다수의 삼각 영역을 형성한다.
그리고 드로잉 포인트의 터치 좌표(u)가 속한 삼각 영역의 세 정점 a,b,c를 선택하고, 그 세 정점에 대한 무게 중심 좌표를 계산한 후, 이를 드로잉 포인트의 기준좌표계 좌표(V)로 획득한다(S44).
Figure 112012038729578-pat00004
그리고 수학식 5에 따라 드로잉 포인트의 기준좌표계 좌표를 현재 화면(즉, 현재 카메라 이미지)에 매핑하여 드로잉 포인트의 화면 표시 좌표를 획득한 후, 현재 카메라 이미지에 오버레이시켜 표시하여 준다(S45). 즉, 드로잉 포인트의 기준좌표계 좌표(V)를 현재 맵(M)에서 상기 세 정점의 좌표 ra, rb, rc를 기준으로 드로잉 포인트의 터치 좌표로 복원함으로써, 드로잉 포인트의 기준좌표계 좌표가 현재 화면(즉, 현재 카메라 이미지)에 매핑 및 표시되도록 한다.
Figure 112012038729578-pat00005
참고로, 하나의 카메라 이미지에서 맵을 추출하고, 다음의 카메라 이미지가 들어오기까지 그려진 드로잉 포인트들과 그 이후의 드로잉 포인트들 사이에는 기준좌표계가 불연속적되어, 톱니 모양의 드로잉 포인트가 생겨나는 문제가 발생할 수 있다. 특히, 이러한 문제는 네트워크를 통해 카메라 영상을 수신받는 게스트측에서는 통신 사정으로 제공받는 프레임 레이트가 떨어질 때 더욱 심화될 수 있다.
이에 본 발명에서는 도9의 프레임간 맵 보간 과정을 통해 이러한 문제가 발생하더라도, 정상적인 드로잉 협업 동작이 수행될 수 있도록 한다.
도9은 본 발명의 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도9을 참고하면, 본 발명의 다른 실시예에서는 단계 S24 이후에, 드로잉 포인트 생성 직전 맵과 직후 맵을 서로 비교하여, 포인트 생성 시점을 기준으로 두 맵 사이를 보간한 맵을 생성하는 과정을 수행한다(S51).
그리고 포인트 생성 시점을 기준으로 두 맵 사이를 보간한 맵을 기반으로신규 드로잉 포인트 각각에 상응하는 기준좌표계 좌표를 조정한 후(S52), 다시 드로잉 포인트 및 드로잉 포인트 기준좌표계 좌표 공유하는 단계 S26로 진입하도록 한다.
그 결과, 도9의 드로잉 협업 방법을 적용하면, 도10에 도시된 바와 같이 드로잉 포인트는 표시 경로는 프레임 레이트와 상관없이 항상 연속되게 될 것이다. 다만, 통신 사정 등으로 카메라 이미지가 장시간 멈춰 있을 수 있는 경우를 감안하여, 최종 프레임으로부터 일정 기준 시간(예를 들어, 0.1~0.2 초) 이내에 생성된 드로잉 포인트에 대해서만 보간 동작이 수행되도록 하도록 한다.
도11은 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면으로, 이는 영상 스트림 디스플레이를 일시 정지시킨 상태에서 드로잉 동작을 수행할 수 있도록 하는 것이다.
도11에서는, 사용자가 자신이 구비한 모바일 단말의 특정 버튼, 또는 화면 표시된 특정 메뉴를 선택하여 화면 정지를 요청하면, 화면 정지를 요청한 단말은 영상 통화 화면을 정지한다(S61).
이러한 상태에서 사용자가 화면 터치를 하여 신규 드로잉 포인트를 생성하면(S62), 화면 정지 시점의 맵 정보를 이용하여 신규 드로잉 포인트 각각에 상응하는 기준좌표계 좌표를 획득한 후(S63), 이를 상대편 단말과 공유하도록 한다(S64).
단계 S62 ~ S64는 사용자가 모바일 단말의 특정 버튼, 또는 화면 표시된 특정 메뉴를 선택하여 화면 정지를 해제하거나, 단일 스크로크가 종료될 때까지 반복 수행될 것이다.
한편, 화면 정지 상태가 해제되면(S65), 도4 또는 도9의 단계 S22로 진입하여 이전과 동일하게 드로잉 포인트 생성 동작을 수행하도록 한다.
도11에서와 같이, 영상 통화 화면을 정지하고 드로잉 동작을 수행할 경우에는 모바일 단말 이동량에 의해 드로잉 오차가 발생하는 것을 완전히 차단할 수 있어, 사용자가 드로잉 시작점, 끝점, 경로 등을 더욱 정교하게 그릴 수 있게 수 있도록 한다.
도12는 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 예를 도시한 도면이다.
즉, 도12에 도시된 바와 같이, 화면 정지를 요청한 모바일 단말은 카메라 영상을 일정 기간 동안 정지시킨 후, 화면 정지 시점의 카메라 영상의 맵 정보를 이용하여 드로잉 동작이 수행함을 알 수 있다.
그리고, 화면 정지가 해제되는 경우, 새로운 카메라 영상과 맵 정보를 획득한 후, 새로운 맵 정보와 화면 정지 시점의 맵 정보를 비교 분석하여 모바일 단말 이동량을 파악하고, 모바일 단말 이동량을 반영하여 화면 정지 상태에서 획득된 드로잉 포인트의 좌표를 즉각 수정함을 알 수 있다. 즉, 새로운 카메라 영상의 맵 정보를 이용하여 드로잉 객체의 표시 위치를 즉각 이동시킴을 알 수 있다.
한편, 본 발명에서는 화면 정지를 요청한 모바일 단말의 영상 통화 화면만이 정지될 할 뿐, 상대편 단말의 영상 표시 및 드로잉 협업 동작은 그대로 수행되도록 함으로써, 특정 단말의 화면 정지 동작에 의해 다른 모바일 단말의 동작까지 영향을 받지 않도록 한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서,
    상기 다수의 게스트 단말이 상기 영상 호스트 단말이 제공하는 카메라 이미지를 실시간 공유하면서, 영상 통화를 수행하는 단계;
    상기 다수의 모바일 단말 중 적어도 하나가 상기 카메라 이미지 상의 화면 터치나 화면 터치상태에서 변화되는 모바일 단말 이동을 감지하여 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계;　
    상기 다수의 모바일 단말 중 적어도 하나가 상기 영상 호스트 단말의 카메라 시점 변화에 의한 영상 시점의 변화량을 반영시켜 맵을 업데이트하고, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및
    상기 다수의 모바일 단말 각각이 상기 업데이트된 맵을 기반으로 상기 드로잉 포인트의 위치를 조정하고, 상기 위치 조정된 드로잉 포인트를 실시간 공유되는 상기 카메라 이미지에 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법.
  2. 제1항에 있어서, 상기 맵은
    화면 변환 매트릭스(view transform matrix)인 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  3. 제2항에 있어서, 상기 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계는
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하고 터치 좌표를 획득하는 단계;
    상기 드로잉 포인트의 터치 좌표에 상기 화면 변환 매트릭스의 역행렬을 곱하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득하는 단계; 및
    상기 드로잉 포인트의 기준좌표계 좌표를 상기 다수의 모바일 단말과 공유하는 단계를 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  4. 제2항에 있어서, 상기 맵을 업데이트하고, 상기 다수의 모바일 단말 모두와 공유하는 단계는
    상기 영상 호스트 단말이 카메라 이미지 갱신 주기가 되면, 새로운 카메라 이미지를 획득하고 이전 카메라 이미지와 비교하여 카메라 시점 변화에 의한 영상 시점의 변화량을 파악하고, 상기 영상 시점의 변화량을 반영하여 맵을 업데이트한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및
    상기 다수의 모바일 단말 중 적어도 하나가 화면 갱신 주기가 되면, 상기 업데이트된 맵을 수신 및 반영하는 단계를 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  5. 제4항에 있어서, 상기 위치 조정된 드로잉 포인트를 상기 카메라 이미지에 표시하는 단계는
    상기 업데이트된 맵을 기반으로 상기 드로잉 포인트의 위치를 조정하고, 최종 드로잉포인트의 조정된 위치와 현재 터치 사이의 거리가 기 설정된 임계치를 초과했을 때 상기 위치 조정된 드로잉 포인트를 신규 드로잉 포인트로 획득하는 단계; 및
    상기 다수의 모바일 단말 각각이 자체 생성하거나 전송받은 상기 드로잉 포인트와 상기 신규 드로잉 포인트의 기준좌표계 좌표를 상기 카메라 이미지에 매핑하여 표시하는 단계를 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  6. 제1항에 있어서, 상기 맵은
    카메라 이미지에 대한 영상 특징점의 좌표 목록으로 구성되는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  7. 제6항에 있어서, 상기 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계는
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하고 터치 좌표를 획득하는 단계;
    상기 드로잉 포인트의 터치 좌표와 상기 드로잉 포인트 생성 시점에서의 맵에 포함된 영상 특징점을 삼각화하여 다수의 삼각 영역을 생성하고, 드로잉 포인트의 터치 좌표가 속하는 삼각 영역의 무게 중심 좌표를 상기 드로잉 포인트의 기준좌표계 좌표로 획득하는 단계; 및
    상기 드로잉 포인트의 기준좌표계 좌표를 상기 다수의 모바일 단말과 공유하는 단계를 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  8. 제7항에 있어서, 상기 위치 조정된 드로잉 포인트를 실시간 공유되는 상기 카메라 이미지에 표시하는 단계는
    상기 드로잉 포인트의 터치 좌표가 속하는 삼각 영역의 세 정점의 좌표를 기준으로, 상기 업데이트된 맵에서 상기 드로잉 포인트의 기준좌표계 좌표를 상기 드로잉 포인트의 터치 좌표로 복원함으로써, 상기 영상 호스트 단말이 제공하는 카메라 이미지에 상기 드로잉 포인트를 매핑하여 표시하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  9. 제1항에 있어서, 상기 위치 조정된 드로잉 포인트를 실시간 공유되는 상기 카메라 이미지에 표시하는 단계는
    드로잉 포인트 생성 직전 맵과 드로잉 포인트 생성 직후 맵을 보간한 맵을 생성한 후, 상기 보간된 맵을 이용하여 상기 드로잉 포인트의 위치를 수정하는 단계를 더 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  10. 제1항에 있어서, 상기 위치 조정된 드로잉 포인트를 실시간 공유되는 상기 카메라 이미지에 표시하는 단계는
    사용자별로 드로잉 포인트의 표시 방법을 달리하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  11. 제1항에 있어서,
    상기 영상 통화를 수행하는 단계 이후에, 상기 다수의 모바일 단말 각각 중 적어도 하나가 화면 정지 요청을 감지하면, 화면 정지 요청 단말이 화면 정지 동작을 수행한 후, 화면 정지 시점의 맵을 이용하여 드로잉 포인트의 기준좌표계 좌표를 획득하고 공유하는 단계를 더 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  12. 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서,
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계;
    상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 이미지 갱신 주기가 될 때마다, 새로운 카메라 이미지를 획득하고 상기 영상 호스트 단말의 카메라 시점 변화에 의한 영상 시점의 변화량을 반영한 맵을 업데이트한 후, 새로운 카메라 이미지와 업데이트된 맵을 게스트 단말에 제공하는 단계;
    상기 다수의 모바일 단말 각각이 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및
    상기 다수의 모바일 단말 각각이 상기 드로잉 포인트의 기준좌표계 좌표에 따라 상기 드로잉 포인트를 상기 카메라 이미지에 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법.
  13. 제12항에 있어서,
    상기 다수의 모바일 단말 모두와 공유하는 단계 이후에, 드로잉 포인트가 불연속되면, 드로잉 포인트 생성 직전 맵과 드로잉 포인트 생성 직후 맵을 보간한 맵을 생성한 후, 상기 보간된 맵을 이용하여 상기 드로잉 포인트의 기준좌표계 좌표를 수정하는 단계를 더 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  14. 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서,
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계;
    상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 이미지 갱신 주기가 될 때마다, 새로운 카메라 이미지를 획득하고 맵을 업데이트한 후, 새로운 카메라 이미지과 업데이트된 맵을 게스트 단말에 제공하는 단계;
    상기 다수의 모바일 단말 각각 중 적어도 하나가 화면 정지 요청을 감지하면, 화면 정지 요청 단말은 화면 정지 동작을 수행한 후 화면 정지 시점의 맵을 이용하여 드로잉 포인트의 기준좌표계 좌표를 획득하고, 그렇지 않은 모바일 단말은 상기 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득하는 단계; 및
    상기 다수의 모바일 단말 각각이 상기 드로잉 포인트의 기준좌표계 좌표를 공유하고, 상기 드로잉 포인트의 기준좌표계 좌표에 따라 상기 드로잉 포인트를 카메라 이미지에 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법.
KR1020120051424A 2012-05-15 2012-05-15 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법 KR101434728B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120051424A KR101434728B1 (ko) 2012-05-15 2012-05-15 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법
PCT/KR2013/004311 WO2013172657A1 (ko) 2012-05-15 2013-05-15 영상 통화 시스템에서의 영상 통합 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051424A KR101434728B1 (ko) 2012-05-15 2012-05-15 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법

Publications (2)

Publication Number Publication Date
KR20130127704A KR20130127704A (ko) 2013-11-25
KR101434728B1 true KR101434728B1 (ko) 2014-08-29

Family

ID=49855114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051424A KR101434728B1 (ko) 2012-05-15 2012-05-15 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법

Country Status (1)

Country Link
KR (1) KR101434728B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638227B1 (ko) * 2014-04-01 2016-07-20 한승훈 포인트 기반 콘텐츠 공유 방법
GB201419441D0 (en) 2014-10-31 2014-12-17 Microsoft Corp Modifying video call data
KR102420577B1 (ko) * 2021-05-31 2022-07-14 주식회사 파블로아트컴퍼니 쌍방향 참여형 그림 제작 서비스 제공 시스템 및 이의 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019412A (ko) * 2004-08-27 2006-03-03 엘지전자 주식회사 화상 통화 기능을 갖는 이동통신 단말기
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20090052732A (ko) * 2007-11-21 2009-05-26 에스케이 텔레콤주식회사 영상 통화 장치 및 그 제어방법
KR101029195B1 (ko) 2009-12-11 2011-04-12 에스케이텔레콤 주식회사 복수의 사용자 기반의 다중 영상통화 서버 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019412A (ko) * 2004-08-27 2006-03-03 엘지전자 주식회사 화상 통화 기능을 갖는 이동통신 단말기
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20090052732A (ko) * 2007-11-21 2009-05-26 에스케이 텔레콤주식회사 영상 통화 장치 및 그 제어방법
KR101029195B1 (ko) 2009-12-11 2011-04-12 에스케이텔레콤 주식회사 복수의 사용자 기반의 다중 영상통화 서버 및 그 방법

Also Published As

Publication number Publication date
KR20130127704A (ko) 2013-11-25

Similar Documents

Publication Publication Date Title
CN107369197B (zh) 图片处理方法、装置及设备
KR101382517B1 (ko) 연락처를 처리하는 방법 및 모바일 단말
JP5568610B2 (ja) 拡張現実システム、映像合成装置、映像合成方法及びプログラム
JP6070783B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN109460177A (zh) 一种图片处理方法及终端设备
JPWO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
US11880999B2 (en) Personalized scene image processing method, apparatus and storage medium
JPWO2014188797A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP2012115519A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2010134897A (ja) 描画装置、描画方法、プログラムおよび記録媒体
KR20170078785A (ko) 비디오 통화 데이터 수정
CN105991925A (zh) 场景构图指示方法和指示装置
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
JP2013235374A (ja) 画像処理装置、投影制御方法及びプログラム
JP2014016967A (ja) 情報表示プログラム及び情報表示装置
KR101434728B1 (ko) 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법
JP2019537118A (ja) ページを表示するための方法および装置、グラフィカルユーザインターフェース、ならびにモバイル端末
JP2014085818A (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
WO2022217433A1 (zh) 多端协同的显示更新方法及装置
KR101656518B1 (ko) 탄력 버튼을 제공하는 사용자 단말기, 그를 이용한 특정 기능 실행 방법 및 사용자 인터페이스
WO2013172657A1 (ko) 영상 통화 시스템에서의 영상 통합 제어 방법
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
CN114116106A (zh) 图表显示方法及装置、电子设备和存储介质
JP6881193B2 (ja) 情報処理装置、情報処理方法、プログラム、表示制御装置、表示制御方法、プログラムおよび情報処理システム
KR20160070535A (ko) 터치 입력 제어 및 가상 매핑 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170821

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180716

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190820

Year of fee payment: 6