KR101167432B1 - 통신 방법 및 통신 시스템 - Google Patents

통신 방법 및 통신 시스템 Download PDF

Info

Publication number
KR101167432B1
KR101167432B1 KR1020107022906A KR20107022906A KR101167432B1 KR 101167432 B1 KR101167432 B1 KR 101167432B1 KR 1020107022906 A KR1020107022906 A KR 1020107022906A KR 20107022906 A KR20107022906 A KR 20107022906A KR 101167432 B1 KR101167432 B1 KR 101167432B1
Authority
KR
South Korea
Prior art keywords
video
mobile terminal
communication system
media
augmented
Prior art date
Application number
KR1020107022906A
Other languages
English (en)
Other versions
KR20110005696A (ko
Inventor
올리비에르 포우펠
마린 오스몬드
스테판 사아다
스테판 듀포스
발렌틴 레페브레
니콜라스 리베트
Original Assignee
또딸 이메르지옹
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 또딸 이메르지옹, 알까뗄 루슨트 filed Critical 또딸 이메르지옹
Publication of KR20110005696A publication Critical patent/KR20110005696A/ko
Application granted granted Critical
Publication of KR101167432B1 publication Critical patent/KR101167432B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 카메라를 구비한 통신 이동 단말기(2) 상에, 내부에 실제로 촬영된 장면과 접속되는 추가적인 시각 요소가 내장된 실제로 촬영된 장면을 포함하는 증강된 비디오를 디스플레이하는 것을 포함하는 통신 방법에 관한 것이며, 비디오 증강 동작은 원격 통신 시스템(3) 내에서 수행되고, 이동 단말기(2) 상에서 실시간으로 수행된다.

Description

통신 방법 및 통신 시스템{METHOD FOR IMPLEMENTING RICH VIDEO ON MOBILE TERMINALS}
본 발명은 원격통신 분야에 관한 것으로, 보다 구체적으로는 이동 단말기 상의 증강된 비디오의 디스플레이에 관한 것이다.
2세대(2G) 이동 네트워크는 무선 통신에 디지털 기술을 도입하였지만, 3세대 -특히, UMTS에 의해 구현됨- 는 특히, 무선 인터페이스를 통해 증가한 비트레이트(2 Mbit/s 까지) 때문에, 고정 라인 네트워크에 할당되어온 이동 네트워크 통신 서비스로 통합함으로써 (2 Mbit/s 까지) 고정 라인 네트워크와 이동 네트워크의 통합을 보장한다. 지원되는 서비스는 특히 (음성 외에) 오디오, 비디오, 텍스트 및 그래픽, 즉, 멀티미디어 애플리케이션의 본질적인 요소를 포함한다. 이와 동시에, 이동 단말기는 전력 증가를 겪으며, 단말기가 비디오 애플리케이션의 디스플레이와 같은 재생 동작만을 수행하므로, 현재 단말기 상에서 구동하는 영구적인 애플리케이션뿐만 아니라 원격 서버 상에서 구동하는 비영구적인 애플리케이션도 구현할 수 있는 표준 컴퓨터처럼 작동한다(Pujolle, Les Reseaux, 2008 version, Chap. 43, pp.1004-1012 참고).
이로써 전파 통신에서 단말기의 전력 증가와 비트레이트 증가의 결합은, 이동 네트워크에서 겪는 통상적인 문제(네트워크 액세스 가능성, 핸드오버, 데이터 전송 시간)가 발생하지 않는 고정 라인 네트워크용으로 초기에 설계된 멀티미디어 애플리케이션을 3G 단말기에서 구동하는 것을 가능하게 한다. 전술한 단말기의 전력 증가와 비트레이트 증가의 결합이 증강 현실, 즉, 실제 현실로부터 얻은 장면 위에 겹쳐진 가상 요소가 디스플레이되는 기술에 적용된다. 증강 현실의 애플리케이션 중 하나는 증강된 비디오이며, 촬영된 장면이 멀티미디어 데이터베이스로부터 선택된 텍스트 또는 이미지와 같은 시각 요소를 사용하여 실시간으로 증강된다(예컨대, 유럽 특허 출원 EP 1,527,599 참조). 이 기술은 카메라를 구비한 이동 단말기에서 최근에 보이고 있으며, 예컨대, 유럽 특허 출원 EP 1,814,101 또는 미국 특허 출원 US 2007/0024527 참고한다.
그러나, 제안된 해결책은 전체적으로 만족스럽지 않아 왔다. 이들 대부분은 여전히 이론적이며, 사용자 실제 상호작용을 제공하지 않는 단순한 시각 요소로 제한된다.
게다가, 문서 EP 1,814,101 및 US 2007/0024527에 설명된 시스템은 사용자에 의해 사실상 검출가능하지 않은 시간 이내를 의미하는 실시간으로 증강 현실을 합성하는 것을 가능하게 하지 않는다.
본 발명은 특히 이동 네트워크 내의 실제 실행에 삽입될 수 있고 사용자에게 진정한 실시간 상호작용을 허가하는 이동 단말기 상의 증강된 비디오 솔루션을 제공함으로써 이들 단점을 개선하도록 의도된다.
부가적으로, 본 발명은 대부분의 표준 이동 단말기를 적합하게 하도록 구성할 수 있는 것을 목적으로 한다.
최종적으로, 본 발명은 사용자에게 증강 현실 이미지와 상호작용하는 수단을 제공하는 것을 목적으로 한다.
이를 위해, 첫째로 본 발명은 카메라를 구비한 통신 이동 단말기 상에, 실제로 촬영된 장면과 연결되는 추가적인 시각 요소가 내장된, 실제로 촬영된 장면을 포함하는 증강된 비디오를 디스플레이하는 것을 포함하는 통신 방법을 제안하며, 방법은,
- 이동 단말기와 원격 통신 시스템 사이에 미디어 세션을 수립하는 동작과,
- 단말기가 카메라에 의해 실제로 촬영된 장면을 포함하는 증강되지 않은 비디오를 촬영하는 동작과,
- 이동 단말기에 의해 증강되지 않은 비디오를 실시간으로 통신 시스템으로 전송하는 동작과,
- 통신 시스템이 증강되지 않은 비디오를 수신하는 동작과,
- 통신 시스템 내에서 촬영된 장면을 실시간 분석하는 동작과,
- 통신 시스템의 데이터베이스 내에서, 촬영된 장면과 관련된 하나 이상의 추가적인 미디어 객체를 선택하는 동작과,
- 단말기로부터 활성화될 수 있는 적어도 하나의 상호작용 기능을 추가적인 미디어 객체 중에서 적어도 하나의 객체와 연관시키는 동작과,
- 증강된 비디오를 형성하도록, 증강되지 않은 비디오에 선택된 추가적인 미디어 객체 또는 객체들을 추가하는 동작과,
- 통신 시스템이 이동 단말기로 증강된 비디오를 실시간으로 전송하는 동작과,
- 이동 단말기가 증강된 비디오를 실시간으로 재생하는 동작과,
- 이동 단말기가, 상호작용 기능이 연관된 추가적인 미디어 객체를 통해 단말기로부터 만들어진 임의의 명령을 통신 시스템으로 실시간으로 전송하는 동작과,
- 통신 시스템이 명령 동작을 수신하는 동작과,
- 통신 시스템이 명령을 분석하는 동작과,
- 수신된 명령에 따라(예컨대, 사전수립된 시나리오에 따라), 통신 시스템 내에서 적어도 하나의 미디어 객체의 외관 특성을 갱신하는 동작과,
- 통신 시스템이 단말기로 적어도 하나의 갱신된 미디어 객체를 실시간으로 전송하는 동작과,
- 갱신된 미디어 객체가 단말기에 의해 실시간으로 재생되는 동작과,
- 갱신된 미디어 객체가 단말기에 의해 실시간으로 디스플레이되는 동작
을 포함한다.
통신 시스템에 의해 증강되지 않은 비디오를 수신하는 것과 촬영된 장면의 분석 사이에, 비디오 디코딩 동작이 제공될 수 있으며, 분석은 압축되지 않은 비디오 포맷으로부터 수행된다.
이 명령은 예컨대, 단말기의 키보드에 의해 활성화된다.
둘째로, 본 발명은 통신 시스템을 제안하는데, 통신 시스템은,
- 이동 단말기와 미디어 세션을 수립할 수 있는 미디어 서버와,
- 미디어 서버에 접속되고, 그 위에 증강된 비디오 애플리케이션이 구현되는 비디오 애플리케이션 서버와,
- 비디오 애플리케이션 서버에 접속되고 비디오 애플리케이션 서버로부터의 명령시에 미디어 서버를 통해 이동 단말기로부터 수신된 증강되지 않은 비디오 내에서 이미지 분석 또는 추가적인 미디어 객체와 연관된 명령 분석을 수행하도록 프로그래밍되는 증강 현실 서버와,
- 증강 현실 서버에 접속된 미디어 객체 데이터베이스
를 포함한다.
이 시스템은 증강 현실 서버 및 미디어 서버에 접속되고, 미디어 서버를 통해 이동 단말기로부터 수신된 증강되지 않은 비디오를 압축해제하거나 반대로 미디어 서버를 통해 단말기로 전송되도록 증강된 비디오를 압축하도록 구성되는 인코더/디코더를 더 포함한다.
본 발명의 다른 목적 및 장점은 본 발명에 따른 네트워크 아키텍처 및 통신 방법을 설명하는 첨부 도면을 참조하여 이하의 설명을 검토할 때 자명해질 것이다.
도시된 네트워크 아키텍처(1)는 무선 인터페이스를 통해, 단말기(2)와의 미디어 세션의 수립을 보장하는 미디어 서버(4)와, 미디어 서버(4)에 접속되고 그 위에 증강된 비디오 애플리케이션이 구현되는 비디오 애플리케이션 서버(5), 비디오 애플리케이션 서버(5)에 접속된 증강 현실 서버(6) 및 증강 현실 서버(6)에 접속되거나 통합되는 멀티미디어 객체가 저장되는 데이터베이스(7)를 포함하는 통신 시스템(3)에 접속된 이동 단말기(2)(이동 전화기, 통신하는 PDA 또는 스마트폰)를 포함한다.
본 명세서에서 용어 "서버"는 기능을 통합할 수 있는 임의의 정보 시스템 또는 방법을 구현할 수 있는 임의의 컴퓨터 프로그램을 지칭한다.
일 실시예에 따르면, 시스템(3)은 증강 현실 서버(6) 및 미디어 서버(4)에 접속된 인코더/디코더(8)를 더 포함한다.
미디어 서버(4)와 이동 단말기(2)는 (예컨대, RTP 또는 H324m 프로토콜에 따라) 그들 사이에 특히, 오디오/비디오 데이터의 교환을 가능하게 하는 미디어 세션을 수립하도록 구성된다.
이동 단말기(2)는 카메라 앞에서, 단말기의 환경 내에서 발생하는 (증강되지 않음을 의미하는) 실제 장면으로 구성된 간단한 비디오를 생성하는 것을 가능하게 하는 카메라를 구비한다. 단말기는 비디오의 디스플레이를 가능하게 하는 스크린(9), 사용자가 명령을 입력할 수 있게 하는 키보드(10), 멀리서 들을 수 있는(단말기(2)가 적당한 거리에서 보유되는 경우를 의미함) 소리 재생을 가능하게 하는 스피커 또는 별개의 청취를 위한 이어피스도 구비한다.
사용된 데이터 전송 프로토콜은 사용자의 관점으로부터, 비디오가 단말기로부터 생성되는 때와 증강된 비디오의 디스플레이 사이의 시간뿐만 아니라 상호작용에 대한 응답 시간도 최소화하기 위해, 최대 데이터 전송 속도를 획득하도록 우선적으로 선택될 것이다. 서버에 의해 이미지를 처리하는 것 또는 비디오의 획득이 압축할 수 없는 처리 시간을 수반하는 정도까지, 프로토콜이 데이터를 수신하고, 처리하며, 다시 전송하는 데 걸린 총 시간이 사용자에 의해 검출될 수 없도록 충분히 빠르다는 것이 중요하다.
단말기(2)에서 생성된 비디오의 실시간 증강은 다음과 같이 수행된다.
우선 단말기(2)와 통신 시스템(3) 사이, 보다 구체적으로, (자발적으로) 단말기(2)와 미디어 서버(4) 사이에 미디어 세션이 실시간 프로토콜(예컨대, RTP 또는 H324m)에 따라 수립된다(101). 이 세션은 본래 양방향이며, 실시간으로 오디오 및 비디오 데이터의 전송을 포함하고, 발신 데이터는 (무선 인터페이스에 진입할 때) 인코딩되고 착신 데이터는 (무선 인터페이스를 나갈 때) 디코딩되는데 둘 다 단말기(2)에 의해서이다.
이어서 미디어 서버(4)는 증강된 비디오 애플리케이션의 개시를 명령하도록, 비디오 애플리케이션 서버(5)로 이 미디어 세션이 개방됨을 즉시 시그널링한다.
단말기(2)와 미디어 서버(4) 사이에 수립된 미디어 세션 동안에, 카메라 앞에서 발생하는 실제로 촬영된 장면을 포함하는 증강되지 않은 비디오가 단말기(2)로부터 생성된다.
이 비디오는 단말기(2)에 의해 미디어 서버(3)로 실시간으로 전송된다(103). 보다 구체적으로, 장면이 촬영되고 있는 동안, 단말기(2)에 의해 적합한 비디오 압축 표준(실제로, 원하는 압출 레벨에 적응됨을 의미하므로, 비교적 낮은 압축 레벨의 경우에, 단말기는 H.263 표준을 사용할 수 있고, 높은 압축 레벨의 경우에, 단말기(2)는 MPEG-4 표준을 이용할 수 있으며, 매우 높은 압축 레벨의 경우에, H.264 표준을 이용할 수 있음)에 따라 비디오 피드(feed)가 인코딩되고, RTP 패킷에 의해 미디어 서버(4)로 전송된다. 따라서, 세션의 수립에 기초하여, 이동 단말기에 의해 끊임없이 촬영된 흐름은 통신 시스템(3)으로 연속적으로 전송된다.
일단 미디어 세션이 수립되거나 애플리케이션 서버(5)로부터의 요청시에, 미디어 서버(4)는 비디오의 제 1 RTP 패킷의 수신을 증강된 비디오 애플리케이션 서버(5)로 즉시 시그널링하며, 그 다음에 증강된 비디오 애플리케이션은 후술되는 동작을 예상하여 증강 현실 서버(6)를 구성한다(104).
증강되지 않은 비디오는 미디어 서버(4)에 의해 그 비디오를 압축하고 압축되지 않은 포맷으로 증강 현실 서버(6)로 실시간으로 전송하는 인코더/디코더(8)로 RTP 패킷으로 전송된다(105). 이용된 압축되지 않은 포맷은 예컨대, IETF의 RFC 4175 표준에 대응하고, RGB(적 녹 청) 또는 YUV(YCrCb로도 알려져 있음) 컬러 정의를 사용한다.
이어서 증강 현실 서버(6)는 비디오에 포함된 촬영된 장면을 실시간으로 분석한다(107). 예컨대, 비디오는 이미지마다 나누어지고, 각각의 이미지는 해리스 코너 검출기 기술(Harris corner detector technique)과 같은 이미지 인식 기술에 의해 데이터베이스(7)로부터의 이미지와 비교된다. 그러므로 분석된 이미지는 데이터베이스(7) 내에 이전에 저장된 이미지와 일대일 매칭되고 이미지의 콘텐츠와 관련된(따라서, 촬영된 장면과 관련된) 적어도 하나의 미디어 객체와 연관된다.
오디오 객체, 비디오 객체, 텍스트 또는 이미지(예컨대, 3D 가상 현실 이미지) 또는 이들 리소스(예컨대, 오디오/비디오 객체)의 조합을 사용하는 객체일 수 있는 이 미디어 객체는 선택의 기점에서 증강되지 않은 비디오의 이미지와의 상관의 룰을 의미하는 사전결정된 시나리오와 연관된다. 예컨대, 만일 차량의 이미지가 데이터베이스에서 미디어 객체로서 차량의 승객 좌석 공간의 가상 3 차원 비디오와 연관되면, 시나리오는 그 뷰를 차량의 광고 사진에 겹치게 하고 비디오의 촬영 동안에 단말기의 방향의 기능으로서 실시간으로 공간 내의 뷰의 회전을 가능하게 하도록 구성될 수 있다. 이를 위해, 증강 현실 서버(6)에 의한 카메라 및 분석된 이미지의 상대 위치의 실시간 추적이 카메라의 방향과 동기화된 가상 뷰의 공간 내의 회전을 가능하게 한다.
단말기(2)는 또한 비디오 데이터와 함께, 측정이 실시간으로 RTP 흐름 내에 포함되는 가속도계를 구비할 수 있다.
그에 의해 선택된 미디어 객체는 증강된 비디오를 압축되지 않은 포맷으로 형성하도록 증강 현실 서버(6)에 의해 실시간으로 증강되지 않은 비디오에 추가된다(107').
압축되지 않은 포맷의 증강된 비디오 피드는 증강 현실 서버(6)에 의해 인코더/디코더(8)로 실시간으로 전송되며(108), 이전에 사용된 교환 포맷(H.263, MPEG-4, H.264)으로 압축된 후 역시 실시간으로 미디어 서버(4)로 전송된다(109). 그 다음에 이 미디어 서버는 증강된 비디오를 단말기(2)로 실시간으로 중계하며(110), 이는 실시간 압축해제 및 재생을 국부적으로 보장한다.
사용자의 시점으로부터, 촬영된 비디오의 증강은 어떠한 인지가능한 지연도 없으며 또는 초 이하의 시간 이내를 의미하는 실시간으로 처리된다. 설명된 아키텍처에 의해 허용된 정보 처리의 속도 때문에, 증강된 비디오의 추가적인 미디어 객체를 단말기(2)의 움직임에 대한 기본적인 적응 범위를 초과하고, 실제 또는 가상일 수 있는 사용자에 의한, 예컨대, 키보드(10) 상의 키에 의한 음성 또는 수동 명령에 따라 활성화될 수 있는 상호작용 기능과 연관시키는 것이 가능하다. 각각의 상호작용 명령은 단말기(2)에 의해 미디어 서버(4)로 전송되며(111), 이들을 비디오 애플리케이션 서버(5)로 중계하고(112) 그 다음에 증강된 비디오 애플리케이션을 통해 사전수립된 시나리오의 함수로서, 증강 현실 서버(6) 내의 미디어 객체의 외관 특성에 대한 갱신을 지시한다(113).
사용자는 추가적인 객체에 직접 컬러, 텍스처, 위치 등과 같은 특성의 변경을 행하거나 광고 메시지를 실행하고, 하이퍼링크를 활성화하는 등의 객체 그 자체에 의해 제공된 기능을 사용할 수 있다. 예컨대, 사용자는 차량을 촬영할 수 있고, 사용자가 원하는 대로 (회전, 문 열기, 승객 좌석 검사, 컬러 변경 등) 조작할 수 있고, 잠재적으로 상호작용할 수 있는 상업 정보 -가격, 판매자의 연락 정보, 배송 시간, 상업 웹사이트로의 링크 등- 와 연관되는 그 차량의 3 차원 뷰를 다시 수신할 수 있다.
일 특정 실시예에서, 전술된 몇몇 기능은 데이터 전송 시간에 기인하는 지연을 감소시키는 방식으로 이동 단말기(2)에 통합된다. 따라서, 이동 단말기(2)는 통신 시스템(3)으로 이미 압축된 비디오 흐름을 전송하도록, 예컨대, 인코딩/디코딩을 통합할 수 있으며, 이로써 잠재적으로 더 빨라진다.
설명된 솔루션은 구현되는 임의의 특정 추가 기능 없이도 3 세대 이동 단말기 상에서 구현될 수 있는 증강 현실의 일상 생활에서 사용가능한 효율적인 애플리케이션을 제안하며, 처리의 대부분은 원격 통신 시스템 내에서 수행되고, 그 구성은 비디오 증강 동작을 실시간으로 수행하는 것을 가능하게 한다.
이 솔루션은 또한 증강된 비디오에 기초하여 전자 상거래 포털에 대한 액세스를 가능하게 한다.
이 방법은 특히 이동 단말기에 대해 의도된 광고 콘텐츠를 배포할 때 적용할 수 있다. 게다가, 이동 단말기(2)에 의해 촬영된 장면의 분석에 이어서, 촬영된 장면과 추가적으로 접속된 미디어 객체는 광고 관련일 수 있다.
제한적이지 않은 예로써, 만일 이동 단말기(2)에 의해 촬영된 장면이 영화의 인쇄 포스터이면, 대응하는 추가적인 미디어 객체는 촬영된 장면을 포함하거나 포함하지 않을 수 있는 그 영화의 광고 비디오 시퀀스일 수 있다. 그 영화의 상영 날짜를 검색하고, 예약하고/예약하거나 그 영화에 대한 추가적인 정보를 요청하는 것은 광고 미디어 콘텐츠와 연관될 수 있고 이동 단말기(2)로부터 활성화될 수 있는 상호작용 특징의 예이다.
제 2 예로써, 만일 이동 단말기(2)에 의해 촬영된 실제 장면이 자동차를 포함하면, 새로운 차량, 액세서리 및/또는 자동차 부품 또는 서비스에 대한 한 조각의 광고 콘텐츠와 같은 몇몇 추가적인 광고 미디어 객체가 예상될 수 있다.
이 문맥 내에서, 추가적인 광고 미디어 객체와 연관된 상호작용 기능은 문화, 광고 및/또는 상업적인 목적을 위한 것일 수 있다.
비디오 증강 동작이 통신 시스템(3)에 의해 수행되는 정도까지, 이 시스템은 또한 이들 동작에 관한 정보를 수집하도록 기능할 수 있다. 예컨대, 이 정보는,
- 주어진 증강된 비디오를 처리하는, 이동 단말기(2)와 통신 시스템(3) 사이의 통신 세션의 평균 지속기간과,
- 시간 단위에 의해, 주어진 증강된 비디오에 관한 통신 세션의 수와,
- 영역에 의해, 주어진 증강된 비디오에 관한 통신 세션의 수와,
- 초기에 의도된 파퓰레이션에 속하는 사용자와 이미 수립된 통신 세션의 수와,
- 이동 단말기(3)의 사용자에 대한 정보(전화 번호, 성별, 나이, 성, 이름 등)
를 포함할 수 있다.
이 정보는 상업적인 목적을 위해 추가적인 미디어 객체의 소유자에게 매우 유용한 통계 데이터를 제공하는 것을 가능하게 한다.

Claims (6)

  1. 카메라를 구비한 통신 이동 단말기(2) 상에, 실제로 촬영된 장면을 포함하며 상기 실제로 촬영된 장면과 연결되는 추가적인 시각 요소가 내장되는 증강된 비디오(enhanced video)를 디스플레이하는 것을 포함하는 통신 방법에 있어서,
    상기 이동 단말기(2)와 원격 통신 시스템(3) 사이에 미디어 세션을 수립하는 동작과,
    상기 이동 단말기(2)가 상기 실제로 촬영된 장면을 포함하는 증강되지 않은 비디오(non-enhanced video)를 상기 카메라에 의해 촬영하는 동작과,
    상기 이동 단말기(2)에 의해 상기 증강되지 않은 비디오를 상기 통신 시스템(3)으로 실시간으로 전송하는 동작과,
    상기 통신 시스템이 상기 증강되지 않은 비디오를 수신하는 동작과,
    상기 통신 시스템(3) 내에서 상기 촬영된 장면을 실시간으로 분석하는 동작과,
    상기 통신 시스템(3)의 데이터베이스 내에서, 상기 촬영된 장면과 관련된 하나 이상의 추가적인 미디어 객체를 선택하는 동작과,
    상기 이동 단말기(2)로부터 활성화될 수 있는 적어도 하나의 상호작용 기능을 상기 추가적인 미디어 객체 중 적어도 하나의 미디어 객체와 연관시키는 동작과,
    증강된 비디오를 형성하도록, 상기 증강되지 않은 비디오에 선택된 미디어 객체 또는 추가적인 미디어 객체를 추가하는 동작과,
    상기 통신 시스템(3)이 상기 이동 단말기(2)로 상기 증강된 비디오를 실시간으로 전송하는 동작과,
    상기 이동 단말기(2)가 상기 증강된 비디오를 실시간으로 재생하는 동작과,
    상기 이동 단말기(2)가, 상호작용 기능이 연관된 추가적인 미디어 객체를 통해 상기 이동 단말기(2)로부터 만들어진 임의의 명령을 상기 통신 시스템으로 실시간으로 전송하는 동작과,
    상기 통신 시스템(3)이 상기 명령을 수신하는 동작과,
    상기 통신 시스템(3)이 상기 명령을 분석하는 동작과,
    수신된 상기 명령에 따라, 상기 통신 시스템(3) 내에서 적어도 하나의 미디어 객체의 외관 특성을 갱신하는 동작과,
    상기 통신 시스템(3)이 상기 이동 단말기(2)로 적어도 하나의 갱신된 미디어 객체를 실시간으로 전송하는 동작과,
    상기 갱신된 미디어 객체가 상기 이동 단말기(2)에 의해 실시간으로 재생되는 동작과,
    상기 갱신된 미디어 객체가 상기 이동 단말기(2)에 의해 실시간으로 디스플레이되는 동작을 포함하는
    통신 방법.
  2. 제 1 항에 있어서,
    상기 통신 시스템(3)이 증강되지 않은 비디오를 수신하는 동작과 상기 촬영된 장면을 분석하는 동작 사이에 비디오 디코딩 동작을 포함하되,
    상기 분석은 압축되지 않은 비디오 포맷으로부터 수행되는
    통신 방법.
  3. 삭제
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 명령은 상기 이동 단말기(2)의 키보드(10) 상의 키에 의해 입력되는
    통신 방법.
  5. 통신 시스템(3)에 있어서,
    이동 단말기(2)와 미디어 세션을 수립할 수 있는 미디어 서버(4)와,
    상기 미디어 서버(4)에 접속되고, 증강된 비디오 애플리케이션을 구현하는 비디오 애플리케이션 서버(5)와,
    상기 비디오 애플리케이션 서버(5)에 접속되고, 상기 비디오 애플리케이션 서버(5)로부터의 명령에 따라 상기 미디어 서버(4)를 통해 상기 이동 단말기(2)로부터 수신된 증강되지 않은 비디오 내에서 이미지 분석을 수행하거나 또는 추가적인 미디어 객체와 연관된 명령 분석을 수행하도록 프로그래밍되는 증강 현실 서버(6)와,
    상기 증강 현실 서버(6)에 접속된 미디어 객체 데이터베이스(7)를 포함하는
    통신 시스템.
  6. 제 5 항에 있어서,
    상기 증강 현실 서버(6) 및 상기 미디어 서버(4)에 접속되고, 상기 미디어 서버(4)를 통해 상기 이동 단말기(2)로부터 수신된 증강되지 않은 비디오를 압축해제하거나 반대로 상기 미디어 서버(4)를 통해 상기 이동 단말기(2)로 전송될 증강된 비디오를 압축하도록 구성되는 인코더/디코더(8)를 더 포함하는
    통신 시스템.
KR1020107022906A 2008-03-14 2009-03-13 통신 방법 및 통신 시스템 KR101167432B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0801430A FR2928805B1 (fr) 2008-03-14 2008-03-14 Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
FR0801430 2008-03-14
PCT/EP2009/053021 WO2009112585A1 (fr) 2008-03-14 2009-03-13 Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles

Publications (2)

Publication Number Publication Date
KR20110005696A KR20110005696A (ko) 2011-01-18
KR101167432B1 true KR101167432B1 (ko) 2012-07-19

Family

ID=39612570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107022906A KR101167432B1 (ko) 2008-03-14 2009-03-13 통신 방법 및 통신 시스템

Country Status (8)

Country Link
US (1) US20110096844A1 (ko)
EP (1) EP2255527B1 (ko)
JP (1) JP5199400B2 (ko)
KR (1) KR101167432B1 (ko)
CN (1) CN101971618B (ko)
AT (1) ATE536039T1 (ko)
FR (1) FR2928805B1 (ko)
WO (1) WO2009112585A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
EP2359915B1 (en) 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US9111326B1 (en) 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US8905551B1 (en) 2010-12-23 2014-12-09 Rawles Llc Unpowered augmented reality projection accessory display device
US8845110B1 (en) 2010-12-23 2014-09-30 Rawles Llc Powered augmented reality projection accessory display device
US9134593B1 (en) 2010-12-23 2015-09-15 Amazon Technologies, Inc. Generation and modulation of non-visible structured light for augmented reality projection system
US8845107B1 (en) 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US9607315B1 (en) * 2010-12-30 2017-03-28 Amazon Technologies, Inc. Complementing operation of display devices in an augmented reality environment
US9508194B1 (en) 2010-12-30 2016-11-29 Amazon Technologies, Inc. Utilizing content output devices in an augmented reality environment
CN102843347B (zh) * 2011-06-24 2017-10-31 中兴通讯股份有限公司 实现移动增强现实业务的系统及方法、终端及服务器
US9118782B1 (en) 2011-09-19 2015-08-25 Amazon Technologies, Inc. Optical interference mitigation
JP5927822B2 (ja) * 2011-09-21 2016-06-01 カシオ計算機株式会社 画像通信システム
CN102346660A (zh) * 2011-10-13 2012-02-08 苏州梦想人软件科技有限公司 一种混合现实与虚拟物体的系统及方法
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
US9456244B2 (en) 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation
CN102739872A (zh) * 2012-07-13 2012-10-17 苏州梦想人软件科技有限公司 移动终端及应用于移动终端的增强现实方法
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
CN104679973A (zh) * 2013-12-03 2015-06-03 深圳市艾酷通信软件有限公司 一种用于移动终端上的文件系统及其实现方法
CN104361075A (zh) * 2014-11-12 2015-02-18 深圳市幻实科技有限公司 一种图像网址系统及实现方法
CN106254848B (zh) * 2016-07-29 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的学习方法及终端
CN107894879A (zh) * 2017-11-16 2018-04-10 中国人民解放军信息工程大学 基于可见光隐式成像通信的增强现实方法、系统和终端
CN108769721A (zh) * 2018-05-23 2018-11-06 福建掌搜科技有限公司 一种直播场景智能切换系统及其方法
JP7313801B2 (ja) 2018-05-24 2023-07-25 キヤノン株式会社 制御装置、制御方法およびプログラム
CN112131895B (zh) * 2019-06-24 2024-06-18 北京京东振世信息技术有限公司 信息传输方法、装置、电子设备和存储介质
CN112788274A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 一种基于增强现实的通信方法及装置
CN112887258B (zh) * 2019-11-29 2022-12-27 华为技术有限公司 一种基于增强现实的通信方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034397A1 (en) * 2001-10-19 2003-04-24 Accenture Global Services Gmbh Industrial augmented reality
KR100593399B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 부품 정비시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2842977A1 (fr) * 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
CN101080762A (zh) * 2004-11-19 2007-11-28 Daem交互有限公司 具有图像获取功能、应用于扩充现实性资源的个人装置和方法
US20100309226A1 (en) * 2007-05-08 2010-12-09 Eidgenossische Technische Hochschule Zurich Method and system for image-based information retrieval
EP2009868B1 (en) * 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034397A1 (en) * 2001-10-19 2003-04-24 Accenture Global Services Gmbh Industrial augmented reality
KR100593399B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 부품 정비시스템 및 방법

Also Published As

Publication number Publication date
JP2011519193A (ja) 2011-06-30
US20110096844A1 (en) 2011-04-28
FR2928805A1 (fr) 2009-09-18
EP2255527B1 (fr) 2011-11-30
CN101971618A (zh) 2011-02-09
JP5199400B2 (ja) 2013-05-15
FR2928805B1 (fr) 2012-06-01
ATE536039T1 (de) 2011-12-15
CN101971618B (zh) 2013-11-20
EP2255527A1 (fr) 2010-12-01
WO2009112585A1 (fr) 2009-09-17
KR20110005696A (ko) 2011-01-18

Similar Documents

Publication Publication Date Title
KR101167432B1 (ko) 통신 방법 및 통신 시스템
KR100617183B1 (ko) 피호출측 또는 호출측의 이전 지식/경험 및 적은 통신자원을 사용하는 네트워크에서의 미디어 정보 다중화시스템 및 그 방법
US8798168B2 (en) Video telecommunication system for synthesizing a separated object with a new background picture
EP2940940B1 (en) Methods for sending and receiving video short message, apparatus and handheld electronic device thereof
JP5576667B2 (ja) 情報送出表示システム
US6661448B2 (en) Method and system for providing and transmitting alternative video data during interruptions in video transmissions
US8396197B2 (en) Method, device, and system for implementing video call
NZ518774A (en) An object oriented video system
EP1139663A2 (en) Communication method, communication service apparatus, communication terminal device and communication system
CN111526387B (zh) 一种视频处理方法、装置、电子设备及存储介质
US7277115B2 (en) Communication terminal device capable of transmitting visage information
US9185159B2 (en) Communication between a server and a terminal
JP2008079228A (ja) 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
JP4444623B2 (ja) 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム
US20070041337A1 (en) Method of transmitting image data in video telephone mode of a wireless terminal
KR100694035B1 (ko) 화상 통신시 배경 화면 서비스 방법
JP2006004190A (ja) 携帯電話向けチャットサービスシステム
JP2007041718A (ja) 情報配信システム、情報配信装置、情報受信装置、および、プログラム
JP2006325092A (ja) 電話通信システム、電話通信方法、中継サーバー及び携帯電話機
JP4759980B2 (ja) Ｔｖ電話機能付き携帯電話、ｔｖ電話機能付き携帯電話システム、及び、それらの画像送受信方法
Montelius et al. Streaming Video in Wireless Networks: Service and Technique
AU2008202012B2 (en) System and method for multiplexing media information over a network using reduced communications resources and prior knowledge/experience of a called or calling party
Sharda Quality of service issues in mobile multimedia transmission
JP4175232B2 (ja) テレビ電話システム及びテレビ電話装置
JP2005136567A (ja) パレットデータ生成装置および方法、画像生成装置および方法、動画像配信装置、メール中継装置並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 8