JP5658790B2 - 外部電子デバイスと接続されたマルチメディアデバイス及びその制御方法 - Google Patents

外部電子デバイスと接続されたマルチメディアデバイス及びその制御方法 Download PDF

Info

Publication number
JP5658790B2
JP5658790B2 JP2013100607A JP2013100607A JP5658790B2 JP 5658790 B2 JP5658790 B2 JP 5658790B2 JP 2013100607 A JP2013100607 A JP 2013100607A JP 2013100607 A JP2013100607 A JP 2013100607A JP 5658790 B2 JP5658790 B2 JP 5658790B2
Authority
JP
Japan
Prior art keywords
multimedia device
remote controller
graphic data
osd
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013100607A
Other languages
English (en)
Other versions
JP2014042228A (ja
Inventor
オボング アン
オボング アン
クンウー キム
クンウー キム
サンヒュン チョ
サンヒュン チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2014042228A publication Critical patent/JP2014042228A/ja
Application granted granted Critical
Publication of JP5658790B2 publication Critical patent/JP5658790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42225User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、外部電子デバイスと接続されたマルチメディアデバイス及びその制御方法に係り、より詳細には、一つのリモートコントローラを用いて互いに異なる通信プロトコルの機器を制御する技術に関する。
電子技術の発達に伴って、次第により多くの種類の電子装置が開発されて普及されている。最近の電子装置は、ユーザの便宜のために、リモコン信号を受信することができる機能を備える。これによって、ユーザは、リモートコントローラを用いて、TV、オーディオ、DVDプレーヤ、エアコン、扇風機などの各種電子装置を制御することができる。
一方、最近開発されているマルチメディアデバイス(例えば、TVなど)は、インターネット網と接続されて多様な情報を受信する機能を搭載している。したがって、マルチメディアデバイス及びマルチメディアデバイスと接続された電子装置(例えば、セットトップボックス(STB)、ブルーレイディスク(BD)プレーヤ、パソコン(PC)など)を制御するためには、デバイスの数だけのリモートコントローラが必要であるという問題があった。
本発明の一実施例が達成しようとする技術的課題は、2個の互いに異なる通信規約下で異種のデバイスを制御することができるハイブリッドリモートコントローラを提供することである。
また、本発明の他の一実施例が達成しようとする技術的課題は、リモートコントローラのメモリ使用を最小化すると共に、異種のデバイスを制御するためのソリューションを提供することである。
さらに、本発明の更に他の一実施例が達成しようとする技術的課題は、前述したハイブリッドリモートコントローラと通信を行うマルチメディアデバイスのGUI(Graphical User Interface)を改善するためのものである。例えば、特定の条件に一致するOSD(On Screen Display)グラフィックデータを自動で生成及び表示するマルチメディアデバイス関連ソリューションを提供することである。
本発明の一実施例による外部電子デバイスをコントロールするシステムの制御方法は、少なくとも一つ以上の文字列及び対応するOSDグラフィックデータをマルチメディアデバイスのメモリに格納するステップと、前記マルチメディアデバイスのスクリーンを通じて出力されるビデオイメージ内の文字列を検出するステップと、前記検出された文字列に対応するOSDグラフィックデータを、前記スクリーン上で表示するステップ(前記OSDグラフィックデータは、少なくとも一つ以上の領域に区画されている)と、リモートコントローラを用いて前記OSDグラフィックデータ内の特定領域が選択された場合、前記特定領域に対応するコード値を、第1通信方式で前記マルチメディアデバイスから前記リモートコントローラに伝送するステップと、前記コード値を、第2通信方式で前記リモートコントローラから前記外部電子デバイスに伝送するステップと、を含む。
また、本発明の他の一実施例による外部電子デバイスと接続されたマルチメディアデバイスは、少なくとも一つ以上の文字列及び対応するOSDグラフィックデータを格納しているメモリと、前記外部電子デバイスから受信されたビデオイメージを処理するビデオプロセッサと、前記ビデオイメージ内の文字列を検出する検出モジュールと、前記メモリにアクセスして、前記検出された文字列に対応するOSDグラフィックデータを抽出するコントローラと、前記抽出されたOSDグラフィックデータを出力するディスプレイモジュール(前記OSDグラフィックデータは、少なくとも一つ以上の領域に区画されている)と、前記OSDグラフィックデータ内の特定領域が選択された場合、前記特定領域に対応するコマンド信号を前記外部電子デバイスまたはリモートコントローラに伝送する通信モジュールと、を含む。
そして、本発明の更に他の一実施例による外部電子デバイスと接続されたマルチメディアデバイスの制御方法は、少なくとも一つ以上の文字列及び対応するOSDグラフィックデータをメモリに格納するステップと、前記外部電子デバイスから受信されたビデオイメージを処理するステップと、前記ビデオイメージ内の文字列を検出するステップと、前記メモリにアクセスして、前記検出された文字列に対応するOSDグラフィックデータを抽出するステップと、前記抽出されたOSDグラフィックデータ及び前記ビデオイメージを合成して出力するステップ(前記OSDグラフィックデータは、少なくとも一つ以上の領域に区画されている)と、前記OSDグラフィックデータ内の特定領域が選択された場合、前記特定領域に対応するコマンド信号を外部ユニットに伝送するステップと、を含む。
本発明の一実施例によれば、リモートコントローラのメモリ使用を最小化すると共に、互いに異なる種類のデバイスを制御するためのソリューションを提供することができる。
さらに、本発明の他の一実施例によれば、前述したリモートコントローラと通信を行うマルチメディアデバイスのGUI(Graphical User Interface)を改善するという長所がある。これによって、多数のデバイスをコントロールする速度を大幅に高めることができる。
そして、本発明の更に他の一実施例によれば、特定の条件に一致するOSDグラフィックデータを自動で生成及び表示するマルチメディアデバイス関連ソリューションを提供することによって、新しい形態のハイブリッドリモートコントローラの使用に慣れていないユーザにも便利であるという長所がある。
本発明の一実施例によるマルチメディアデバイス、リモートコントローラ、サーバ、及び少なくとも一つ以上の電子デバイスを含むシステムを概略的に示す図である。 本発明の一実施例によるマルチメディアデバイスの構成要素を詳細に示すブロック図である。 図2に示された制御部をより詳細に示すブロック図である。 本発明の一実施例によるリモートコントローラの外観を簡略に示す図である。 図4に示されたリモートコントローラの構成要素を詳細に示すブロック図である。 本発明の一実施例によるマルチメディアデバイスが格納しているIRコード値のデータベースの一例を示す図である。 本発明の一実施例によるマルチメディアデバイスが格納しているIRコード値のデータベースの他の一例を示す図である。 図6又は図7に示されたDBを格納しているミドルウェアを例示した図である。 図6又は図7に示されたDBを格納しているミドルウェアを例示した図である。 本発明の一実施例によるマルチメディアデバイスが提供する第1のOSDを例示した図である。 本発明の一実施例によるマルチメディアデバイスが提供する第2のOSDを例示した図である。 本発明の一実施例によるリモートコントローラのローカルキーボタンを用いて、外部電子デバイスをコントロールする過程を示す図である。 本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第1実施例を示す図である。 本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第1実施例を示す図である。 本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第2実施例を示す図である。 本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第2実施例を示す図である。 本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第3実施例を示す図である。 本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第3実施例を示す図である。 図1に示されたシステムの各主体間において送受信されるデータフローを詳細に示すフローチャートである。 本発明の一実施例によるマルチメディアデバイスの制御方法を示すフローチャートである。 本発明の一実施例によるリモートコントローラの制御方法を示すフローチャートである。 本発明の一実施例によるマルチメディアデバイスのリモートコントローラを用いて、少なくとも一つ以上の外部電子デバイスをコントロールする過程を全体的に説明するための図である。 本発明の一実施例による統合リモコン(Universal Remote Controller)で制御しようとする外部電子デバイスを選択する過程を説明するための図である。 本発明の一実施例による統合リモコンの位置によって、マルチメディアデバイスのスクリーン上で表示されるインジケーターの一例を示す図である。 本発明の一実施例による統合リモコンの位置によって、マルチメディアデバイスのスクリーン上で表示されるインジケーターの他の一例を示す図である。 外部電子デバイスから受信されたグラフィックイメージオプションの一例を示す図である。 外部電子デバイスから受信されたグラフィックイメージオプションを選択するプロセスを説明するための図である。 統合リモートコントローラにより制御されるOSDの位置を変更するプロセスを説明するための図である。 統合リモートコントローラにより制御されるOSDの位置を変更するプロセスを説明するための図である。 統合リモートコントローラにより制御されるOSDコンテンツを変更するプロセスを説明するための図である。 統合リモートコントローラにより制御されるOSDコンテンツを変更するプロセスを説明するための図である。 統合リモートコントローラにより制御されるOSDコンテンツを変更するプロセスを説明するための図である。 統合リモートコントローラにより制御される対象である外部電子デバイスを変更するプロセスを説明するための図である。 統合リモートコントローラにより制御される対象である外部電子デバイスを変更するプロセスを説明するための図である。 本発明の一実施例によって、統合リモコンで制御しようとする外部電子デバイスを選択する過程を説明するためのフローチャートである。 本発明の他の一実施例によって、統合リモコンで制御しようとする外部電子デバイスを選択する過程を説明するためのフローチャートである。 本発明の一実施例によって、マルチメディアデバイスのリモートコントローラを用いて外部電子デバイスをコントロールするシステムの全体プロセスを示すフローチャートである。 本発明の他の一実施例によるマルチメディアデバイス、リモートコントローラ、サーバ、及び少なくとも一つ以上の電子デバイスを含むシステムを概略的に示す図である。 本発明の他の一実施例によるマルチメディアデバイスの内部構成モジュールを詳細に示すブロック図である。 図35に示された検出モジュール3520をより詳細に示すブロック図である。 図35に示されたメモリ3560に格納されているデータベース(database)の一例を示す図である。 図35に示されたメモリ3560に格納されているデータベース(database)の他の一例を示す図である。 本発明の他の一実施例によるマルチメディアデバイスが特定文字列の一例を認識するプロセスを示す図である。 図39で説明した認識結果に基づいて、マルチメディアデバイス、リモートコントローラ及び外部電子デバイスの間のデータ通信過程を示す図である。 本発明の他の一実施例によるマルチメディアデバイスが特定文字列の他の一例を認識するプロセスを示す図である。 図41で説明した認識結果に基づいて、マルチメディアデバイス、リモートコントローラ及び外部電子デバイスの間のデータ通信過程を示す図である。 本発明の他の一実施例によるマルチメディアデバイスが特定文字列の更に他の一例を認識するプロセスを示す図である。 図43で説明した認識結果に基づいて、マルチメディアデバイス、リモートコントローラ及び外部電子デバイスの間のデータ通信過程を示す図である。 本発明の他の一実施例によるマルチメディアデバイスを含む全体システムの各構成要素間のデータ通信プロセスを説明するためのフローチャートである。 本発明の他の一実施例によるマルチメディアデバイスの制御方法を説明するためのフローチャートである。
以下では、図面を参照して本発明をより詳細に説明する。
以下の説明で使われる構成要素に対する接尾辞、「モジュール」及び「部」は、単純に本明細書作成の容易さを考慮して付与するもので、前記「モジュール」及び「部」は互いに混用して使用してもよい。
一方、本明細書で記述されるマルチメディアデバイスは、例えば、放送受信機能にコンピュータ支援機能を追加した知能型電子装置であって、放送受信機能に充実しながらも、インターネット機能などが追加されて、手で直接記入する方式の入力装置、タッチスクリーン、タッチパッドまたは空間リモコンなどよりも使い勝手の良いインターフェースを備えることができる。そして、有線または無線インターネット機能の支援によりインターネット及びコンピュータに接続され、Eメール、Webブラウジング、バンキングまたはゲームなどの機能も行うことができる。このような様々な機能のために、標準化された汎用OSを使用することができる。
したがって、本発明で記述されるマルチメディアデバイスは、例えば、汎用のOSカーネル上に、様々なアプリケーションを自由に追加したり、または削除可能であるので、ユーザ親和的な多様な機能を行うことができる。マルチメディアデバイスは、より具体的に例を挙げると、インターネットTV、IPTV、ネットワークTV、HBBTV、スマートTV及びオープン・ハイブリッドTV(OHTV)などになることができ、場合によって、スマートフォン、PC及び家電機器にも適用可能である。
さらに、以下、添付図面及び添付図面に記載された内容を参照して本発明の実施例を詳細に説明するが、本発明が実施例によって制限されたり、または限定されるものではない。
本明細書で使われる用語は、本発明での機能を考慮して、可能な限り現在広く使われる一般的な用語を選択したが、これは、当該分野に従事する技術者の意図または慣例あるいは新しい技術の出現などによって変わることがある。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する発明の説明部分でその意味を記載することにする。したがって、本明細書で使われる用語は、単なる用語の名称ではなく、その用語が持つ実質的な意味及び本明細書の全般にわたる内容に基づいて解釈しなければならないということを明らかにしておく。
以下、図面を参照して、当業者は本発明の実施例を具現可能であるが、より容易な実施のために、本発明が提案する4つの実施例を簡略に整理して説明する。ただし、それぞれの実施例が独立した権利範囲を有することもでき、または4つの実施例のうち少なくとも一つ以上を結合して本発明を具現するケースも特許権の範囲に属する。
第一、本発明の第1実施例は、STB、BD(blue−ray disk)プレーヤ、PC、ノートパソコン、タブレットなどに接続されたTVをコントロールするために、たった一つのユニバーサル(Universal)リモートコントローラで該当の各機器を制御することができるソリューションを提供する。例えば、ネットワーキングが可能なTVは、外部サーバからそれぞれのデバイス(device)に対応するIRコードテーブルを受信して格納する。また、TVは、リモートコントローラとRF(Radio Frequency)通信を通じて、特定デバイスの特定機能(function)を制御するためのIRコード値を伝送する。そして、IRコード値を受信したリモートコントローラは、IR通信を通じて、特定デバイスにIRコード値を転送するように設計される。
第二、本発明の第2実施例は、本発明のユニバーサルリモコンを適用するために、コントロールの対象となるデバイスを設定するソリューションを提供する。これと関連して、当該特許技術によれば、次のように総3個の技術的方法が可能である。
a)自動検出(detecting)技術
例えば、HDMI(High Definition Multimedia Interface)(登録商標)を介して、TVとユニバーサルリモコンで制御しようとするデバイスとが接続された場合、デバイスの種類、名称、モデル名などの情報がデバイスからTV側に伝送される。更に他の実施例として、カメラでデバイスを撮影して、デバイスを識別するための情報(例えば、種類、名称、モデル名など)を獲得した後、獲得した識別情報をTVに伝送することも可能である。したがって、前述したデバイス関連情報を受信したTVは、外部サーバと接続して該当のデバイスに対応するIR情報を自動で受信することが可能である。このように設計する場合、ユーザは別途に機器登録を行う必要がないという長所がある。もちろん、場合によって、HDMI(登録商標)、ケーブルなどで接続されたデバイスで前述した情報を伝送しない、またはエラーが発生する場合も考慮することができる。これを解決するための方案は、下記のb)及びc)で説明する。
b)ハイブリッド(Hybrid)技術
まず、STB(Set Top Box)とTVが接続された場合、TVは、ユーザが選択できる少なくとも一つ以上のSTBのメーカー(maker)またはケーブル放送局の識別情報を表示する。例えば、現在、韓国で関連サービス(service)を提供しているプロバイダーが総3個(ex:QOOK TV、BTV、UPLUS)である場合、3つのプロバイダーのいずれか一つを選択することができるオプションが提供される。このとき、ユーザが特定プロバイダーを選択した場合、TVは、外部サーバから該当のプロバイダーのリモートコントローラに対応するIRテーブルを自動で受信する。
c)ユーザ入力方式
一方、ネットワーキング環境の変化または技術的なエラーのため、前述したb)のケースを適用できない場合が発生することがある。したがって、ユーザが、本発明のユニバーサルリモートコントローラを用いて、制御しようとする外部デバイスの種類及びモデル名などを直接入力するソリューションも可能である。
第三、本発明の第3実施例は、TVが提供するOSDではなく、外部デバイス、例えば、STBで提供するOSDをリモートコントローラで制御するソリューションを提供する(特に、本発明の一実施例によるリモートコントローラは、リモートコントローラのモーションによって、TVスクリーン上のポインタ(pointer)の位置が変更されるように設計されている)。
TVは、HDMI(登録商標)などで接続されたSTBを制御できるTV OSDを表示する。このとき、リモートコントローラのモーションを制御して該当の領域にポインタを位置させることによって、ユーザは、自身が所望するSTBの機能を容易に実行することができる。一方、TV OSDで提供しない追加機能がある場合を考慮することができる。例えば、最初のSTBで提供していなかった機能や、メニューオプションなどはTV OSDで提供しない。もちろん、このときにもSTB OSDが表示される。
しかし、STB OSDは、モーションリモコンのポインタを位置させて選択することが可能でないイメージデータである。したがって、STB OSDに対してはモーションリモコンの矢印ボタンをクリックしてコントロールするソリューションが必要である。
例えば、モーションリモコンの下矢印ボタンをクリックした場合、これに対するRF信号がTV側に伝送され、TVは、これに対応するIR信号をRFネットワークを介して再びリモコン側に伝送するように設計される。
第四、本発明の第4実施例は、既存の放送局で提供するEPGではなく、接続されたSTBなどによってフレキシブル(flexible)に変動するチャネル・ブラウジング機能を提供する。
また、当該第4実施例で提案する発明を具現するソリューションとして、大きく2つの方法を下記のように説明する。
a)該当のSTBで提供する全てのチャネルの情報(ex:サムネールイメージ、放送時間、付加情報、登場人物情報など)を既に知っている外部サーバがあると仮定する。したがって、本発明の実施例によるTVは、前述した外部サーバに、現在接続されているSTBのタイプを知らせることによって、各チャネルの情報を受信することが可能である。また、従来技術とは異なり、少なくとも2つ以上のチャネル情報をスクリーンの一側に位置させ、ユーザがリモートコントローラのモーションを生成して、所望のチャネルグループを容易に確認することができるという長所がある。
b)一方、前述したa)のケースのようなサーバが存在しなければ、バックグラウンド(background)でTVが動作して各チャネルをスキャニングする方式を考慮することができる。例えば、各チャネルをスキャンしてビデオ情報またはオーディオ情報をキャプチャし、各チャネルで現在提供しているコンテンツ(Content)に関する基本情報またはサムネールイメージデータを抽出することが可能である。
図1は、本発明の一実施例によるマルチメディアデバイス100、リモートコントローラ110、サーバ120、及び少なくとも一つ以上の電子デバイス130を含むシステムを概略的に示す図である。
従来技術によれば、制御しようとする電子デバイス130の個数だけの複数個のリモートコントローラ110が必要であるという問題点があった。また、いわゆる従来技術による統合リモコンもまた各電子デバイス130の全てのIRコード値を搭載しなければならないため、メモリ容量上限界があった。
前述した従来技術の問題点を解決するために、マルチメディアデバイス100は、インターネット網などを介して接続されたサーバ120から、電子デバイスを制御するためのIRコード値を定期的に更新する。もちろん、ユーザの要請がある場合にIRコード値を更新する実施例も、本発明の権利範囲に属する。
一方、リモートコントローラ110とマルチメディアデバイス100は、第1通信手段(例えば、ブルートゥースなど)でデータを送受信するものと仮定する。仮に、リモートコントローラ110が特定電子デバイスの特定機能に対するIRコード値をマルチメディアデバイス100に要請する場合、マルチメディアデバイス100は、既に格納されたDBを確認して、該当のIRコード値をリモートコントローラ110に伝送する。
そして、リモートコントローラ110は、マルチメディアデバイス100から受信したIRコード値を、第2通信手段(例えば、IR赤外線通信など)を通じて該当の電子デバイス130に転送する。すなわち、本発明の一実施例によるリモートコントローラ110は、中継器の役割をするように設計することによって、大容量のメモリを使用する必要がないという技術的効果がある。
本発明の一実施例によるマルチメディアデバイス100については、以下、図2乃至図3を参照してより詳細に後述する。
図2は、本発明の一実施例によるマルチメディアデバイスの構成要素を詳細に示すブロック図である。図1に示されたマルチメディアデバイス100の説明を参照して、図2に示されたマルチメディアデバイス200を補充解釈することも可能である。
図2に示されたように、本発明の一実施例によるマルチメディアデバイス200は、放送受信モジュール201、復調部202、ネットワークインターフェース203、外部装置インターフェース204、メモリ205、制御部206、ビデオ出力部207、オーディオ出力部208、電源供給部209、及びユーザインターフェース211などを含んでなる。一方、マルチメディアデバイス200は、リモートコントローラ210とデータ通信が行われるように設計されており、リモートコントローラ210については、図4及び図5を参照して詳細に後述する。
放送受信モジュール201は、例えば、RFチューナとして設計してもよく、またはSTBなどの外部デバイスから放送データを受信するインターフェースとして設計可能である。
放送受信モジュール201は、例えば、ATSC(Advanced Television System Committee)方式による単一キャリアのRF放送信号、またはDVB(Digital Video Broadcasting)方式による複数キャリアのRF放送信号を受信することができる。
復調部202は、放送受信モジュール201で変換されたデジタルIF信号(DIF)を受信して復調動作を行う。
例えば、放送受信モジュール201で出力されるデジタルIF信号がATSC方式である場合、復調部202は、例えば、8−VSB(8−Vestigal Side Band)復調を行う。また、復調部202はチャネル復号化を行うこともできる。
外部装置インターフェース204は、外部装置とマルチメディアデバイス200との間のデータ通信を可能にするインターフェースである。外部装置インターフェース204は、DVD(Digital Versatile Disk)、ブルーレイ(Bluray)、ゲーム機器、カメラ、カムコーダー、コンピュータ(ノートパソコン)、STBなどのような外部装置と有/無線で接続することができる。外部装置インターフェース204は、接続された外部装置を通じて外部から入力される映像、音声またはデータ信号を制御部206に伝達する。また、制御部206で処理された映像、音声またはデータ信号を、外部装置に出力することができる。
外部装置インターフェース204は、例えば、USB端子、CVBS(Composite Video Banking Sync)端子、コンポーネント端子、S−ビデオ端子(アナログ)、DVI(Digital Visual Interface)端子、HDMI(High Definition Multimedia Interface)(登録商標)端子、RGB端子、D−SUB端子などを含むことができる。
ネットワークインターフェース203は、マルチメディアデバイス200をインターネット網を含む有/無線ネットワークと接続するためのインターフェースを提供する。ネットワークインターフェース203は、有線ネットワークとの接続のために、例えば、イーサネット(登録商標)(Ethernet(登録商標))端子などを備えることができ、無線ネットワークとの接続のために、例えば、WLAN(Wireless LAN)(Wi−Fi)、Wibro(Wireless broadband)、Wimax(World Interoperability for Microwave Access)、HSDPA(High Speed Downlink Packet Access)通信規格などを用いることができる。
ネットワークインターフェース203は、接続されたネットワークまたは接続されたネットワークにリンクされた他のネットワークを介して、他のユーザまたは他の電子機器とデータを送信または受信することができる。
メモリ205は、制御部206内の各信号処理及び制御のためのプログラムが格納されてもよく、信号処理された映像、音声またはデータ信号を格納してもよい。また、メモリ205は、外部装置インターフェース204またはネットワークインターフェース203から入力される映像、音声、またはデータ信号の一時格納のための機能を行うこともできる。また、メモリ205は、例えば、様々なOS、ミドルウェア及びプラットフォームを格納している。
ユーザインターフェース211は、ユーザが入力した信号を制御部206に伝達したり、制御部206からの信号を外部デバイス(例えば、リモートコントローラ210)に伝送する。例えば、ユーザインターフェース211は、RF(Radio Frequency)通信方式、赤外線(IR)通信方式などの多様な通信方式によって、リモートコントローラ210から電源オン/オフ、チャネル選択、画面設定などの制御信号を受信して処理したり、または制御部206からの制御信号をリモートコントローラ210に送信するように設計されている。
制御部206は、放送受信モジュール201、復調部202、ネットワークインターフェース203または外部装置インターフェース204を介して、入力されるストリームを逆多重化したり、または逆多重化された信号を処理して、映像または音声出力のための信号を生成及び出力することができる。制御部206については、図3を参照してより詳細に後述する。
ビデオ出力部207は、制御部206で処理された映像信号、データ信号、OSD信号、または、外部装置インターフェース204で受信される映像信号、データ信号などをそれぞれR、G、B信号に変換して駆動信号を生成する。ビデオ出力部207は、PDP、LCD、OLED、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)などが可能である。
オーディオ出力部208は、制御部206で音声処理された信号、例えば、ステレオ信号、3.1チャネル信号または5.1チャネル信号を受けて音声に出力する。音声出力部208は、様々な形態のスピーカで具現可能である。
そして、電源供給部209は、マルチメディアデバイス200全般にわたって該当の電源を供給する。特に、システムオンチップ(System On Chip、SOC)の形態で具現可能な制御部206と、映像表示のためのビデオ出力部207、及びオーディオ出力のためのオーディオ出力部208に電源を供給することができる。
特に、本発明の実施例と関連して説明すると、次の通りである。
制御部206の制御によって、ネットワークインターフェース203は特定サーバに接続する。さらに、特定サーバから受信したIRコード値はメモリ205に格納されるように設計する。一方、IRコード値は、外部装置インターフェース204で接続された電子デバイスをコントロールするために必要な値である。
最後に、リモートコントローラ210の要請に応じて、特定電子デバイスの特定機能に対応するIRコード値は、ユーザインターフェース211を介してリモートコントローラ210に伝送される。前述のように、このとき、ブルートゥース通信方式を採用することができる。
図3は、図2に示された制御部をより詳細に示すブロック図である。
図3に示されたように、マルチメディアデバイスの制御部306は、逆多重化部310、映像処理部320、OSD生成部340、ミキサ350、フレームレート変換部355、及びフォーマッタ360などを含む。また、音声処理部(図示せず)、データ処理部(図示せず)をさらに含むように設計することも本発明の権利範囲に属する。
逆多重化部310は、入力されるストリームを逆多重化する。例えば、MPEG−2TSが入力される場合、これを逆多重化して、それぞれ、映像、音声及びデータ信号に分離することができる。
映像処理部320は、逆多重化された映像信号の映像処理を行うことができる。そのために、映像処理部320は、映像デコーダ325及びスケーラ335を備えることができる。映像デコーダ325は、逆多重化された映像信号を復号化し、スケーラ335は、復号化された映像信号の解像度をビデオ出力部で出力可能なようにスケーリング(scaling)を行う。そして、映像処理部320で復号化された映像信号は、ミキサ350に入力される。
OSD生成部340は、ユーザ入力によって又は独自にOSD信号を生成する。したがって、ミキサ350は、OSD生成部340で生成されたOSD信号と、映像処理部320で映像処理された復号化された映像信号とをミキシングすることができる。
ミキシングされた信号はフォーマッタ360に提供される。復号化された放送映像信号または外部入力信号とOSD信号とがミキシングされることによって、放送映像または外部入力映像上にOSDがオーバーレイされて表示されるようになる。
フレームレート変換部(Frame Rate Conveter;FRC)355は、入力される映像のフレームレートを変換することができる。例えば、60Hzのフレームレートを120Hzまたは240Hzに変換する。
そして、フォーマッタ360は、フレームレート変換部355の出力信号を受けて、ビデオ出力部に適するように信号のフォーマットを変更して出力する。例えば、R、G、Bデータ信号を出力することができ、このようなR、G、Bデータ信号は、低い電圧差分信号(Low voltage differential signaling、LVDS)またはmini−LVDSで出力することができる。
特に、本発明の実施例と関連して説明すると、次の通りである。
本発明の一実施例によるリモートコントローラがコントロールしようとする電子デバイス及び機能を選択するためのOSDは、前述したOSD生成部340で生成される。そして、一般の放送画面とOSDとがオーバーレイされた形態を作るために、前述したミキサ350を追加設計する。一般の放送画面とOSDとがオーバーレイされた形態は、以下、図10乃至図18を参照して理解することができる。
図4は、本発明の一実施例によるリモートコントローラの外観を簡略に示す図である。
図4の(a)に示すように、マルチメディアデバイス400のスクリーン上に、リモートコントローラ410の動きに対応するポインタ401が表示される。ユーザは、リモートコントローラ410を左右(図4(b))、上下(図4の(c))に動かしたり回転させたりすることができる。このようなリモートコントローラ410は、3D空間上の動きによって該当のポインタ401が移動して表示されるので、空間リモコンと命名することもできる。
図4の(b)に示すように、ユーザがリモートコントローラ410を左側に移動させると、マルチメディアデバイス400のスクリーン上に表示されたポインタ401も左側に移動する。一方、リモートコントローラ410のセンサを通じて感知されたリモートコントローラ410の動きに関する情報は、マルチメディアデバイス400に伝送される。マルチメディアデバイス400は、リモートコントローラ410の動きに関する情報からポインタ401の座標を算出することができる。マルチメディアデバイス400は、算出した座標に対応するようにポインタ401を表示することができる。
一方、図4の(c)に示すように、ユーザがリモートコントローラ410を下側に移動させると、マルチメディアデバイス400のスクリーン上に表示されたポインタ401も下側に移動する。
したがって、本発明の一実施例によるリモートコントローラ410を用いて、マルチメディアデバイス400のスクリーン内の特定領域を迅速に選択することが可能である。
図5は、図4に示されたリモートコントローラの構成要素を詳細に示すブロック図である。
図5に示すように、リモートコントローラ510は、無線通信部514、ユーザ入力部515、センサ部517、出力部516、電源供給部511、格納部512、及び制御部513などを含む。
無線通信部514は、任意の外部装置と通信可能なように設計される。特に、本発明の一実施例によれば、RFモジュール514aは、マルチメディアデバイス500とデータ通信が行われるように設計し、IRモジュール514bは、外部電子装置(例えば、STB)530と赤外線通信が行われるように設計する。
したがって、マルチメディアデバイス500から受信したIR赤外線コード値を、STB530に転送する中継器の役割を行うように、リモートコントローラ510を具現することが可能である。
さらに、本発明の一実施例によれば、リモートコントローラ510は、マルチメディアデバイス500に、リモートコントローラ510の動きなどに関する情報が含まれた信号をRFモジュール514aを通じて伝送する。
また、リモートコントローラ510は、マルチメディアデバイス500が伝送した信号をRFモジュール514aを通じて受信することができる。また、リモートコントローラ510は、必要に応じて、IRモジュール514bを通じてマルチメディアデバイス500に電源オン/オフ、チャネル変更、ボリューム変更などに関する命令を伝送することができる。
ユーザ入力部515は、キーパッド、ボタン、タッチパッド、またはタッチスクリーンなどで構成することができる。
センサ部517は、ジャイロセンサ517aまたは加速度センサ517bを備えることができる。ジャイロセンサ517aは、リモートコントローラ510の動きに関する情報をセンシングすることができる。一例として、ジャイロセンサ517aは、リモートコントローラ510の動作に関する情報をx、y、z軸を基準にしてセンシングすることができる。加速度センサ517bは、リモートコントローラ510の移動速度などに関する情報をセンシングすることができる。一方、距離測定センサをさらに備えることができ、これによって、マルチメディアデバイス500との距離をセンシングすることができる。
出力部516は、ユーザ入力部515の操作に対応したり、またはマルチメディアデバイス500で伝送した信号に対応する映像または音声信号を出力することができる。一例として、出力部516は、ユーザ入力部515が操作されたり、または無線通信部514を通じてマルチメディアデバイス500と信号が送受信されると点灯するLEDモジュール516a、振動を発生する振動モジュール516b、音響を出力する音響出力モジュール516c、または映像を出力するディスプレイモジュール516dを備えることができる。
電源供給部511は、リモートコントローラ510の各構成要素に電源を供給する。電源供給部511は、リモートコントローラ510が所定時間の間動かない場合、電源供給を中断することによって電源の浪費を減少させることができる。
格納部512は、リモートコントローラ510の制御または動作に必要な様々な種類のプログラム、アプリケーションデータなどを格納することができる。そして、制御部513は、リモートコントローラ510の制御に関連した諸般事項を制御する。例えば、制御部513は、ユーザ入力部515の所定のキー操作に対応する信号、またはセンサ部517でセンシングしたリモートコントローラ510の動きに対応する信号を、無線通信部514を通じてマルチメディアデバイス500またはSTB530に伝送することができる。
図6は、本発明の一実施例によるマルチメディアデバイスが格納しているIRコード値のデータベースの一例を示す図である。
前述した図2に示されたマルチメディアデバイスのメモリ205には、図6に示されたデータベースが構築されているように設計する。図6に示されたように、外部電子デバイスの一例であるTVの各機能に対するIRコード値がマッピングされている。また、図6に示されたデータベースは、外部サーバとの通信を通じて定期的に又はユーザの要請に応じて更新される。
したがって、本発明の一実施例によるマルチメディアデバイスは、図6に示されたデータベースを構築しているので、リモートコントローラの要請に応じて、特定電子デバイスの特定機能に対するIRコード値をいつでも伝送することができる。
図7は、本発明の一実施例によるマルチメディアデバイスが格納しているIRコード値のデータベースの他の一例を示す図である。
前述した図6とは異なり、図7は、複数個のデバイスに関する情報を互いに異なるメモリアドレスに格納しておくように設計する。すなわち、第1メモリアドレスには、STBの機能に対するIRコード値を格納し、第2メモリアドレスには、BD(Blueray−Disk)プレーヤの機能に対するIRコード値を格納する。
したがって、図7のように設計する場合、特定電子デバイスに対するOSDを具現することが可能であり、特定電子デバイスの特定機能にアクセスする速度を高めることができるという長所がある。
さらに、図7では、2つのデバイスのみを例示したが、本発明の一実施例によるマルチメディアデバイスは、サーバとの通信を通じて、図7に示されたデータベースを随時更新することができるので、一つのリモートコントローラで制御することができる外部電子デバイスが継続的に増加するようになる。リモートコントローラのメモリを別途に改善する必要がない。
図8及び図9は、図6又は図7に示されたDBを格納しているミドルウェアを例示した図である。
図8及び図9は、前述したデータベース(図6又は図7)を構築するために必要なミドルウェアの設計構造を例示した図である。例えば、図6又は図7に示されたデータベースを、図8に示すように、ネイティブアプリケーション内に位置するようにミドルウェアを設計することも本発明の権利範囲に属する。また、図6又は図7に示されたデータベースを、図9に示すように、フラッシュエンジンまたはブラウザ内に位置するようにミドルウェアを設計することも本発明の権利範囲に属する。一方、図8のように設計する場合、既存のプラットフォームの構造を変更する必要がないという長所がある。
さらに、本発明の一実施例によるリモートコントローラを用いて、マルチメディアデバイスではなく他の外部電子デバイスをコントロールしようとする場合、外部電子デバイスを特定する二つのソリューションを提案する。1番目のソリューションは図10を参照して後述し、2番目のソリューションは図11を参照して後述する。
図10は、本発明の一実施例によるマルチメディアデバイスが提供する第1のOSDを例示した図である。図10に示されたOSDは、外部入力目録を選択するキーボタンをユーザが押した場合、表示される。
例えば、マルチメディアデバイス1000を通じて放送を視聴していたユーザが、他の外部電子デバイスをコントロールしようとする場合、リモートコントローラに付着されているキーボタン、またはマルチメディアデバイス1000に付着されているローカルキーボタンを押す。
このとき、図10に示すように、マルチメディアデバイス1000は、ユーザが選択できる外部入力目録1001を表示する。外部入力目録1001は、マルチメディアデバイスに格納されたIRコード値を有しているデバイスに限定されてもよい。
また、外部入力目録1001は、最初の端子の名称だけでなく、該当の端子を介して接続されたデバイスの名称を共に表示する領域1002を含むように設計することも本発明の権利範囲に属する。
したがって、ユーザの立場では、自身がコントロールしようとするデバイスをより容易に且つ迅速に選択できるという技術的効果がある。
図11は、本発明の一実施例によるマルチメディアデバイスが提供する第2のOSDを例示した図である。図10とは異なり、図11は、リモートコントローラで制御可能なデバイスの目録をタブ形式で表示する。
例えば、マルチメディアデバイス1100を通じて放送を視聴していたユーザが、他の外部電子デバイスをコントロールしようとする場合、リモートコントローラに付着されているキーボタン、またはマルチメディアデバイス1100に付着されているローカルキーボタンを押す。
このとき、図11に示すように、マルチメディアデバイス1100は、ユーザが制御することができる外部入力デバイスをタブ1102,1103の形式で表示する。タブ1102,1103は、マルチメディアデバイスに格納されたIRコード値を有しているデバイスに限定されてもよい。一方、格納されたアプリケーションのリストを見せるタブ1101がさらに表示されることも本発明の権利範囲に属する。
さらに、図11では、タブ形式でコントロールしようとする外部電子デバイスを選択する実施例を説明したが、他の実施例として、外部電子デバイスのリモートコントローラの外観と類似したグラフィックイメージを表示することによって、ユーザに、より直観的なインターフェースを提供することも本発明の権利範囲に属する。
例えば、外部電子デバイスのSTBをコントロールするために必要な主要機能をグラフィックイメージとして含むOSDを予め表示したり、またはSTBをコントロールするために必要な全ての機能をグラフィックイメージとして含むOSDを表示するように設計する。
したがって、図10とは異なり、図11のように設計する場合、ユーザが視聴可能な放送画面をできるだけ維持しながら、コントロールしようとするデバイスを簡単に選択できるという長所がある。
一方、本発明の一実施例によるリモートコントローラを用いて外部電子デバイスをコントロールするソリューションもまた2通りに分けて設計可能である。第1実施例としては、外部電子デバイスの基本的な機能に対しては、マルチメディアデバイスのスクリーンを利用せずに、直接コントロールすることができる。これについては、図12を参照して後述する。
第2実施例としては、外部電子デバイスの付加的な機能に対しては、マルチメディアデバイスのスクリーンを用いてコントロールしなければならない。これについては、図13乃至図18を参照して後述する。
図12は、本発明の一実施例によるリモートコントローラのローカルキーボタンを用いて、外部電子デバイスをコントロールする過程を示す図である。以下、図12を参照して、マルチメディアデバイスのスクリーンをできるだけ確保しながら、迅速に外部電子デバイスをコントロールするプロセスを説明すると、次の通りである。
まず、図10又は図11に示された方法を通じて、特定外部デバイス(例えば、STB)を制御することにした場合を仮定する。図12に示すように、本発明の一実施例によるリモートコントローラ1210もSTBのボリュームまたはチャネルなどを変更するためのローカルキーボタンを備えている。
したがって、リモートコントローラ1210のボリュームアップボタンをユーザが押した場合、STBのボリュームアップに対応するIRコード値を要請する信号をマルチメディアデバイス1200に伝送する。
マルチメディアデバイス1200は、STBのボリュームアップに対応するIRコード値をリモートコントローラ1210に伝送し、リモートコントローラ1210は、受信したIRコード値を該当のSTB1230に転送する。
したがって、STB1230は、リモートコントローラ1210から受信したIRコード値に基づいてボリュームアップ機能1231を行うことができる。
図13及び図14は、本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第1実施例を示す図である。以下、図13及び図14を参照して、リモートコントローラの外側にローカルキーボタンとして付着されていない、外部電子デバイスの機能(例えば、STBのメニュー機能)をコントロールするためのプロセスを説明すると、次の通りである。
まず、図11に示された方法を通じて、コントロールしようとするデバイスとしてSTBを表示するタブ1301が選択された場合を仮定する。このとき、図13に示すように、本発明の一実施例によるマルチメディアデバイス1300は、選択されたSTBの機能に関するOSDを表示する。
OSDは、各デバイス別に、マルチメディアデバイスのメモリに格納されており、図13に示されたOSDの各機能は、リモートコントローラ1310により選択可能なフォーマットで設計されている。
ユーザがリモートコントローラ1310を移動させて、インジケーター1302がSTBのメニュー領域に位置する場合、マルチメディアデバイス1300は、STBのメニューに対応するIRコード値をリモートコントローラ1310に伝送する。
そして、リモートコントローラ1310は、マルチメディアデバイス1300から受信したIRコード値を該当の電子デバイスであるSTB1330に伝送する。
したがって、図14に示すように、STB1430のメニュー機能が実行された場合、STB1430と接続されたマルチメディアデバイス1400は、STBメニューが実行された画面1401を表示するようになる。
また、リモートコントローラ1410を用いて、STBメニューが実行された画面1401上で特定オプションを追加選択することも本発明の権利範囲に属する。
図15及び図16は、本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第2実施例を示す図である。以下、図15及び図16を参照して、リモートコントローラの外側にローカルキーボタンとして付着されていない、外部電子デバイスの機能(例えば、STBのチャネル9番の機能)をコントロールするためのプロセスを説明すると、次の通りである。
まず、図11に示された方法を通じて、コントロールしようとするデバイスとしてSTBを表示するタブ1501が選択された場合を仮定する。このとき、図15に示すように、本発明の一実施例によるマルチメディアデバイス1500は、選択されたSTBの機能に関するOSDを表示する。
OSDは、各デバイス別に、マルチメディアデバイスのメモリに格納されており、図15に示されたOSDの各機能は、リモートコントローラ1510により選択可能なフォーマットで設計されている。
ユーザがリモートコントローラ1510を移動させて、インジケーター1502がSTBのチャネル9番の領域に位置する場合、マルチメディアデバイス1500は、STBのチャネル9番の機能に対応するIRコード値をリモートコントローラ1510に伝送する。
そして、リモートコントローラ1510は、マルチメディアデバイス1500から受信したIRコード値を該当の電子デバイスであるSTB1530に伝送する。
したがって、図16に示すように、STB1630のチャネル9番の機能が実行された場合、STB1630と接続されたマルチメディアデバイス1600は、変更されたチャネル9番の画面1601を表示する。また、リモートコントローラ1610を用いて、STB1630の他の機能を追加でコントロールすることも可能である。
図17及び図18は、本発明の一実施例によるマルチメディアデバイスが提供するスクリーンを用いて、外部電子デバイスをコントロールする第3実施例を示す図である。以下、図17及び図18を参照して、リモートコントローラの外側にローカルキーボタンとして付着されていない、外部電子デバイスの機能(例えば、BDプレーヤの再生(play)機能)をコントロールするためのプロセスを説明すると、次の通りである。
まず、図11に示された方法を通じて、コントロールしようとするデバイスとしてBDプレーヤを表示するタブ1701が選択された場合を仮定する。このとき、図17に示すように、本発明の一実施例によるマルチメディアデバイス1700は、選択されたBDプレーヤの機能に関するOSDを表示する。
OSDは、各デバイス別に、マルチメディアデバイスのメモリに格納されており、図17に示されたOSDの各機能は、リモートコントローラ1710により選択可能なフォーマットで設計されている。
ユーザがリモートコントローラ1710を移動させて、インジケーター1702がBDプレーヤの再生(play)領域に位置する場合、マルチメディアデバイス1700は、BDプレーヤの再生機能に対応するIRコード値をリモートコントローラ1710に伝送する。
そして、リモートコントローラ1710は、マルチメディアデバイス1700から受信したIRコード値を該当の電子デバイスであるBDプレーヤ1730に伝送する。
したがって、図18に示すように、BDプレーヤ1830の再生機能が実行された場合、BDプレーヤ1830と接続されたマルチメディアデバイス1800は、該当のタイトルを再生する画面1801を表示する。また、リモートコントローラ1810を用いて、BDプレーヤ1830の他の機能(例えば、ストップ(Stop)、リバース(reverse)など)を追加でコントロールすることも可能である。
図19は、図1に示されたシステムの各主体間において送受信されるデータフローを詳細に示すフローチャートである。以下、図19を参照して、本発明の一実施例によるマルチメディアデバイス1900、リモートコントローラ1910、サーバ1920、及び少なくとも一つ以上の電子デバイス1930の間においてデータを送受信する関係を説明すると、次の通りである。
本発明の一実施例によるマルチメディアデバイス1900は、IRコード値を保有している任意のサーバ1920にアクセスする(S1901)。サーバ1920は、マルチメディアデバイス1900の要請に応じて、特定電子デバイスの機能をコントロールすることができるIRコード値を伝送する(S1902)。
マルチメディアデバイス1900は、サーバ1920から受信したIRコード値を格納するデータベースを構築する(S1903)。図7に示されたように、デバイス別に異なるメモリアドレスに格納することも本発明の権利範囲に属する。
リモートコントローラ1910とマルチメディアデバイス1900とはブルートゥースなどの近距離通信により接続されている(S1904)。リモートコントローラ1910は、コントロールしようとする特定電子デバイスの特定機能に対するIRコード値を要請する(S1905)。
マルチメディアデバイス1900は、リモートコントローラ1910の要請に応じて、該当のIRコード値を伝送する(S1906)。リモートコントローラ1910は、受信したIRコード値を該当の電子デバイス1930に転送する(S1907)。
そして、電子デバイス1930は、IRコード値に対応する機能を行う(S1908)。ステップS1908において行う機能は、例えば、マルチメディアデバイス1900をコントロールする機能と関連していてもよい。
図20は、本発明の一実施例によるマルチメディアデバイスの制御方法を示すフローチャートである。一方、前述した図1乃至図19を参照して、図20を補充解釈することも本発明の権利範囲に属する。
第1通信経路を介してリモートコントローラとデータ通信を行うマルチメディアデバイスは、ネットワークインターフェースを介してサーバに接続する(S2001)。接続されたサーバから受信したコード値をメモリに格納する(S2002)。コード値は、例えば、特定電子デバイスの特定機能に対応し、第2通信経路を介しても伝送されるように設計する。
少なくとも一つ以上の電子デバイスの種類を並べる第1リストを表示する(S2003)。第1通信経路を介して、特定電子デバイスを選択する信号を受信する(S2004)。
選択された特定電子デバイスの機能を並べる第2リストを表示する(S2005)。第1通信経路を介して、特定機能を選択する信号を受信する(S2006)。
メモリから、選択された機能に対応するコード値を抽出する(S2007)。そして、第1通信経路を介して、抽出されたコード値をリモートコントローラに伝送する(S2008)。
ステップS2001は、例えば、既に設定された周期又はユーザの要請に応じて、コード値を更新するように設計されている。
ステップS2002は、例えば、第1電子デバイスの機能と関連する少なくとも一つ以上のコード値を、メモリの第1アドレスに格納するステップと、第2電子デバイスの機能と関連する少なくとも一つ以上のコード値を、メモリの第2アドレスに格納するステップとを含む。
ステップS2003及びステップS2005は、例えば、メモリに格納されたデータに基づいてOSD(On Screen Display)生成部が第1リスト及び第2リストを生成するステップをさらに含む。
さらに、第1リストに該当するOSD及び第2リストに該当するOSDのそれぞれが、マルチメディアデバイスのスクリーン内の互いに異なる領域に同時にまたは選択的に表示されるように設計する。
例えば、STB(Set Top Box)を制御するために必要なOSDは、スクリーンの最も左側に位置し、BDP(Blueray Disk Player)を制御するために必要なOSDは、スクリーンの最も右側に位置するように設計する。したがって、異種のデバイスを一つのスクリーン上でほぼ同時にコントロールできるので、データ処理速度が改善されるという長所がある。
ステップS2004及びステップS2006は、例えば、リモートコントローラの位置感知センサに基づいて、特定電子デバイスまたは特定機能が選択されるように設計する。位置感知センサは、例えば、ジャイロセンサまたは加速度センサのうち少なくとも一つ以上を含んでいる。
図21は、本発明の一実施例によるリモートコントローラの制御方法を示すフローチャートである。一方、前述した図1乃至図19を参照して、図20を補充解釈することも本発明の権利範囲に属する。
マルチメディアデバイス及び特定電子デバイスとデータ通信を行うリモートコントローラは、リモートコントローラが制御しようとする特定電子デバイスの特定機能に対応するコード値を要請する信号を、マルチメディアデバイスに伝送する(S2101)。ステップS2101は、例えば、図5に示されたRFモジュール514aで行うように設計する。
マルチメディアデバイスから、特定電子デバイスの特定機能に対応するコード値を受信する(S2102)。ステップS2102は、例えば、図5に示されたRFモジュール514aで行うように設計する。
受信されたコード値を、特定電子デバイスに伝送する(S2103)。ステップS2103は、例えば、図5に示されたIRモジュール514bで行うように設計する。さらに、第1通信と第2通信は互いに異なる通信規約で設計されている。
RFモジュール514aは、例えば、複数個の電子デバイスのうち、特定電子デバイスを選択する信号を1次的に伝送し、選択された特定電子デバイスが提供する複数個の機能のうち、特定機能に対応するコード値を要請する信号を2次的に伝送するように設計されている。
一方、前述したリモートコントローラは、図5に示されたように、リモートコントローラの動きによって、マルチメディアデバイスのスクリーン内のポインタの位置が変更されるように位置感知センサをさらに含んでいる。位置感知センサは、例えば、ジャイロセンサまたは加速度センサのうち少なくとも一つ以上を含む。
さらに、前述したマルチメディアデバイスは、図2、3、6、7に示されたように、少なくとも一つ以上の電子デバイスをコントロールするためのコード値を格納しているメモリ、及び格納されたコード値を更新するためにサーバと通信を行うネットワークインターフェースモジュールを含んでいる。
最後に、より具体的に例を挙げると、第1通信はブルートゥース(Bluetooth(登録商標))通信規約で設定されており、第2通信はIR(Infrared Ray)通信規約で設定されている。
図22は、本発明の一実施例によるマルチメディアデバイスのリモートコントローラを用いて、少なくとも一つ以上の外部電子デバイスをコントロールする過程を全体的に説明するための図である。
図22に示すように、本発明の一実施例によるマルチメディアデバイス800は、少なくとも一つ以上の外部電子デバイスと接続されている。例えば、STB(Set Top Box)831、HTS(Home Theater System)832及びBDP(Blueray Disk Player)833と接続されている。前述したように、STB831、HTS832またはBDP833の専用リモートコントローラを使用せずに、マルチメディアデバイス800のリモートコントローラ810のみで、それぞれの外部デバイスを制御することができる。
まず、マルチメディアデバイス800は、接続された電子デバイスに関する識別情報などを用いて、データベースとして構築しなければならないIRコード値をサーバから受信することができる。より具体的なソリューションについては、以下、図23、図31又は図32を通じて後述する。
マルチメディアデバイス800がライブ放送画面801を出力する中、本発明の一実施例によるリモートコントローラ810から、ユニバーサルリモートコントローラのためのOSDを要請する信号を受信した場合、関連したOSD811が表示される。
図22に示されたOSD811を用いて、マルチメディアデバイス800のリモートコントローラ810は外部STB831、HTS832及びBDP833などを制御することが可能である。
図22に示されたOSD811は、外部サーバから受信したIRコード値、及び電子デバイスのマッピングされた機能に関する情報を用いて、マルチメディアデバイス800が生成したグラフィックイメージである。例えば、OSD811は、基本的なチャネルブラウザ(CHB)805及びTV機能806に関するタブを含み、マルチメディアデバイスと接続されている、IRコード値をデータベースとして構築している電子デバイス807、808、809を、選択可能なタブ形式で表示する。一方、図22では、ユニバーサルリモートコントローラ810を用いて制御しようとする外部電子デバイスとしてSTB831を選択したものと仮定する。すなわち、該当のタブ807がハイライトされ、ユーザに、リモートコントローラ810により現在制御することができるデバイスを告知するという長所がある。
また、図22に示されたOSD811は、4方向の矢印状のグラフィックオプション802を含んでいる。前述したように、本発明の一実施例によるリモートコントローラ810は、例えば、リモートコントローラ810の動きによって、対応するインジケーターの位置も変更されるように設計することができるが、マルチメディアデバイス800が生成したグラフィックOSD811ではない外部電子デバイスから受信されたグラフィックイメージオプションを選択しにくい場合を考慮して、グラフィックオプション802を追加した。これと関連して、以下、図26及び図27を参照してより詳細に後述する。
さらに、図22に示されたOSD811は、位置及びコンテンツの内容を変更することができる方向タブ803、804をさらに含んでおり、これと関連しては、以下、図28乃至図30を参照して後述する。
最後に、図22に示されたOSD811は、接続された電子デバイスのうち、特定電子デバイスであるSTB831の機能をコントロールするためのグラフィックイメージオプションを含んでおり、それぞれのオプションは、該当のIRコード値とマッピングされている。
したがって、リモートコントローラ810を用いて特定機能(例えば、数字1又は数字7など)に該当するグラフィックイメージオプションを選択した場合、マルチメディアデバイス800は、該当のIRコード値を、RF通信を通じてリモートコントローラ810に伝送し、これを受信したリモートコントローラ810は、該当のIRコード値をSTB831に伝送することによって、該当の機能(例えば、チャネル1にチューニング又はチャネル7にチューニング)が実行される。
さらに、本発明の他の一実施例によれば、任意の電子デバイスから受信されたグラフィックオプションを選択するための第1コントロール領域と、マルチメディアデバイス自体で生成されたグラフィックオプションを選択するための第2コントロール領域とが同時に表示される。第2コントロール領域は、例えば、図22に示されたOSD811に該当する。
一方、第1コントロール領域は、マルチメディアデバイス自体が生成しないイメージデータを意味する。例えば、図26に示されたSTBで伝送したメニュー領域1202、または図27に示されたチャネルブラウザ領域1301内のオプションは、リモートコントローラのモーションのみで選択することができない。リモートコントローラで特定領域のみを選択できないと、ユーザの立場では、誤りが発生したことと誤解する可能性がある。したがって、このような問題点を解決するために、図22に示された4方向の矢印状のグラフィックイメージ802を追加した。
図23は、本発明の一実施例による統合リモコン(Universal Remote Controller)で制御しようとする外部電子デバイスを選択する過程を説明するための図である。
前述したように、本発明の一実施例によるリモートコントローラを用いて、マルチメディアデバイスと接続された任意の電子デバイスをコントロールすることができる。ただし、マルチメディアデバイスは、対応するIRコード値のリストを受信するためには、接続された電子デバイスに関する情報を認知しなければならない。
図23に示すように、本発明の一実施例によるマルチメディアデバイス900は、リモートコントローラで制御しようとする電子デバイスに関する情報を入力するOSDを表示する。
例えば、接続されたSTBのメーカーを選択するオプション902、及び接続されたSTBのモデル名を選択するオプション903を出力するように設計する。メーカー別に又は製品モデル名別に異なるIRコード値体系を使用することができる可能性を考慮して、このようなOSDが表示されるように設計した。
さらに、図23に示されたように、接続された外部電子デバイスから現在出力されるビデオデータ901を共に表示するように設計することによって、ユーザの誤認混同を防止できるという長所もある。図23に設計されたOSDを用いて、外部電子デバイスに関する情報をユーザが直接入力する具体的なプロセスは、以下、図31でより詳細に説明する。
一方、図23では、外部電子デバイスに関する情報をユーザが選択する場合を仮定したが、これを自動で検出するソリューションについては、以下、図32を参照して後述する。
図24は、本発明の一実施例による統合リモコンの位置によって、マルチメディアデバイスのスクリーン上で表示されるインジケーターの一例を示している。以下、図24を参照して、本発明の一実施例による統合リモコンの位置によって、マルチメディアデバイスのスクリーン上で表示されるインジケーターの一例を説明すると、次の通りである。また、必要に応じて、当業者は上記の図22などを参照して、以下、図24を補充解釈することもできる。
図24に示されたように、マルチメディアデバイス1000は、例えば、STB1031、HTS1032及びBDP1033などの外部電子デバイスと接続されているものと仮定する。
本発明の一実施例によるリモートコントローラ1010は、前述したように、位置感知センサを備えているので、ユーザがリモートコントローラ1010をコントロールする位置、方向、速度などをセンシングすることができる。
また、リモートコントローラ1010の動きによって変化するインジケーター1001が、マルチメディアデバイス1000のスクリーン上で表示される。したがって、ユーザは、リモートコントローラ1010を用いて、外部電子デバイスの特定機能をコントロールするイメージオプションを選択することができる。
図25は、本発明の一実施例による統合リモコンの位置によって、マルチメディアデバイスのスクリーン上で表示されるインジケーターの他の一例を示している。以下、図25を参照して、本発明の一実施例による統合リモコンの位置によって、マルチメディアデバイスのスクリーン上で表示されるインジケーターの他の一例を説明すると、次の通りである。また、必要に応じて、当業者は以前の図22及び図24などを参照して、以下、図25を補充解釈することもできる。
図25に示すように、マルチメディアデバイス1100は、例えば、STB1131、HTS1132及びBDP1133などの外部電子デバイスと接続されているものと仮定する。
図24に示されたインジケーター1001に比べて、図25に示されたインジケーター1101は、透明度、形態または色相のいずれか一つが異なるように設計される。すなわち、インジケーター1101が、外部電子デバイスの機能をコントロールするためのグラフィックイメージの領域から逸脱した場合には、図24と異なるインジケーター1001に変更されるように設計することによって、ユニバーサルリモートコントローラ1110で外部電子デバイスをコントロールするための領域に誘導するという長所がある。
図26は、外部電子デバイスから受信されたグラフィックイメージオプションの一例を示す。
図26に示すように、本発明の一実施例によるマルチメディアデバイス1200がSTB1231、HTS1232及びBDP1233と接続されており、特に、STB1231をコントロールするモードが選択されたものと仮定する。例えば、図22に示されたSTBをコントロールするためのタブ807が選択されたものと仮定する。
さらに、図26に示されたユニバーサルリモートコントローラのためのOSD上でメニューオプションを選択した場合、STB1231が提供するグラフィックイメージ1202が表示される。
前述したように、マルチメディアデバイスが生成したユニバーサルリモートコントローラのためのOSDグラフィックイメージは、リモートコントローラ1210の位置及び対応するインジケーターを移動させて、所望の特定オプションを選択することができる。
一方、STB1231で提供するグラフィックイメージオプション1202で提供するそれぞれの選択可能な項目(例えば、リアルタイム放送、TV再視聴、映画/シリーズ、Fun&Lifeなど)は、リモートコントローラ1210の動きに対応するインジケーター1201を直接位置させて選択することができない。その理由は、ユニバーサルリモートコントローラのためのOSDとは異なり、STB1231で提供するグラフィックイメージ1202に対してはマルチメディアデバイス1200が予め知ることができないためである。
したがって、このような状況で、再びSTB1231の専用リモートコントローラを別途に使用すれば、データ処理速度も遅延し、ユーザの立場で非常に不便であるという問題点がある。これを解決するために、第一のソリューションとして、インジケーター1201が直接選択することができない領域1202ではインジケーター1201の形状を変更する。例えば、図26に示されたように、矢印の中央を覆う一直線のグラフィックが登場するように設計する。
さらに、第二のソリューションとして、インジケーター1201を、図22で前述した4方向の矢印ボタン802の部分に位置させることによって、STB1231が提供するメニューイメージ1202内のオプションを容易に選択することができる。より具体的なプロセスについては、以下、図27を参照して後述する。
図27は、外部電子デバイスから受信されたグラフィックイメージオプションを選択するプロセスを説明するための図である。
一般の放送画面を出力していたマルチメディアデバイス1300は、STB1331が提供するチャネルブラウザと関連したグラフィックイメージ1301を表示する。もちろん、チャネルブラウザと関連したグラフィックイメージ1301を、マルチメディアデバイス1300でデータ処理して出力する場合であれば、リモートコントローラ1310を動かして所望の特定チャネルを選択することもできる。一方、図27に示されたチャネルブラウザは、チャネル別サムネールイメージ、チャネル情報、プログラム情報のうち少なくとも一つ以上を含む。
しかし、図26で前述したように、チャネルブラウザと関連したグラフィックイメージ1301を外部電子デバイスである、例えば、STB1331から直接受信して出力する場合には、リモートコントローラ1310の動きによって位置が変化するインジケーター1304を該当の領域に位置させて、直ちに選択することができない。このとき、誤りではないことをユーザに伝達するために、インジケーター1304の形状、色相、透明度などが変更されるように設計する。
したがって、STB1331のための専用リモコンの代わりに、マルチメディアデバイス1300に対応するリモートコントローラ1310を用いて、チャネルブラウザイメージ1301内で特定チャネル1302を選択しようとする場合、インジケーター1303を4方向の矢印イメージに位置させる。
例えば、リモートコントローラ1310を用いて、特定方向を選択した場合、これに対応するIRコード値(例えば、特定方向に一段階移動させるコマンド)がマルチメディアデバイス1300からリモートコントローラ1310に伝達され、リモートコントローラ1310は、該当のIRコード値を再びSTB1331に伝送するように設計される。
図28A及び図28Bは、統合リモートコントローラによって制御されるOSDの位置を変更するプロセスを説明するための図である。必要な場合、当業者は以前の図面などを参照して、図28A及び図28Bを補充解釈することができる。
例えば、ユニバーサルリモートコントローラの実行のためのOSDの位置を変更しようとする場合、図28Aに示された特定方向のタブ1401を選択する。図28Aに示されたタブ1401が選択された場合、図28Bに示されたようにOSDの位置がスクリーンの最上端に変更される。
図29A、図29B及び図29Cは、統合リモートコントローラによって制御されるOSDコンテンツを変更するプロセスを説明するための図である。必要な場合、当業者は以前の図面を参照して、図29A乃至図29Cを補充解釈することができる。
例えば、ユニバーサルリモートコントローラの実行のためのOSDコンテンツを変更しようとする場合、図29Bに示された特定方向のタブ1501を選択する。このとき、再び2つの実施例を各々具現することはいずれも本発明の権利範囲に属する。
一実施例として、図29Aに示されたタブ1501が選択された場合、図29Bに示されたように、OSD上の付加項目が代替される。例えば、図29Aでは、付加項目としてメニュー(MENU)、ガイド(GUIDE)、情報(INFO)及びEXITなどを含んでいるが、図29Bでは、付加項目として機能1(Func.1)乃至機能4(Func.4)を含んでいる。
他の一実施例として、図29Aに示されたタブ1501が選択された場合、図29Cに示されたように、OSDの全体ページが完全に異なるように変更される。例えば、チャネル番号などのオプションが全て消え、変更された付加項目(機能1乃至機能4)のみが表示される。
図29Bの場合、付加項目のみが変更されるという長所があり、図29Cのように設計する場合、より多い付加項目を追加することができるという長所がある。
図30A及び図30Bは、統合リモートコントローラによって制御される対象である外部電子デバイスを変更するプロセスを説明するための図である。必要な場合、当業者は以前の図面を参照して、図30A及び図30Bを補充解釈することができる。
例えば、ユニバーサルリモートコントローラで制御しようとする外部電子デバイスを変更しようとする場合、図30Aに示された特定タブ1601を選択する。図30Aに示されたタブ1601が選択された場合、図30Bに示されたように、HTSが提供する少なくとも一つ以上の機能をリストするOSDに変更される。
図31は、本発明の一実施例によって、統合リモコン(Universal Remote Controller)で制御しようとする外部電子デバイスを選択する過程を説明するためのフローチャートである。
本発明の一実施例を具現するためには、制御しようとする対象である外部電子デバイスをコントロールするIRコード値をマルチメディアデバイスが知っていたり、またはサーバにアクセスしてDBなどを更新しなければならない。
まず、ユニバーサルリモートコントローラ設定モードに進入したものと仮定する(S1701)。例えば、図23に示されたOSDを用いて具現することもできる。
例えば、外部電子デバイスであるSTBが接続された入力端子(ex:HDMI(登録商標)等)を選択した後(S1702)、サービス名及びメーカーを選択する(S1703、S1704)。サービス名は、例えば、ケーブル放送、インターネット放送などを提供するサービス会社名(ex:QOOK、LGプラス)に該当し、メーカー名は、例えば、STBを製造する会社名(ex:LG、モトローラ、三星など)に該当する。
仮に、前述したステップS1703乃至S1704などを通じて得た外部電子デバイスをコントロールするためのIRコード値をマルチメディアデバイスが保有していない場合には、サーバなどにアクセスして、関連IRコード値を更新する。
最後に、更新が完了した場合、例えば、テストのためのチャネルアップイメージが表示され、ユーザが、マルチメディアデバイスのリモートコントローラを用いて表示されたイメージを選択する時、接続されたSTBのチャネルが変更されるかを確認することができる。より具体的に例を挙げると、正常に設定がなされた場合には、図23に示された現在のチャネルの画面901が+1に変更されたチャネルの画面を出力するようになる。
ただし、図31で説明したプロセスは、ユーザの選択が別途に必要であるという問題があるため、これをより簡単に解決するためのソリューションについては、以下、図32を参照して後述する。
図32は、本発明の他の一実施例によって、統合リモコン(Universal Remote Controller)で制御しようとする外部電子デバイスを選択する過程を説明するためのフローチャートである。
本発明の一実施例によるマルチメディアデバイスと外部電子デバイスとが接続された場合(S1801)、マルチメディアデバイスは、接続された外部電子デバイスの製品情報を要請する信号を、接続された電子デバイスに伝送する(S1802)。
さらに、電子デバイスは、自身の製品情報をマルチメディアデバイスに伝送する(S1803)。製品情報は、例えば、電子デバイスの機能をコントロールするために必要なIRコード値をコレクトするために必要な識別(ID)情報であれば十分である。
また、マルチメディアデバイスは、識別された電子デバイスの機能をコントロールするために必要なIRコード値を外部サーバに要請し、受信する(S1804、S1805)。最後に、受信されたIRコード値を用いて、マルチメディアデバイスはデータベースを更新する(S1806)。したがって、マルチメディアデバイスのリモートコントローラのみでも、任意の外部電子デバイスをコントロールすることが可能となる。
図33は、本発明の一実施例によって、マルチメディアデバイスのリモートコントローラを用いて外部電子デバイスをコントロールするシステムの全体プロセスを示すフローチャートである。複数個の外部電子デバイスを制御するにおいて、それぞれのリモートコントローラを使用せずに、マルチメディアデバイスのリモコンのみで少なくとも一つ以上の外部電子デバイスをコントロールする方法を説明する。
本発明の一実施例によるリモートコントローラは、ユニバーサルリモコンの実行を要請する信号を、マルチメディアデバイスに伝送する(S1901)。例えば、リモートコントローラに付着されているショートカットキーを押して具現してもよく、またはリモートコントローラの特別なアクションなしに実行されるように具現してもよい。
さらに、本発明の一実施例によるマルチメディアデバイスは、ユニバーサルリモコンと関連したOSDを表示する(S1902)。これと関連しては、図22などで詳細に説明されている。
リモートコントローラの位置を動かして、ステップS1902で表示されたグラフィックイメージオプションのうち特定機能を選択した場合(S1903)、マルチメディアデバイスはメモリにアクセスする(S1904)。既に保有していた、またはサーバにアクセスして更新した対応するIRコード値を抽出するためのステップである。
また、マルチメディアデバイスは、リモートコントローラによって選択された外部電子デバイスの機能のうち、特定機能に対応するIRコード値をリモートコントローラに伝送する(S1905)。
リモートコントローラは、受信したIRコード値を、マルチメディアデバイスと接続された電子デバイスに伝送する(S1906)。したがって、外部電子デバイスは、該当の特定機能を実行し(S1907)、対応するコマンドを、外部電子デバイスと有無線で接続されたマルチメディアデバイスに伝送する(S1908)。
一方、図22などで説明されたように、ユーザは、自身がコントロールしようとする外部電子デバイス(STB807、HTS808、BDP809)の中から一つのタブを選択しなければならない。しかし、このように設計する場合、データ処理速度が遅延し、ユーザに多少不便なユーザインターフェースとして作用する可能性がある。
したがって、ユーザが特別な動作を行わなくても、マルチメディアデバイスの現在状態によって適したOSDグラフィックデータを自動で提供するソリューションが要求される。これと関連して、以下、図34乃至図46を参照して詳細に後述する。もちろん、当業者であれば、以前の図1乃至図33で説明された実施例を考慮して、図34乃至図46の実施例を解釈することも可能である。
さらに、図5では、本発明の一実施例によるリモートコントローラがRFモジュール及びIRモジュールを全て含む場合を説明したが、本発明の権利範囲はこれに限定されるものではない。すなわち、タッチセンサを備えたリモートコントローラ、QWERTYキーボードを含むリモートコントローラ、または一般のリモートコントローラにも本発明を適用することができる。
図34は、本発明の他の一実施例によるマルチメディアデバイス、リモートコントローラ、サーバ、及び少なくとも一つ以上の電子デバイスを含むシステムを概略的に示す図である。
図1では、RFモジュールとIRモジュールを全て含むリモートコントローラについて詳細に説明した。一方、図34では、別途の中継器3440が、マルチメディアデバイス3400とRF通信を行い、外部電子デバイスであるSTB3430とIR通信を行うように設計される。RF通信の一例として、ブルートゥース(bluetooth(登録商標))を採択してもよい。
マルチメディアデバイス3400は、サーバ3420から、少なくとも一つ以上の外部電子デバイスをコントロールするためのコード値を受信し、メモリに格納している。もちろん、コード値を外部電子デバイスからHDMI(登録商標)方式で直接受信してもよく、または他の装置との通信と関係なく、予め格納しているように設計してもよい。
例えば、外部電子デバイスであるSTB3430をコントロールしようとする場合、ユーザは、マルチメディアデバイス3400のリモートコントローラ3410を用いてOSDグラフィックデータ内の特定領域(例えば、チャネルアップ)を選択する。このとき、マルチメディアデバイス3400は、特定領域に対応するコード値をRF信号で中継器3440に伝送し、中継器3440は、コード値をIR信号でSTB3430に伝送する。
本発明は、図1に示されたシステムのみならず、図34に示されたシステムにも同一に適用することができる。
一方、前述したように、ユーザは、自身がコントロールするための外部電子デバイスを毎度選択しなければならず、またはユーザに必要でない機能まで先の図面(例えば、図22)のOSDグラフィックデータに含まれる。例えば、有料VODサービスの利用に関連する決済のために数字だけ入力すればよい場合にも、STBのチャネルアップ/ダウン及びボリュームアップ/ダウンに関連する事項がOSDグラフィックデータに含まれると、画面の可視性も低下させるという問題点がある。
したがって、本発明の他の一実施例によるマルチメディアデバイスは、スクリーン内の文字列を認知する機能を搭載するように設計する。したがって、各状況によってユーザに必要なアイテムのみを含むOSDグラフィックデータを自動で提供するという長所がある。
図35は、本発明の他の一実施例によるマルチメディアデバイスの内部構成モジュールを詳細に示すブロック図である。以下、図35を参照して、本発明の他の一実施例によるマルチメディアデバイスが、スクリーンに出力されたビデオイメージに適したOSDグラフィックデータを自動で出力するソリューションを説明する。
図35に示されたマルチメディアデバイス3500は、ビデオプロセッサ3510、検出モジュール3520、ディスプレイモジュール3530、通信モジュール3540、コントローラ3550、及びメモリ3560などを含む。ただし、当業者の必要に応じて、他のモジュールが追加されたり、または図35に示された一部のモジュールを削除することも本発明の権利範囲に属する。
マルチメディアデバイス3500は、例えば、図1又は図34に示されたように外部電子デバイス(例えば、STBなど)と接続されている。
メモリ3560は、少なくとも一つ以上の文字列及び対応するOSDグラフィックデータを格納している。メモリ3560が構築しているデータベースについては、以下、図37及び図38を参照して詳細に後述する。
ビデオプロセッサ3510は、外部電子デバイスから受信されたビデオイメージを処理し、検出モジュール3520は、ビデオイメージ内の文字列を検出するように設計される。検出モジュール3520の具体的な内部プロセッサについては、以下、図36を参照して詳細に後述し、各実施例については図39乃至図44を参照して詳細に後述する。
コントローラ3550は、メモリ3560にアクセスして、検出された文字列に対応するOSDグラフィックデータを抽出する。
さらに、ディスプレイモジュール3530は、抽出されたOSDグラフィックデータをスクリーンに出力する。OSDグラフィックデータは、少なくとも一つ以上の領域に区画されている。これと関連して、以下、図40、図42及び図44を参照して後述する。
通信モジュール3540は、OSDグラフィックデータ内の特定領域が選択された場合、特定領域に対応するコマンド信号を外部電子デバイスまたはリモートコントローラに伝送する。すなわち、図1に示されたシステムでは、コマンド信号をリモートコントローラに伝送する反面、図34に示されたシステムでは、コマンド信号を中継器3440に伝送するように設計する。
また、本発明の更に他の一実施例による検出モジュール3520は、第1条件または第2条件に該当する場合に限って文字列を検出するように設計する。文字列検出プロセスが持続的に行われると、マルチメディアデバイスに過負荷がかかる虞がある。したがって、特定条件下で検出モジュール3520が動作するように設計することで、不必要なデータ処理を事前に防止できるという技術的効果がある。
第1条件は、例えば、ビデオイメージがポップアップメッセージを含む場合に該当し、第2条件は、例えば、マルチメディアデバイスが特定機能(例えば、VODサービスモード)を実行している場合に該当する。
さらに、検出モジュール3520は、例えば、OCR(Optical Character Recognition)ツールによって設計することも本発明の権利範囲に属する。
図35には示していないが、図1などで説明したように、マルチメディアデバイス3500は、サーバからOSDグラフィックデータ内の各領域に対応するコード値を受信するネットワークインターフェースをさらに含んでいる。
図36は、図35に示された検出モジュール3520をより詳細に示すブロック図である。以下、図36を参照して、マルチメディアデバイスのスクリーンに出力されるビデオイメージ内の文字列を認識する検出モジュール3520についてより詳細に説明する。文字列は、文字にのみ限定されるものではなく、例えば、数字、カラー、特定形状のインジケーターなどに対しても同一に適用することができる。
図36に示すように、文字列の認識のための検出モジュール3620は、変換モジュール3621、格納モジュール3622、認識処理モジュール3623、及び出力モジュール3624などを含んでなる。ただし、図36に示す各モジュールは、本発明の一実施例を説明するためのもので、本発明の権利範囲は、原則的に特許請求の範囲に記載された事項により定められるべきである。したがって、図36に示されたモジュールの代わりに、他のツール(tool)を用いて文字列を認識するように設計することも、本発明の権利範囲に属することができることは自明である。
変換モジュール3621は、マルチメディアデバイスのスクリーンに出力された文字列を電圧波形に変換し、このとき、2次元図形である文字列の形状は、走査(scan)によって電圧波形の時系列変化である1次元信号に変換される。
格納モジュール3622は、認識処理モジュール3623を制御する演算制御プログラム(SW program)、及び認識された形状を特定形態で表現したデータを格納している。
認識処理モジュール3623は、格納モジュール3622に格納されたプログラムの制御によって、変換モジュール3621から受信された未知の文字列を処理し、格納モジュール3622に格納されている標準パターンと比較して最も一致度の高いパターンに該当する文字列を認識する。
そして、出力モジュール3624は、認識された文字列を、図35に示されたコントローラ3550に伝達する機能を担当する。したがって、コントローラ3550は、メモリ3560にアクセスして、認識された文字列に対応する特定タイプのOSDグラフィックデータを抽出することができる。
一方、メモリ3560に格納されているデータベースについては、以下、図37及び図38を参照して説明する。
図37は、図35に示されたメモリ3560に格納されているデータベース(database)の一例を示す図である。以下、図37を参照して、本発明の他の一実施例によるマルチメディアデバイスに格納されている文字列及び対応するOSDグラフィックデータの関係を説明する。
マルチメディアデバイスのスクリーン上で出力されるビデオイメージ内の特定文字列に対応するOSDグラフィックデータが、図37に示されたようにマッピングされているように設計する。一方、ビデオイメージ内の特定文字列を認識する方法については、図35及び図36で十分に説明したので省略する。
図37に示すように、例えば、ビデオイメージ内にA文字列が含まれている場合、aタイプのOSDグラフィックデータを自動で呼び出すように設計する。また、ビデオイメージ内にB文字列が含まれている場合、bタイプのOSDグラフィックデータを自動で呼び出すように設計する。そして、ビデオイメージ内にC文字列が含まれている場合には、cタイプのOSDグラフィックデータを自動で呼び出すように設計する。特に、OSDグラフィックデータは、図22などで説明したOSDグラフィックデータとは異なり、特定の環境に適したアイテムのみを含むように設計することによって、不要に画面を覆う現象を防止することができる。また、ユーザは、手動(manually)で自身が所望するOSDグラフィックデータを選択したり、特定デバイスを別途に選択する必要がないという長所が期待される。
例えば、前述した文字列は、「決済」、「カラーキー」、「選好チャネル」、「トリックプレイ」、「VOD(Video On Demand)」、「数字」、または「番号」などに該当するが、このような事項に本発明の権利範囲が制限されるものではない。より具体的な実施例については、以下、図38を参照して説明する。
図38は、図35に示されたメモリ3560に格納されているデータベース(database)の他の一例を示す図である。図37に示されたデータベースのより具体的な実施例について、以下、図38を参照してより詳細に説明する。
本発明の他の一実施例によるマルチメディアデバイスが出力するビデオイメージ内に「番号」という文字列が検出された場合、図38の右側上端に示された第1のOSDグラフィックデータが呼び出されるように設計する。第1のOSDグラフィックデータは、マルチメディアデバイスの現在モードにおいてユーザに必要な選択可能なオプション(例えば、数字0〜9)のみを含んでいる。
一方、マルチメディアデバイスが出力するビデオイメージ内に「赤い、黄色い、青い」などのカラーに関連する文字列が含まれている場合には、図38の右側中間領域に示された第2のOSDグラフィックデータが呼び出されるように設計する。第2のOSDグラフィックデータは、マルチメディアデバイスの現在モードにおいてユーザに必要な選択可能なオプション(例えば、カラーボタン形状のイメージ)のみを含んでいる。
そして、マルチメディアデバイスが出力するビデオイメージ内に「VOD」という文字列が検出された場合、図38の右側下端に示された第3のOSDグラフィックデータが呼び出されるように設計する。第3のOSDグラフィックデータは、マルチメディアデバイスの現在モードにおいてユーザに必要な選択可能なオプション(例えば、再生、停止、一時停止など)のみを含んでいる。
図39は、本発明の他の一実施例によるマルチメディアデバイスが特定文字列の一例を認識するプロセスを示す図である。以下、図39を参照して、外部電子デバイスから受信されたビデオイメージを出力するマルチメディアデバイスが、第1文字列を認識するプロセスを説明する。
図39の(a)に示すように、マルチメディアデバイス3900は、外部電子デバイス(例えば、STB)から受信されたビデオイメージをスクリーン上で出力している。
このとき、図39の(b)に示すように、マルチメディアデバイス3910は、「自動決済赤いボタンクリック」というポップアップメッセージ3911を表示する。本発明の一実施例によれば、文字列を持続的に検出するように設計するが、本発明の他の一実施例によれば、ポップアップメッセージ3911が出力される瞬間に限って文字列を検出するように設計する。
前述したように、マルチメディアデバイス3910は、ポップアップメッセージ3911内の文字列の中で、図37又は図38に示されたデータベースに格納されている文字列と同一または類似した特定文字列3912のみを検出するように設計する。したがって、現在の状況では、ユーザに、カラーキーボタンを選択できるオプションのみを提供すれば十分である。その結果値は、以下で説明する図40に示されたOSDグラフィックデータの形態で出力される。
図40は、図39で説明した認識結果に基づいて、マルチメディアデバイス、リモートコントローラ及び外部電子デバイスの間のデータ通信過程を示す図である。
図39で説明したように、マルチメディアデバイスは、現在ユーザに必要なOSDグラフィックデータを自動で呼び出すことが可能である。したがって、図40に示すように、本発明の他の一実施例によるマルチメディアデバイス4000は、第1のOSDグラフィックデータ4001をスクリーン上で出力する。
このとき、ユーザは、リモートコントローラ4020を用いて、出力された第1のOSDグラフィックデータ4001内で自身が所望する特定領域を選択する。例えば、リモートコントローラ4020のモーションによって位置が変化するインジケーター4002を特定領域(例えば、赤いボタン形状のイメージ)に位置させる場合、マルチメディアデバイス4000は、該当するコード値をRF信号フォーマットでリモートコントローラ4020に伝送する。
そして、リモートコントローラ4020は、受信したコード値を再び外部電子デバイスの一例であるSTB4010に伝送し、STB4010にコード値に対応する機能を自動で実行する。
図41は、本発明の他の一実施例によるマルチメディアデバイスが特定文字列の他の一例を認識するプロセスを示す図である。
以下、図41を参照して、外部電子デバイスから受信されたビデオイメージを出力するマルチメディアデバイスが、第2文字列を認識するプロセスを説明する。
図41の(a)に示すように、マルチメディアデバイス4100は、外部電子デバイス(例えば、STB)から受信されたビデオイメージをスクリーン上で出力している。
このとき、図41の(b)に示すように、マルチメディアデバイス4110は、「決済ページ住民登録番号入力」というポップアップメッセージ4111を表示する。本発明の一実施例によれば、文字列を持続的に検出するように設計するが、本発明の他の一実施例によれば、ポップアップメッセージ4111が出力される瞬間に限って文字列を検出するように設計する。
さらに、本発明の更に他の一実施例によれば、特定モード実行中(例えば、VOD(Video On Demand))であるか、またはACR(Automatic Content Recognition)に関連して特定情報をサーバから受信した場合に限って、マルチメディアデバイスの文字列検出プロセスが動作するように設計する。
ACRの動作原理は、例えば、現在出力中の映画や音楽に関するメタデータをサーバに伝送し、サーバのデータベースから、関連映画または広告ブランドなどの情報をマルチメディアデバイスが受信するものである。
このような場合には、特に、任意のコンテンツに対する利用、接近、決済などに関連する追加命令が伴われるので、文字列検出による特定OSDの呼び出しが必要である。また、特定条件でのみ文字検出が行われるように設計することによって、不必要なデータ処理速度遅延の問題を解決することができる。もちろん、これは、一実施例に過ぎず、本発明の権利範囲は、原則的に特許請求の範囲に記載された事項により決定されるべきである。
前述したように、マルチメディアデバイス4110は、ポップアップメッセージ4111内の文字列の中で、図37又は図38に示されたデータベースに格納されている文字列と同一または類似した特定文字列4112のみを検出するように設計する。したがって、現在の状況では、ユーザに、数字ボタンを選択できるオプションのみを提供すればよい。その結果値は、以下で説明する図42に示されたOSDグラフィックデータの形態で出力される。
図42は、図41で説明した認識結果に基づいて、マルチメディアデバイス、リモートコントローラ及び外部電子デバイスの間のデータ通信過程を示す図である。
図41で説明したように、マルチメディアデバイスは、現在ユーザに必要なOSDグラフィックデータを自動で呼び出すことが可能である。したがって、図42に示すように、本発明の他の一実施例によるマルチメディアデバイス4200は、第2のOSDグラフィックデータ4201をスクリーン上で出力する。
このとき、ユーザは、リモートコントローラ4220を用いて、出力された第2のOSDグラフィックデータ4201内で自身が所望する特定領域を選択する。例えば、リモートコントローラ4220のモーションによって位置が変化するインジケーター4202を特定領域(例えば、数字1のイメージ)に位置させる場合、マルチメディアデバイス4200は、該当するコード値をRF信号フォーマットでリモートコントローラ4220に伝送する。
そして、リモートコントローラ4220は、受信したコード値を再び外部電子デバイスの一例であるSTB4210に伝送し、STB4210にコード値に対応する機能を自動で実行する。
図43は、本発明の他の一実施例によるマルチメディアデバイスが特定文字列の更に他の一例を認識するプロセスを示す図である。
まず、上記で説明したものと同様に、マルチメディアデバイス4300は、外部電子デバイスから受信されたビデオイメージを出力する(図43(a)参照)。また、図39乃至図42で説明したように、本発明の他の一実施例によるマルチメディアデバイス4310は、ポップアップメッセージ4311内の特定文字列4312のみを検出するように設計することができるが(図43(b)参照)、本発明の更に他の一実施例について説明すると、次の通りである。
例えば、本発明の更に他の一実施例によるマルチメディアデバイスは、文字列を検出する方式の代わりに、マルチメディアデバイスの現在のモードに応じて、対応するOSDグラフィックデータを呼び出すように設計する。
すなわち、現在、VODモードに進入した場合、ユーザに提供する必要があるオプションは、VODモードによって実行されたビデオコンテンツ自体に対するコントロール機能である。例えば、ビデオコンテンツの再生、停止、一時停止などに対する機能を直ちにユーザに提供しなければならない。したがって、図37及び図38で説明された特定文字列とOSDグラフィックデータとがマッピングされたデータベースに加えて、マルチメディアデバイスが現在実行中であるモード別に特定OSDグラフィックデータをマッピングして格納することも本発明の権利範囲に属する。
図44は、図43で説明した認識結果に基づいて、マルチメディアデバイス、リモートコントローラ及び外部電子デバイスの間のデータ通信過程を示す図である。
図43で説明されたように、文字列認識方式またはマルチメディアデバイスの現在モードのうち少なくとも一つに基づいて、マルチメディアデバイスは、現在ユーザに必要なOSDグラフィックデータを自動で呼び出すことが可能である。したがって、図44に示すように、本発明の他の一実施例によるマルチメディアデバイス4400は、第3のOSDグラフィックデータ4401をスクリーン上で出力する。
このとき、ユーザは、リモートコントローラ4420を用いて、出力された第3のOSDグラフィックデータ4401内で自身が所望する特定領域を選択する。例えば、リモートコントローラ4420のモーションによって位置が変化するインジケーター4402を特定領域(例えば、ビデオコンテンツを停止させる機能に対応するイメージ)に位置させる場合、マルチメディアデバイス4400は、該当するコード値をRF信号フォーマットでリモートコントローラ4420に伝送する。
そして、リモートコントローラ4420は、受信したコード値を再び外部電子デバイスの一例であるSTB4410に伝送し、STB4410にコード値に対応する機能を自動で実行する。
図45は、本発明の他の一実施例によるマルチメディアデバイスを含む全体システムの各構成要素間のデータ通信プロセスを説明するためのフローチャートである。ただし、図45は、本発明の一実施例の理解を助けるための説明図であり、本発明の権利範囲は原則的に特許請求の範囲に記載された事項により定められるべきである。また、例えば、図45に示されたマルチメディアデバイス及びリモートコントローラのみで本発明を具現することもできる。
マルチメディアデバイスは、少なくとも一つ以上の文字列、及び対応するOSDグラフィックデータをマルチメディアデバイスのメモリに格納する(S4510)。
マルチメディアデバイスは、マルチメディアデバイスのスクリーンを通じて出力されるビデオイメージ内の文字列を検出する(S4520)。
マルチメディアデバイスは、検出された文字列に対応するOSDグラフィックデータを、スクリーン上で表示する(S5430)。OSDグラフィックデータは、例えば、少なくとも一つ以上の領域に区画されている。図40で説明されたOSDグラフィックデータ4001、図42で説明されたOSDグラフィックデータ4201、及び図44で説明されたOSDグラフィックデータ4401はいずれも外部電子デバイスをコントロールするための少なくとも一つ以上の機能を表示する領域に区別されている。
リモートコントローラは、第1通信方式でOSDグラフィックデータ内の特定領域を選択する信号をマルチメディアデバイスに伝送する(S5440)。
したがって、リモートコントローラを用いてOSDグラフィックデータ内の特定領域が選択された場合、特定領域に対応するコード値を、第1通信方式でマルチメディアデバイスからリモートコントローラに伝送する(S4550)。
そして、コード値を、第2通信方式でリモートコントローラから外部電子デバイスに伝送するように設計する(S4560)。したがって、外部電子デバイスは、該当する特定機能を自動で実行することが可能である(S4570)。
ステップS4520は、第1条件または第2条件に該当する場合に限って実行されるように設計することも本発明の他の権利範囲に属する。
第1条件は、例えば、ビデオイメージがポップアップメッセージを含む場合に該当し、第2条件は、例えば、マルチメディアデバイスが特定機能を実行している場合に該当する。
図45に示してはいないが、サーバから、OSDグラフィックデータ内の各領域に対応するコード値をマルチメディアデバイスが受信するステップをさらに含むように設計することもできる。
コード値は、例えば、外部電子デバイスをコントロールするためのコマンドに対応する。
さらに、ステップS5430は、OSDグラフィックデータ及びビデオイメージを合成するステップ、及びビデオイメージにオーバーレイされた状態で、OSDグラフィックデータを出力するステップをさらに含む。
第1通信方式は、例えば、RF(Radio Frequency)通信プロトコルに該当し、第2通信方式は、例えば、IR(infrared)通信プロトコルに該当するように設計する。
そして、図46は、本発明の他の一実施例によるマルチメディアデバイスの制御方法を説明するためのフローチャートである。以下、図46を参照して、本発明の他の一実施例によるマルチメディアデバイスの動作順序を時系列的に説明すると、次の通りである。もちろん、当業者の必要に応じて、一部の順序を変更、削除、追加することも本発明の権利範囲に属する。
外部デバイスと接続されたマルチメディアデバイスは、少なくとも一つ以上の文字列及び対応するOSDグラフィックデータをメモリに格納する(S4610)。
マルチメディアデバイスは、外部電子デバイスから受信されたビデオイメージを処理する(S4620)。また、ビデオイメージ内の文字列を検出するように設計される(S4630)。
マルチメディアデバイスは、内部メモリにアクセスして、検出された文字列に対応するOSDグラフィックデータを抽出する(S4640)。
また、マルチメディアデバイスは、抽出されたOSDグラフィックデータ及びビデオイメージを合成して出力する(S4650)。前述したように、OSDグラフィックデータは、少なくとも一つ以上の領域に区画されている。
そして、マルチメディアデバイスは、OSDグラフィックデータ内の特定領域が選択された場合、特定領域に対応するコマンド信号を外部ユニットに伝送するように設計される(S4660)。
S4660ステップは、コマンド信号を外部電子デバイスまたはリモートコントローラに伝送するように設計される。これと関連して図1及び図34で十分に説明したので、当業者はこれらの図面を参照して本発明を具現することができる。
図1乃至図46(特に、図34乃至図46)で十分に説明したように、本発明の各実施例によれば、特定機能を実行するために、ユーザが直接OSDグラフィックデータを選択及び呼び出す必要がないという長所がある。
さらに、ユーザに現在必要な機能に対してのみ特定グラフィックイメージの形態で出力することによって、OSDのため外部ビデオイメージが覆われる現象を最小化する技術的効果がある。
本発明の一実施例による装置及び制御方法は、前述した図面と図面を結合して、または当業者に自明な事項を結合して他の実施例を具現してもよく、これもまた本発明の権利範囲に属する。
一方、本発明の電子装置の動作方法は、電子装置に備えられたプロセッサが読み取り可能な記録媒体にプロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な記録媒体は、プロセッサによって読み込まれることができるデータが格納される全ての種類の記録装置を含む。プロセッサが読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、プロセッサが読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散されて、分散方式でプロセッサが読み取り可能なコードが格納され、実行され得る。
また、以上では、本発明の好ましい実施例について図示し説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有する者によって様々な変形実施が可能であることは勿論であり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。
3500 マルチメディアデバイス
3510 ビデオプロセッサ
3520 検出モジュール
3530 ディスプレイモジュール
3540 通信モジュール
3550 コントローラ
3560 メモリ

Claims (19)

  1. 外部電子デバイスを制御するシステムの制御方法において、
    少なくとも一つの文字列及び対応するOSDグラフィックデータをマルチメディアデバイスのメモリに格納するステップと、
    前記マルチメディアデバイスのスクリーン上に出力されるビデオイメージ内の文字列を検出するステップと、
    前記検出された文字列に対応するOSDグラフィックデータを前記スクリーン上に表示するステップであって、前記OSDグラフィックデータは、一つ以上の領域に分割されているステップと、
    リモートコントローラを用いて前記OSDグラフィックデータ内の特定領域が選択された場合、前記特定領域に対応するコード値を、第1通信方式を用いて前記マルチメディアデバイスから前記リモートコントローラに伝送するステップと、
    前記コード値を、第2通信方式を用いて前記リモートコントローラから前記外部電子デバイスに伝送するステップと、
    を有するシステムの制御方法。
  2. 前記検出するステップは、第1条件または第2条件に該当する場合に実行される、請求項1に記載のシステムの制御方法。
  3. 前記第1条件は、前記ビデオイメージがポップアップメッセージを含む場合に該当し、
    前記第2条件は、前記マルチメディアデバイスが特定機能を実行している場合に該当する、請求項2に記載のシステムの制御方法。
  4. サーバから、前記OSDグラフィックデータ内の各領域に対応するコード値を受信するステップをさらに含む、請求項1に記載のシステムの制御方法。
  5. 前記コード値は、前記外部電子デバイスを制御するためのコマンドに対応する、請求項4に記載のシステムの制御方法。
  6. 前記表示するステップは、
    前記OSDグラフィックデータ及び前記ビデオイメージを合成するステップと、
    前記ビデオイメージにオーバーレイされた状態で、前記OSDグラフィックデータを出力するステップと、
    を有する、請求項1に記載のシステムの制御方法。
  7. 前記第1通信方式は、RF通信プロトコルに該当し、
    前記第2通信方式は、IR通信プロトコルに該当する、請求項1に記載のシステムの制御方法。
  8. 前記システムは、前記マルチメディアデバイス及び前記リモートコントローラを全て含む、請求項1に記載のシステムの制御方法。
  9. 外部電子デバイスと接続されたマルチメディアデバイスにおいて、
    少なくとも文字列及び対応するOSDグラフィックデータを格納しているメモリと、
    前記外部電子デバイスから受信されたビデオイメージを処理するビデオプロセッサと、
    前記ビデオイメージ内の文字列を検出する検出モジュールと、
    前記メモリにアクセスして、前記検出された文字列に対応するOSDグラフィックデータを抽出するコントローラと、
    前記抽出されたOSDグラフィックデータであって、一つ以上の領域に分割されているOSDグラフィックデータを出力するディスプレイモジュールと、
    リモートコントローラを用いて前記OSDグラフィックデータ内の特定領域が選択された場合、前記特定領域に対応するコマンド信号を前記リモートコントローラまたは中継器に伝送する通信モジュールと、
    を有するマルチメディアデバイス。
  10. 前記検出モジュールは、第1条件または第2条件に該当する場合に前記文字列を検出する、請求項9に記載のマルチメディアデバイス。
  11. 前記第1条件は、前記ビデオイメージがポップアップメッセージを含む場合に該当し、
    前記第2条件は、前記マルチメディアデバイスが特定機能を実行している場合に該当する、請求項10に記載のマルチメディアデバイス。
  12. 前記検出モジュールは、OCRツールによって設計されている、請求項11に記載のマルチメディアデバイス。
  13. サーバから、前記OSDグラフィックデータ内の各領域に対応するコード値を受信するネットワークインターフェースをさらに有する、請求項9に記載のマルチメディアデバイス。
  14. 前記マルチメディアデバイスは、DTVに該当し、
    前記外部電子デバイスは、STBに該当する、請求項9に記載のマルチメディアデバイス。
  15. 外部電子デバイスと接続されたマルチメディアデバイスの制御方法において、
    少なくとも一つの文字列及び対応するOSDグラフィックデータをメモリに格納するステップと、
    前記外部電子デバイスから受信されたビデオイメージを処理するステップと、
    前記ビデオイメージ内の文字列を検出するステップと、
    前記メモリにアクセスして、前記検出された文字列に対応するOSDグラフィックデータを抽出するステップと、
    前記抽出されたOSDグラフィックデータ及び前記ビデオイメージを合成し、前記合成されたイメージを出力するステップであって、前記OSDグラフィックデータは、一つ以上の領域に分割されているステップと、
    リモートコントローラを用いて前記OSDグラフィックデータ内の特定領域が選択された場合、前記特定領域に対応するコマンド信号を前記リモートコントローラまたは中継器に伝送するステップと、
    を有するマルチメディアデバイスの制御方法。
  16. 前記検出するステップは、第1条件または第2条件に該当する場合に前記文字列を検出するステップを有する、請求項15に記載のマルチメディアデバイスの制御方法。
  17. 前記第1条件は、前記ビデオイメージがポップアップメッセージを含む場合に該当し、
    前記第2条件は、前記マルチメディアデバイスが特定機能を実行している場合に該当する、請求項16に記載のマルチメディアデバイスの制御方法。
  18. サーバから、前記OSDグラフィックデータ内の各領域に対応するコード値を受信するステップをさらに有する、請求項15に記載のマルチメディアデバイスの制御方法。
  19. 請求項15ないし18のいずれか一項に記載の方法を実行するためのプログラムが記録されていることを特徴とする、コンピュータ読み取り可能な記録媒体。
JP2013100607A 2012-08-23 2013-05-10 外部電子デバイスと接続されたマルチメディアデバイス及びその制御方法 Expired - Fee Related JP5658790B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120092446A KR101365614B1 (ko) 2012-08-23 2012-08-23 외부 전자 디바이스와 커넥티트된 멀티미디어 디바이스 및 그 제어 방법
KR10-2012-0092446 2012-08-23

Publications (2)

Publication Number Publication Date
JP2014042228A JP2014042228A (ja) 2014-03-06
JP5658790B2 true JP5658790B2 (ja) 2015-01-28

Family

ID=48288746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013100607A Expired - Fee Related JP5658790B2 (ja) 2012-08-23 2013-05-10 外部電子デバイスと接続されたマルチメディアデバイス及びその制御方法

Country Status (6)

Country Link
US (1) US9055259B2 (ja)
EP (2) EP3070952A1 (ja)
JP (1) JP5658790B2 (ja)
KR (1) KR101365614B1 (ja)
CN (1) CN103634633B (ja)
RU (1) RU2565003C2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367144B2 (en) * 2013-03-13 2016-06-14 Google Inc. Methods, systems, and media for providing a remote control interface for a media playback device
JP6346204B2 (ja) * 2014-01-29 2018-06-20 京セラ株式会社 制御装置及び制御方法
KR102120843B1 (ko) * 2014-04-22 2020-06-09 삼성전자주식회사 디스플레이 장치 및 그의 멀티 뷰 디스플레이 방법
CN104135674B (zh) * 2014-07-04 2018-07-27 北京京东方视讯科技有限公司 Osd主题文件获取、提供方法、装置及更新系统
CN104361739A (zh) * 2014-10-22 2015-02-18 高亿实业有限公司 红外遥控信号的转发方法及遥控信号转发器
KR102402262B1 (ko) 2015-08-25 2022-05-26 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102352177B1 (ko) 2015-11-06 2022-01-18 삼성전자주식회사 전자 장치, 원격 제어 장치, 그 제어 방법 및 전자 시스템
KR20170081953A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
KR102484135B1 (ko) * 2016-02-15 2023-01-04 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20180028703A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 디스플레이 장치 및 이를 이용한 원격 제어 장치 설정 방법
US11445233B2 (en) * 2016-09-15 2022-09-13 Maxell, Ltd. Video display device and cooperative control method in video display device
KR102604297B1 (ko) 2016-10-07 2023-11-21 삼성전자주식회사 프로세서, 디스플레이 장치 및 방법
KR102495235B1 (ko) * 2016-11-22 2023-02-02 삼성전자주식회사 전자 장치 및 그의 전원 제어 방법
KR102362850B1 (ko) 2017-04-14 2022-02-15 삼성전자주식회사 디스플레이장치, 디스플레이 시스템 및 디스플레이장치의 제어방법
CN107392205B (zh) * 2017-06-09 2020-07-07 广州视源电子科技股份有限公司 一种遥控器的码值表生成方法与装置
US11252401B2 (en) * 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
JP6915227B2 (ja) * 2017-09-11 2021-08-04 株式会社Nttドコモ 操作装置および映像再生システム
KR102656447B1 (ko) * 2018-02-27 2024-04-12 삼성전자주식회사 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치
WO2019168217A1 (ko) * 2018-02-28 2019-09-06 엘지전자 주식회사 디스플레이 디바이스 및 제어 방법
WO2019220015A1 (en) * 2018-05-15 2019-11-21 Logmore Oy Electronic device and data-transmission system
KR102537781B1 (ko) * 2018-11-13 2023-05-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
TWI673645B (zh) * 2018-11-27 2019-10-01 技嘉科技股份有限公司 電腦系統、顯示裝置、及螢幕上顯示介面的顯示方法
CN112017422B (zh) * 2019-05-28 2022-01-25 聚众联合科技股份有限公司 网状网络的传输信号的方法及其遥控控制系统
CN112423058B (zh) * 2019-06-27 2022-01-14 华为技术有限公司 一种机顶盒的控制方法、系统及相关装置
CN112748834B (zh) * 2019-10-31 2022-11-01 京东方科技集团股份有限公司 一种显示方法、显示装置、电子设备及存储介质
CN111367602B (zh) * 2020-02-25 2023-12-01 京东方科技集团股份有限公司 一种图像融合方法、装置及显示装置
US11457260B2 (en) * 2021-01-15 2022-09-27 Universal Electronics Inc. Systems and methods for controlling device configuration in a networked environment
WO2023182547A1 (ko) * 2022-03-24 2023-09-28 엘지전자 주식회사 디스플레이 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW460839B (en) 1999-01-08 2001-10-21 Lg Electronics Inc User interface method of image display device
JP2006253858A (ja) 2005-03-09 2006-09-21 Sharp Corp リモートコントロールシステム及びリモコン装置
US20060288370A1 (en) * 2005-05-10 2006-12-21 Rothschild Leigh M System and method for controlling a plurality of electronic devices
US20110061078A1 (en) * 2005-05-10 2011-03-10 Reagan Inventions, Llc System and method for controlling a plurality of electronic devices
US8120707B2 (en) * 2006-04-20 2012-02-21 Sandisk Il Ltd. UFD-accomodating multimedia system
US7930644B2 (en) * 2006-09-13 2011-04-19 Savant Systems, Llc Programming environment and metadata management for programmable multimedia controller
TWM325677U (en) 2007-02-05 2008-01-11 Sinbon Electronics Company Ltd Wireless remote-control receiver
CN101465950A (zh) * 2007-12-18 2009-06-24 康佳集团股份有限公司 一种供机顶盒和电视机使用的遥控器系统及其实现方法
EP2109313B1 (en) 2008-04-09 2016-01-13 Sony Computer Entertainment Europe Limited Television receiver and method
US8350744B2 (en) * 2008-12-03 2013-01-08 At&T Intellectual Property I, L.P. Virtual universal remote control
KR101589179B1 (ko) * 2009-08-31 2016-02-12 엘지전자 주식회사 스크린 리모컨 및 공간 리모컨에 의해 컨트롤되는 디지털 방송 수신기, 그리고 그 제어 방법
WO2011068055A1 (ja) * 2009-12-01 2011-06-09 株式会社日立製作所 情報配信装置、及び双方向操作処理方法
US8983191B2 (en) 2010-10-18 2015-03-17 Echostar Uk Holdings Limited Dynamic recognition of web addresses in video
US9271027B2 (en) 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
CN103049997B (zh) 2011-10-11 2016-01-27 Lg电子株式会社 遥控器以及多媒体设备的控制方法

Also Published As

Publication number Publication date
CN103634633A (zh) 2014-03-12
US20140055675A1 (en) 2014-02-27
CN103634633B (zh) 2016-11-02
EP2701394B1 (en) 2016-06-29
RU2013116884A (ru) 2014-10-20
EP3070952A1 (en) 2016-09-21
EP2701394A1 (en) 2014-02-26
US9055259B2 (en) 2015-06-09
KR101365614B1 (ko) 2014-03-12
RU2565003C2 (ru) 2015-10-10
JP2014042228A (ja) 2014-03-06

Similar Documents

Publication Publication Date Title
JP5658790B2 (ja) 外部電子デバイスと接続されたマルチメディアデバイス及びその制御方法
JP5566428B2 (ja) リモートコントローラ及びマルチメディアデバイスの制御方法
JP6231524B2 (ja) 無線通信デバイスを用いてメディアガイダンスアプリケーション機能性を提供するためのシステムおよび方法
US9369654B2 (en) EPG data interface
US20120260290A1 (en) User interface for audio video display device such as tv
TWI401952B (zh) 用於電視接收器之使用者介面特徵之圖形化控制系統及方法
US20150156548A1 (en) Epg aggregation from multiple sources
US9582605B2 (en) Generating user specific applications for performing functions in a user device and method for controlling the same
KR101971965B1 (ko) 적어도 하나 이상의 디바이스와 통신하는 멀티미디어 디바이스 및 그 제어 방법
CA2731739A1 (en) Systems and methods for graphical control of user interface features provided by a television receiver
KR101714661B1 (ko) 영상표시기기의 데이터 입력 방법 및 그에 따른 영상표시기기
KR102017692B1 (ko) 적어도 하나 이상의 전자 디바이스와 연결된 멀티미디어 디바이스 및 그 제어 방법
KR101812172B1 (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
KR101873753B1 (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
RU2523041C2 (ru) Устройство дистанционного управления и способ управления мультимедийным устройством

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140618

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141128

R150 Certificate of patent or registration of utility model

Ref document number: 5658790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees