JP5189709B2 - 端末装置およびgui画面生成方法 - Google Patents

端末装置およびgui画面生成方法 Download PDF

Info

Publication number
JP5189709B2
JP5189709B2 JP2012523772A JP2012523772A JP5189709B2 JP 5189709 B2 JP5189709 B2 JP 5189709B2 JP 2012523772 A JP2012523772 A JP 2012523772A JP 2012523772 A JP2012523772 A JP 2012523772A JP 5189709 B2 JP5189709 B2 JP 5189709B2
Authority
JP
Japan
Prior art keywords
gui screen
amount
value
blur
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012523772A
Other languages
English (en)
Other versions
JPWO2012005005A1 (ja
Inventor
明弘 海老名
善史 酒田
聖治 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012523772A priority Critical patent/JP5189709B2/ja
Application granted granted Critical
Publication of JP5189709B2 publication Critical patent/JP5189709B2/ja
Publication of JPWO2012005005A1 publication Critical patent/JPWO2012005005A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4821End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置に関する。
従来、GUI画面上のポインター(カーソルとも呼ぶ)で操作可能な端末装置がある。GUI画面は、画像で構成される操作画面である。
例えば、特許文献1には、液晶テレビ等のテレビジョン受像機(テレビ装置とも呼ぶ)に係るカーソル制御装置が示されている。このカーソル制御装置は、リモコンからの赤外線信号に基づいて、当該リモコンの位置に応じた2次元の位置情報(位置)をリモコン座標として取得する。また、カーソル制御装置は、リモコン座標に基づいて、表示部にカーソルを表示する。さらに、カーソル制御装置は、取得したリモコン座標を記憶手段に格納する。
また、このカーソル制御装置は、カーソルが移動状態にあるか、静止状態にあるかを判別する。そして、カーソルが移動状態である場合、カーソル制御装置はリモコン座標をカーソル座標として用いる。一方、カーソルが静止状態である場合、カーソル制御装置は記憶手段に格納されたリモコン座標をカーソル座標として用いる。
特開平06−38127号公報
上記のカーソル制御装置は、カーソルが静止状態と判定された場合、既に取得されているリモコン座標をそのまま使用する。これにより、カーソル制御装置は静止状態における手振れを抑制することができる。
しかしながら、カーソルが移動状態である場合でも、手振れは発生する。この手振れが原因で、カーソルを移動させて、テレビジョン受像機に表示されているオブジェクトを適切に選択することが難しい場合があった。また、カーソルの移動中の手振れを防止するためには、カーソルの操作による移動量と、手振れによる移動量とを判断する必要があり、処理が複雑になってしまう。
そこで、本発明は、ぶれが発生する場合であっても、使用者にGUI画面上のオブジェクトを適切に選択させることが可能な端末装置を提供することを目的とする。
上記課題を解決するため、本発明の一態様に係る端末装置は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、前記GUI画面に前記ポインターが表示される位置のぶれ量を示すぶれ情報を算出するぶれ情報算出部とを備え、前記GUI画面生成部は、生成される前記GUI画面を前記ぶれ情報に依存させて変更する。
これにより、端末装置は、ぶれ情報に応じて、適切なGUI画面を生成することができる。そして、使用者の手振れ、または、信号処理に起因する表示誤差がある場合であっても、使用者は、ぶれに応じたGUI画面で、端末装置を操作することができる。したがって、端末装置の操作性が、向上する。
また、前記端末装置は、さらに、前記使用者を撮像することにより、前記使用者の像を取得する撮像部と、前記撮像部で取得された前記像から、前記位置を算出する位置算出部とを備え、前記ぶれ情報算出部は、前記撮像部で取得された前記像から、前記位置算出部で算出された前記位置の前記ぶれ量を示す前記ぶれ情報を算出してもよい。
これにより、端末装置は、使用者の像に基づいて、ポインターの位置を算出する。また、端末装置は、使用者の像のぶれに応じたGUI画面を生成する。使用者の像には、撮像部の特性、または、使用者の動作に起因して、ぶれが発生する可能性が高い。端末装置は、使用者の像にぶれが発生する場合でも、像のぶれに応じたGUI画面で使用者にオブジェクトを適切に選択させることができる。
また、前記GUI画面生成部は、生成される前記GUI画面を構成する前記オブジェクトのサイズを前記ぶれ情報に依存させて変更し、変更された前記サイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成してもよい。
これにより、端末装置は、ぶれに応じたサイズのオブジェクトが表示されるGUI画面を生成することができる。したがって、ぶれが発生する場合であっても、使用者は、ぶれに応じたサイズのオブジェクトが表示されたGUI画面で端末装置を操作することができる。
また、前記GUI画面生成部は、前記ぶれ情報によって示される前記ぶれ量が第1の値である場合、第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記ぶれ情報によって示される前記ぶれ量が前記第1の値よりも大きい第2の値である場合、前記第1のサイズよりも大きい第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成してもよい。
これにより、端末装置は、ぶれが大きい場合、GUI画面に表示されるオブジェクトを大きくすることができる。したがって、ぶれが大きい場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、前記ぶれ情報算出部は、垂直方向の前記ぶれ量、および、水平方向の前記ぶれ量のうち少なくとも一方を示す前記ぶれ情報を算出してもよい。
これにより、端末装置は、所定の方向へのぶれを算出することができる。そして、端末装置は、所定の方向へのぶれに応じて、GUI画面を変更できる。
また、前記ぶれ情報算出部は、前記垂直方向の前記ぶれ量を示す前記ぶれ情報を算出し、前記GUI画面生成部は、前記垂直方向の前記ぶれ量が前記第1の値である場合、前記垂直方向に前記第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記垂直方向の前記ぶれ量が前記第2の値である場合、前記垂直方向に前記第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成してもよい。
これにより、端末装置は、垂直方向のぶれが大きい場合、GUI画面に表示されるオブジェクトを垂直方向に大きくすることができる。したがって、垂直方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、前記ぶれ情報算出部は、前記水平方向の前記ぶれ量を示す前記ぶれ情報を算出し、前記GUI画面生成部は、前記水平方向の前記ぶれ量が前記第1の値である場合、前記水平方向に前記第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記水平方向の前記ぶれ量が前記第2の値である場合、前記水平方向に前記第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成してもよい。
これにより、端末装置は、水平方向のぶれが大きい場合、GUI画面に表示されるオブジェクトを水平方向に大きくすることができる。したがって、水平方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、前記GUI画面生成部は、前記オブジェクトで構成される1以上のオブジェクトであり、前記GUI画面に表示される1以上のオブジェクトである表示対象オブジェクトの数を前記ぶれ情報算出部で算出された前記ぶれ情報に依存させて決定し、決定された数の前記表示対象オブジェクトが前記GUI画面に表示されるように前記GUI画面を生成してもよい。
これにより、端末装置は、ぶれに応じた数のオブジェクトで構成されるGUI画面を生成することができる。したがって、ぶれが発生する場合であっても、使用者は、ぶれに応じた数のオブジェクトで構成されるGUI画面で端末装置を操作することができる。
また、前記GUI画面生成部は、前記ぶれ情報によって示される前記ぶれ量が第1の値である場合、第1の数を前記表示対象オブジェクトの数として決定し、前記第1の数の前記表示対象オブジェクトが表示されるように前記GUI画面を生成し、前記ぶれ情報によって示される前記ぶれ量が前記第1の値よりも大きい第2の値である場合、前記第1の数よりも小さい第2の数を前記表示対象オブジェクトの数として決定し、前記第2の数の前記表示対象オブジェクトが表示されるように前記GUI画面を生成してもよい。
これにより、端末装置は、ぶれが大きい場合、ぶれ量が小さい場合よりも、GUI画面に表示されるオブジェクトの数を減らすことができる。したがって、ぶれが大きい場合であっても、使用者は、適切にオブジェクトを選択することができる。
また、前記ぶれ情報算出部は、垂直方向の前記ぶれ量を示す前記ぶれ情報を算出し、前記GUI画面生成部は、前記垂直方向の前記ぶれ量が前記第1の値である場合、前記第1の数を前記垂直方向に表示される前記表示対象オブジェクトの数として決定し、前記第1の数の前記表示対象オブジェクトが前記垂直方向に表示されるように前記GUI画面を生成し、前記垂直方向の前記ぶれ量が前記第2の値である場合、前記第2の数を前記垂直方向に表示される前記表示対象オブジェクトの数として決定し、前記第2の数の前記表示対象オブジェクトが前記垂直方向に表示されるように前記GUI画面を生成してもよい。
これにより、端末装置は、垂直方向のぶれが大きい場合、垂直方向に表示されるオブジェクトの数を減らすことができる。したがって、垂直方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、前記ぶれ情報算出部は、水平方向の前記ぶれ量を示す前記ぶれ情報を算出し、前記GUI画面生成部は、前記水平方向の前記ぶれ量が前記第1の値である場合、前記第1の数を前記水平方向に表示される前記表示対象オブジェクトの数として決定し、前記第1の数の前記表示対象オブジェクトが前記水平方向に表示されるように前記GUI画面を生成し、前記水平方向の前記ぶれ量が前記第2の値である場合、前記第2の数を前記水平方向に表示される前記表示対象オブジェクトの数として決定し、前記第2の数の前記表示対象オブジェクトが前記水平方向に表示されるように前記GUI画面を生成してもよい。
これにより、端末装置は、水平方向のぶれが大きい場合、水平方向に表示されるオブジェクトの数を減らすことができる。したがって、水平方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、本発明の一態様に係るGUI画面生成方法は、使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、前記GUI画面に前記ポインターが表示される位置のぶれ量を示すぶれ情報を算出するぶれ情報算出ステップとを含み、前記GUI画面生成ステップでは、生成される前記GUI画面を前記ぶれ情報に依存させて変更するGUI画面生成方法でもよい。
これにより、前記端末装置の動作が、GUI画面生成方法として実現される。
また、本発明の一態様に係るプログラムは、前記GUI画面生成方法に含まれるステップをコンピュータに実行させるためのプログラムでもよい。
これにより、前記GUI画面生成方法が、プログラムとして実現される。
また、本発明の一態様に係る端末装置は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、前記GUI画面生成部は、前記オブジェクトで構成される1以上のオブジェクトであり、垂直方向に表示される1以上のオブジェクトである垂直方向表示対象オブジェクトの数を前記ぶれ情報算出部で算出された前記垂直方向のぶれ量に依存させて決定し、前記オブジェクトで構成される1以上のオブジェクトであり、水平方向に表示される1以上のオブジェクトである水平方向表示対象オブジェクトの数を前記ぶれ情報算出部で算出された前記水平方向のぶれ量に依存させて決定し、前記垂直方向表示対象オブジェクトおよび前記水平方向表示対象オブジェクトのそれぞれのサイズが維持され、かつ、決定された数の前記垂直方向表示対象オブジェクトが垂直方向に表示され、かつ、決定された数の前記水平方向表示対象オブジェクトが水平方向に表示されるように、前記GUI画面を生成する端末装置でもよい。
また、本発明の一態様に係る端末装置は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、前記GUI画面生成部は、生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記垂直方向のぶれ量が第1の値である場合、垂直方向に第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記垂直方向のぶれ量が前記第1の値よりも大きい第2の値である場合、垂直方向に前記第1のサイズよりも小さい第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成する端末装置でもよい。
また、本発明の一態様に係る端末装置は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、前記GUI画面生成部は、生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記水平方向のぶれ量が第3の値である場合、水平方向に第3のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記水平方向のぶれ量が前記第3の値よりも大きい第4の値である場合、水平方向に前記第3のサイズよりも小さい第4のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成する端末装置でもよい。
また、本発明の一態様に係る端末装置は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、前記GUI画面生成部は、算出された前記垂直方向のぶれ量または算出された前記水平方向のぶれ量である算出ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記オブジェクトで構成される複数のオブジェクトが表示されるように、前記GUI画面を生成し、前記算出ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する端末装置でもよい。
また、前記GUI画面生成部は、前記算出ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作において番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、前記算出ぶれ量が前記第2の値である場合、前記操作において番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成してもよい。
また、前記GUI画面生成部は、前記算出ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作においてチャンネルの番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、前記算出ぶれ量が前記第2の値である場合、前記操作においてチャンネルの番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成してもよい。
また、本発明の一態様に係る端末装置は、使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、前記操作において選択されるオブジェクトで構成される複数のオブジェクト、および、前記複数のオブジェクトのひとつを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、前記GUI画面に前記ポインターが表示される位置のぶれ量を算出するぶれ情報算出部とを備え、前記GUI画面生成部は、算出された前記ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、算出された前記ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する端末装置でもよい。
また、前記GUI画面生成部は、算出された前記ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作において番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、算出された前記ぶれ量が前記第2の値である場合、前記操作において番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成してもよい。
また、前記GUI画面生成部は、算出された前記ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作においてチャンネルの番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、算出された前記ぶれ量が前記第2の値である場合、前記操作においてチャンネルの番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成してもよい。
また、本発明の一態様に係るGUI画面生成方法は、使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、前記GUI画面生成ステップでは、前記オブジェクトで構成される1以上のオブジェクトであり、垂直方向に表示される1以上のオブジェクトである垂直方向表示対象オブジェクトの数を前記ぶれ情報算出ステップで算出された前記垂直方向のぶれ量に依存させて決定し、前記オブジェクトで構成される1以上のオブジェクトであり、水平方向に表示される1以上のオブジェクトである水平方向表示対象オブジェクトの数を前記ぶれ情報算出ステップで算出された前記水平方向のぶれ量に依存させて決定し、前記垂直方向表示対象オブジェクトおよび前記水平方向表示対象オブジェクトのそれぞれのサイズが維持され、かつ、決定された数の前記垂直方向表示対象オブジェクトが垂直方向に表示され、かつ、決定された数の前記水平方向表示対象オブジェクトが水平方向に表示されるように、前記GUI画面を生成するGUI画面生成方法でもよい。
また、本発明の一態様に係るGUI画面生成方法は、使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、前記GUI画面生成ステップでは、生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記垂直方向のぶれ量が第1の値である場合、垂直方向に第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記垂直方向のぶれ量が前記第1の値よりも大きい第2の値である場合、垂直方向に前記第1のサイズよりも小さい第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成するGUI画面生成方法でもよい。
また、本発明の一態様に係るGUI画面生成方法は、使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、前記GUI画面生成ステップでは、生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記水平方向のぶれ量が第3の値である場合、水平方向に第3のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、前記水平方向のぶれ量が前記第3の値よりも大きい第4の値である場合、水平方向に前記第3のサイズよりも小さい第4のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成するGUI画面生成方法でもよい。
また、本発明の一態様に係るGUI画面生成方法は、使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、前記GUI画面生成ステップでは、算出された前記垂直方向のぶれ量または算出された前記水平方向のぶれ量である算出ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記オブジェクトで構成される複数のオブジェクトが表示されるように、前記GUI画面を生成し、前記算出ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成するGUI画面生成方法でもよい。
また、本発明の一態様に係るGUI画面生成方法は、使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、前記操作において選択されるオブジェクトで構成される複数のオブジェクト、および、前記複数のオブジェクトのひとつを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、前記GUI画面に前記ポインターが表示される位置のぶれ量を算出するぶれ情報算出ステップとを含み、前記GUI画面生成ステップでは、算出された前記ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、算出された前記ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成するGUI画面生成方法でもよい。
また、本発明の一態様に係るプログラムは、前記GUI画面生成方法に含まれるステップをコンピュータに実行させるためのプログラムでもよい。
本発明により、ぶれが発生する場合であっても、使用者はGUI画面上のオブジェクトを適切に選択することができる。
図1は、実施の形態1に係るテレビ装置の全体構成を示す図である。 図2は、実施の形態1に係る信号処理部の機能ブロックを示す図である。 図3は、実施の形態1に係る信号処理部がGUI画面を生成してディスプレイに表示する処理の一例を示すフローチャートである。 図4は、実施の形態1に係るGUI画面に表示されるメッセージを示す図である。 図5は、実施の形態1に係るGUI画面生成部によって参照されるGUI画面情報のテーブルを示す図である。 図6は、実施の形態1に係るGUI画面Aを示す図である。 図7は、実施の形態1に係るGUI画面Bを示す図である。 図8は、実施の形態1に係るGUI画面Cを示す図である。 図9は、実施の形態1に係るGUI画面Dを示す図である。 図10は、実施の形態1に係るGUI画面Eを示す図である。 図11は、実施の形態1に係るGUI画面Fを示す図である。 図12は、実施の形態1に係るGUI画面Gを示す図である。 図13は、実施の形態1に係るGUI画面Hを示す図である。 図14は、実施の形態1に係るGUI画面Iを示す図である。 図15は、実施の形態2に係るテレビ装置の利用例を示す図である。 図16は、実施の形態2に係るGUI画面の例を示す図である。 図17は、実施の形態3に係る端末装置の構成図である。 図18は、実施の形態3に係る端末装置の動作を示すフローチャートである。 図19は、実施の形態4に係る端末装置の構成図である。 図20は、実施の形態4に係る端末装置の動作を示すフローチャートである。
(実施の形態1)
<1.テレビ装置とその周辺装置>
以下、本実施の形態に係る端末装置の例であるテレビ装置について、図面を参照しながら説明する。
図1は、本実施の形態に係るテレビ装置の全体構成を示す図である。図1に示すように、テレビ装置1は、HDD(Hard Disc Drive)4、SDカード5、アンテナ6およびカメラ8に接続される。テレビ装置1は、BD(Blu−ray Disc(登録商標))3、HDD4、SDカード5、アンテナ6およびカメラ8から出力された映像信号を入力として取得する。そして、テレビ装置1は、この映像信号を処理し、ディスプレイ108に映像として表示する。
また、テレビ装置1は、使用者の操作に従ってリモコン装置7から送信された操作信号を受信する。
HDD4は、映像信号を蓄積するための記録装置である。HDD4は、例えば、外付けハードディスク装置等で実現される。
SDカード5は、映像信号を蓄積するための記録媒体である。SDカード5は、半導体記録素子等で構成されるメモリカードの一例である。
アンテナ6は、外部から送信された映像信号を受信する機能を有する。
リモコン装置7は、使用者による操作を受け付ける操作デバイスである。リモコン装置7は、押下の操作が可能な複数のボタンを有する。ボタンの操作により、リモコン装置7は、使用者の操作を示す操作信号を生成する。リモコン装置7は、生成した操作信号を、無線を介してテレビ装置1に送信する。これによって、テレビ装置1は、使用者の操作を検知できる。
カメラ8は、使用者を撮像するカメラである。例えば、カメラ8は、CMOSセンサなどの撮像素子で構成される。
なお、テレビ装置1に、HDD4、アンテナ6、リモコン装置7およびカメラ8等が含まれていてもよい。
<2.テレビ装置の具体的構成>
以下、テレビ装置1の具体的な構成について、図面を参照しながら説明する。
具体的には、テレビ装置1は、図1に示すようにドライブ装置101と、入出力IF部(入出力インターフェース部)102と、チューナ103と、信号処理部104と、受信部105と、バッファメモリ106と、フラッシュメモリ107と、ディスプレイ108とを備える。
ドライブ装置101は、ディスクトレイを有する。そして、ドライブ装置101は、このディスクトレイに収納されたBD3から映像信号を読み出す。また、信号処理部104から映像信号が入力された場合、ドライブ装置101は、ディスクトレイに収納されたBD3にこの映像信号を書込む。
入出力IF部102は、HDD4、SDカード5およびカメラ8等の外部装置に接続可能なインターフェースである。入出力IF部102は、信号処理部104と外部装置との間におけるコントロール信号および映像信号等の送受信を可能にする。入出力IF部102は、HDD4、SDカード5またはカメラ8から入力された入力ストリームを、信号処理部104に送信する。また、入出力IF部102は、信号処理部104で出力された、符号化ストリームまたは非圧縮の映像ストリームを、HDD4またはSDカード5に送信する。
例えば、入出力IF部102は、HDMIコネクタ、SDカードスロットおよびUSBコネクタ等で実現される。なお、図1では、入出力IF部102は、一つのブロックとして図示されているが、SDカード5のためのカードスロットと、HDD4のためのコネクタと、カメラ8のためのUSBコネクタとを別々に備えてもよい。要するに、入出力IF部102は、外部装置とのインターフェースを実現するものであれば、どのような構成であってもよい。
チューナ103は、アンテナ6で受信した放送波を取得する。チューナ103は、信号処理部104によって指定された特定の周波数の映像信号を信号処理部104に送信する。これによって、信号処理部104は、放送波に含まれる特定の周波数の映像信号を処理し、処理された映像信号をディスプレイ108に表示させることができる。
信号処理部104は、テレビ装置1の全体を制御する。特に、信号処理部104は、カメラ8を制御する。さらに、信号処理部104は、カメラ8が取得した映像信号を画像処理する。信号処理部104によるカメラ8の制御には、電源制御、取得画像サイズの変更、フレームレートの変更、および、ホワイトバランスの調整等がある。なお、信号処理部104によるカメラ8の制御は、上記の制御に限定されるものではなく、カメラ8に対するどのような制御であっても構わない。
さらに、信号処理部104は、カメラ8が取得した映像信号に基づいて、使用者の手の位置情報(位置)を算出する。例えば、手の位置情報は、取得した映像信号で表現される2次元映像の任意の一点を原点とするx−y平面座標で与えられる。なお、信号処理部104は、手の形状を示す予め用意されたテンプレートを用いて、取得した映像信号の全体に対して画像マッチング処理を実施してもよい。これにより、信号処理部104は、映像信号から、使用者の手の位置情報を検出できる。
さらに、信号処理部104は、手の位置情報に基づいて、ポインターのぶれ量、具体的には、ぶれ量を示すぶれ情報を算出する。ポインターのぶれ量とは、使用者がポインターを操作する際の当該使用者の手のぶれ量、または、ポインターの表示誤差を意味する。ポインターの表示誤差は、例えば、センサ精度、量子化幅またはサンプリング精度等の信号処理に起因する誤差である。
すなわち、ポインターのぶれ量は、GUI画面上のポインターのぶれ量に限られず、ポインターを表示するための位置情報のぶれ量であってもよい。位置情報は、ポインターの二次元座標値でもよいし、使用者の手の空間座標値でもよい。信号処理部104は、位置情報によって示される位置の単位時間当たりの変化量をぶれ量として算出する。
また、信号処理部104は、位置情報からぶれ量を算出してもよいし、カメラ8で取得された映像信号の全体から、位置情報のぶれ量を算出してもよい。あるいは、信号処理部104は、カメラ8の性能に基づいて、ぶれ量を算出してもよい。
また、信号処理部104は、テレビ装置1の操作画面であるGUI画面を生成する。GUI画面は、取得した手の位置情報に連動して動作するポインター、および、ポインターによって選択されるオブジェクト(表示要素または表示対象オブジェクトとも呼ぶ)で構成される。そして、信号処理部104は、生成したGUI画面をディスプレイ108に出力する。
信号処理部104は、マイクロコンピュータで構成されてもよいし、ハードワイヤードな回路で構成されてもよい。
受信部105は、リモコン装置7からの操作信号を受信して、信号処理部104に送信する。受信部105は、例えば、赤外線センサで実現される。
バッファメモリ106は、入出力IF部102の信号処理において、ワークメモリとして用いられる。バッファメモリ106は、例えば、DRAMで実現される。
フラッシュメモリ107は、信号処理部104によって実行されるプログラム等を記憶している。また、フラッシュメモリ107は、ディスプレイ108で表示されるGUI画面を規定するGUI画面情報を記憶している。GUI画面は、フラッシュメモリ107に記憶されているGUI画面情報に基づいて、生成される。
ディスプレイ108は、信号処理部104で処理された映像信号およびGUI画面を画像として表示する。ディスプレイ108は、例えば、液晶ディスプレイまたはプラズマディスプレイで実現される。
<2−1.信号処理部>
次に、信号処理部104の具体的な構成について、図面を参照しながら説明する。
図2は、信号処理部104の機能ブロックを示す図である。
図2に示すように、信号処理部104は、位置情報算出部(位置算出部)201、ぶれ量算出部202、GUI画面生成部203およびジェスチャモード起動部204を備える。
位置情報算出部201は、カメラ8で取得された映像信号を、入出力IF部102を介して、受信する。また、位置情報算出部201は、この映像信号に対してパターンマッチング等の画像処理を行う。このパターンマッチングは、映像信号から使用者の手の像を抽出する画像処理である。そして、位置情報算出部201は、画像処理の結果として使用者の手の位置情報を算出する。
具体的には、手の位置情報は、映像信号で示される映像領域上の二次元座標値として算出される。例えば、手の位置情報は、映像領域の左上を原点とした際の二次元座標値(x、y)で算出される。位置情報算出部201は、算出した二次元座標値をぶれ量算出部202に出力する。
なお、位置情報算出部201は、手の位置情報に限らず、映像信号から使用者の特定部位の位置情報を取得してもよい。また、信号を送信するリモコンが操作に用いられる場合であれば、位置情報算出部201は、リモコンから送信された信号に基づいて、リモコンの位置情報を算出してもよい。
ぶれ量算出部202は、位置情報算出部201からの二次元座標値に基づいて、単位時間当たりの手の位置情報の平均値を算出する。具体的には、ぶれ量算出部202は、所定の時間、連続して取得した二次元座標値から、平均値を算出する。そして、ぶれ量算出部202は、所定の時間、連続して取得した二次元座標値と、この平均値との最も大きい差分絶対値をぶれ量として算出する。
例えば、ぶれ量算出部202は、時刻iにおける位置情報である二次元座標値(xi、yi)を取得する。さらに、ぶれ量算出部202は、時刻iから時刻nまでの間、サンプリング周期Δt毎に、連続して二次元座標値を取得する。そして、ぶれ量算出部202は、取得した複数の二次元座標値に基づいて、平均値(xave、yave)を算出する。この平均値(xave、yave)は、式1で与えられる。
Figure 0005189709
なお、nは、i以上の正の整数である。
この場合、ぶれ量算出部202は、ぶれ量(Δx、Δy)を式2により算出する。
Figure 0005189709
なお、(xt、yt)は、時刻iから時刻nまでに取得された二次元座標値である。要するに、ぶれ量算出部202は、時刻iから時刻nまでに連続して取得された二次元座標値と、式1で算出した平均値との差分絶対値の最大値をぶれ量として算出する。
なお、ぶれ量の算出方法は、上記の算出方法に限定されない。つまり、ぶれ量算出部202は、手の位置の単位時間当たりの変化を示すどのような値を用いても構わない。例えば、ぶれ量算出部202は、時刻iから時刻nまでに連続して取得した二次元座標値の変化量の平均値をぶれ量として算出しても構わない。
また、ぶれ量(Δx、Δy)におけるΔxは、水平方向のぶれ量である。ぶれ量算出部202は、水平方向のぶれ量が50pixel以下である場合、水平方向のぶれ量を「小」として設定する。また、ぶれ量算出部202は、水平方向のぶれ量が50pixelよりも大きく100pixelよりも小さい場合、水平方向のぶれ量を「中」として設定する。さらに、ぶれ量算出部202は、水平方向のぶれ量が100pixel以上である場合、水平方向のぶれ量を「大」として設定する。
なお、上記において、「大」、「中」、「小」の3段階で水平方向のぶれ量を設定する構成を説明した。しかし、ぶれ量算出部202は、4段階、5段階または6段階等、多段階にぶれ量を設定してもよい。また、ぶれ量をいずれかの段階に設定する際に用いられる閾値は、使用者の利用状況に応じて、決定される値でも構わない。
また、ぶれ量算出部202は、pixel以外の単位に基づいて、ぶれ量を設定してもよい。例えば、ぶれ量算出部202は、手の位置情報の空間座標値をそのまま利用してもよい。
また、ぶれ量(Δx、Δy)におけるΔyは、垂直方向のぶれ量である。ぶれ量算出部202は、垂直方向のぶれ量が50pixel以下である場合、垂直方向のぶれ量を「小」として設定する。また、ぶれ量算出部202は、垂直方向のぶれ量が50pixelよりも大きく100pixelよりも小さい場合、垂直方向のぶれ量を「中」として設定する。さらに、ぶれ量算出部202は、垂直方向のぶれ量が100pixel以上である場合、垂直方向のぶれ量を「大」として設定する。
なお、上記において、「大」、「中」、「小」の3段階で垂直方向のぶれ量を設定する構成を説明した。しかし、ぶれ量算出部202は、4段階、5段階または6段階等、多段階にぶれ量を設定してもよい。また、ぶれ量をいずれかの段階に設定する際に用いられる閾値は、使用者の利用状況に応じて、決定される値でも構わない。
また、ぶれ量算出部202は、pixel以外の単位に基づいて、ぶれ量を設定してもよい。例えば、ぶれ量算出部202は、手の位置情報の空間座標値をそのまま利用してもよい。
また、ぶれ量算出部202は、水平方向と垂直方向とで異なる数の段階にぶれ量を設定してもよい。操作にジェスチャが用いられる場合、重力の影響により垂直方向の変化が生じやすい。例えば、使用者がジェスチャを用いてテレビ装置1を操作している間に、重力の影響で手が疲れてしまう。これにより、垂直方向へのぶれ量が大きくなることが想定される。そのため、垂直方向のぶれ量は、水平方向のぶれ量よりも多段階に設定されている構成が好ましい。
また、ぶれ量算出部202は、ぶれ量を設定する際、水平方向と垂直方向とで異なる閾値を用いてもよい。例えば、垂直方向の閾値は水平方向の閾値よりも小さくてもよい。これにより、垂直方向における手のぶれ量が重視される。
より具体的には、例えば、ぶれ量算出部202は、垂直方向のぶれ量が40pixel以下である場合、垂直方向のぶれ量を「小」として設定する。また、ぶれ量算出部202は、垂直方向のぶれ量が40pixelよりも大きく80pixelよりも小さい場合、垂直方向のぶれ量を「中」として設定する。さらに、ぶれ量算出部202は、垂直方向のぶれ量が80pixel以上である場合、垂直方向のぶれ量を「大」として設定する。
すなわち、ぶれ量算出部202は、手の疲れにより垂直方向へのぶれ量が大きくなることを想定して定められた閾値を用いてもよい。
なお、ぶれ量は、使用者の手のぶれ、または、画像処理の精度を示す値である。要するに、ぶれ量が大きいということは、使用者が正確にテレビ装置1を操作できないということ、または、信号の処理精度が悪いということを意味する。逆に、ぶれ量が小さいということは、使用者が正確にテレビ装置1を操作できるということ、または、信号の処理精度が良いということを意味する。
また、上述において、ぶれ量算出部202は、垂直方向のぶれ量および水平方向のぶれ量を別々に算出している。しかし、ぶれ量算出部202は、所定の時間に連続して取得した二次元座標値と、二次元座標値の平均値とから算出される最も大きい距離値をぶれ量として算出してもよい。ぶれ量算出部202は、最も大きい距離値をぶれ量として算出することで、垂直方向のぶれ量と水平方向のぶれ量とを別々に算出しなくてもよい。したがって、処理時間が短縮される。
ぶれ量は、位置情報算出部201で取得された位置情報のぶれを示す値であり、どのような計算方法で求められても構わない。
GUI画面生成部203は、ジェスチャモード起動部204から信号を受信した時、ぶれ量算出部202で算出されたぶれ量、および、フラッシュメモリ107で記憶されているGUI画面情報に基づいて、GUI画面を生成する。
また、ジェスチャモード起動部204から受信した信号に基づいて、GUI画面生成部203は、手を静止させる旨のメッセージを含むGUI画面を生成する。そして、GUI画面生成部203は、このGUI画面をディスプレイ108に出力する。なお、GUI画面生成部203が生成するGUI画面については後述する。
ジェスチャモード起動部204は、受信部105を介して受信された信号に基づいて、ジェスチャモードを起動する。ジェスチャモードが起動した場合、ジェスチャモード起動部204は、入出力IF部102を介してカメラ8に電源ON信号を送信する。電源ON信号は、カメラ8を起動させるための信号である。また、ジェスチャモード起動部204は、GUI画面生成部203に対してジェスチャモードが起動したことを示す信号を出力する。
<3.動作フロー>
図3は、本実施の形態に係る信号処理部104が、GUI画面を生成し、生成されたGUI画面をディスプレイ108に表示する処理の一例を示すフローチャートである。以下、説明の便宜上、リモコン装置7を介して操作信号を受信する動作を説明する。
リモコン装置7は、使用者の操作を受け付け、ジェスチャモードを起動するための信号を受信部105へ送信する。例えば、使用者はリモコン装置7の「ジェスチャモード」ボタンを押下する。リモコン装置7は、押下による操作を受け付ける(S301)。
次に、ジェスチャモード起動部204は、リモコン装置7からの信号を、受信部105を経由して受信する。そして、受信した信号がジェスチャモードを起動するための信号である場合、ジェスチャモード起動部204はジェスチャモードを起動する(S302)。
ジェスチャモードが起動した場合、ジェスチャモード起動部204は、入出力IF部102を介して、カメラ8に電源ON信号を送信する。カメラ8は、電源ON信号を受信した時、起動を開始する(S303)。そして、カメラ8は、初期設定等の実行後、使用者の撮影を開始する。カメラ8は、撮影で得られた信号を、入出力IF部102を介して、位置情報算出部201に出力する。
さらに、ジェスチャモード起動部204は、GUI画面生成部203へ、ジェスチャモードが起動したことを示す信号を出力する。GUI画面生成部203は、この信号を受信した時、手を静止させる旨のメッセージを含むGUI画面を生成する(S304)。
図4は、手を静止させる旨のメッセージを含むGUI画面を示す図である。
図4に示されたGUI画面には、手を静止させる旨のメッセージが付加される。さらに、使用者が手の静止を認識し易いように、水平方向および垂直方向にガイドが表示される。また、手を静止させる領域が分かるように、手を静止させる領域が円で表示される。これにより、テレビ装置1は、使用者の手を静止状態にする(S305)。
次に、位置情報算出部201は、入出力IF部102を介して、カメラ8から送信された映像信号を連続的に受信する。位置情報算出部201は、受信した映像信号を信号処理し、手の位置情報である二次元座標値を算出する(S306)。位置情報算出部201は、算出した二次元座標値をぶれ量算出部202に出力する。なお、位置情報算出部201は、連続して受信した映像信号に対して、順次、画像処理を実行する。そして、位置情報算出部201は、画像処理の結果である二次元座標値を連続的に出力する。
ぶれ量算出部202は、位置情報算出部201で連続的に出力された二次元座標値から、ぶれ量を算出する(S307)。ぶれ量算出部202は、算出したぶれ量をGUI画面生成部203に出力する。
GUI画面生成部203は、ぶれ量算出部202で出力されたぶれ量、および、フラッシュメモリ107で記憶されているGUI画面情報に基づいて、GUI画面を生成する(S308)。GUI画面生成部203は、生成したGUI画面をディスプレイ108に出力する。
そして、ディスプレイ108は、GUI画面生成部203で出力されたGUI画面を表示する(S309)。
<4.GUI画面>
以下、GUI画面生成部203が生成するGUI画面に関して、図面を参照しながら説明する。
GUI画面生成部203は、ぶれ量算出部202によって算出されたぶれ量に基づいて、生成するGUI画面を変更する。
図5は、フラッシュメモリ107に記憶されているGUI画面情報のテーブルを示す図である。
図5に示すように、例えば、GUI画面生成部203は、垂直方向のぶれ量および水平方向のぶれ量に応じて規定された9種類のGUI画面の情報を含むテーブルを参照する。
図5に示すテーブルは、ぶれ量算出部202で出力された垂直方向のぶれ量と水平方向のぶれ量とに対応するテーブルである。図5に示すテーブルでは、ぶれ量が、その大きさに応じて、「小」、「中」、「大」の3項目に分類されている。図5に示されたテーブルでは、ぶれ量が、50pixel以下の場合、「小」に分類される。ぶれ量が、50pixelよりも大きく100pixelよりも小さい場合、「中」に分類される。ぶれ量が、100pixel以上の場合、「大」に分類される。
GUI画面生成部203は、ぶれ量の分類に基づいて、9種類のGUI画面のうち、いずれかのGUI画面を生成する。以下、説明の便宜上、仮想的にGUI画面が6行6列で分割されていると仮定する。
<第1のパターン;垂直方向のぶれ量が「小」、水平方向のぶれ量が「小」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「小」であり、水平方向のぶれ量が「小」である場合、GUI画面Aを生成する。
図6は、GUI画面Aを示す図である。図6の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
図6に示すGUI画面Aは、垂直方向のぶれ量が「小」であり、水平方向のぶれ量が「小」である場合に生成されるGUI画面である。垂直方向および水平方向のぶれ量が小さい場合、使用者は正確な操作が可能な状況下にいると推測される。そのため、GUI画面Aに配置されるボタンは、1行1列分の大きさを有する。つまり、使用者は、精度のよい正確な操作が可能であるため、ボタンは小さく生成される。
また、9種類のGUI画面のうちGUI画面Aのボタンが最も小さい。小さいボタンが生成されることで、映像(視聴番組)の視聴可能な領域が縮小されることなく、ジェスチャ操作が可能になる。
<第2のパターン;垂直方向のぶれ量が「中」、水平方向のぶれ量が「小」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「中」であり、水平方向のぶれ量が「小」である場合、GUI画面Bを生成する。
図7は、GUI画面Bを示す図である。図7の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
垂直方向のぶれ量が「中」である場合、垂直方向のぶれ量が「小」である場合に比べて、使用者は垂直方向に正確な操作が困難な状況下にいると推測される。そのため、GUI画面生成部203は、GUI画面Aよりも垂直方向に大きいボタン、例えば、2行1列分の大きさを有するボタンが配置されたGUI画面Bを生成する。
なお、水平方向のぶれ量は小さい。そのため、GUI画面生成部203は、GUI画面Bに配置されるボタンの水平方向の大きさを、GUI画面Aに配置されるボタンの水平方向の大きさと同じ大きさに設定してもよい。
このように、GUI画面生成部203は、垂直方向に大きいボタンを有するGUI画面Bを生成する。そのため、垂直方向の精度が悪い場合でも、正確なジェスチャ操作が可能になる。さらに、GUI画面生成部203は、ぶれの方向に応じたGUI画面Bを生成する。したがって、テレビ装置1は、映像(視聴番組)の視聴可能な領域の縮小化を最小限に抑えつつ、ジェスチャによる操作性を向上させる。
<第3のパターン;垂直方向のぶれ量が「大」、水平方向のぶれ量が「小」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「大」であり、水平方向のぶれ量が「小」である場合、GUI画面Cを生成する。
図8は、GUI画面Cを示す図である。図8の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
垂直方向のぶれ量が「大」である場合、垂直方向のぶれ量が「中」である場合に比べて、使用者は垂直方向に正確な操作が困難な状況下にいると推測される。そのため、GUI画面生成部203は、GUI画面Bよりも垂直方向に大きいボタン、例えば、3行1列分の大きさを有するボタンが配置されたGUI画面Cを生成する。また、このパターンにおいて、垂直方向のぶれ量は「大」である。そのため、GUI画面Cで生成されるボタンの垂直方向の大きさは、9種類のGUI画面のうち最も大きい。
このように、GUI画面生成部203は、垂直方向の精度が悪い状況に対応するGUI画面Cを生成することができる。一方、この場合、映像(視聴番組)の視聴可能な領域が小さくなり、情報量の低下が大きくなる。そのため、GUI画面生成部203は、ボタンがシースルー表示(透過表示)されるように、GUI画面Cを生成してもよい。これにより、映像の視認性の低下が抑制される。
<第4のパターン;垂直方向のぶれ量が「小」、水平方向のぶれ量が「中」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「小」であり、水平方向のぶれ量が「中」である場合、GUI画面Dを生成する。
図9は、GUI画面Dを示す図である。図9の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
水平方向のぶれ量が「中」である場合、使用者は水平方向のぶれ量が「小」である場合に比べて、使用者は水平方向に正確な操作が困難な状況下にいると推測される。そのため、GUI画面生成部203は、GUI画面Aよりも水平方向に大きいボタン、例えば、1行2列分の大きさを有するボタンが配置されたGUI画面Dを生成する。
このように、GUI画面生成部203は、水平方向に大きいボタンが配置されたGUI画面Dを生成する。そのため、水平方向の精度が悪い場合でも、ジェスチャによる操作性が維持される。
なお、図9では、全てのボタンが、GUI画面Dの上側に配置されている。しかし、GUI画面Dの8chボタン、10chボタンおよび12chボタンは、GUI画面Dの下側に配置されてもよい。この場合、GUI画面Dの中央部分における情報量の低下が抑制される。そのため、ジェスチャ操作の行い易さと、視聴している番組の見易さとの両方が維持される。
<第5のパターン;垂直方向のぶれ量が「中」、水平方向のぶれ量が「中」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「中」であり、水平方向のぶれ量が「中」である場合、GUI画面Eを生成する。
図10は、GUI画面Eを示す図である。図10の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
垂直方向のぶれ量が「中」であり、水平方向のぶれ量が「中」である場合、垂直方向のぶれ量が「小」であり、水平方向のぶれ量が「小」である場合に比べて、使用者は垂直方向および水平方向に正確な操作が困難な状況下にいると推測される。そのため、GUI画面生成部203は、GUI画面Aよりも垂直方向および水平方向に大きいボタン、例えば、2行2列分の大きさを有するボタンが配置されたGUI画面Eを生成する。
<第6のパターン;垂直方向のぶれ量が「大」、水平方向のぶれ量が「中」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「大」であり、水平方向のぶれ量が「中」である場合、GUI画面Fを生成する。
図11は、GUI画面Fを示す図である。図11の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
垂直方向のぶれ量が「大」であり、水平方向のぶれ量が「中」である場合、使用者は垂直方向および水平方向に正確な操作が困難な状況下にいると推測される。そのため、垂直方向および水平方向に大きいボタン、例えば、3行2列分の大きさを有するボタンが配置されたGUI画面Fを生成する。これにより、視聴している番組は見辛くなるが、ジェスチャ操作が行い易くなる。なお、ジェスチャ操作をする時にのみ、ジェスチャ操作のためのボタンが、GUI画面上に表示されてもよい。
<第7のパターン;垂直方向のぶれ量が「小」、水平方向のぶれ量が「大」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「小」であり、水平方向のぶれ量が「大」である場合、GUI画面Gを生成する。
図12は、GUI画面Gを示す図である。図12の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
水平方向のぶれ量が「大」である場合、水平方向のぶれ量が「中」である場合に比べて、使用者は水平方向に正確な操作が困難な状況下にいると推測される。そのため、GUI画面Dよりも水平方向に大きいボタン、例えば、1行3列分の大きさを有するボタンが配置されたGUI画面Gを生成する。また、水平方向のぶれ量が「大」である。そのため、GUI画面Gにおけるボタンの水平方向の大きさは、9種類のGUI画面のうち最も大きい。
このように、GUI画面生成部203は、水平方向の精度が悪い状況に対応するGUI画面Gを生成することができる。一方、この場合、映像(視聴番組)の視聴可能な領域が減少する。そのため、GUI画面生成部203は、ボタンがシースルー表示(透過表示)されるようなGUI画面Gを生成してもよい。これにより、映像の視認性が向上する。
<第8のパターン;垂直方向のぶれ量が「中」、水平方向のぶれ量が「大」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「中」であり、水平方向のぶれ量が「大」である場合、GUI画面Hを生成する。
図13は、GUI画面Hを示す図である。図13の「2ch」、「4ch」、「6ch」、「8ch」、「10ch」、「12ch」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
垂直方向のぶれ量が「中」であり、水平方向のぶれ量が「大」である場合、使用者は垂直方向および水平方向に正確な操作が困難な状況下にいると推測される。特に、水平方向に正確な操作が困難であると推測される。そのため、GUI画面生成部203は、垂直方向および水平方向に大きいボタン、例えば、2行3列分の大きさを有するボタンが配置されたGUI画面Hを生成する。
これにより、視聴している番組は見辛くなるが、ジェスチャ操作が行い易くなる。なお、ジェスチャ操作をする時にのみ、ジェスチャ操作のためのボタンがGUI画面上に表示されてもよい。
<第9のパターン;垂直方向のぶれ量が「大」、水平方向のぶれ量が「大」の場合>
GUI画面生成部203は、垂直方向のぶれ量が「大」であり、水平方向のぶれ量が「大」である場合、GUI画面Iを生成する。
図14は、GUI画面Iを示す図である。図14の「CH UP」、「CH DOWN」は、それぞれ、チャンネルを選択するためのオブジェクト(ボタン)である。
垂直方向のぶれ量が「大」であり、水平方向のぶれ量が「大」である場合、使用者は垂直方向および水平方向に正確な操作が困難な状況下にいると推測される。そのため、垂直方向および水平方向に大きいボタン、例えば、3行3列分の大きさを有するボタンが配置されたGUI画面Iを生成する。
これにより、視聴している番組は見辛くなるが、ジェスチャ操作が行い易くなる。なお、ジェスチャ操作をする時にのみ、ジェスチャ操作のためのボタンがGUI画面上に表示されてもよい。また、GUI画面I上には、単に、チャンネルのUpまたはDownのボタンのみが表示されることが好ましい。これにより、テレビ装置1は、映像の視認性の低下を抑制しつつ、ボタンを大きくすることができる。したがって、テレビ装置1は、視認性および操作性の両方を向上させることができる。
なお、本実施の形態では、GUI画面生成部203は、水平方向および垂直方向のぶれ量に応じて、9種類のGUI画面から適切なGUI画面を選択する。しかし、GUI画面生成部203は、水平方向および垂直方向のぶれ量に応じて、動的にGUI画面を生成してもよい。
この場合、GUI画面生成部203は、水平方向のぶれ量が大きくなるにつれて、GUI画面に配置されるボタンを水平方向に大きくしてもよい。また、GUI画面生成部203は、垂直方向のぶれ量が大きくなるにつれて、GUI画面に配置されるボタンを垂直方向に大きくしてもよい。
また、上述のGUI画面は、説明の便宜上、仮想的に6行6列で分割されている。しかし、GUI画面は、分割されていなくてもよい。例えば、オブジェクトのサイズ(大きさ)は、ぶれ量に基づいて、分割された単位ではなく、実数値で算出されてもよい。
また、本実施の形態では、図4のGUI画面を用いて、ぶれ量が予め算出されている。すなわち、テレビ装置1は、操作に先立って実行されたキャリブレーションによって、適切なGUI画面を表示している。しかし、テレビ装置1は、操作時において、動的にぶれ量を算出してもよい。
例えば、使用者がオブジェクトの選択に失敗した場合、テレビ装置1は、失敗した時のポインターの位置と、ポインターに最も近いオブジェクトの位置との距離に応じて、ぶれ量を算出してもよい。これにより、テレビ装置1は、ジェスチャによる操作中において、ぶれ量を動的に算出して、適切なGUI画面を表示できる。
また、本実施の形態に係るGUI画面の変更は、典型的には、ジェスチャでポインターが操作される環境において、有用である。しかし、リモコン、タッチパッドまたはマウス等でポインターが操作される環境において、GUI画面が変更されてもよい。
<5.まとめ>
本実施の形態に係るテレビ装置1は、使用者によるGUI画面での操作に従って動作するテレビ装置1であって、操作において選択されるオブジェクト、および、オブジェクトを選択するためのポインターで構成されるGUI画面を生成するGUI画面生成部203と、GUI画面にポインターが表示される位置のぶれ量を示すぶれ情報を算出するぶれ量算出部202とを備え、GUI画面生成部203は、生成されるGUI画面をぶれ情報に依存させて変更する。
これにより、テレビ装置1は、ぶれ情報に応じて、適切なGUI画面を生成することができる。そして、使用者の手振れ、または、信号処理に起因する表示誤差がある場合であっても、使用者は、ぶれに応じたGUI画面で、テレビ装置1を操作することができる。したがって、テレビ装置1の操作性が、向上する。
また、テレビ装置1は、さらに、使用者を撮像することにより、使用者の像を取得するカメラ8と、カメラ8で取得された像から、ポインターが表示される位置を算出する位置情報算出部201とを備え、ぶれ量算出部202は、カメラ8で取得された像から、位置情報算出部201で算出された位置のぶれ量を示すぶれ情報を算出してもよい。
これにより、テレビ装置1は、使用者の像に基づいて、ポインターが表示される位置を算出する。また、テレビ装置1は、使用者の像のぶれに応じたGUI画面を生成する。使用者の像には、カメラ8の特性、または、使用者の動作に起因して、ぶれが発生する可能性が高い。テレビ装置1は、使用者の像にぶれが発生する場合でも、像のぶれに応じたGUI画面で使用者にオブジェクトを適切に選択させることができる。
また、GUI画面生成部203は、生成されるGUI画面を構成するオブジェクトのサイズをぶれ情報に依存させて変更し、変更されたサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成してもよい。
これにより、テレビ装置1は、ぶれに応じたサイズのオブジェクトが表示されるGUI画面を生成することができる。したがって、ぶれが発生する場合であっても、使用者は、ぶれに応じたサイズのオブジェクトが表示されたGUI画面でテレビ装置1を操作することができる。
また、GUI画面生成部203は、ぶれ情報によって示されるぶれ量が第1の値である場合、第1のサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成し、ぶれ情報によって示されるぶれ量が第1の値よりも大きい第2の値である場合、第1のサイズよりも大きい第2のサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成してもよい。
これにより、テレビ装置1は、ぶれが大きい場合、GUI画面に表示されるオブジェクトを大きくすることができる。したがって、ぶれが大きい場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、ぶれ量算出部202は、垂直方向のぶれ量、および、水平方向のぶれ量のうち少なくとも一方を示すぶれ情報を算出してもよい。
これにより、テレビ装置1は、所定の方向へのぶれを算出することができる。そして、テレビ装置1は、所定の方向へのぶれに応じて、GUI画面を変更できる。
また、ぶれ量算出部202は、垂直方向のぶれ量を示すぶれ情報を算出し、GUI画面生成部203は、垂直方向のぶれ量が第1の値である場合、垂直方向に第1のサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成し、垂直方向のぶれ量が第2の値である場合、垂直方向に第2のサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成してもよい。
これにより、テレビ装置1は、垂直方向のぶれが大きい場合、GUI画面に表示されるオブジェクトを垂直方向に大きくすることができる。したがって、垂直方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、ぶれ量算出部202は、水平方向のぶれ量を示すぶれ情報を算出し、GUI画面生成部203は、水平方向のぶれ量が第1の値である場合、水平方向に第1のサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成し、水平方向のぶれ量が第2の値である場合、水平方向に第2のサイズを有するオブジェクト、および、ポインターで構成されるGUI画面を生成してもよい。
これにより、テレビ装置1は、水平方向のぶれが大きい場合、GUI画面に表示されるオブジェクトを水平方向に大きくすることができる。したがって、水平方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、GUI画面生成部203は、前記オブジェクトで構成される1以上のオブジェクトであり、GUI画面に表示される1以上のオブジェクトである表示対象オブジェクトの数をぶれ量算出部202で算出されたぶれ情報に依存させて決定し、決定された数の表示対象オブジェクトがGUI画面に表示されるようにGUI画面を生成してもよい。
これにより、テレビ装置1は、ぶれに応じた数のオブジェクトで構成されるGUI画面を生成することができる。したがって、ぶれが発生する場合であっても、使用者は、ぶれに応じた数のオブジェクトで構成されるGUI画面でテレビ装置1を操作することができる。
また、GUI画面生成部203は、ぶれ情報によって示されるぶれ量が第1の値である場合、第1の数を表示対象オブジェクトの数として決定し、第1の数の表示対象オブジェクトが表示されるようにGUI画面を生成し、ぶれ情報によって示されるぶれ量が第1の値よりも大きい第2の値である場合、第1の数よりも小さい第2の数を表示対象オブジェクトの数として決定し、第2の数の表示対象オブジェクトが表示されるようにGUI画面を生成してもよい。
これにより、テレビ装置1は、ぶれが大きい場合、ぶれ量が小さい場合よりも、GUI画面に表示されるオブジェクトの数を減らすことができる。したがって、ぶれが大きい場合であっても、使用者は、適切にオブジェクトを選択することができる。
また、ぶれ量算出部202は、垂直方向のぶれ量を示すぶれ情報を算出し、GUI画面生成部203は、垂直方向のぶれ量が第1の値である場合、第1の数を垂直方向に表示される表示対象オブジェクトの数として決定し、第1の数の表示対象オブジェクトが垂直方向に表示されるようにGUI画面を生成し、垂直方向のぶれ量が第2の値である場合、第2の数を垂直方向に表示される表示対象オブジェクトの数として決定し、第2の数の表示対象オブジェクトが垂直方向に表示されるようにGUI画面を生成してもよい。
これにより、テレビ装置1は、垂直方向のぶれが大きい場合、垂直方向に表示されるオブジェクトの数を減らすことができる。したがって、垂直方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
また、ぶれ量算出部202は、水平方向のぶれ量を示すぶれ情報を算出し、GUI画面生成部203は、水平方向のぶれ量が第1の値である場合、第1の数を水平方向に表示される表示対象オブジェクトの数として決定し、第1の数の表示対象オブジェクトが水平方向に表示されるようにGUI画面を生成し、水平方向のぶれ量が第2の値である場合、第2の数を水平方向に表示される表示対象オブジェクトの数として決定し、第2の数の表示対象オブジェクトが水平方向に表示されるようにGUI画面を生成してもよい。
これにより、テレビ装置1は、水平方向のぶれが大きい場合、水平方向に表示されるオブジェクトの数を減らすことができる。したがって、水平方向にぶれが発生する場合であっても、使用者は、GUI画面に表示されるオブジェクトを適切に選択することができる。
<6.補足>
以上、本実施の形態について説明したが、本発明は、本実施の形態に限定されない。
また、上述では、本実施の形態に係る端末装置の例として、テレビ装置が示された。しかし、本実施の形態に係る端末装置は、ディスプレイ108を備えないセットトップボックスでもよい。また、本実施の形態に係る端末装置は、レコーダ装置でもよい。つまり、本実施の形態に係る端末装置は、GUI画面を介して使用者が操作する端末装置であれば、どのような端末装置でもよい。
なお、本実施の形態に係る端末装置が具備する各手段は、集積回路またはプログラムとして提供されてもよい。
そして、このようなプログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体、または、インターネット等の通信ネットワークを介して流通可能である。
また、集積回路は、典型的には、LSI(Large Scale Integration)として実現される。この場合、LSIは、1チップで構成されてもよいし、複数のチップで構成されてもよい。例えば、メモリ以外の複数の機能ブロックが、1チップのLSIで構成されてもよい。なお、ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSIまたはウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、または、LSI内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得る。
また、集積回路化の際、複数の機能ブロックのうち、データを格納するユニットだけを1チップ化の構成に取り込まず、別の構成としてもよい。
(実施の形態2)
実施の形態2では、実施の形態1に示されたテレビ装置1の利用例をより具体的に示す。実施の形態2に係るテレビ装置は、実施の形態1に係るテレビ装置1と同様の構成要素を備える。
図15は、実施の形態2に係るテレビ装置の利用例を示す図である。図15に示されたテレビ装置1のGUI画面54には、ポインター51およびオブジェクト52が表示されている。カメラ8は、使用者53を撮像することにより、使用者53の像を取得する。テレビ装置1は、カメラ8によって取得された像に従って、ポインター51が表示される位置を算出する。
すなわち、テレビ装置1は、使用者53の像に従って、ポインター51の位置を決定する。そして、使用者53のジェスチャに従って、ポインター51が移動する。オブジェクト52がポインター51で選択された場合、テレビ装置1はオブジェクト52に対応付けられた動作を実行する。
図16は、図15に示されたGUI画面54の例を示す図である。図16は、位置精度が高い場合のGUI画面54の画面例と、位置精度が低い場合のGUI画面54の画面例とを示す。ここで、位置精度が高いとは、ぶれ量が小さいことを意味する。また、位置精度が低いとは、ぶれ量が大きいことを意味する。
図16の上段は、ぶれ量が小さい場合の画面例を示す。上段の画面例に含まれる「1」、「2」、「3」、・・・、「12」、「音量+」、「音量−」、「CH+」、「CH−」、「メニュー」、「番組表」、「入力切替」は、それぞれ、GUI画面54上のオブジェクトである。手のマークは、ポインターである。例えば、ポインターで「1」が選択された場合、テレビ装置1は、1チャンネルの番組の映像を表示する。
図16の上段の例では、オブジェクトの数が比較的多く、各オブジェクトの大きさが比較的小さい。また、上段の例では、ぶれ量が小さいため、使用者は高い精度で所望の位置にポインターを移動させることができる。したがって、使用者は、上段の画面例のような複雑なGUI画面54でも、適切にテレビ装置1を操作できる。
図16の下段は、ぶれ量が大きい場合の画面例を示す。下段の画面例に含まれる「音量+」、「音量−」、「CH+」、「CH−」は、それぞれ、GUI画面54上のオブジェクトである。手のマークは、ポインターである。例えば、ポインターで「CH+」が選択された場合、テレビ装置1は、チャンネルの番号を増加させることで、チャンネルを変更する。
図16の下段の例では、オブジェクトの数が比較的少なく、各オブジェクトの大きさが比較的大きい。また、下段の例では、ぶれ量が大きいため、使用者は高い精度で所望の位置にポインターを移動させることが困難である。使用者は、このように、ポインターを高い精度で移動させることが困難である場合であっても、簡素化されたGUI画面54により、適切にオブジェクトを選択することができる。
上述の通り、テレビ装置1は、ぶれ量が小さい値(第1の値)であるか、大きい値(第2の値)であるかに応じて、GUI画面54を変更する。ぶれ量が小さい値である場合、オブジェクトの数は、大きい数(第1の数)になり、各オブジェクトのサイズは、小さいサイズ(第1のサイズ)になる。ぶれ量が大きい値である場合、オブジェクトの数は、小さい数(第2の数)になり、各オブジェクトのサイズは、大きいサイズ(第2のサイズ)になる。
なお、テレビ装置1は、ぶれ量が大きい場合、オブジェクト数を維持し、各オブジェクトの大きさを小さくしてもよい。これにより、オブジェクト間の境界(隔たり)が大きくなる。したがって、ぶれによって、間違ったオブジェクトが選択される誤操作が抑制される。
また、テレビ装置1は、ぶれ量が大きい場合、各オブジェクトの大きさを維持して、オブジェクト数を減少させてもよい。これにより、GUI画面54が簡素化され、操作性が向上する。
(実施の形態3)
実施の形態3に係る端末装置は、実施の形態1および実施の形態2に示されたテレビ装置1の特徴的な構成要素を備える。
図17は、実施の形態3に係る端末装置の構成図である。図17に示された端末装置60は、使用者によるGUI画面での操作に従って動作する。また、端末装置60は、ぶれ情報算出部61およびGUI画面生成部62を備える。ぶれ情報算出部61は、図2に示された実施の形態1に係るぶれ量算出部202に対応する。GUI画面生成部62は、図2に示された実施の形態1に係るGUI画面生成部203に対応する。
ぶれ情報算出部61は、ぶれ情報を算出する。ぶれ情報は、GUI画面にポインターが表示される位置のぶれ量を示す。GUI画面は、操作において選択されるオブジェクト、および、オブジェクトを選択するためのポインターで構成される。
GUI画面生成部62は、GUI画面を生成する。GUI画面生成部62は、生成されるGUI画面をぶれ情報に依存させて変更する。
図18は、図17に示された端末装置60の動作を示すフローチャートである。まず、ぶれ情報算出部61は、ぶれ情報を算出する(S61)。次に、GUI画面生成部62は、GUI画面を生成する(S62)。この時、GUI画面生成部62は、生成されるGUI画面をぶれ情報に依存させて変更する。例えば、GUI画面生成部62は、ぶれ情報に依存させて、オブジェクトの表示態様を変更する。
これにより、端末装置60は、ぶれ情報に応じて、適切なGUI画面を生成することができる。そして、使用者の手振れ、または、信号処理に起因する表示誤差がある場合であっても、使用者は、ぶれに応じたGUI画面で、端末装置60を操作することができる。したがって、端末装置60の操作性が、向上する。
(実施の形態4)
実施の形態4に係る端末装置は、実施の形態3に係る端末装置60に、実施の形態1で示されたカメラ8に相当する構成要素等が追加されている。
図19は、実施の形態4に係る端末装置の構成図である。図19に示された端末装置60は、ぶれ情報算出部61、GUI画面生成部62、撮像部63および位置情報算出部(位置算出部)64を備える。図19に示された端末装置60は、図17に示された実施の形態3に係る端末装置60と比較して、撮像部63および位置情報算出部64が追加されている。撮像部63は、図2に示された実施の形態1に係るカメラ8に対応する。位置情報算出部64は、図2に示された実施の形態1に係る位置情報算出部201に対応する。
撮像部63は、使用者を撮像することにより、使用者の像を取得する。位置情報算出部64は、撮像部63で取得された像から、ポインターが表示される位置を算出する。ぶれ情報算出部61は、撮像部63で取得された像から、位置情報算出部64で算出された位置のぶれ量を示すぶれ情報を算出する。GUI画面生成部62は、位置情報算出部64で算出された位置にポインターが表示されるように、GUI画面を生成する。また、GUI画面生成部62は、ぶれ情報に依存させてGUI画面を変更する。
図20は、図19に示された端末装置60の動作を示すフローチャートである。まず、撮像部63は、使用者を撮像することにより、使用者の像を取得する(S71)。位置情報算出部64は、撮像部63で撮像された像から、ポインターが表示される位置を算出する(S72)。
ぶれ情報算出部61は、撮像部63で撮像された像から、位置情報算出部64で算出された位置のぶれ量を示すぶれ情報を算出する(S73)。この時、ぶれ情報算出部61は、撮像部63で撮像された像から算出された位置を用いて、ぶれ情報を算出してもよい。あるいは、ぶれ情報算出部61は、撮像部63で撮像された像の全体から、ぶれ情報を算出してもよい。
特に、ぶれ情報算出部61は、位置の情報がGUI画面上のポインターの座標値に変換される前に、ぶれ情報を算出してもよいし、位置の情報がGUI画面上のポインターの座標値に変換された後に、ぶれ情報を算出してもよい。
GUI画面生成部62は、位置情報算出部64で算出された位置にポインターが表示されるように、GUI画面を生成する(S74)。この時、GUI画面生成部62は、生成されるGUI画面をぶれ情報に依存させて変更する。
これにより、端末装置60は、使用者の像に基づいて、ポインターが表示される位置を算出する。また、端末装置60は、使用者の像のぶれに応じたGUI画面を生成する。使用者の像には、撮像部63の特性、または、使用者の動作に起因して、ぶれが発生する可能性が高い。端末装置60は、使用者の像にぶれが発生する場合でも、像のぶれに応じたGUI画面で使用者にオブジェクトを適切に選択させることができる。
以上、本発明に係る端末装置について、複数の実施の形態に基づいて説明したが、本発明はそれらの実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態、および、実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、本発明は、端末装置として実現できるだけでなく、端末装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体として実現できる。
また、端末装置に含まれる複数の構成要素は、集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらの構成要素は、個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。例えば、記憶部以外の構成要素が1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSIまたはウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なFPGA(Field Programmable Gate Array)、または、LSI内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、端末装置に含まれる構成要素の集積回路化を行ってもよい。
本発明に係る端末装置は、ぶれに応じたGUI画面を提供するため、テレビ装置、ビデオレコーダ、ビデオカメラ、デジタルカメラ、パーソナルコンピュータおよびカメラ付き携帯電話機等に適用できる。
1 テレビ装置
3 BD
4 HDD
5 SDカード
6 アンテナ
7 リモコン装置
8 カメラ
51 ポインター
52 オブジェクト
53 使用者
54 GUI画面
60 端末装置
61 ぶれ情報算出部
62、203 GUI画面生成部
63 撮像部
64、201 位置情報算出部(位置算出部)
101 ドライブ装置
102 入出力IF部
103 チューナ
104 信号処理部
105 受信部
106 バッファメモリ
107 フラッシュメモリ
108 ディスプレイ
202 ぶれ量算出部
204 ジェスチャモード起動部

Claims (15)

  1. 使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、
    前記GUI画面生成部は、
    前記オブジェクトで構成される1以上のオブジェクトであり、垂直方向に表示される1以上のオブジェクトである垂直方向表示対象オブジェクトの数を前記ぶれ情報算出部で算出された前記垂直方向のぶれ量に依存させて決定し、
    前記オブジェクトで構成される1以上のオブジェクトであり、水平方向に表示される1以上のオブジェクトである水平方向表示対象オブジェクトの数を前記ぶれ情報算出部で算出された前記水平方向のぶれ量に依存させて決定し、
    前記垂直方向表示対象オブジェクトおよび前記水平方向表示対象オブジェクトのそれぞれのサイズが維持され、かつ、決定された数の前記垂直方向表示対象オブジェクトが垂直方向に表示され、かつ、決定された数の前記水平方向表示対象オブジェクトが水平方向に表示されるように、前記GUI画面を生成する
    端末装置。
  2. 使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、
    前記GUI画面生成部は、
    生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、
    変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記垂直方向のぶれ量が第1の値である場合、垂直方向に第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記垂直方向のぶれ量が前記第1の値よりも大きい第2の値である場合、垂直方向に前記第1のサイズよりも小さい第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成する
    端末装置。
  3. 使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、
    前記GUI画面生成部は、
    生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、
    変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記水平方向のぶれ量が第3の値である場合、水平方向に第3のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記水平方向のぶれ量が前記第3の値よりも大きい第4の値である場合、水平方向に前記第3のサイズよりも小さい第4のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成する
    端末装置。
  4. 使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出部とを備え、
    前記GUI画面生成部は、
    算出された前記垂直方向のぶれ量または算出された前記水平方向のぶれ量である算出ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記オブジェクトで構成される複数のオブジェクトが表示されるように、前記GUI画面を生成し、
    前記算出ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    端末装置。
  5. 前記GUI画面生成部は、
    前記算出ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作において番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、
    前記算出ぶれ量が前記第2の値である場合、前記操作において番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    請求項4に記載の端末装置。
  6. 前記GUI画面生成部は、
    前記算出ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作においてチャンネルの番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、
    前記算出ぶれ量が前記第2の値である場合、前記操作においてチャンネルの番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    請求項5に記載の端末装置。
  7. 使用者によるGUI(Graphic User Interface)画面での操作に従って動作する端末装置であって、
    前記操作において選択されるオブジェクトで構成される複数のオブジェクト、および、前記複数のオブジェクトのひとつを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成部と、
    前記GUI画面に前記ポインターが表示される位置のぶれ量を算出するぶれ情報算出部とを備え、
    前記GUI画面生成部は、
    算出された前記ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、
    算出された前記ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    端末装置。
  8. 前記GUI画面生成部は、
    算出された前記ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作において番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、
    算出された前記ぶれ量が前記第2の値である場合、前記操作において番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    請求項7に記載の端末装置。
  9. 前記GUI画面生成部は、
    算出された前記ぶれ量が、前記第1の値および前記第2の値のうち、前記第1の値である場合にのみ、前記操作においてチャンネルの番号を選択するためのオブジェクトで構成される前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、
    算出された前記ぶれ量が前記第2の値である場合、前記操作においてチャンネルの番号を増加または減少させるためのオブジェクトである前記代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    請求項8に記載の端末装置。
  10. 使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、
    前記GUI画面生成ステップでは、
    前記オブジェクトで構成される1以上のオブジェクトであり、垂直方向に表示される1以上のオブジェクトである垂直方向表示対象オブジェクトの数を前記ぶれ情報算出ステップで算出された前記垂直方向のぶれ量に依存させて決定し、
    前記オブジェクトで構成される1以上のオブジェクトであり、水平方向に表示される1以上のオブジェクトである水平方向表示対象オブジェクトの数を前記ぶれ情報算出ステップで算出された前記水平方向のぶれ量に依存させて決定し、
    前記垂直方向表示対象オブジェクトおよび前記水平方向表示対象オブジェクトのそれぞれのサイズが維持され、かつ、決定された数の前記垂直方向表示対象オブジェクトが垂直方向に表示され、かつ、決定された数の前記水平方向表示対象オブジェクトが水平方向に表示されるように、前記GUI画面を生成する
    GUI画面生成方法。
  11. 使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、
    前記GUI画面生成ステップでは、
    生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、
    変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記垂直方向のぶれ量が第1の値である場合、垂直方向に第1のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記垂直方向のぶれ量が前記第1の値よりも大きい第2の値である場合、垂直方向に前記第1のサイズよりも小さい第2のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成する
    GUI画面生成方法。
  12. 使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、
    前記GUI画面生成ステップでは、
    生成される前記GUI画面を構成する前記オブジェクトの垂直方向のサイズを前記垂直方向のぶれ量に依存させて変更し、前記オブジェクトの水平方向のサイズを前記水平方向のぶれ量に依存させて変更し、
    変更された前記垂直方向のサイズと変更された前記水平方向のサイズとを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記水平方向のぶれ量が第3の値である場合、水平方向に第3のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成し、
    前記水平方向のぶれ量が前記第3の値よりも大きい第4の値である場合、水平方向に前記第3のサイズよりも小さい第4のサイズを有する前記オブジェクト、および、前記ポインターで構成される前記GUI画面を生成する
    GUI画面生成方法。
  13. 使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、
    前記操作において選択されるオブジェクト、および、前記オブジェクトを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、
    前記GUI画面に前記ポインターが表示される位置の垂直方向のぶれ量、および、前記位置の水平方向のぶれ量を算出するぶれ情報算出ステップとを含み、
    前記GUI画面生成ステップでは、
    算出された前記垂直方向のぶれ量または算出された前記水平方向のぶれ量である算出ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記オブジェクトで構成される複数のオブジェクトが表示されるように、前記GUI画面を生成し、
    前記算出ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    GUI画面生成方法。
  14. 使用者による操作のためのGUI(Graphic User Interface)画面を生成するGUI画面生成方法であって、
    前記操作において選択されるオブジェクトで構成される複数のオブジェクト、および、前記複数のオブジェクトのひとつを選択するためのポインターで構成される前記GUI画面を生成するGUI画面生成ステップと、
    前記GUI画面に前記ポインターが表示される位置のぶれ量を算出するぶれ情報算出ステップとを含み、
    前記GUI画面生成ステップでは、
    算出された前記ぶれ量が、第1の値および前記第1の値よりも大きい第2の値のうち、前記第1の値である場合にのみ、前記複数のオブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成し、
    算出された前記ぶれ量が前記第2の値である場合、前記操作において選択されるオブジェクトであり、前記複数のオブジェクトに代用されるオブジェクトである代用オブジェクトが前記GUI画面に表示されるように、前記GUI画面を生成する
    GUI画面生成方法。
  15. 請求項10〜14のいずれか1項に記載のGUI画面生成方法に含まれるステップをコンピュータに実行させるための
    プログラム。
JP2012523772A 2010-07-07 2011-07-07 端末装置およびgui画面生成方法 Expired - Fee Related JP5189709B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012523772A JP5189709B2 (ja) 2010-07-07 2011-07-07 端末装置およびgui画面生成方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010154586 2010-07-07
JP2010154586 2010-07-07
PCT/JP2011/003905 WO2012005005A1 (ja) 2010-07-07 2011-07-07 端末装置およびgui画面生成方法
JP2012523772A JP5189709B2 (ja) 2010-07-07 2011-07-07 端末装置およびgui画面生成方法

Publications (2)

Publication Number Publication Date
JP5189709B2 true JP5189709B2 (ja) 2013-04-24
JPWO2012005005A1 JPWO2012005005A1 (ja) 2013-09-02

Family

ID=45440994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012523772A Expired - Fee Related JP5189709B2 (ja) 2010-07-07 2011-07-07 端末装置およびgui画面生成方法

Country Status (3)

Country Link
US (1) US9423935B2 (ja)
JP (1) JP5189709B2 (ja)
WO (1) WO2012005005A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966557B2 (ja) 2012-04-19 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP2013228241A (ja) * 2012-04-25 2013-11-07 Advantest Corp 測定装置、方法、プログラム、記録媒体
US9111091B2 (en) 2013-01-29 2015-08-18 International Business Machines Corporation Automatic extraction, modeling, and code mapping of application user interface display screens and components
JP6252184B2 (ja) * 2014-01-14 2017-12-27 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法及びプログラム
JP6201770B2 (ja) * 2014-01-15 2017-09-27 富士通株式会社 ジェスチャui装置、ジェスチャui方法及びプログラム
JP6156709B2 (ja) * 2016-04-26 2017-07-05 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP2018037034A (ja) * 2016-09-02 2018-03-08 株式会社タカラトミー 情報処理システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0322014A (ja) * 1989-06-20 1991-01-30 Nippon Telegr & Teleph Corp <Ntt> メニュー選択方法
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP2004023161A (ja) * 2002-06-12 2004-01-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2004170708A (ja) * 2002-11-20 2004-06-17 Sony Corp ウィンドウ表示システム、ウィンドウ表示装置、ウィンドウ表示方法およびプログラム
JP2004258837A (ja) * 2003-02-25 2004-09-16 Nippon Hoso Kyokai <Nhk> カーソル操作装置、その方法およびそのプログラム
JP2007190947A (ja) * 2006-01-17 2007-08-02 Xanavi Informatics Corp 車載情報端末
JP2008265544A (ja) * 2007-04-20 2008-11-06 Airesu Denshi Kogyo Kk 車両搭載用のタッチパネル
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
WO2010064388A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448261A (en) 1992-06-12 1995-09-05 Sanyo Electric Co., Ltd. Cursor control device
JPH0638127A (ja) 1992-07-17 1994-02-10 Sanyo Electric Co Ltd テレビジョン受像機におけるカーソル制御装置
JP2002222043A (ja) 2001-01-29 2002-08-09 Nissan Motor Co Ltd カーソル制御装置
GB0204652D0 (en) 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US8949716B2 (en) * 2002-07-23 2015-02-03 Motorola Mobility Llc Adjusting target size of display images based on input device detection
US7486302B2 (en) 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
GB0416773D0 (en) 2004-07-28 2004-09-01 Ibm A voice controlled cursor
TWI257081B (en) 2004-12-24 2006-06-21 Hon Hai Prec Ind Co Ltd An graphical user interface for selecting a dynamic image
US20080055259A1 (en) * 2006-08-31 2008-03-06 Honeywell International, Inc. Method for dynamically adapting button size on touch screens to compensate for hand tremor
JP2010170388A (ja) 2009-01-23 2010-08-05 Sony Corp 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム
US20110057886A1 (en) * 2009-09-10 2011-03-10 Oliver Ng Dynamic sizing of identifier on a touch-sensitive display
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0322014A (ja) * 1989-06-20 1991-01-30 Nippon Telegr & Teleph Corp <Ntt> メニュー選択方法
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP2004023161A (ja) * 2002-06-12 2004-01-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2004170708A (ja) * 2002-11-20 2004-06-17 Sony Corp ウィンドウ表示システム、ウィンドウ表示装置、ウィンドウ表示方法およびプログラム
JP2004258837A (ja) * 2003-02-25 2004-09-16 Nippon Hoso Kyokai <Nhk> カーソル操作装置、その方法およびそのプログラム
JP2007190947A (ja) * 2006-01-17 2007-08-02 Xanavi Informatics Corp 車載情報端末
JP2008265544A (ja) * 2007-04-20 2008-11-06 Airesu Denshi Kogyo Kk 車両搭載用のタッチパネル
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
WO2010064388A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置

Also Published As

Publication number Publication date
US20130125064A1 (en) 2013-05-16
JPWO2012005005A1 (ja) 2013-09-02
WO2012005005A1 (ja) 2012-01-12
US9423935B2 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
JP5189709B2 (ja) 端末装置およびgui画面生成方法
CN107750451B (zh) 用于稳定视频的方法和电子装置
US9704028B2 (en) Image processing apparatus and program
US8797365B2 (en) Image transmission method, device, and computer-readable storage medium storing image transmission program
US8947488B2 (en) Display apparatus and display method thereof
US9749541B2 (en) Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
US20130239050A1 (en) Display control device, display control method, and computer-readable recording medium
US10798305B2 (en) Control apparatus, imaging system, control method, and recording medium
EP3065413B1 (en) Media streaming system and control method thereof
WO2015142971A1 (en) Receiver-controlled panoramic view video share
EP2544174A1 (en) Pinch-to-zoom video apparatus and associated method
US20170142372A1 (en) Method of displaying surveillance video and computer program product therefor
EP2750377A1 (en) Display apparatus and method for controlling display apparatus
US9402029B2 (en) Image processing apparatus capable of specifying positions on screen
US9270982B2 (en) Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method
JP2017045326A (ja) 表示装置及びその制御方法、プログラム、並びに記憶媒体
KR20120065689A (ko) 영상처리장치 및 그 ui 제공 방법
CN113852756A (zh) 图像获取方法、装置、设备和存储介质
US10116882B2 (en) Display apparatus for superimposing and displaying images
CN113852757A (zh) 视频处理方法、装置、设备和存储介质
US11042985B2 (en) Electronic apparatus, control method, and non-transitory computer readable medium for generating a display image
JP6258486B2 (ja) 電子機器、方法、及びプログラム
JP5747114B2 (ja) 画像表示装置、画像表示方法及びプログラム
KR20230116662A (ko) 영상표시장치
KR20230098260A (ko) 클럭 분배 장치, 및 이를 구비하는 신호처리장치, 영상표시장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5189709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees