JP6452440B2 - 画像表示システム、画像表示装置、画像表示方法、およびプログラム - Google Patents

画像表示システム、画像表示装置、画像表示方法、およびプログラム Download PDF

Info

Publication number
JP6452440B2
JP6452440B2 JP2014264352A JP2014264352A JP6452440B2 JP 6452440 B2 JP6452440 B2 JP 6452440B2 JP 2014264352 A JP2014264352 A JP 2014264352A JP 2014264352 A JP2014264352 A JP 2014264352A JP 6452440 B2 JP6452440 B2 JP 6452440B2
Authority
JP
Japan
Prior art keywords
image
subject
display
comparison
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014264352A
Other languages
English (en)
Other versions
JP2016126042A (ja
Inventor
浩志 松永
浩志 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2014264352A priority Critical patent/JP6452440B2/ja
Priority to US14/841,962 priority patent/US9412190B2/en
Publication of JP2016126042A publication Critical patent/JP2016126042A/ja
Application granted granted Critical
Publication of JP6452440B2 publication Critical patent/JP6452440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/103Detection of image changes, e.g. determination of an index representative of the image change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像表示システム、画像表示装置、画像表示方法、およびプログラムに関し、特に、ユーザの撮影画像とともに他の画像を表示する画像表示システムおよび画像表示装置、ユーザの撮影画像とともに他の画像を表示する際の表示を制御するための画像表示方法、ならびに、当該制御を画像表示装置に実現させるためのプログラムに関する。
従来、ゲーム機のプレーヤ等のユーザを撮影し、当該撮影された画像を、他の画像と合わせて表示するための技術が種々提案されている。たとえば、特開2001−299975号公報(特許文献1)では、所定の分割領域に、撮像手段で撮像されたプレーヤの撮像画像と所定のキャラクタの動画像とを表示する、体感装置が提案されている。当該体感装置は、表示手段の表示領域を複数分割し、所定の分割領域に上記撮像画像を表示し、当該分割領域以外の分割領域に上記動画像を表示する。
特開2001−299975号公報
上記のような装置において、表示される動画像が、撮影された画像と比較されるべきものである場合がある。特にこのような場合には、ユーザは、表示手段に表示された2つの画像のそれぞれを見て、それらを比べる必要があり、煩雑であると感じる場合があった。
本開示の目的は、上記のような問題を解決するためになされたものであって、撮影された画像と他の画像とを比較が容易な態様で表示することである。
本開示によれば、表示手段と、被写体の画像を撮影する撮影手段と、撮影手段によって撮影された画像において被写体の位置を特定する特定手段と、撮影された画像と予め定められた比較画像とを表示手段に表示する表示制御手段とを備え、表示制御手段は、特定された被写体の位置に基づいて、比較画像が撮影された画像の中の被写体に重なる位置に、比較画像を表示する画像表示システムが提供される。
好ましくは、表示制御手段は、撮影された画像における被写体の状態に基づいて、比較画像の大きさを変化させる。
好ましくは、特定手段は、撮影された画像における被写体の大きさを特定し、表示制御手段は、撮影された画像における被写体の大きさに基づいて、比較画像の大きさを決定する。
好ましくは、表示制御手段は、撮影された画像における被写体が大きいほど、比較画像が大きくなるように、比較画像の大きさを設定する。
好ましくは、特定手段は、撮影された画像における複数の特徴点を特定し、表示制御手段は、複数の特徴点に基づいて、比較画像の大きさを設定する。
好ましくは、撮影手段は、被写体の画像を繰り返し撮影し、特定手段は、撮影手段によって繰り返し撮影された画像のそれぞれにおいて被写体の位置を特定し、表示制御手段は、撮影手段によって繰り返し撮影された画像と比較画像とを表示手段に表示する。
好ましくは、特定手段は、撮影された画像において被写体の顔の位置を特定し、表示制御手段は、特定された被写体の顔の位置に基づいて、撮影された画像の中の被写体の顔に重なる位置に比較画像の顔が表示されるように、比較画像を表示する。
好ましくは、特定手段は、撮影された画像における被写体の顔の特徴点を特定し、表示制御手段は、特徴点に基づいて、撮影された画像の中の被写体の顔に重なる位置に比較画像の顔が表示されるように、比較画像を表示する。
好ましくは、撮影手段と表示手段とは、同一の筐体内に設けられている。
好ましくは、撮影手段は、表示手段の表示面と同じ面に設けられている。
好ましくは、筐体は、携帯可能な端末を構成する。
好ましくは、比較画像は、当該比較画像の領域を表わすシルエット画像である。
好ましくは、表示制御手段は、さらに、表示制御手段は、さらに、比較画像に対応する画像である参照画像を表示する。
好ましくは、参照画像は、三次元画像である。
好ましくは、参照画像は、撮影された画像とは独立して表示される。
好ましくは、画像表示システムは、参照画像を表示するための据置型の表示装置をさらに備える。
好ましくは、特定手段は、さらに、撮影された画像において被写体を表わす部分を特定し、画像表示システムは、撮影された画像において被写体を表わす部分が、比較画像に一致する度合いを判断する判断手段をさらに備える。
好ましくは、判断手段は、撮影された画像において被写体を表わす部分が比較画像に一致する面積に基づいて、度合いを算出する。
好ましくは、判断手段は、度合いが予め定められた値よりも低い場合には、比較画像と撮影された画像において被写体を表わす部分との差異に基づく情報を出力する。
好ましくは、表示制御手段は、撮影された画像の状態に応じて、比較画像の色を決定する。
好ましくは、表示制御手段は、撮影された画像の明度に応じて、比較画像の色を決定する。
他の局面に従うと、表示手段と、被写体の画像を撮影する撮影手段と、撮影手段によって撮影された画像において被写体の位置を特定する特定手段と、撮影された画像と予め定められた比較画像とを表示手段に表示する表示制御手段とを備え、比較画像は、撮影された画像の中の被写体に重なる位置に表示される、画像表示装置が提供される。
さらに他の局面に従うと、被写体の画像を撮影するステップと、撮影された画像において被写体の位置を特定するステップと、撮影された画像と予め定められた比較画像とを表示するステップとを備え、比較画像は、撮影された画像の中の被写体に重なる位置に配置されている、画像表示方法が提供される。
さらに他の局面に従うと、表示手段における画像の表示を制御するコンピュータによって実行されるプログラムであって、プログラムは、コンピュータに、被写体の画像を撮影するステップと、撮影された画像において被写体の位置を特定するステップと、撮影された画像と予め定められた比較画像とを表示するステップとを実行させ、比較画像は、撮影された画像の中の被写体に重なる位置に配置されている、プログラムが提供される。
ある局面によれば、撮影された画像と予め定められた比較画像とが表示されるとき、比較画像は、撮影された画像の中の被写体に重なる位置に表示される。これにより、表示される画像において、被写体と比較画像との比較が容易になる。
画像表示システムにおける表示制御の概要を説明するための図である。 図1に示された表示内容の一部を示す図である。 図1に示された表示内容の一部を示す図である。 本実施の形態の画像表示システムの構成を模式的に示す図である。 操作端末の外観を説明する図である。 実施形態に基づく情報処理装置のハードウェアの構成を説明する図である。 実施形態に基づく操作端末のハードウェアの構成を説明する図である。 画像表示システムにおいて実行される画像表示処理の一例のフローチャートである。 画像表示システムにおいて表示される画像の一例を示す図である。 画像表示システムにおいて表示される画像の一例を示す図である。 画像表示システムにおいて表示される画像の一例を示す図である。 画像表示システムにおいて表示される画像の一例を示す図である。 画像表示システムにおいて表示される画像の一例を示す図である。 画像表示システムにおいて表示される画像の一例を示す図である。
以下、画像表示システムの実施の形態について、図面を参照して説明する。以下の説明において、同一の機能および作用を有する部品は、各図を通して同じ符号を付し、重複する説明を繰返さない。
[画像表示システムの制御の概要]
まず、画像表示システムにおける表示の制御の概要を説明する。図1は、画像表示システムにおける表示制御の概要を説明するための図である。
図1には、情報処理装置10と、据置型のディスプレイ20と、携帯可能な操作端末6とを含む画像表示システムが示されている。ディスプレイ20は、据置型の表示装置の一例である。操作端末6は、カメラ(後述するカメラ66)を備え、また、情報処理装置10と通信可能である。情報処理装置10は、ディスプレイ20に画像を表示する。また、操作端末6は、当該カメラで撮影された画像とともに、ディスプレイ20に表示された画像(ディスプレイ用画像)に連動した画像を表示する。
本実施の形態では、ディスプレイ20において表示される画像(ディスプレイ用画像)の一例である画像IMG001は、インストラクタがストレッチを行なっている場面を示す動画である。つまり、IMG001は、ストレッチを行なっているインストラクタの画像を含む。
操作端末6において表示される画像の一例である画像IMG002は、上記カメラによって撮影された画像と、情報処理装置10において表示されるストレッチの動作のシルエットを表わす画像とを含む。このようなシルエットの画像を、本明細書では、「比較画像」と呼ぶ場合がある。
図1では、操作端末6は、プレーヤ(ユーザ)A001を撮影する。図1において、撮影された画像の中のユーザがオブジェクトP001として示され、また、上記シルエットがシルエット画像G001として示されている。本実施の形態において、撮影される画像にプレーヤとして含まれるユーザは、被写体の一例である。
図2は、画像IMG002に含まれるオブジェクトP001を示す図である。図3は、画像IMG002に含まれるシルエット画像G001を示す図である。シルエット画像G001は、オブジェクトとして期待される物体(画像IMG002では、人物)を模した形状の影の画像である。
操作端末6は、上記カメラによって撮影された画像の中の被写体の位置を特定する。そして、操作端末6は、上記特定された位置にシルエット画像を表示する。より具体的には、操作端末6は、被写体の中の特定の部位(たとえば、顔)の位置を特定し、当該特定の部位に、シルエット画像の中の特定の部位に対応する位置が重なるように、シルエット画像を表示する。また、操作端末6は、上記カメラによって撮影された画像の中のユーザの大きさに応じて、表示されるシルエット画像の大きさを調整する。
[画像表示システムの構成]
図4は、本実施の形態の画像表示システムの構成を模式的に示す図である。
図4に示された画像表示システムは、図1に示された画像表示システムと同様に、情報処理装置10と、据置型のディスプレイ20と、操作端末6とを含む。情報処理装置10とディスプレイ20とは有線で接続される。操作端末6は、情報処理装置10に対して指示等を入力する。画像表示システムは、さらに入力コントローラ7とを含む。操作端末6および入力コントローラ7は、情報処理装置10との間で無線通信によりデータの授受を実行する。
本例においては、情報処理装置10には、光ディスク4が挿入され得る。光ディスク4には、所定の情報処理を実行するプログラムが格納されている。情報処理装置10は、光ディスク4に格納されているプログラムを読み出して、実行することより、操作端末6、入力コントローラ7等を介して所定の情報処理を実行する。
なお、本例においては、情報処理装置10とディスプレイ20とは有線接続される場合について説明しているが無線通信であっても良く、また、操作端末6および入力コントローラ7と情報処理装置10との間で有線接続によりデータの授受を実行する構成としても良い。
図5は、操作端末6の外観を説明する図である。
図5に示されるように、操作端末6は、概略的には横長の長方形の板状形状であるハウジング(筐体)60を備える。ハウジング60は、ユーザが把持することのできる程度の大きさである。したがって、ユーザは、操作端末6を持って動かしたり、操作端末6の配置位置を変更することが可能である。
操作端末6は、ハウジング60の表面にLCD(Liquid Crystal Display)61を有する。LCD61は、ハウジング60の表面の中央付近に設けられる。したがって、ユーザは、LCD61の両側部分のハウジング60を持つことによって、LCD61の画面を見ながら操作端末6を持って動かすことも可能である。LCD61は、画像表示システムにおいて撮影された画像を比較画像とともに表示する表示部の一例である。
本例においては、ユーザがLCD61の左右両側の部分のハウジング60を持つことで操作端末6を横持ちで持つ場合(長辺方向を横にして操作端末6を持つ)が示されている。なお、操作端末6を縦持ち(長辺方向を縦にして操作端末6を持つ)で持つことも可能である。
操作端末6は、操作手段として、LCD61の画面上にタッチパネル62を有する。本実施形態では、タッチパネル62は、抵抗膜方式のタッチパネルである。ただし、タッチパネル62は、抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル62は、シングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル62として、LCD61の解像度と同解像度(検出精度)のものを利用する。なお、タッチパネル62の解像度とLCD61の解像度とが一致している必要はない。タッチパネル62に対する入力は、通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル62に対する入力をすることも可能である。
ハウジング60には、タッチパネル62に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、操作端末6がタッチパネル62を備えているため、ユーザは、操作端末6を動かしながらタッチパネル62を操作することができる。つまり、ユーザは、LCD61の画面を動かしつつ、その画面に対して直接(タッチパネル62によって)入力を行うことができる。
また、操作端末6は、操作手段として、2つのアナログスティック63Aおよび63Bと、複数の操作ボタン64A〜64Jとを備えている。アナログスティック63Aおよび63Bのそれぞれは、方向を指示するデバイスである。アナログスティック63Aおよび63Bのそれぞれは、ユーザの指で操作されるスティック部がハウジング60の表面に対して任意の方向(上下左右および斜め方向の任意の角度)にスライドまたは傾倒することができるように構成されている。
操作ボタン64A〜64Jのそれぞれは、所定の入力を行うための操作手段である。操作ボタン64A〜64Jのそれぞれは、ユーザが操作端末6の左右部分を把持した状態で操作可能な位置に設けられる。したがって、ユーザは、操作端末6を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
操作端末6は、操作端末6の電源をオン/オフするための電源ボタンを有している。また、操作端末6は、LCD61の画面表示をオン/オフするための操作ボタンや、情報処理装置10との接続設定(ペアリング)を行うための操作ボタンや、スピーカの音量を調節するための操作ボタンを有していてもよい。
操作端末6は、撮像手段であるカメラ66を内蔵している。カメラ66は、所定の解像度を有する撮像素子(例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等)と、レンズとを含む。例えば、カメラ66は、ハウジング60の表面であってLCD61と同じ面に設けられる。この場合、カメラ66は、LCD61の表示を見ているユーザの顔を撮像することができる。
[情報処理装置の構成]
図6は、実施形態に基づく情報処理装置10のハードウェアの構成を説明する図である。
図6に示されるように、情報処理装置10は、入力装置11と、CPU(Central Processing Unit)12と、ディスクドライブ13と、HDD(Hard Disk Drive)14と、表示制御装置15と、RAM(Random Access Memory)16と、無線通信モジュール18とを含む。
ディスクドライブ13は、挿入された光ディスク4を駆動し、光ディスク4に格納されたプログラムを読みだしてCPU12に出力する。
入力装置11は、情報処理装置10のユーザによって操作され、ユーザの操作に応じた信号をCPU12へ出力する。入力装置11は、無線通信モジュール18を介して例えば、ユーザが操作端末6や入力コントローラ7に対して操作した入力指示を受け付ける。
無線通信モジュール18は、無線通信によって、操作端末6や入力コントローラ7との間で信号(データ)を送受信する。無線モジュール18は、例えばIEEE802.11nの規格に準拠した方式により、無線LAN(Local Area Network)に接続する機能を有する。無線モジュール18から送信されるデータは、必要に応じて暗号化されていてもよいし、されていなくてもよい。
表示制御装置15は、CPU12からの指示に従ってディスプレイ20に表示するための画像を生成して、ディスプレイ20に当該画像を出力表示する。表示制御装置15は、また、LCD61に表示するための画像を生成し、無線通信モジュール18を介して操作端末6へ送信する。
CPU12は、コンピュータプログラムを実行するための演算処理手段である。
HDD14には、CPU12によって実行されるシステムプログラムおよび当該プログラムの実行に利用される各種のデータが格納されている。なお、CPU12によって実行されるシステムプログラムは、予め記録されていてもよいし、他の機器との通信によって他の機器から取得されてもよい。また、HDD14に限られず、ROM(Read Only Memory)であっても良い。
RAM16は、ワーク領域としてコンピュータプログラムや情報を一時的に記憶する。RAM16は、一例としてPSRAM(Pseudo-SRAM)を用いることができる。
CPU12は、適切なプログラムを実行することにより、特定部121、表示制御部122、および、アドバイス判断部123として機能する。特定部121は、画像におけるユーザの位置を特定する。表示制御部122は、情報処理装置10によってディスプレイ20に表示される画像を生成する。アドバイス判断部123は、特定部121によって特定されたユーザの位置が、ユーザについての理想的な位置と一致する度合いを判断する。
[操作端末の構成]
図7は、実施形態に基づく操作端末6のハードウェアの構成を説明する図である。
図7に示されるように、操作端末6は、図5に示した構成の他、タッチパネルコントローラ601、CPU605、スピーカ607、サウンドIC608、マイク609、無線モジュール610、アンテナ611、電源IC614、電池615、およびメモリ620を備える。これらの電子部品は、電子回路基板上に実装されてハウジング60内に収納される。
CPU605は、各種の入出力部に対するデータの入出力を制御するための回路である。CPU605は、タッチパネルコントローラ601、アナログスティック63(アナログスティック63Aおよび63B)、操作ボタン64(各操作ボタン64A〜64J)に、LCD61、カメラ66、サウンドIC608、無線モジュール610、およびメモリ620と接続される。
CPU605には電源IC614が接続され、各部に電力が供給される。電源IC614には内蔵の電池615が接続され、電力が供給される。なお、操作端末6は、図示しない充電機能を有するクレイドルに操作端末6を装着することで充電を行うようにしてもよい。
タッチパネルコントローラ601は、タッチパネル62に接続され、タッチパネル62の制御を行う回路である。タッチパネルコントローラ601は、タッチパネル62からの信号に基づいて所定の形式のタッチ位置データを生成してCPU605へ出力する。タッチ位置データは、タッチパネル62の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ601は、タッチパネル62からの信号の読み込み、および、タッチ位置データの生成を所定時間に1回の割合で行う。
アナログスティック63は、ユーザの指で操作されるスティック部がスライドまたは傾倒した方向および量を表すスティックデータをCPU605へ出力する。また、操作ボタン64は、各操作ボタン64A〜64Jに対する入力状況(押下されたか否か)を表す操作ボタンデータをCPU605へ出力する。アナログスティック63は、たとえばその少なくとも一部がハウジング60の外部に位置する場合がある。
無線モジュール610にはアンテナ611が接続されている。無線モジュール610はアンテナ611を介して情報処理装置10へ上記データを送信する。無線モジュール610は、情報処理装置10の無線通信モジュール18と同様の機能を有している。すなわち、無線モジュール610は、例えばIEEE802.11nの規格に準拠した方式により、無線LANに接続する機能を有する。無線モジュール610から送信されるデータは、必要に応じて暗号化されていてもよいし、されていなくてもよい。
CPU605は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータを含む操作データを情報処理装置10へ送信する。また、情報処理装置10から送信されたデータを受信して、各部に対して制御指示を実行する。
カメラ66は、情報処理装置10からの指示に従って画像を撮像し、撮像した画像データをCPU605へ出力する。また、CPU605からカメラ66へは、画像の撮像指示等、カメラ66に対する制御指示が出力される。なお、カメラ66は、動画の撮影も可能である。すなわち、カメラ66は、繰り返し撮像を行って画像データをCPU605へ繰り返し出力することも可能である。
サウンドIC608は、スピーカ607およびマイク609に接続され、スピーカ607およびマイク609への音声データの入出力を制御する回路である。すなわち、CPU605から音声データを受け取った場合、サウンドIC608は、当該音声データに対してD/A変換を行って得られる音声信号をスピーカ607へ出力し、スピーカ607から音を出力させる。また、マイク609は、操作端末6に伝わる音(ユーザの音声等)を検知して、当該音を示す音声信号をサウンドIC608へ出力する。サウンドIC608は、マイク609からの音声信号に対してA/D変換を行い、所定の形式の音声データをCPU605へ出力する。
CPU605は、カメラ66からの画像データ、マイク609からの音声データ、および操作データを、端末操作データとして無線モジュール610を介して情報処理装置10へ送信する。CPU605は、端末操作データについて、データ量を小さくするために公知の圧縮処理を施して、圧縮された送信データとして無線モジュール610に出力される。
以上のように、操作端末6から情報処理装置10へ送信される送信データには、操作データ(端末操作データ)、画像データ、および音声データが含めることが可能であるが、操作データ(端末操作データ)のみとしても良い。
また、情報処理装置10から操作端末6へは、圧縮された画像データおよび音声データが送信される。これらのデータは、アンテナ611および無線モジュール610を介してCPU605で受信される。そして、CPU605は、受信した画像データおよび音声データを伸張する。伸張された画像データは、LCD61へ出力され、当該画像データに応じた画像がLCD61に表示される。また、伸張された音声データは、サウンドIC608へ出力され、当該音声データに応じた音がスピーカ607から出力される。
また、情報処理装置10から受信されたデータに制御データが含まれる場合、制御データに従った制御指示を各部に行う。
以上のように、操作端末6は、タッチパネル62、アナログスティック63、および操作ボタン64といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。例えば、動き(位置や姿勢、あるいは位置や姿勢の変化を含む)を算出するためのセンサ(磁気センサ、加速度センサ、ジャイロセンサ等)を設けて、当該動きを利用した操作手段を備える構成としても良い。
メモリ620は、不揮発性メモリを含む。メモリ620には、たとえば、CPU605が実行するプログラム、および当該プログラムの実行に必要なデータが格納される。
[処理の流れ]
以下、本実施形態の画像表示システムにおける画像表示処理の流れの一例を説明する。本実施形態で実行される画像表示処理の一例は、ストレッチのやり方を説明する動画を表示する処理である。
図8は、画像表示システムにおいて実行される画像表示処理の一例のフローチャートである。図8において、右側のフローチャートは、情報処理装置10側で実行される処理を示す。また、左側のフローチャートは、操作端末6側で実行される処理のフローチャートを示す。本実施形態の画像表示システムでは、上記画像表示処理を実行するためのプログラムが、たとえば光ディスク4および/またはHDD14に格納されている。情報処理装置10では、CPU12が、光ディスク4および/またはHDD14に格納された当該プログラムを読み込んで、図8に示された処理を実行する。
なお、以下の説明では、図9〜図12が適宜参照される。図9〜図12は、画像表示システムにおいて表示される画像の一例を示す図である。
画像表示システムでは、まずステップSA10で、情報処理装置10のCPU12が、たとえば操作端末6または入力コントローラ7から指示が入力されたことに応じて、ディスプレイ20に表示させる画像(ディスプレイ用画像)を生成する。そして、制御は、ステップSA20へ進められる。
ステップSA20で、CPU12は、操作端末6が比較画像を表示するためのデータを生成する。比較画像を表示するためのデータとは、比較画像の画像データそのものであってもよいし、メモリ620に当該画像データが格納されている場合に当該画像データを指定するデータであってもよい。
比較画像とは、たとえば、図1および図3に示されたシルエット画像G001のような、お手本の画像である。CPU12は、ステップSA10で生成された画像(ディスプレイ用画像)に基づいて、比較画像を生成する。これにより、比較画像は、たとえば当該ディスプレイ用画像と連動して動作する。
なお、本実施の形態では、ディスプレイ用画像と比較画像とは、必ずしも連動して動作する必要はない。比較画像は、ディスプレイ用画像に対応した画像である。本実施の形態では、ディスプレイ用画像と比較画像は、同じストレッチ動作の三次元画像と二次元画像という対応関係を有する。この意味において、ディスプレイ用画像は、比較画像の「参照画像」の一例である。ただし、本実施の形態で示されたディスプレイ用画像と比較画像の対応関係は、「対応」の単なる一例である。
一方、操作端末6のCPU605は、ステップS10で、カメラ66が撮影した画像を取得する。そして、制御は、ステップS20へ進められる。
ステップS20で、CPU605は、ステップS10で取得した画像を情報処理装置10へ送信する。
操作端末6から撮影画像が送信されると、情報処理装置10のCPU12は、ステップSA30で、当該撮影画像を受信する。そして、制御はステップSA40へ進められる。
ステップSA40で、CPU12は、カメラ66が撮影した画像におけるユーザの位置および大きさを特定する。
ユーザの位置および大きさの特定は、たとえば顔認識技術に基づく。より具体的には、CPU12(特定部121)は、撮影された画像に写っているユーザの顔(目、鼻、口、輪郭など)の位置や領域を特定し、当該特定した位置や領域の情報に基づいて、当該画像中のユーザの位置を特定する。より具体的には、CPU12は、カメラ66から入力された画像に含まれる特徴量から顔の部分を示す特徴点を検出する。検出される特徴点は、目の位置の情報を含む。そして、CPU12は、当該目の位置に基づいて、ユーザの位置を特定する。また、CPU12は、認識された2つの目の間の距離等に基づいて、当該画像中のユーザの大きさを特定する。
なお、ここで説明されたユーザの位置および大きさの検出態様は、単なる一例である。本実施形態では、撮影された画像中のユーザの位置および大きさは、他のいかなる公知の態様によっても検出され得る。
なお、操作端末6は、顔認識の精度を高めるために、通常の可視光領域の光を受光して生成される可視光画像(以下、「RGB画像」とも称す。)に加えて、赤外線を被写体に照射して得られる反射光を受光して得られるIR画像を撮影して情報処理装置10へ送信してもよい。これにより、暗い環境で撮影された画像に対する顔認識においても、顔認識精度を高めることができる。
そして、制御はステップSA50へ進められる。
ステップSA50で、CPU12は、ステップSA40で特定したユーザの位置および大きさに基づいて、比較画像の位置および大きさを設定する。
なお、CPU12は、カメラ66によって撮影された画像の中のユーザに重なるように、比較画像の位置を調整する。より具体的には、CPU12は、たとえばカメラ66によって撮影された画像の中のユーザの目が比較画像においてお手本を実行する人物の目と重なるように、比較画像の位置を調整する。このことは、図1の画像IMG002において、シルエット画像G001がオブジェクトP001に重なることに対応する。
また、CPU12は、カメラ66によって撮影された画像の中のユーザの大きさに応じて、比較画像の大きさを調整する。具体的には、CPU12は、たとえばカメラ66によって撮影された画像の中のユーザの両目の間隔を特定し、当該特定された間隔に対応するように、比較画像の大きさを決定する。このことは、図1の画像IMG002において、シルエット画像G001とオブジェクトP001とが、ほぼ同じ大きさに表示されることに対応する。
CPU12は、上記のように撮影された画像におけるユーザの顔が大きいほど比較画像が大きくなるように、比較画像の画像を決定することが好ましい。つまり、たとえば図1の画像IMG002のオブジェクトP001が、図9においてオブジェクトP001Aとして示されるように大きくなった場合、これに応じて、図9においてシルエット画像G001Aとして示されるように、シルエット画像G001Aも図1のシルエット画像G001よりも大きく表示される。
なお、カメラ66によって撮影された画像におけるユーザの大きさは、ステップSA40について説明された態様とは他の態様でも設定され得る。他の態様の一例では、顔の大きさ(たとえば、顔の輪郭の最大幅)が特定され、そして、当該特定された大きさ(幅)に対応するように、比較画像の大きさが設定される。
また、ステップSA50で、撮影画像の中のユーザの大きさに応じて比較画像の大きさを設定することは、たとえば、比較画像における所定の部位(上腕部、前腕部、等)の長さを、撮影された画像の中のユーザの対応する部位の長さと等しくするように調整することであってもよい。比較画像は、部位ごとに区分けされている。つまり、比較画像では、たとえば当該比較画像において上腕部に対応する部分が定義されている。撮影された画像の中のユーザの部位は、たとえば、撮影された画像の背景部分からユーザの画像が公知の方法に従って分離され、当該分離されたユーザの画像において関節部分が特定されることによって、特定される。
なお、ステップSA50では、比較画像の位置が、カメラ66によって撮影された画像におけるユーザの位置に応じて設定される。つまり、たとえば図1の画像IMG002のオブジェクトP001の表示位置が、図10の画像IMG102のオブジェクトP001Bとして示されるようにLCD61において右方に移動した場合、これに応じて、図10においてシルエット画像G001Bとして示されるように、シルエット画像G001Bも図1のシルエット画像G001よりも右方に移動して表示される。
オブジェクトP001Bの元となるユーザは、図10の状態では、図1の状態から、カメラ66から見て右方に移動している。これにより、カメラ66で撮影された画像内では、ユーザは左方に移動する。LCD61では、カメラ66の撮影画像が、鏡に映るように反転して表示される。これにより、図10の画像IMG102では、当該ユーザを表わすオブジェクトが、図1のの画像IMG002と比較して右方に移動している。
図8に戻って、ステップSA50の後、制御はステップSA60へ進められる。
ステップSA60で、CPU12は、カメラ66によって撮影された画像の明度および色調を特定する。そして、制御はステップSA70へ進められる。画像の明度および色調の特定は、公知の技術を利用することができる。
ステップSA70で、CPU12は、ステップSA60で特定された明度および色調に応じて、比較画像を表示する色を設定する。そして、制御はステップSA80へ進められる。
撮影された画像の明度に基づいた比較画像の色の設定については、たとえば、カメラ66によって撮影された画像全体の明度が低い場合、比較画像の色は明度の高い色(白色、または薄い色)に設定される。より具体的には、図11を参照して説明される。
図11のLCD61には、画像IMG105が表示されている。画像IMG105が撮影されたときのユーザ(図11中のオブジェクトP001Cに対応)が位置している場所の明度は、図1の画像IMG002が撮影されたときの明度よりも低い。つまり、画像IMG105が撮影されたときの当該場所は、画像IMG002が撮影されたときよりも暗かった。これに応じて、図11内のシルエット画像G001Cは、図1内のシルエット画像G001よりも明度が高い色で表示される。
なお、本実施の形態では、たとえばHDD14に、画像全体の明度についての基準値が格納されている。そして、ステップSA60において特定された明度が当該基準値よりも高い場合、つまり、撮影された画像が基準よりも明るい場合、CPU12は、比較画像の色をより暗くする。また、ステップSA60において特定された明度が当該基準値よりも低い場合、つまり、撮影された画像が基準よりも暗い場合、CPU12は、比較画像の色をより明るくする。これにより、LCD61に表示される画像において、比較画像とそれ以外の部分との間でコントラストが明確になる。したがって、比較画像がより確実に認識され得るように、当該比較画像の色が制御される。
撮影された画像の色調に基づいた比較画像の色の設定については、たとえば、カメラ66によって撮影された画像において全体的に暖色系の色調が優勢である場合には、CPU12は、比較画像の色として寒色系の色を設定する。
なお、撮影された画像の明度および/または色調の代わりに、撮影された画像の中のユーザの明度および/または色調に基づいて、比較画像の色が設定されてもよい。撮影された画像中のユーザの明度(より具体的にはユーザの衣服の色の明るさ)に基づいた、比較画像の色の設定について、図12を参照して説明する。
図12のLCD61には、画像IMG104が表示されている。画像IMG104が撮影されたとき、図1の画像IMG002が撮影されたときよりも、ユーザ(が着用している衣服)の明度が低下した。つまり、画像IMG104内のユーザ(オブジェクトP001D)が着用している衣服の色が、図1の画像IMG002中のユーザ(オブジェクトP001)が着用しているものよりも暗くなった。このことから、図12の画像IMG104の中のシルエット画像G001Dは、図1の画像IMG002中のシルエット画像G001よりも明度が高い色で表示される。
なお、図12に示された例では、CPU605は、ステップSA60(図8参照)で、カメラ66によって撮影された画像の背景からユーザを分離し、当該ユーザの画像の明度を特定する。そして、CPU12は、ステップSA70で、当該ユーザの画像の明度に応じて、比較画像の色を特定する。
たとえば、HDD14には、ユーザの明度についての基準値が格納されている。そして、ステップSA60において特定された明度が当該基準値よりも高い場合、つまり、たとえば撮影されたユーザが基準よりも明るい色の衣服を着用している場合、CPU12は、比較画像の色をより暗くする。また、ステップSA60において特定された明度が当該基準値よりも低い場合、つまり、たとえば撮影されたユーザが基準よりも暗い色の衣服を着用している場合、CPU12は、比較画像の色をより明るくする。
つまり、たとえばユーザが白いシャツを着ている場合には、比較画像の色は比較的濃色(濃い赤色、等)として設定される。一方、たとえばユーザが濃い青色のシャツを着ている場合には、比較画像の色は明るい色(薄い黄色等)として決定される。これにより、LCD61に表示される画像において、ユーザの画像と比較画像との間で、コントラストを強調できる。
なお、ユーザの色と比較画像の色との間の関係が逆にされてもよい。つまり、ユーザの色の明度が高いときに比較画像の表示色の明度が高くされ、ユーザの色の明度が低いときに比較画像の明度が低くされてもよい。これにより、比較画像は、ユーザの画像の表示を極力邪魔することなく、かつ、比較画像が十分に認識され得るように、比較画像の色が制御され得る。
また、比較画像の色は固定されていてもよい。この場合、図8に示された処理では、ステップSA60およびステップSA70の制御が省略される。
図8に戻って、ステップSA80で、CPU12は、カメラ66によって撮影された画像(ステップSA30で受信された撮影画像)と比較画像とを合成することにより、合成画像を生成する。なお、比較画像は、ステップSA50で決定された位置に、ステップSA50で決定された大きさで、配置される。また、当該比較画像の色は、ステップSA70で決定されている。そして、制御はステップSA90へ進められる。
ステップSA90で、CPU12は、、比較画像とカメラ66によって撮影された画像の中のユーザとの間での一致する度合いを特定する。当該度合いは、たとえば、合成画像において、特定の部位(上腕部、前腕部、等)についてのユーザの画像と比較画像とが重なる面積の、比較画像における該当する部位の面積に対する割合に基づいて特定される。そして、制御はステップSA100へ進められる。
ステップSA100で、CPU12は、ステップSA90で特定された一致度に基づいて、出力するアドバイスの内容を特定する。HDD14では、一致度に応じて1つ以上のアドバイスの内容が格納されている。より具体的には、たとえば80%以上の一致度に対応するアドバイス内容の一例は、メッセージ「非常にいい姿勢です。」である。また、50%以上80%未満の一致度に対応するアドバイス内容の一例は、メッセージ「その調子です。」である。また、50%未満の一致度に対応するアドバイス内容の一例は、メッセージ「画面のお手本画像を確認してください。」である。そして、制御はステップSA110へ進められる。
ステップSA110で、CPU12は、ステップSA80で生成した合成画像とステップSA100で特定したアドバイスの内容とによって、操作端末6において表示される画像(端末用画像)を生成する。上記アドバイスが画像を含む場合には、CPU12は、合成画像とアドバイスの画像とを合成することにより、端末用画像を生成する。
なお、上記アドバイスが音声のみによって構成される場合、つまり、アドバイスが画像を含まない場合には、端末用画像は合成画像のみによって構成される。そして、操作端末6では、合成画像のみによって構成される端末用画像が、アドバイスの音声とともに、再生される。
ステップSA110の後、制御はステップSA120へ進められる。
なお、ハウジング60内に振動子が備えられている場合、上記アドバイスは、当該振動子がアドバイスの内容に従ったパターンで振動することによって出力されてもよい。より具体的には、画像表示システムにおいて、目のエクササイズのためのプログラムが実行される場合であって、ユーザがハウジング60を把持しながらエクササイズを行なうとき、当該振動によって、ユーザは、当該ユーザの目のエクササイズにおいて、黒目の位置が、当該プログラムにおける基準に沿って移動できているかどうかを認識できる。なお、このようなエクササイズの場合には、ユーザの位置として、ユーザの目の中の黒目の位置が特定される。
ステップSA120で、CPU12は、端末用画像を操作端末6へ送信する。そして、制御はステップSA130へ進められる。
ステップSA130で、CPU12は、ステップSA10で生成されたディスプレイ用画像をディスプレイ20に表示させる。これは、図1において、ディスプレイ20が画像IMG001を表示することに対応する。
一方、ステップS30で、操作端末6のCPU605は、ステップSA120で送信された端末用画像を受信する。そして、制御はステップS40へ進められる。
ステップS40で、CPU605は、ステップS30で受信された端末用画像をLCD61で表示する。
そして、情報処理装置10と操作端末6は、処理を終了する。
以上、図8を参照して説明された処理において、ステップSA40,SA60における特定は、たとえば特定部121によって実行される。また、ステップSA50,SA70における決定およびステップSA80における合成画像またはステップSA110における端末用画像の生成は、表示制御部122によって実行される。また、ステップSA90の一致度の特定およびステップSA100におけるアドバイスの内容の決定は、アドバイス判断部123によって実行される。また、ステップSA100において、端末用画像の表示の制御はたとえば表示制御部122によって実行され、また、アドバイスの出力の制御はアドバイス判断部123によって実行される。
図8の処理は、所定時間(たとえば1/60秒)に1回の割合で繰り返される(1サイクル)。操作端末6は、繰り返し得られた画像のそれぞれについて図8の処理を実行することにより、カメラ66によって撮影された画像におけるユーザの状態(位置、大きさ、等)の時々刻々の変化に応じて、比較画像の表示態様を変更し得る。
[変形例等]
(画像表示装置)
本実施の形態では、カメラ66によって撮影された画像を比較画像とともにLCD61に表示する操作端末6によって、画像表示装置が構成される。なお、本実施の形態の画像表示システムでは、操作端末6において表示される画像(合成画像または端末用画像)は、情報処理装置10によって生成される。なお、当該画像は、操作端末6によって生成されてもよい。つまり、ステップSA40〜ステップSA110の制御は、操作端末6のCPU605によって実行されてもよい。
(ユーザの位置)
本実施の形態では、ユーザの位置は、ユーザの顔の特徴点を検出することによって特定された。なお、ユーザの位置の特定方法はこれに限定されない。たとえば、ユーザがマーカを付してエクササイズする場合、画像における当該マーカの位置に基づいて、ユーザの位置が特定され得る。
(比較画像の位置)
本実施の形態では、操作端末6では、比較画像は、カメラ66によって撮影された画像中のユーザに重ねられるように表示される。カメラ66によって撮影された画像の中でユーザの位置が変化した場合(図1および図10参照)、当該ユーザの位置に伴って比較画像の表示位置が変更される。なお、比較画像の表示位置を移動させることなく、比較画像の表示位置に合わせてユーザの表示位置が変更されるように、カメラ66によって撮影された画像についての表示態様が制御されてもよい。
(比較画像の大きさ)
また、本実施の形態では、LCD61に表示される画像におけるユーザの大きさに応じて、比較画像の表示の大きさが制御された(図1および図9参照)。なお、比較画像の大きさは、別の要因に基づいて変更されてもよい。たとえば、比較画像の表示の大きさは、ステップSA90で特定されるユーザに相当する部分の画像と比較画像との間の一致度に応じて変更され得る。より具体的には、たとえば、一致度が低くなるほど、比較画像が大きく表示される。これにより、一致度が低いときに、より確実にユーザに手本を示すことができる。
(比較画像の表示)
本実施の形態では、ユーザの左右方向の位置および大きさの他に、ユーザの角度に合わせて、比較画像の表示態様が変更され得る。より具体的には、CPU605は、ステップSA40において、さらに、LCD61の正対方向に対するユーザの正対方向の角度を特定する。そして、CPU12は、特定された角度に応じて、比較画像の角度を変更する。
さらに具体的には、たとえば、HDD14には、ユーザがカメラ66(およびLCD61)に正対している状態(ユーザがカメラ66の真正面を向いている状態)で取得された画像(基準画像)が保存される。また、LCD605は、目を含む肌色の領域を特定等により、カメラ66によって撮影された画像におけるユーザの顔の範囲を特定する。そして、CPU12は、ステップSA40で、撮影された画像におけるユーザの顔の中の目の位置を特定する。そして、特定された目の位置が、上記基準画像における位置と比較して、左方または右方に寄っている度合いに基づいて、LCD61(カメラ66)の正対方向に対してユーザの正対方向がどの程度ずれているかを特定する。そして、CPU12は、特定されたずれている程度(角度)と同じ程度(角度)だけ回転させた状態で、比較画像を表示する。
図13は、ユーザの角度に応じて比較画像が表示される角度が変更された状態を示す図である。図13のLCD61内に表示された画像IMG06では、オブジェクトP001Eで示されるようにユーザは左方に向いている。これに応じて、シルエット画像G001Eも左方に回転されて表示されている。
(カメラ66)
本実施の形態では、画像IMG002等の画像を表示する操作端末6は、ユーザを撮影するカメラ66をも備えていた。なお、操作端末6は、少なくともユーザの画像を取得することができればよい。つまり、操作端末6は、外部のカメラからユーザの画像を取得できる場合には、必ずしもカメラ66を備えていなくてもよい。
(操作端末6)
本実施の形態では、画像IMG002等の画像を表示する操作端末6は、携帯可能、つまり可搬型の端末であった。操作端末6は、必ずしも可搬型でなくてもよい。ただし、可搬型であることにより、操作端末6は、エクササイズをするユーザの近傍で画像を表示し得る。
(ディスプレイ20における表示)
本実施の形態のディスプレイ20では、画像IMG001(図1参照)のようなエクササイズのお手本の画像等の画像が表示される。LCD61に表示される比較画像は、たとえば、ディスプレイ20に表示される画像と対応している。つまり、比較画像の一例は、ディスプレイ20に表示されるストレッチのポーズの三次元画像と同じポーズを表わすシルエット画像である。なお、ディスプレイ20に表示される画像は、カメラ66によって撮影された画像とは連動することなく、つまり、カメラ66によって撮影された画像からは独立して、表示されることが好ましい。つまり、ディスプレイ20に表示される画像の内容は、たとえば、カメラ66によって撮影された画像の中のユーザとシルエット画像との相違の多さには影響を受けないことが好ましい。また、ディスプレイ20に表示される画像は、三次元の画像として表示されることが好ましい。これにより、ユーザはより確実にお手本の画像など、プログラムの実行によって提供される画像の内容を明確に理解できる。情報処理装置10のCPU12は、ディスプレイ20に上記三次元画像を表示させるための情報(画像データ等)を生成する。
(一致度)
本実施の形態では、ステップSA90において特定される一致度は、比較画像においてユーザの画像と一致する面積の、比較画像の全面積に対する割合として算出された。一致度の算出方法の他の例では、たとえばパターン認識等によりカメラ66によって撮影された画像中のユーザの体の部位の角度(たとえば、上腕の角度)が特定される。そして、当該特定された角度に対する比較画像において設定された当該部位の角度の基準値との差異が特定される。そして、特定された差異の大きさに基づいて、一致度が特定される。
(ガイド表示)
本実施の形態では、ステップSA110(図8)において表示されるアドバイスは、文字情報(メッセージ)であってもよいし、画像であってもよい。
アドバイスの内容は、ユーザの位置と比較画像の位置とに基づいて生成される。
より具体的には、CPU12は、カメラ66によって撮影された画像におけるユーザの特徴点(たとえば、目と肘)の位置を特定する。そして、CPU12は、目の位置に基づいてユーザの位置を特定し、当該位置に基づいて比較画像の表示位置を特定する。
さらに、CPU12は、特定された比較画像の位置に基づいて、比較画像における肘の位置を特定する。そして、CPU12は、比較画像の肘の位置を、カメラ66によって撮影された画像におけるユーザの肘の位置と比較する。そして、CPU12は、ステップSA100で、比較画像の肘の位置とユーザの肘の位置との間の位置関係に応じたアドバイスの内容を生成する。そして、CPU12は、ステップSA110で、生成されたアドバイスの内容を表示する。
図14は、表示されるアドバイスが画像である場合の表示例を示す図である。図14の画像IMG107は、図1の画像IMG002と比較して、矢印AR01を含む。矢印AR01は、上記したユーザの肘の位置から比較画像の肘の位置へと延びる。つまり、矢印AR01は、ユーザの肘の位置を比較画像中の肘の位置へと導く。矢印AR01のようにアドバイスが画像で表示されることにより、ユーザは、より直観的に、当該ユーザのポーズとお手本(比較画像)のポーズとの差異を視認できる。
(プログラム)
本実施形態における制御内容を実現するためのプログラムは、パーソナルコンピュータで実行可能なアプリケーションとして、または、パーソナルコンピュータ上で実行される各種アプリケーションにおいて一部の機能として組み込まれて、提供され得る。
また、本実施形態における制御内容を実現するためのプログラムは、クラウドコンピューティングのように、複数の装置で協働して実行される場合もあり得る。
今回開示された実施の形態およびその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。実施の形態およびその変形例において開示された技術は、可能な限り単独でも組み合わせても実施され得ることが意図される。
6 操作端末、7 入力コントローラ、10 情報処理装置、12,605 CPU、121 特定部、122 表示制御部、123 アドバイス判断部、18,610 無線通信モジュール、20 ディスプレイ、60 ハウジング、61 LCD、62 タッチパネル、620 メモリ。

Claims (20)

  1. 表示手段と、
    被写体の画像を繰り返し撮影する撮影手段と、
    前記撮影手段によって撮影された画像において被写体の位置および被写体を表わす部分を特定する特定手段と、
    前記撮影手段による繰り返し撮影に応じて、前記撮影された画像と対応する比較画像と前記表示手段での表示を更新する表示制御手段とを備え、前記表示制御手段は、特定された前記被写体の位置に基づいて、前記比較画像が前記撮影された画像の中の被写体に重なる位置に、前記比較画像を重ねて表示し、
    前記撮影された画像において被写体を表わす部分と前記比較画像とを比較して、前記撮影された画像において被写体を表わす部分が前記比較画像に一致する度合いを判断する判断手段を備え、
    前記判断手段は、前記度合いに応じた情報を出力する、画像表示システム。
  2. 前記表示制御手段は、前記撮影された画像における被写体の大きさに基づいて、前記表示手段に表示させる前記比較画像の大きさを変化させる、請求項1に記載の画像表示システム。
  3. 前記特定手段は、前記撮影された画像における被写体の大きさを特定し、
    前記表示制御手段は、前記撮影された画像における被写体の大きさに基づいて、前記比較画像の大きさを決定する、請求項2に記載の画像表示システム。
  4. 前記表示制御手段は、前記撮影された画像における被写体が大きいほど、前記比較画像が大きくなるように、前記比較画像の大きさを設定する、請求項3に記載の画像表示システム。
  5. 前記特定手段は、前記撮影された画像における複数の特徴点を特定し、
    前記表示制御手段は、前記複数の特徴点に基づいて、前記比較画像の大きさを設定する、請求項3に記載の画像表示システム。
  6. 前記特定手段は、前記撮影された画像において被写体の顔の位置を特定し、
    前記表示制御手段は、特定された前記被写体の顔の位置に基づいて、前記撮影された画像の中の被写体の顔に重なる位置に前記比較画像の顔が表示されるように、前記比較画像を表示する、請求項1〜請求項のいずれか1項に記載の画像表示システム。
  7. 前記特定手段は、前記撮影された画像における被写体の顔の特徴点を特定し、
    前記表示制御手段は、前記特徴点に基づいて、前記撮影された画像の中の被写体の顔に重なる位置に前記比較画像の顔が表示されるように、前記比較画像を表示する、請求項に記載の画像表示システム。
  8. 前記撮影手段と前記表示手段とは、同一の筐体内に設けられている、請求項1〜請求項のいずれか1項に記載の画像表示システム。
  9. 前記撮影手段は、前記表示手段の表示面と同じ面に設けられている、請求項に記載の画像表示システム。
  10. 前記筐体は、携帯可能な端末を構成する、請求項または請求項に記載の画像表示システム。
  11. 前記比較画像は、当該比較画像の領域を表わすシルエット画像である、請求項1〜請求項10のいずれか1項に記載の画像表示システム。
  12. 前記表示制御手段は、さらに、前記比較画像に対応する三次元画像である参照画像を据置型の表示装置に表示する、請求項1〜請求項11のいずれか1項に記載の画像表示システム。
  13. 前記参照画像は、前記撮影された画像とは独立して表示される、請求項12に記載の画像表示システム。
  14. 前記判断手段は、前記撮影された画像において被写体を表わす部分が前記比較画像に一致する面積に基づいて、前記度合いを算出する、請求項1〜請求項13のいずれか1項に記載の画像表示システム。
  15. 前記判断手段は、前記度合いが予め定められた値よりも低い場合には、前記比較画像と前記撮影された画像において被写体を表わす部分との差異に基づく情報を出力する、請求項14に記載の画像表示システム。
  16. 前記表示制御手段は、前記撮影された画像の状態に応じて、前記比較画像の色を決定する、請求項1〜請求項15のいずれか1項に記載の画像表示システム。
  17. 前記表示制御手段は、前記撮影された画像の明度に応じて、前記比較画像の色を決定する、請求項16に記載の画像表示システム。
  18. 表示手段と、
    被写体の画像を繰り返し撮影する撮影手段と、
    前記撮影手段によって撮影された画像において被写体の位置および被写体を表わす部分を特定する特定手段と、
    前記撮影手段による繰り返し撮影に応じて、前記撮影された画像と対応する比較画像と前記表示手段での表示を更新する表示制御手段とを備え、前記比較画像は、前記撮影された画像の中の被写体に重なる位置に重ねて表示され
    前記撮影された画像において被写体を表わす部分と前記比較画像とを比較して、前記撮影された画像において被写体を表わす部分が前記比較画像に一致する度合いを判断する判断手段を備え、
    前記判断手段は、前記度合いに応じた情報を出力する、画像表示装置。
  19. 被写体の画像を繰り返し撮影するステップと、
    前記撮影された画像において被写体の位置および被写体を表わす部分を特定するステップと、
    前記繰り返し撮影に応じて、前記撮影された画像と対応する比較画像と表示を更新するステップと
    前記撮影された画像において被写体を表わす部分と前記比較画像とを比較して、前記撮影された画像において被写体を表わす部分が前記比較画像に一致する度合いを判断するステップと、
    前記度合いに応じた情報を出力するステップとを備え、
    前記比較画像は、前記撮影された画像の中の被写体に重なる位置に重ねて配置されている、画像表示方法。
  20. 表示手段における画像の表示を制御するコンピュータによって実行されるプログラムであって、
    前記プログラムは、前記コンピュータに、
    被写体の画像を繰り返し撮影するステップと、
    前記撮影された画像において被写体の位置および被写体を表わす部分を特定するステップと、
    前記繰り返し撮影に応じて、前記撮影された画像と対応する比較画像と表示を更新するステップと
    前記撮影された画像において被写体を表わす部分と前記比較画像とを比較して、前記撮影された画像において被写体を表わす部分が前記比較画像に一致する度合いを判断するステップと、
    前記度合いに応じた情報を出力するステップとを実行させ、
    前記比較画像は、前記撮影された画像の中の被写体に重なる位置に重ねて配置されている、プログラム。
JP2014264352A 2014-12-26 2014-12-26 画像表示システム、画像表示装置、画像表示方法、およびプログラム Active JP6452440B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014264352A JP6452440B2 (ja) 2014-12-26 2014-12-26 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US14/841,962 US9412190B2 (en) 2014-12-26 2015-09-01 Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014264352A JP6452440B2 (ja) 2014-12-26 2014-12-26 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016126042A JP2016126042A (ja) 2016-07-11
JP6452440B2 true JP6452440B2 (ja) 2019-01-16

Family

ID=56164840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014264352A Active JP6452440B2 (ja) 2014-12-26 2014-12-26 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Country Status (2)

Country Link
US (1) US9412190B2 (ja)
JP (1) JP6452440B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846971B2 (en) * 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
US10587834B2 (en) 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
US10481680B2 (en) 2018-02-02 2019-11-19 Disney Enterprises, Inc. Systems and methods to provide a shared augmented reality experience
US10546431B2 (en) 2018-03-29 2020-01-28 Disney Enterprises, Inc. Systems and methods to augment an appearance of physical object for an augmented reality experience
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10916061B2 (en) 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
US10918949B2 (en) 2019-07-01 2021-02-16 Disney Enterprises, Inc. Systems and methods to provide a sports-based interactive experience

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4714934U (ja) * 1971-03-18 1972-10-21
JP3579909B2 (ja) * 1993-11-01 2004-10-20 松下電器産業株式会社 フォーム練習装置
JPH08182786A (ja) * 1994-12-27 1996-07-16 Shinkiyou Denshi Kk 運動体の画像解析装置
JP3324986B2 (ja) * 1997-09-02 2002-09-17 カシオ計算機株式会社 画像再生装置、及び画像再生方法
US6514081B1 (en) * 1999-08-06 2003-02-04 Jeffrey L. Mengoli Method and apparatus for automating motion analysis
JP2001299975A (ja) 2000-04-27 2001-10-30 Hiromi Hamabe 体感装置及び体感システム
US7787028B2 (en) * 2002-05-28 2010-08-31 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
US7362367B2 (en) * 2002-09-27 2008-04-22 Fujifilm Corporation Digital camera having composition determining operation for temporarily storing freeze image data representative of a composition
US7391445B2 (en) * 2004-03-31 2008-06-24 Magix Ag System and method of creating multilayered digital images in real time
US7515816B2 (en) * 2004-12-10 2009-04-07 Casio Computer Co., Ltd. Imaging apparatus having a focus function
JP4388004B2 (ja) * 2005-10-04 2009-12-24 株式会社スクウェア・エニックス 画像生成装置及び方法、プログラム、並びに記録媒体
JP5547968B2 (ja) * 2007-02-14 2014-07-16 コーニンクレッカ フィリップス エヌ ヴェ 身体運動を指導及び監督するフィードバック装置及びその作動方法
CN103118647B (zh) * 2010-09-22 2016-04-06 松下知识产权经营株式会社 运动支援系统
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP2013103010A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN103105234B (zh) * 2012-01-12 2016-05-11 杭州美盛红外光电技术有限公司 热像装置和热像规范拍摄方法
JP5493114B1 (ja) * 2012-10-24 2014-05-14 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Also Published As

Publication number Publication date
JP2016126042A (ja) 2016-07-11
US9412190B2 (en) 2016-08-09
US20160189411A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6452440B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP4869430B1 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9001192B2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN109040600B (zh) 全景景象拍摄及浏览的移动装置、系统及方法
JP5739671B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP6627352B2 (ja) 画像表示装置、画像表示方法及びプログラム
CN110427110B (zh) 一种直播方法、装置以及直播服务器
WO2017000457A1 (zh) 一种手持交互设备装置及其投影交互方法
JP5702653B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2017139759A (ja) 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮影補助機材
CN110992493A (zh) 图像处理方法、装置、电子设备及存储介质
JP5949501B2 (ja) 作業補助システムおよびプログラム
CN109978996B (zh) 生成表情三维模型的方法、装置、终端及存储介质
JP5478205B2 (ja) ゲーム装置、ゲームプログラム、ゲームシステムおよびゲーム制御方法
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
WO2022199102A1 (zh) 图像处理方法及装置
JP2017126942A (ja) 画像処理装置、画像処理方法及びプログラム
JP5770018B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
TWM569008U (zh) 眼球定位校正系統
CN110312144B (zh) 进行直播的方法、装置、终端和存储介质
JP2012004669A (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
KR20180058199A (ko) 영상 회의를 위한 전자 장치 및 그의 동작 방법
WO2024089889A1 (ja) リモートコミュニケーションシステムおよびリモートコミュニケーション方法
JP5541973B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R150 Certificate of patent or registration of utility model

Ref document number: 6452440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250