JP6553527B2 - カラオケ指示操作プログラム - Google Patents

Description

本発明は、カラオケリモン装置に操作指示を送信する携帯端末のカラオケ指示操作プログラムに関する。

従来、演奏にあわせて歌唱を楽しむことが出来るカラオケ装置と、各種情報を表示しカラオケ装置に曲に関する各種指示を送信可能なリモコン装置とを有するカラオケシステムがある。この種のシステムとしては、特許文献１に開示されたシステムでは、カラオケ装置を遠隔操作するため、リモコン装置はタッチパネルディスプレイを備え、タッチパネルディスプレイに所定の映像を表示させ利用者の接触操作を受け付ける。リモコン装置において、日本国内では一般的に日本語が表示されている。ところで、カラオケシステムは、近年、世界に普及しており、日本語以外の言語を使用するユーザが増えている。日本語以外の言語を使用するユーザが、日本国内においてカラオケシステムを楽しむ場合、リモコン装置に表示される言語が日本語であることから、日本国内でのカラオケシステムの利用が容易ではない。

一方、日本語を外国語に翻訳する技術として、撮影画像から文字が抽出され、抽出された文字が翻訳されて表示される技術が知られている。この種の技術として、特許文献２に開示された技術では、メモリに記録されている撮影画像に含まれる文字が抽出され、抽出された文字が他の言語に翻訳される。

特開２００６−１１１９２号公報 特開２００８−５４２３６号公報

特許文献２に記載されている技術をカラオケシステムに応用することを考える。この場合には、日本語以外の言語を使用するユーザは、リモコン装置の画面に表示された日本語を撮影装置によって撮影する。撮影装置は、撮影された画像から文字を抽出し、抽出された文字の翻訳結果を撮影装置の画面に表示する。日本語以外の言語を使用するユーザは、撮影装置の画面に表示された翻訳結果を視認することで、リモコン装置の画面に表示された各種機能を理解する。各種機能を理解した状態において、日本語以外の言語を使用するユーザは、日本語が表示されたリモコン装置の画面上を操作する。このため、日本語以外の言語を使用するユーザは、撮影装置の画面に表示された翻訳結果とリモコン装置の画面に表示された日本語とを共に見ながら操作する必要があり、操作間違いが生ずる可能性がある。

本発明は、撮影画像データと翻訳文字データとが合成された合成画像データを携帯端末の入力表示手段に表示させることにより、ユーザは合成画像を視認しながら入力表示手段を接触操作する際に、操作間違いを低減することが出来、ユーザが所望する操作をカラオケリモコン装置に確実に指示することが出来るカラオケ指示操作プログラムを提供することを目的としている。

上記目的を達成するため、請求項１に記載の発明に係るカラオケ指示操作プログラムは、カラオケリモコン装置と通信可能な携帯端末であって、接触操作可能なタッチパネルを含む入力表示手段と撮影手段とを備える携帯端末のコンピュータに、実行させるプログラムであって、前記カラオケリモコン装置に表示された画面を前記撮影手段によって撮影させる撮影ステップと、前記撮影手段によって撮影された撮影画像データに含まれる文字を示すデータを抽出する文字抽出ステップと、前記抽出された文字データが前記携帯端末に設定された言語に翻訳された翻訳文字データを取得する翻訳文字取得ステップと、前記翻訳文字と前記撮影画像データとを合成し合成画像データを生成する画像生成ステップと、前記合成画像データを、前記入力表示手段に表示させる表示制御ステップと、前記入力表示手段への接触操作を検出する検出ステップと、前記検出ステップにより検出された接触操作の操作位置座標を生成する操作座標生成ステップと、前記操作位置座標に基づいて、前記カラオケリモコン装置に表示された画面における指示位置座標を決定する指示座標決定ステップと、前記指示座標決定ステップによって決定される指示位置座標をカラオケリモコン装置に送信する座標送信ステップと、を携帯端末のコンピュータに実行させる。

請求項２に記載の発明に係るカラオケ指示操作プログラムにおいて、前記携帯端末は、前記携帯端末の画面サイズを示す第１画面サイズデータを記憶する記憶手段を備え、前記指示座標決定ステップは、前記カラオケリモコン装置の画面サイズを示す第２画面サイズデータを前記カラオケリモコン装置から受信するカラオケリモコンデータ受信ステップと、前記第１画面サイズデータを前記携帯端末の記憶手段から読み出す第１画面サイズ読出ステップと、前記第２画面サイズデータと前記第１画面サイズデータとに基づいて、画面サイズ比率を算出する比率算出ステップと、前記操作座標生成ステップにより生成された前記操作位置座標を、前記画面サイズ比率に基づいて変換位置座標に変換する位置座標変換ステップと、を含み、前記座標送信ステップは、前記指示位置座標として前記変換位置座標を前記カラオケリモコン装置に送信する。

請求項３に記載の発明に係るカラオケ指示操作プログラムにおいて、前記携帯端末は、前記文字データを前記携帯端末に設定された言語に翻訳する翻訳サーバと通信可能であり、前記翻訳サーバに前記文字データと前記携帯端末に設定された言語を示す言語データとを送信する言語送信ステップと、前記翻訳サーバから前記翻訳文字データを受信する翻訳受信ステップと、を前記携帯端末のコンピュータに実行させる。

請求項１に記載の発明において、カラオケリモコン装置と通信可能な携帯端末であって、接触操作可能なタッチパネルを含む入力表示手段と撮影手段とを備える携帯端末のコンピュータに、実行させるプログラムであって、撮影ステップは、前記カラオケリモコン装置に表示された画面を前記撮影手段によって撮影させる。文字抽出ステップは、前記撮影手段によって撮影された撮影画像データに含まれる文字を示す文字データを抽出する。翻訳文字取得ステップは、前記抽出された文字データが前記携帯端末に設定された言語に翻訳された翻訳文字データを取得する。画像生成ステップは、前記翻訳文字データと前記撮影画像データとを合成し合成画像データを生成する。表示制御ステップは、前記合成画像データを、前記入力表示手段に表示させる。検出ステップは、前記入力表示手段への接触操作を検出する。操作座標生成ステップは、前記検出ステップにより検出された接触操作の操作位置座標を生成する。指示座標決定ステップは、前記操作位置座標に基づいて、前記カラオケリモコン装置に表示された画面における指示位置座標を決定する。座標送信ステップは、前記指示座標決定ステップによって決定される指示位置座標をカラオケリモコン装置に送信する。この結果、ユーザが入力表示手段に表示された翻訳文字を視認し接触操作することによって、携帯端末は、指示位置座標をカラオケリモコン装置に送信することが出来、ユーザは、接触操作を行う際の間違いを低減することが出来る。さらに、操作位置座標に基づいて決定される指示位置座標がカラオケリモコン装置に送信されるため、携帯端末は、ユーザが接触操作した指示内容を確実に携帯端末からカラオケリモコン装置へ送信することが出来る。

請求項２に記載の発明において、前記携帯端末は、前記携帯端末の画面サイズを示す第１画面サイズデータを記憶する記憶手段を備え、カラオケリモコンデータ受信ステップは、前記カラオケリモコン装置の画面サイズを示す第２画面サイズデータを前記カラオケリモコン装置から受信する。第１画面サイズ読出ステップは、前記第１画面サイズデータを前記携帯端末の記憶手段から読み出す。比率算出ステップは、前記第２画面サイズデータと前記第１画面サイズデータとに基づいて、画面サイズ比率を算出する。位置座標変換ステップは、前記操作座標生成ステップにより生成された前記操作位置座標を、前記画面サイズ比率に基づいて変換位置座標に変換する。前記座標送信ステップは、前記指示位置座標として前記変換位置座標を前記カラオケリモコン装置に送信する。この結果、ユーザが携帯端末の入力表示手段を接触操作した際に、前記画面サイズ比率に基づいて操作位置座標から変換位置座標が生成されるので、ユーザは、携帯端末を見ながらカラオケリモコン装置に表示される画面における正確な位置を指示することが可能となる。

請求項３に記載の発明において、前記携帯端末は、前記文字データを前記携帯端末に設定された言語に翻訳する翻訳サーバと通信可能であり、言語送信ステップは、前記翻訳サーバに前記文字データと前記携帯端末に設定された言語を示す言語データとを送信する。翻訳受信ステップは、前記翻訳サーバから前記翻訳文字データを受信する。この結果、ユーザは事前に携帯端末に言語を翻訳するプログラムをダウンロードする必要がなく、利用者は事前準備を簡単に行うことが出来る。また、翻訳サーバは種々の言語を翻訳することが出来る為、様々な言語を使用するユーザがカラオケリモコン装置に確実に指示を送信することが可能となる。

本発明の実施形態に係るカラオケ指示操作プログラムがインストールされた携帯端末、カラオケリモコン装置を備えるカラオケシステムＫＳ、及び翻訳サーバの構成を示すブロック図 カラオケリモコン装置において実行される携帯端末とカラオケリモコン装置との関連付け処理を示すフロー図 携帯端末において実行される携帯端末とカラオケリモコン装置との関連付け処理を示すフロー図 カラオケリモコン装置を操作する位置座標の算出処理を示すフロー図 携帯端末の表示部に表示する枠の生成処理を示すフロー図 変換位置座標から接触操作信号を生成する処理を示すフロー図 携帯端末の画面サイズとカラオケリモコン装置の画面サイズとを示す図 カラオケリモコン装置の画面と、プログラムが起動されて、撮影枠が表示された直後の携帯端末の画面とを示す図 カラオケリモコン装置の画面と、撮影対象となるカラオケリモコン装置の画面を表示している携帯端末の画面とを示す図 撮影された撮影画像が撮影枠の内に表示された携帯端末の画面を示す図 撮影された撮影画像と翻訳文字とが合成された合成画像が影枠内に表示された携帯端末の画面を示す図 ユーザがタッチペンによって携帯端末の画面を接触操作した状態において、携帯端末の画面とカラオケリモコン装置の画面とを対比して示す図 合成画像が表示された携帯端末を接触操作したのちに楽曲一覧が表示されたカラオケリモコン装置の画面と、撮影枠が表示された直後の携帯端末の画面とを示す図 撮撮影された撮影画像と翻訳文字とが合成された合成画像が影枠内に表示された携帯端末の画面を示す図 ユーザがタッチペンによって携帯端末の画面を接触操作した状態における画面を示す図 合成画像が表示された携帯端末を接触操作したのちに楽曲予約が表示されたカラオケリモコン装置の画面と、撮影枠が表示された直後の携帯端末の画面とを示す図 撮撮影された撮影画像と翻訳文字とが合成された合成画像が影枠内に表示された携帯端末の画面を示す図 ユーザがタッチペンによって携帯端末の画面を接触操作した状態の携帯端末の画面を示す図 合成画像が表示された携帯端末を接触操作したのち予約完了通知が表示されているカラオケリモコン装置の画面と、撮影枠が表示された直後の携帯端末の画面とを示す図

＜実施形態の電気的構成＞
本発明の実施形態のカラオケ指示操作プログラムがインストールされた携帯端末１、カラオケリモコン装置２を備えるカラオケシステムＫＳ、及び翻訳サーバ６について、図１を参照して説明する。

携帯端末１は、カラオケリモコン装置２と通信可能に構成される。カラオケシステムＫＳは、カラオケリモコン装置２、カラオケ装置３、モニタ４０、スピーカー４２、マイク４１、及びサーバ５を主に備える。

（携帯端末１）
携帯端末１は、カラオケシステムＫＳを利用するユーザが所有する携帯情報機器であって、少なくともデータ通信機能、撮影機能、及び画像認識機能を備える高機能携帯端末である。例えば、所謂スマートフォン、またはタブレットコンピュータが該当する。携帯端末１は、制御部１０と、近距離通信部１１と、カメラ１２と、マイク１３と、操作部１４と、表示部１５と、記憶部１６と、無線通信部１７と、を主に備える。

制御部１０は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備え、ＲＡＭの一時記憶機能を利用しつつＲＯＭに予め記憶された所定のプログラムに基づいてデータを処理するコンピュータである。

近距離通信部１１は、カラオケリモコン装置２と携帯端末１とが制御データ、及び各種データ等を通信する行うための電子回路である。近距離通信部１１は、赤外線インターフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）等である。

カメラ１２は、レンズと撮像素子とを備えたデジタルカメラである。カメラ１２は、本実施形態においてカラオケリモコン装置２の画面に表示されるカラオケ動作指示画像を撮影する。

マイク１３は、音声を電気信号として入力する機器である。

操作部１４は、表示部１５に設けられるタッチパネル、または操作子からなる入力装置である。

表示部１５は、カメラ１２によって撮影された画像の撮影画像データに基づいて図１０に示す撮影画像を表示する。表示部１５は、タッチパネルと共にユニット化して構成されている。タッチパネルとしては、既存の抵抗膜方式が採用される。タッチパネルは上部基板と下部基板とを備え、上部基板と下部基板との接触点の上部基板Ｘ座標の電圧を検出し、検出された電圧をＡ／Ｄ変換して位置座標Ｘを決定する。また、上部基板と下部基板との接触点の下部基板Ｙ座標の電圧を検出し、検出された電圧をＡ／Ｄ変換して位置座標Ｙを決定する。

図１１は、表示部１５が表示する画面を示す。図１１に示す画面は、カメラ１２によって撮影された画像の撮影画像と、撮影画像に含まれる文字を翻訳した翻訳文字とを合成した合成画像６０１を表示した画面である。表示部１５において表示された合成画像６０１は、ユーザによって接触操作可能である。

撮影画像に含まれる文字の近傍には、翻訳文字が表示される。翻訳文字は、カメラ１２によって撮影された画像の撮影画像に含まれる文字が後述する翻訳サーバ６によって翻訳された文字である。

記憶部１６は、携帯端末を識別する携帯端末ＩＤと、携帯端末１を使用するためにユーザによって設定された言語とを記憶する。

記憶部１６は、複数のプログラムを記憶する記憶領域を備える。記憶領域に本実施形態における通信許可プログラムとカラオケ指示操作プログラムとが記憶される。通信許可プログラムまたはカラオケ操作プログラムの実行を指示する制御信号が制御部１０に受け付けられると、記憶部１６から通信許可プログラムまたはカラオケ指示操作プログラムが読み出され、後述する図３または図４に示す一連のステップの処理が開始される。記憶部１６は、この他、携帯端末１の全体を制御するプログラム等の複数のプログラムを記憶領域に記憶する。

記憶部１６は、表示部１５のサイズを示す第１画面サイズデータを記憶する。具体的には、第１画面サイズデータは、図７に示す携帯端末１の短辺を縦方向、長辺を横方向とした場合、縦方向サイズＰＳ１と、横方向サイズＰＳ２とを示すデータである。

無線通信部１７は、インターネット４３０を介して翻訳サーバ６の無線通信部と通信するための電子回路である。

（カラオケリモコン装置２）
カラオケリモコン装置２は、制御部２０、近距離通信部２１、操作部２２、赤外線送信部２３、ＬＡＮ通信部２４、タッチパネル２５、表示部２６、及び記憶部２７を主に備える。制御部２０は、記憶部２７等の記憶手段とともに、コンピュータを構成する。カラオケリモコン装置２としては、本実施形態において、カラオケリモコン装置２Ａ、およびカラオケリモコン装置２Ｂが設けられる。カラオケリモコン装置２Ａと、カラオケリモコン装置２Ｂとを区別しないときは、カラオケリモコン装置２と記載する。

制御部２０は、タッチパネル２５から入力された接触操作信号に基づき表示部２６に画像データを出力する。

近距離通信部２１は、カラオケリモコン装置２と携帯端末１とが制御データ、及び各種データ等を通信する行うための電子回路である。近距離通信部２１は、赤外線インターフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）等である。

操作部２２は、キースイッチまたは押しボタン等を備え、ユーザがキースイッチ等を操作したときに、操作に基づいて制御部２０に接触操作信号を出力する。

赤外線送信部２３は、制御部２０から入力された操作信号を赤外線に変換し、その赤外線をカラオケ装置３の赤外線受信部３２に送信する。

ＬＡＮ通信部２４は、制御部２０から入力されたデータを、アクセスポイント４１０、ＬＡＮ４００、及びルータ４２０を利用してインターネット４３０を介してサーバ装置５に送信する。制御部２０から入力されるデータは、ユーザに関する各種データ、またはカラオケ楽曲に関する各種データの取得を指示するデータである。

タッチパネル２５は、既存の抵抗膜方式を採用している。タッチパネル２５は上部基板と下部基板とを備え、上部基板と下部基板との接触点の上部基板Ｘ座標の電圧を検出し、検出された電圧をＡ／Ｄ変換して位置座標Ｘを決定する。また、タッチパネル２５は、上部基板と下部基板との接触点の下部基板Ｙ座標の電圧を検出し、検出された電圧をＡ／Ｄ変換して位置座標Ｙを決定する。

表示部２６は、制御部２０から入力された画像データに基づいて図８に示す画像を表示する。本実施形態では表示部２６はタッチパネル２５と共にユニット化して構成され、入力表示部ＩＳＤを構成している。

図８は、表示部２６が表示する画面を示す。図８に示す画面において表示部２６は、カラオケ動作を指示するために、ユーザによる接触操作が可能なボタン操作領域２００を有する。ボタン操作領域２００は、他のページの画面への変更を指示するための領域である。

ボタン操作領域２００には、歌手名検索ボタン２００−１と、曲名検索ボタン２００−２と、キーワード検索ボタン２００−３と、ジャンル検索ボタン２００−４と、ランキング検索ボタン２００−５と、りれき検索ボタン２００−６とが表示される。

歌手名検索ボタン２００−１は、歌手名にて楽曲を検索するページへ遷移するための画像である。

曲名検索ボタン２００−２は、楽曲名にて楽曲を検索するページへ遷移するための画像である。

キーワード検索ボタン２００−３は、楽曲が使用されたテレビ番組名等のキーワードにて楽曲を検索するページへ遷移するための画像である。

ジャンル検索ボタン２００−４は、楽曲の種類毎に楽曲を検索するページへ遷移するための画像である。

ランキング検索ボタン２００−５は、楽曲の再生回数に基づいて作成されたランキング等のランキングから楽曲を検索するページへ遷移するための画像である。

りれき検索ボタン２００−６は、カラオケ装置３において、過去に演奏された複数楽曲の中から、１つの楽曲を検索するページへ遷移するための画像である。

カラオケ装置３において、過去に演奏された複数楽曲の中から１つの楽曲を検索するページへの変更を指示するりれき検索ボタン２００−６が接触操作されると、表示部２６の画面は、後述する図１３の楽曲一覧表２０１を示す画面に遷移する。

記憶部２７は、カラオケリモコン装置を識別するカラオケリモコン装置ＩＤを記憶する。具体的には、図２において、カラオケリモコン装置２Ａの記憶部２７とカラオケリモコン装置２Ｂの記憶部とは、それぞれカラオケリモコン装置を識別するカラオケリモコン装置ＩＤを記憶する。

記憶部２７は、各種プログラムを記憶する記憶領域を備える。各種プログラムは、メイン処理が実行されるメインプログラムと、本実施形態における通信許可プログラムとを含む。メインプログラムは、カラオケリモコン装置２の電源が投入されると、カラオケリモコン装置２全体を制御する処理を実行する。通信許可プログラムの実行を指示する制御信号が制御部２０に受け付けられると、記憶部２７から通信許可プログラムが読み出され、後述する図２に示す一連のステップの処理が開始される。

記憶部２７は、表示部２６のサイズを示す第２画面サイズデータを記憶する。第２画面サイズデータは、図７に示すカラオケリモコン装置２の短辺を縦方向、長辺を横方向とした場合、縦方向サイズＲＳ１と、横方向サイズＲＳ２とを示すデータである。

（カラオケ装置３）
カラオケ装置３は、制御部３０、操作部３１、赤外線受信部３２、記憶部３３、音声入出力部３４、及びＬＡＮ通信部３５を主に備える。

制御部３０は、操作部３１から入力された操作信号に基づきモニタ４０、及び音声入出力部３０に各種データを出力する。

操作部３１は、キースイッチまたは押しボタン等を備え、ユーザがキースイッチ等を操作したときに、ユーザの操作に基づき制御部３０に操作信号を出力する。

赤外線受信部３２は、カラオケリモコン装置２の赤外線送信部２３から赤外線を受信し、赤外線を操作信号に変換して制御部３０に出力する。

記憶部３３は、楽曲データ、及び背景画像データ等の各種データを記憶する。

音声入力出力部３４は、制御部３０から入力された音響再生指令信号に基づき、記憶部３３に記憶されたカラオケ楽曲データテーブルから、１つの演奏データを読み出し、演奏データに従って音響信号を生成し、スピーカー４２に供給する。

ＬＡＮ通信部３５は、制御部３０から入力された取得指示データを、ＬＡＮ４００及びルータ４２０を利用してインターネット４３０を介してサーバ装置５に送信する。取得指示データは、ユーザに関する各種データ、またはカラオケ楽曲に関連する各種データの取得を指示するデータである。

（マイク４１及びスピーカー４２）
マイク４１は、利用者の歌声を受信し、カラオケ装置３の音声入出力部３５にアナログ音信号を出力する。スピーカー４２は、音声入出力部３５によってミキシングされた音楽信号を受け取り、放音する。

（サーバ装置５）
サーバ装置５は、制御部５０と、ＬＡＮ通信部５１と、記憶部５２と、を主に備える。

制御部５０は、ＬＡＮ通信部５１から入力された指令信号に基づき、記憶部５２から各種データを読み出す。各種データは、年代毎の演奏回数ランキングリストを含む。演奏回数ランキングリストは、全国のカラオケ装置で各楽曲が再生された回数に基づいて作成されたリストである。

ＬＡＮ通信部５１は、ルータ４２０からインターネット４３０を介して入力された指令信号を制御部５０に出力する。

記憶部５２は、制御部５０から入力された指令信号に基づき、記憶する各種データを制御部５０に出力する。

（翻訳サーバ６）
翻訳サーバ６は、外部のサーバであって、少なくとも無線通信部を備える。

無線通信部は、翻訳文字データを携帯端末１に出力する。翻訳文字データは、インターネット４３０を介して入力された文字と言語とに基づいて翻訳されたデータである。

＜実施形態の動作及び作用＞
本実施形態の動作及び作用について、図２、図３、図４、図５、及び図６を参照して説明する。カラオケリモコン装置２の電源が投入されると、図示しないカラオケリモコン装置２の全体を制御するメイン処理が実行される。携帯端末１とカラオケリモコン装置２とを双方向通信可能にするため、ユーザが、カラオケリモコン装置２の表示部２６のタッチパネル２５を接触操作すると、通信許可モードの制御要求信号が表示部２６から制御部２０に送信される。制御部２０が制御要求信号を受付けると、記憶部２７から通信許可プログラムが読み出され、図２に示す一連のステップの処理が開始される。図２に示す各ステップの処理は制御部２０が実行する処理である。

（通信許可プログラムの処理）
ステップＳＡ１において、表示部２６に二次元バーコードが表示される。具体的には、記憶部２７に記憶されたカラオケリモコン装置２Ａを識別するカラオケリモコン装置ＩＤが読み出される。読み出されたカラオケリモコン装置ＩＤを含む二次元バーコードデータが生成される。生成された二次元バーコードデータが表示部２６に送信される。表示部２６は、制御部２０から送信された二次元バーコードデータに基づき、二次元バーコードを表示する。

ステップＳＡ２において、携帯端末ＩＤとカラオケリモコン装置ＩＤとを含む許可要求信号が受信されたか否かが判断される。具体的には、携帯端末１を識別する携帯端末ＩＤとカラオケリモコン装置２Ａを識別するカラオケリモコン装置ＩＤとを含む通信許可要求信号を近距離通信部２１が受信したか否かが判断される。ステップＳＡ２の判断がＮＯである場合、ステップＳＡ７の処理が実行されるが、ステップＳＡ２の判断がＹＥＳである場合、ステップＳＡ３が実行される

ステップＳＡ３において、携帯端末１との通信を許可する通信許可信号が生成される。具体的には、受信した携帯端末ＩＤが示す携帯端末１とカラオケリモコン装置２Ａとを通信可能にするため、通信許可信号が生成される。通信許可信号には、カラオケリモコン装置２Ａを示すカラオケリモコンＩＤと、携帯端末１とカラオケリモコン装置２Ａとの通信が有効に行える有効期限を示す有効時刻データとが含まれる。有効時刻データは、通信許可信号が生成された時刻から所定時間後の時刻を示すデータである。所定時間とは、例えば、一般的に利用者がカラオケシステムＫＳを利用する利用時間として多い１時間である。

ステップＳＡ４において、携帯端末ＩＤとカラオケリモコン装置ＩＤと通信許可フラグとが関連付けられて記憶される。具体的には、携帯端末ＩＤと、カラオケリモコン装置ＩＤと、有効時刻データと、通信許可を示す通信許可フラグとが制御部２０のＲＡＭに一時記憶される。有効時刻データが示す時刻に達した場合、ＲＡＭに一時記憶された携帯端末ＩＤと、カラオケリモコン装置ＩＤと、有効時刻データと、通信許可フラグとがＲＡＭから削除される。

ステップＳＡ５において、第２画面サイズデータが読み出される。具体的には、記憶部２７に記憶された第２画面サイズデータが読み出される。

ステップＳＡ６において、第２画面サイズデータと通信許可信号とが携帯端末１に送信される。具体的には、第２画面サイズデータと通信許可信号と携帯端末ＩＤとが近距離通信部２１に送信される。近距離通信部２１は、制御部２０から送信された携帯端末ＩＤに基づいて、通信許可信号と第２画面サイズデータとを携帯端末１に送信して、図２に示す一連の処理であるルーチン全体が終了する。

ステップＳＡ７において、所定時間Ｔが経過したか否かが判断される。具体的には、二次元バーコードが表示部２６に表示されてから予め定められた所定時間経過したか否かが判断される。ステップＳＡ７の判断がＮＯである場合、ステップＳＡ２以下の処理が実行されるが、ステップＳＡ７がＹＥＳである場合、図２に示す一連の処理であるルーチン全体が終了する。

携帯端末１の電源が投入されると、図示しない携帯端末１の全体を制御するメイン処理が実行される。携帯端末１とカラオケリモコン装置２とを双方向通信可能にするため、ユーザが、携帯端末１の表示部１５のタッチパネルを操作すると、通信許可モードの制御要求信号が表示部１５から制御部１０に送信される。制御部１０が制御要求信号を受付けると、記憶部１６から通信許可プログラムが読み出され、図３に示す一連のステップの処理が開始される。図３に示す各ステップの処理は制御部１０が実行する処理である。

ステップＳＢ１において、撮影指示がされたか否かが判断される。具体的には、表示部１５に表示される撮影指示ボタンがユーザよって接触操作されたか否かが判断される。ステップＳＢ１の判断がＮＯである場合、ステップＳＢ１以下の処理が実行されるが、ステップＳＢ１の判断がＹＥＳである場合、ステップＳＢ２が実行される。

ステップＳＢ２において、カメラ１２による撮影が実行される。具体的には、撮影指令がカメラ１２に送信される。カメラ１２は、撮影指令に基づき撮影を実行する。カメラ１２により撮影された画像を示す撮影画像データがカメラ１２から制御部１０に送信される。送信された撮影画像データが制御部１０のＲＡＭに一時記憶される。

ステップＳＢ３において、撮影画像データにカラオケリモコン装置ＩＤが含まれているか否かが判断される。具体的には、制御部１０のＲＡＭに一時記憶された撮影画像データからカラオケリモコン装置ＩＤが抽出されるか否かが判断される。ステップＳＢ３の判断がＮＯである場合、ステップＳＢ１以下の処理が実行されるが、ステップＳＢ３の判断がＹＥＳである場合、ステップＳＢ４が実行される。

ステップＳＢ４において、カラオケリモコン装置２に携帯端末ＩＤとカラオケリモコン装置ＩＤとが送信される。具体的には、記憶部１６に記憶される携帯端末１を識別する携帯端末ＩＤが読み出される。読み出された携帯端末ＩＤとカラオケリモコン装置ＩＤとを含む通信許可要求信号が生成される。生成された通信許可要求信号が近距離通信部１１に送信される。近距離通信部１１は、制御部１０から送信された通信許可要求信号を、ステップＳＢ３において抽出されたカラオケリモコン装置ＩＤが示すカラオケリモコン装置２Ａに送信する。

ステップＳＢ５において、第２画面サイズデータと通信許可信号とが受信されたか否かが判断される。具体的には、近距離通信部１１にてカラオケリモコン装置２Ａから送信される第２画面サイズデータと通信許可信号とが受信されたか否かが判断される。ステップＳＢ５の判断がＮＯである場合、ステップＳＢ７の処理が実行されるが、ステップＳＢ５の判断がＹＥＳである場合、ステップＳＢ６が実行される。

ステップＳＢ６において、第２画面サイズデータと通信許可信号とが関連付けられて記憶される。具体的には、近距離通信部１１にて受信された第２画面サイズデータと、通信許可信号に含まれるカラオケリモコン装置２Ａとの通信が有効に行える有効期限を示す有効時刻データ及びカラオケリモコン装置２Ａを示すカラオケリモコンＩＤと、携帯端末１を示す携帯端末ＩＤとが制御部１０のＲＡＭに一時記憶されて、図３に示す一連の処理であるルーチン全体が終了する。

ステップＳＢ７において、所定時間Ｔｓが経過したか否かが判断される。具体的には、カラオケリモコン装置２Ａに携帯端末ＩＤが送信された時間から予め定められた所定時間が経過したか否かが判断される。ステップＳＢ７の判断がＮＯである場合、ステップＳＢ５以下の処理が実行されるが、ステップＳＢ７がＹＥＳである場合、図３に示すルーチン全体が終了する。

（カラオケ指示プログラムの処理）
図４は、携帯端末１の制御部１０により実行されるカラオケ指示プログラムの処理を示すフローチャートである。カラオケ指示操作モードを実行するために、ユーザが、携帯端末１の表示部１５を操作すると、カラオケ指示操作モードの制御要求信号が表示部１５から制御部１０に送信される。制御部１０が制御要求信号を受け付けると、記憶部１６からカラオケ指示操作プログラムが読み出され、図４に示す一連のステップの処理が開始される。図４に示す各ステップの処理は制御部１０が実行する処理である。

ステップＳＣ１において、表示部１５に表示される撮影枠を示す撮影枠データが生成される。撮影枠データの生成の詳細については、図５において後述する。

ステップＳＣ２において、生成された撮影枠データ、基準点データ、スキャン開始データ、及びアドバイス画像データが示す画像が表示部１５に表示される。具体的には、図８を参照して詳細に説明する。後述する図５のステップＳＤ４において生成された撮影枠１００と、撮影枠１００の短辺の縦方向ＲＳ１ａと長辺の横方向ＲＳ２ａとが交わる角に表示される基準点１０３と、ユーザによる撮影指示を受け付けるスキャン開始画像１０２と、アドバイス画像１０１とをそれぞれ示すデータが表示部１５に送信される。アドバイス画像１０１とスキャン開始画像１０２とを示すテキストデータは、携帯端末１を使用するために、ユーザによって設定された言語にて生成されるデータである。具体的には、ユーザによって設定された言語を示す言語データが携帯端末１の記憶部１６から読み出される。読み出された言語データに基づいて、カラオケリモコン装置２に表示された基準点２０２と携帯端末１に表示された基準点１０３とを揃えて撮影すること、及び撮影枠１００内に撮影対象物を収めて撮影することを指示するアドバイス画像１０１と、撮影指示を受け付けるスキャン開始画像１０２とを示すテキストデータが生成される。

ステップＳＣ３において、撮影指示がされたか否かが判断される。具体的には、表示部１５に表示されるスキャン開始画像１０２が接触操作されたか否かが判断される。図８を参照して詳細に説明すると、ユーザによりスキャン開始画像１０２近傍の接触位置を接触操作したか否かが判断される。ステップＳＣ３の判断がＮＯである場合、ステップＳＣ２以下の処理が実行されるが、ステップＳＣ３の判断がＹＥＳである場合、ステップＳＣ４が実行される。

ステップＳＣ４において、カメラ１２による撮影が実行される。具体的には、撮影指令がカメラ１２に送信される。カメラ１２は、撮影指令に基づき撮影を実行する。カメラ１２により撮影された画像を示す撮影画像データがカメラ１２から制御部１０に送信される。撮像画像データは、静止画のデータである。送信された撮影画像データは、制御部１０のＲＡＭに一時記憶され、撮影画像データが示す画像が表示部１５に表示される。

ステップＳＣ５において、撮影画像データから文字データが抽出される。具体的には、撮影画像データに含まれる文字データが光学式文字認識ソフト等によって認識され、認識された文字データが撮影画像データから抽出される。抽出された文字データと、抽出された文字データの携帯端末１の表示部１５における座標（Ｘ，Ｙ）とが関連付けられて制御部１０のＲＡＭに一時記憶される。

ステップＳＣ６において、文字データと言語データとが翻訳サーバ６に送信される。具体的には、制御部１０のＲＡＭに一時記憶された文字データが読み出される。携帯端末１を使用するために、ユーザによって設定された言語を示す言語データが携帯端末１の記憶部１６から読み出される。読み出された文字データと言語データとが無線通信部１７に送信される。無線通信部１７は、制御部１０から送信された言語データと文字データとを翻訳サーバ６に送信する。

ステップＳＣ７において、翻訳文字データが取得されたか否かが判断される。具体的には、文字データが携帯端末１に設定された言語に翻訳された翻訳文字を示す翻訳文字データと、翻訳文字を翻訳する前の文字を示す文字データとが無線通信部１７によって取得されたか否かが判断される。ステップＳＣ７の判断がＮＯである場合、ステップＳＣ７以下の処理が実行されるが、ステップＳＣ７の判断がＹＥＳである場合、ステップＳＣ８が実行される。

ステップＳＣ８において、翻訳文字データと撮影画像データとが合成された合成画像を示す合成画像データが生成される。具体的には、ステップＳＣ７において取得された翻訳文字データと文字データとが関連付けられて制御部１０のＲＡＭに一時記憶される。制御部１０のＲＡＭに一時記憶される翻訳文字データ、撮影画像データ、文字データ、及び抽出された文字データの携帯端末１の表示部１５における座標（Ｘ，Ｙ）が読み出される。翻訳文字データが翻訳される前の文字データと、翻訳される前の文字データの携帯端末１の表示部１５における座標（Ｘ，Ｙ）とに基づいて、翻訳文字データと撮影画像データとが合成された合成画像データが生成される。

ステップＳＣ９において、合成画像が表示される。具体的には、翻訳文字データと撮影画像データとが合成された合成画像を示す合成画像データが表示部１５に送信される。表示部１５は、受信した合成画像データに基づいて合成画像を表示する。

ステップＳＣ１０において、表示部１５のタッチパネルから位置座標（ＳＸ，ＳＹ）を検出したか否かが判断される。具体的には、表示部１５のタッチパネルの上部基板と下部基板部とが接触するたびに、接触位置を示す位置座標（ＳＸ，ＳＹ）がタッチパネルにより生成され、タッチパネルから位置座標（ＳＸ，ＳＹ）が制御部１０に送信される。ステップＳＣ１０の判断がＮＯである場合、ステップＳ１１の処理が実行されるが、ステップＳＣ１０の判断がＹＥＳである場合、ステップＳＣ１２が実行される。位置座標（ＳＸ，ＳＹ）は、図１２の（Ａ）における位置座標１０７である。

ステップＳＣ１１において、有効期限内か否かが判断される。具体的には、ステップＳＣ１０の判断が実行される現在の時刻と制御部１０のＲＡＭに一時記憶された有効時刻データが示す有効期限とが比較され、現在の時刻が有効期限内であるか否かが判断される。ステップＳＣ１１の判断がＮＯである場合、図３に示す一連の処理であるルーチン全体が終了するが、ステップＳＣ１１の判断がＹＥＳである場合、ステップＳＣ９以降の処理が実行される。

ステップＳＣ１２において、検出された位置座標（ＳＸ，ＳＹ）が記憶される。具体的には、検出された位置座標（ＳＸ，ＳＹ）が制御部１０のＲＡＭに一時記憶される。

ステップＳＣ１３において、縮小比率と位置座標（ＳＸ，ＳＹ）とを読み出される。具体的には、後述する図５のステップＳＤ２またはステップＳＤ３において算出された縮小比率Ｓａまたは縮小比率Ｓｂと、位置座標（ＳＸ，ＳＹ）とが制御部１０のＲＡＭから読み出される。

ステップＳＣ１４において、縮小比率と位置座標（ＳＸ，ＳＹ）とに基づいて、位置座標（ＳＸ，ＳＹ）を変換した変換位置座標が算出される。具体的には、図１２を参照して詳細に説明をする。位置座標（ＳＸ，ＳＹ）に縮小比率Ｓａまたは縮小比率Ｓｂの逆数を掛け算することにより、変換位置座標（ＲＸ，ＲＹ）が算出される。算出された変換位置座標（ＲＸ，ＲＹ）が制御部１０のＲＡＭに一時記憶される。変換位置座標（ＲＸ，ＲＹ）は、図１２の（Ｂ）における変換位置座標２１０である。

ステップＳＣ１５において、変換位置座標（ＲＸ，ＲＹ）がカラオケリモコン装置２に送信される。具体的には、制御部１０のＲＡＭに一時記憶された変換位置座標（ＲＸ，ＲＹ）が近距離通信部１１に送信される。近距離通信部１１は、受信した変換位置座標（ＲＸ，ＲＹ）を近距離通信部２１に送信する。ステップＳＣ１５の実行後に、ステップＳＣ２以降が実行される。

（撮影枠生成処理）
図５は、撮影枠データの生成の処理を示すフローチャートである。

ステップＳＤ１において、携帯端末１の画面サイズとカラオケリモコン装置２の画面サイズとのデータが読み出される。具体的には、記憶部１６から携帯端末１の画面サイズを示す第１画面サイズデータである、縦方向サイズＰＳ１と横方向サイズＰＳ２とのデータが読み出される。制御部１０のＲＡＭに一時記憶されたカラオケリモコン装置２の画面サイズを示す第２画面サイズデータである、縦方向サイズＲＳ２と横方向サイズＲＳ２とのデータが読み出される。

ステップＳＤ２において、携帯端末１の画面サイズとカラオケリモコン装置２の画面サイズとのデータに基づいて、縮小比率が算出される。具体的には、図７を参照して詳細に説明する。携帯端末１の第１画面サイズの短辺の長さである縦方向サイズＰＳ１と、カラオケリモコン装置２の第２画面サイズの短辺の長さである縦方向サイズＲＳ１とに基づいて縮小比率Ｓａが算出される。縮小比率Ｓａは、ＰＳ１／ＲＳ１である。算出された縮小比率Ｓａは、制御部１０のＲＡＭに一時記憶される。

ステップＳＤ３において、縮小比率と第１画面サイズデータとに基づいて、第２画面サイズデータが補正される。具体的には、図７を参照して詳細に説明する。制御部１０のＲＡＭに一時記憶された縮小比率Ｓａに基づいて、図７の（Ａ）におけるカラオケリモコン装置２の第２画面サイズの長辺である横方向サイズＲＳ２を縮小させた横方向サイズＲＳ２ａが算出される。横方向サイズＲＳ２ａは、ＲＳ２×ＰＳ１／ＲＳ１である。算出された横方向サイズＲＳ２ａと、図７の（Ｂ）における携帯端末１の第１画面サイズの長辺である横方向サイズＰＳ２とを比較して、横方向サイズＲＳ２ａより横方向サイズＰＳ２が大きい場合は、横方向サイズＲＳ２ａが制御部１０のＲＡＭに一時記憶される。横方向サイズＰＳ２より横方向サイズＲＳ２ａが大きい場合は、横方向サイズＰＳ２と横方向サイズＲＳ２とに基づいて、縮小比率Ｓｂが算出される。縮小比率Ｓｂは、ＰＳ２／ＲＳ２である。算出された縮小比率Ｓｂと縦方向サイズＲＳ１とを掛け算して縮小された縦方向サイズＲＳ１ａを算出する。縦方向サイズＲＳ１ａは、ＲＳ１×ＰＳ２／ＲＳ２である。算出された縦方向サイズＲＳ１ａと縮小比率Ｓｂとが制御部１０のＲＡＭに一時記憶される。縮小比率Ｓｂが制御部１０のＲＡＭに一時記憶された場合、制御部１０のＲＡＭに一時記憶された縮小比率Ｓａが制御部１０のＲＡＭから削除される。

ステップＳＤ４において、撮影枠データが生成される。具体的には、具体的には、図７を参照して詳細に説明する。横方向サイズＲＳ２ａが制御部１０のＲＡＭに一時記憶されている場合、図７の（Ｂ）における携帯端末１の第１画面サイズの短辺である縦方向サイズＰＳ１よりも所定量短い長さの縦方向サイズＲＳ１ａが生成される。生成された横方向サイズＲＳ１ａが制御部１０のＲＡＭに一時記憶される。制御部１０のＲＡＭに一時記憶された縦方向サイズＲＳ１ａと横方向サイズＲＳ２ａとが読み出される。

縦方向サイズＲＳ１ａのサイズが制御部１０のＲＡＭに一時記憶される場合、横方向サイズＰＳ２よりも所定量短い長さの横方向サイズＲＳ２ａが生成される。生成された縦方向サイズＲＳ２ａが制御部１０のＲＡＭに一時記憶される。制御部１０のＲＡＭに一時記憶された縦方向サイズＲＳ１ａと横方向サイズＲＳ２ａとが読み出され、撮影枠データが生成される。撮影枠データが生成された場合、図８の（Ｂ）における基準点１０３を示す基準点データが撮影枠１００の最も左上角に決定される。決定された基準点データと撮影枠データとが関連付けられ制御部１０のＲＡＭに一時記憶される。具体的には、撮影枠データは、図８の（Ｂ）における撮影枠１００を示すデータである。

図６は、カラオケリモコン装置２の制御部２０による接触操作信号の生成処理を示すフローチャートである。通信許可プログラムによって携帯端末１とカラオケリモコン装置２との通信が有効になった場合、図６に示す一連のステップの処理が開始される。図６に示す各ステップの処理は制御部２０が実行する処理である。

ステップＳＥ１において、接触操作信号か否かが判断される。具体的には、タッチパネル２５の上部基板と下部基板とが接触するたびに、接触位置に基づいた接触操作信号がタッチパネル２５により生成される。生成された接触操作信号がタッチパネル２５から制御部２０に送信される。制御部２０は、タッチパネル２５から接触操作信号を受信したか否かを判断する。ステップＳＥ１の判断がＹＥＳである場合、ステップＳＥ４以降の処理が実行されるが、ステップＳＥ１の判断がＮＯである場合、ステップＳＥ２の処理が実行される。

ステップＳＥ２において、変換位置座標（ＲＸ，ＲＹ）が受信されたか否か判断される。具体的には、近距離通信部２１によって変換位置座標（ＲＸ，ＲＹ）が受信されたか否か判断される。ステップＳＥ２の判断がＮＯである場合、ステップＳＥ１以降の処理が実行されるが、ステップＳＥ２の判断がＹＥＳである場合、ステップＳＥ３の処理が実行される。

ステップＳＥ３において、変換位置座標（ＲＸ，ＲＹ）に基づいて、接触操作信号が生成される。具体的には、変換位置座標（ＲＸ，ＲＹ）に基づいて、カラオケリモコン装置２の表示部２６に表示された画像が接触操作された場合に生成される接触操作信号が生成される。

ステップＳＥ４において、接触操作信号に基づいて、画像データの生成及び各種処理が実行される。具体的には、図１２の（Ｂ）と図１３の（Ａ）とを参照して詳細に説明する。図１２の（Ｂ）におけるりれき検索ボタン２００−６が接触操作された場合、図１３の（Ａ）に示す、楽曲一覧表２０１を示す画像データが生成される。楽曲一覧表２０１を示す画像データは、過去にカラオケリモコン装置２からカラオケ装置３に送信された選曲番号の楽曲名とアーティスト名とを一行で表すデータである。

ステップＳＥ５において、画像データが示す画像が表示部２６に表示される。具体的には、ステップＳＥ４において生成された画像データが、カラオケリモコン装置２の表示部２６に送信される。表示部２６は、受信した画像データが示す画像を表示する。

次に、実施形態の使用形態について、図８から図１９を参照して説明する。本使用形態としては、携帯端末１にインストールされたカラオケ指示操作プログラムが実行されている状況であって、携帯端末１によってカラオケリモコン装置２の画面が撮影される直前の状態から、携帯端末１からカラオケリモコン装置２に送信された変換位置座標（ＲＸ，ＲＹ）に基づいて、カラオケリモコン装置２の表示部２６に表示された画像が変化するまでの使用形態を説明する。

図８の（Ａ）は、接触操作を受け付けている状態のカラオケリモコン装置の画面を示す。

図８の（Ａ）に示すカラオケリモコン装置２の表示部２６は、カラオケ動作の指示を受け付けるため、ユーザが接触操作可能なボタン操作領域２００内に各種の画像を表示する。ボタン操作領域２００内に、歌手名検索ボタン２００−１、曲名検索ボタン２００−２、キーワード検索ボタン２００−３、ジャンル検索ボタン２００−４、ランキング検索ボタン２００−５、及びりれき検索ボタン２００−６が表示される。表示された何れかのボタンがユーザによって接触操作された場合、画面は各検索ボタンに関連付けられたページへ遷移する。ボタン操作領域２００を示す二点鎖線は、実際のカラオケリモコン装置２では表示されない。しかし、図８の（Ａ）において、ボタン操作領域２００を二点鎖線で、便宜上、図示する。

図８の（Ｂ）は、カラオケ指示プログラムが起動された直後の携帯端末１の画面を示す。携帯端末１の画面は、撮影枠１００、アドバイス画像１０１、スキャン開始画像１０２、及び基準点１０３を表示する。アドバイス画像１０１は、撮影枠１００内に表示される。スキャン開始画像１０２は、表示部１５の右上に表示される。基準点１０３は、撮影枠１００の最も左上に表示される。

アドバイス画像１０１は、撮影するときに注意する内容のメッセージである。図８の（Ｂ）においてメッセージは、「１．Please match the ● to ▲.２．Please put a target thing back in the frame．」である。

撮影枠１００、アドバイス画像１０１、スキャン開始画像１０２、及び基準点１０３が携帯端末１の画面に表示された直後に、携帯端末１のカメラ１２が起動される。なお、縦方向サイズＲＳ１ａと横方向サイズＲＳ２ａとを示す矢印付の線分は、実際の携帯端末１の画面には表示されない。しかし、図８の（Ｂ）において、縦方向サイズＲＳ１ａと横方向サイズＲＳ２ａとを矢印付の線分で、便宜上、図示する。

図９の（Ｂ）は、カメラ１２によって撮影する直前の携帯端末１の画面を示す図である。ユーザが撮影対象物であるカラオケリモコン装置２のボタン操作領域２００を撮影枠１００内に収める。撮影枠１００内にカラオケリモコン装置２のボタン操作領域２００が表示された状態においてユーザがスキャン開始画像１０２をタッチすると撮影枠１００内に表示された画像の撮影が実行される。実行された後は、携帯端末１の表示部１５に表示された撮影枠１００、アドバイス画像１０１、及びスキャン開始画像１０２の表示が終了される。

図１０は、カメラ１２によって撮影が実行された直後の、携帯端末１の画面を示す図である。携帯端末１の画面は、撮影画像６００を表示する。図９において、撮影枠１００の表示が終了されているが、図１０において、便宜上、撮影枠１００を図示する。

図１１は、カメラ１２によって撮影が実行された後の携帯端末１の画面を示す図である。携帯端末１の画面は、合成画像６０１を表示する。合成画像６０１は、撮影画像６００に含まれる文字と、撮影画像６００に含まれる文字を翻訳した翻訳文字とを合成した画像である。撮影画像６００に含まれる文字は、歌手文字１０４−１、曲名文字１０４−２、キーワード文字１０４−３、ジャンル文字１０４−４、ランキング文字１０４−５、及びりれき文字１０４−６である。撮影画像６００に含まれる文字を翻訳した翻訳文字は、Ｓｉｎｇｅｒ翻訳文字１０５−１、Ｓｏｎｇ翻訳文字１０５−２、Ｋｅｙｗａｏｒｄ翻訳文字１０５−３、Ｇｅｎｒｅ翻訳文字１０５−４、Ｒａｎｋｉｎｇ翻訳文字１０５−５、及びＨｉｓｔｏｒｙ翻訳文字１０５−６である。翻訳文字は、撮影画像６００に含まれる文字の近傍に表示される。図１１において、撮影枠１００を、便宜上、図示する。

図１２の（Ａ）は、ユーザに携帯端末１の画面をタッチされたことを示す図である。ユーザが合成画像６０１内のいずれかの位置をタッチペン３００によってタッチすると、タッチされた位置を示す位置座標１０７が生成される。図１２（Ａ）において、日本語にて「りれき」と表示されたりれき文字１０４−６と、英文字にて「Ｈｉｓｔｏｒｙ」と表示されたＨｉｓｔｏｒｙ１０５−６との近傍がタッチペン３００によって接触操作されると、表示部１５にて位置座標１０７が生成される。位置座標１０７は、実際の携帯端末１では表示されない。しかし、図１２の（Ａ）において、便宜上、位置座標１０７を図示する。

図１２の（Ｂ）は、変換位置座標２１０を説明する図である。位置座標１０７をカラオケリモコン装置端末２の画面の座標に変換した変換位置座標（ＲＸ，ＲＹ）が、図４のステップＳＣ１４において生成される。変換位置座標（ＲＸ，ＲＹ）は、図１２の（Ｂ）において、りれき検索ボタン２００―６内の座標に相当する変換位置座標２１０である。変換位置座標２１０は、実際のカラオケリモコン装置２では表示されない。しかし、図１２の（Ｂ）において、便宜上、変換位置座標２１０を図示する。

図１３の（Ａ）は、変換位置座標２１０に基づいて、カラオケリモコン装置２の画面が変化した直後の状態を示す図である。カラオケリモコン装置２の画面は、楽曲一覧表２０１と基準点２０２とを表示する。楽曲一覧表２０１は、楽曲名とアーティスト名とを一行に表示する。楽曲一覧表２０１は、曲名「ＳＫＹ」、アーティスト名「ＩＮＡＢＡかすみ」を表示する楽曲２０３−１と、曲名「海」、アーティスト名「ＭＡＪＵ」を表示する楽曲２０３−２と、曲名「やま」、アーティスト名「西よしお」を表示する楽曲２０３−３と、曲名「靴」、アーティスト名「かしまり」を表示する楽曲２０３−４と、曲名「森」、アーティスト名「ＲＩＲＩＫＡ」を表示する楽曲２０３−５とである。楽曲２０３−１、楽曲２０３−２、楽曲２０３−３、楽曲２０３−４、及び楽曲２０３−５の表示領域は、ユーザによって接触操作が可能である。楽曲２０３−１、楽曲２０３−２、楽曲２０３−３、楽曲２０３−４、及び楽曲２０３−５の表示領域のいずれかがユーザによって接触操作された場合、画面は当該楽曲を予約するページに遷移する。基準点２０２は、カラオケリモコン装置２の画面の最も左上に表示される。楽曲一覧表２０１を示す二点鎖線は、実際のカラオケリモコン装置２では表示されない。しかし、図１３の（Ａ）において、楽曲一覧表２０１を説明するため、便宜上、二点鎖線を図示する。

図１３の（Ｂ）は、図８の（Ｂ）と同様のため、その説明を省略する。

図１４は、カメラ１２によって撮影が実行された後の携帯端末１の画面を示す図である。携帯端末１の画面は、合成画像６０２を表示する。合成画像６０２は、撮影画像に含まれる文字と、撮影画像に含まれる文字を翻訳した翻訳文字とを合成した画像である。撮影画像に含まれる文字は、ＳＫＹ文字１０７−１、海文字１０７−２、山文字１０７−３、靴文字１０７−４、森文字１０７−５、ＩＮＡＢＡかずみ文字１０７−６、ＭＡＪＵ文字１０７−７、西よしお文字１０７−８、かしまり文字１０７−９、及びＲＩＲＩＫＡ文字１０７−１０である。撮影画像に含まれる文字を翻訳した翻訳文字は、Ｓｋｙ翻訳文字１０８−１、Ｓｅａ翻訳文字１０８−２、Ｍｏｕｎｔａｉｎ翻訳文字１０８−３、Ｓｈｏｅｓ翻訳文字１０８−４、Ｆｏｒｅｓｔ翻訳文字１０８−５、Ｉｎａｂａｋａｚｕｍｉ翻訳文字１０８−６、Ｍａｊｕ翻訳文字１０８−７、ＮｉｓｈｉＹｏｓｈｉｏ翻訳文字１０８−８、Ｋａｓｈｉｍａｒｉ翻訳文字１０８−９、及びＲｉｒｉｋａ翻訳文字１０８−１０である。翻訳文字は、撮影画像１０３に含まれる文字の近傍に表示される。撮影枠１００を示す破線は、実際の携帯端末１では表示されない。しかし、図１４において、撮影枠１００を示す破線を、便宜上、図示する。

図１５は、ユーザによって携帯端末１の画面がタッチされたことを示す図である。ユーザが合成画像６０２内のいずれかの位置をタッチペン３００によってタッチすると、タッチされた位置を示す位置座標１１０が生成される。図１５において、英文字にて「Ｓｅａ」と表示されたＳｅａ翻訳文字１０８−２と、英文字にて「ＭＡＪＵ」と表示された文字１０７−７との近傍がタッチペン３００によって接触操作されると表示部１５にて位置座標１１０が生成される。位置座標１１０は、実際の携帯端末１では表示されない。しかし、図１５において、便宜上、位置座標１１０を図示する。

図１６の（Ａ）は、変換位置座標に基づいて、カラオケリモコン装置２の画面が変化した直後の状態を示す図である。カラオケリモコン装置２の画面は、楽曲予約画面２０４と、基準点２０２とを表示する。楽曲予約画面２０４は、アーティスト名２０５と、楽曲名２０６と、戻るボタン２０７と、キー変更ボタン２０８と、予約ボタン２０９とを含む。アーティスト名２０５は、楽曲一覧表２０１において選択された楽曲２０３−２のアーティストの名前「ＭＡＪＵ」である。曲名２０６は、楽曲一覧表２０１において選択された楽曲２０３−２の楽曲名「海」である。戻るボタン２０７、キー変更ボタン２０８、及び予約ボタン２０９は、ユーザによって接触操作が可能である。戻るボタン２０７は、ユーザによって接触操作されると、図１６の（Ａ）に示す画面は、楽曲予約画面２０４が表示される１つ前に表示された画面に移行する。キー変更ボタン２０８は、ユーザによって接触操作されると、図１６の（Ａ）に示す画面は、楽曲の音高を設定する画面に移行する。予約ボタン２０９は、ユーザによって接触操作されると、図１６の（Ａ）に示す画面は、表示している楽曲の選曲番号がカラオケ装置３に送信される処理が実行された後に、図１９の（Ａ）に示す画面に移行する。基準点２０２は、カラオケリモコン装置２の画面の最も左上に表示される。楽曲予約画面２０４を示す二点鎖線は、実際のカラオケリモコン装置２では表示されない。しかし、図１６の（Ａ）において、便宜上、楽曲予約画面２０４を図示する。

図１６の（Ｂ）は、図８の（Ｂ）と図１３の（Ｂ）と同様のため、その説明を省略する。

図１７は、カメラ１２によって撮影が実行された後の携帯端末１の画面を示す図である。携帯端末１の画面は、合成画像６０３を表示する。合成画像６０３は、撮影画像に含まれる文字と、撮影画像に含まれる文字を翻訳した翻訳文字とを合成した画像である。撮影画像に含まれる文字は、歌手名文字１１１−１、ＭＡＪＵ文字１１１−２、曲名文字１１１−３、海文字１１１−４、戻る文字１１１−５、キー変更文字１１１−６、及び予約文字１１１−７である。撮影画像に含まれる文字を翻訳した翻訳文字は、Ｓｉｎｇｅｒ翻訳文字１１２−１、Ｍａｊｕ翻訳文字１１２−２、Ｓｏｎｇ翻訳文字１１２−３、Ｓｅａ翻訳文字１１２−４、Ｒｅｔｕｒｎ翻訳文字１１２−５、Ｋｅｙ Ｃｈａｎｇｅ翻訳文字１１２−６、及びＲｅｓｅｒｖａｔｉｏｎ翻訳文字１１２−７である。翻訳文字は、撮影画像に含まれる文字の近傍に表示される。撮影枠１００を示す破線は、実際の携帯端末１では表示されない。しかし、図１７において、撮影枠１００を示す破線を、便宜上、図示する。

図１８は、ユーザによって携帯端末１の画面がタッチされたことを示す図である。ユーザが合成画像６０３内のいずれかの位置をタッチペン３００によってタッチすると、タッチされた位置を示す位置座標１１４が生成される。図１８において、日本語にて「予約」と表示された予約文字１１１−７と、英文字にて「Ｒｅｓｅｒｖａｔｉｏｎ」と表示されたＲｅｓｅｒｖａｔｉｏｎ１１２−７との近傍がタッチペン３００によって接触操作されると、表示部１５にて予約ボタン２０９の位置座標１１４が生成される。位置座標１１４は、実際の携帯端末１では表示されない。しかし、図１８において、便宜上、位置座標１１４を図示する。

図１９の（Ａ）は、予約ボタン２０９に関する変換位置座標に基づいて、カラオケリモコン装置２の画面が変化した直後の状態を示す図である。カラオケリモコン装置２の画面は、予約完了通知のテキスト画像２１０を表示する。テキスト画像２１０は、「予約が完了しました」である。テキスト画像２１０は、楽曲名「海」の選曲番号がカラオケリモコン装置２からカラオケ装置３に送信されたことを表す。

図１９の（Ｂ）は、図８の（Ｂ）、図１３の（Ｂ）、及び図１６の（Ｂ）と同様のため、その説明を省略する。

＜実施形態の効果＞
本実施形態によれば、図４のステップＳＣ８において、撮影画像データに含まれる文字データと翻訳文字データとが近接した位置に表示される合成画像を示す合成画像データが生成される。この結果、ユーザは、翻訳された文字と翻訳されていない文字との関係性を一目で理解することが出来、カラオケリモコン装置に表示される内容を正しく理解して接触操作することが出来るため、操作間違いを低減することができる。

また、本実施形態によれば、図４のステップＳＣ１において、携帯端末１の画面サイズとカラオケリモコン装置２の画面サイズとに基づいて、縮小比率が算出される。算出された縮小比率に基づいて、撮影枠が生成される。つまり、生成される撮影枠は、カラオケリモコン装置２の画面サイズを縮小した形状となる。よって、携帯端末１は、携帯端末１の画面の撮影枠内に表示された撮影画像がユーザによって接触操作された接触位置座標を、正確に変換位置座標へ変換することが出来る。

また、本実施形態によれば、図２及び図３に示す処理によって、ユーザは、カラオケリモコン装置２に表示されたバーコードを携帯端末１の撮像手段によって撮影するだけで、携帯端末１とカラオケリモコン装置２とを関連付けることが出来る。携帯端末１とカラオケリモコン装置２とを関連付けることによって、携帯端末１でカラオケリモコン装置２を操作することが可能となる。ユーザは、携帯端末１を使用してカラオケリモコン装置２を操作する場合、ユーザがバーコードの撮影の実行を指示するだけで、簡単に、且つ、確実に、カラオケリモコン装置２とカラオケリモコン装置２に指示をする携帯端末１とを関連付けることが出来る。また、ユーザは、複数の携帯端末があっても、バーコードを撮影することによってカラオケリモコン装置２と複数の携帯端末とを簡便に関連付けすることが出来る。

また、本実施形態によれば、カラオケ装置３は、カラオケリモコン装置２の接触操作と、携帯端末１の接触操作とをそれぞれ受け付けることが出来できる。カラオケリモコン装置２の接触操作と、携帯端末１の接触操作との夫々から接触操作を受付ける際、ユーザは、使用する携帯端末１とカラオケリモコン装置２との間での切替作業を行う必要がない。カラオケリモコン装置２は、図６のステップＳＥ１及びステップＳＥ２において、カラオケリモコン装置２が直接操作された接触操作信号か否かの判断と、携帯端末１から送信された変換位置座標か否かの判断とをそれぞれ実行するため、ユーザは、面倒な切替作業を気にせず、カラオケリモコン装置２と携帯端末１とを接触操作することが出来る。

＜実施形態の構成と本発明の構成との対応関係＞
操作部１４と表示部２５との組み合わせは、本発明の入力表示手段の一例である。カメラ１２は、本発明の撮影手段の一例である。制御部１０と図４のステップＳＣ４との組み合わせは、本発明の撮影ステップの一例である。制御部１０と図４のステップＳＣ５との組み合わせは、本発明の文字抽出ステップの一例である。制御部１０と、図４のステップＳＣ６、およびステップＳＣ７との組み合わせは、本発明の翻訳文字取得ステップの一例である。制御部１０と図４のステップＳＣ８との組み合わせは、本発明の画像生成ステップの一例である。制御部１０と図４のステップＳＣ９との組み合わせは、本発明の表示制御ステップの一例である。制御部１０と図４のステップＳＣ１０との組み合わせは、本発明の検出ステップの一例である。制御部１０と図４のステップＳＣ１２との組み合わせは、本発明の操作座標生成ステップの一例である。制御部１０と、図３のステップＳＢ５、図５のステップＳＤ１、ＳＤ２、および図４のステップＳＣ１４との組み合わせは、本発明の指示座標決定ステップの一例である。制御部１０と図４のステップＳＣ１５との組み合わせは、本発明の座標送信ステップの一例である。

図１０に示す撮影画像６００を示す撮影画像データは、本発明の撮影画像データの一例である。図１１に示す合成画像６０１に含まれる、歌手文字１０４−１、曲名文字１０４−２、キーワード文字１０４−３、ジャンル文字１０４−４、ランキング文字１０４−５、及びりれき文字１０４−６のデータは、本発明の抽出された文字データの一例である。図１１に示す合成画像６０１に含まれる、Ｓｉｎｇｅｒ翻訳文字１０５−１、Ｓｏｎｇ翻訳文字１０５−２、Ｋｅｙｗａｏｒｄ翻訳文字１０５−３、Ｇｅｎｒｅ翻訳文字１０５−４、Ｒａｎｋｉｎｇ翻訳文字１０５−５、及びＨｉｓｔｏｒｙ翻訳文字１０５−６のデータは、本発明の翻訳文字データの一例である。図１１に示す合成画像６０１を示す合成画像データは、本発明の合成画像データの一例である。図１２の（Ａ）に示す位置座標１０７は、本発明の操作位置座標の一例である。図１２の（Ｂ）に示す変換位置座標２１０は、本発明の変換位置座標の一例である。

記憶部１６は、本発明の記憶手段の一例である。制御部１０と、図３のステップＳＢ５とは、本発明のカラオケリモコンデータ受信ステップの一例である。制御部１０と、図５のステップＳＤ１とは、本発明の第１画面サイズ読出ステップの一例である。制御部１０と、図５のステップＳＤ２とは、本発明の比率算出ステップの一例である。制御部１０と、図４のステップＳＣ１４とは、位置座標変換ステップの一例である。

図７の（Ｂ）に示す縦方向サイズＰＳ１と横方向サイズＰＳ２とのデータは、本発明の第１画面サイズデータである。図７の（Ａ）に示す縦方向サイズＲＳ１と横方向サイズＲＳ２とのデータは、本発明の第２画面サイズデータである。

＜変形例＞
本発明の実施形態について以上説明したが、本発明の趣旨を逸脱しない範囲において当業者であれば種々の変形を加えることが出来る。

本実施形態において、縮小比率の算出の一例として、図５のステップＳＤ２及びステップＳＤ３の処理を挙げている。携帯端末１の第１画面サイズと、カラオケリモコン装置２の第２画面サイズとに基づいて縮小比率が算出される。この実施形態に代えて、第１画面サイズに基づいて、複数の縮小比率の中から１つの縮小比率が決定されても良い。複数の縮小比率は、複数の第１画面サイズの縦横の長さのそれぞれと関連付けられてカラオケ指示プログラムに含まれている。携帯端末１の第１画面サイズの縦横の長さに基づいて、複数の縮小比率の中から１つの縮小比率が決定されても良い。

本実施形態において、縮小比率の算出の一例として、図５のステップＳＤ２及びステップＳＤ３の処理を挙げている。携帯端末１の第１画面サイズと、カラオケリモコン装置２の第２画面サイズとに基づいて縮小比率が算出される。この実施形態に代えて、携帯端末１の第１画面サイズと撮影画像とに基づいて縮小比率が算出されても良い。縮小比率は、カメラ１２によって撮影された撮影画像の縦横比と、携帯端末１の第１画面サイズの縦横比とに基づいて、縮小比率が算出されても良い。

本実施形態において、撮像画像と翻訳文字とが合成された合成画像の一例として、図１１に示す合成画像６０１を挙げている。合成画像６０１は、撮影画像から抽出された日本語と、抽出された日本語を携帯端末１に設定された言語である英語に翻訳された翻訳文字とを合成した画像である。この実施形態に代えて、抽出された文字は種々の言語であっても良い。撮影画像に含まれる文字の言語は、英語、中国語、韓国語、フランス語など世界各国の言語であっても良い。携帯端末１は、撮影画像に含まれる文字の言語を決定して、携帯端末１に設定された言語に翻訳する。例えば、撮影画像に含まれる文字の言語が英語である場合であって、携帯端末１に設定された言語が日本語である場合、抽出された英語を日本語に翻訳する。翻訳された日本語と撮影画像とを合成した合成画像が表示されても良い。

本実施形態において、翻訳文字取得ステップの一例として図４のステップＳＣ６とステップＳＣ７との処理を挙げている。撮影画像に含まれる文字データと携帯端末１に設定され言語を示す言語データとが翻訳サーバ６に送信され、携帯端末１は翻訳サーバ６から翻訳文字データを取得する。この実施形態に代えて、携帯端末１にて抽出された文字が翻訳されても良い。この場合、携帯端末１の記憶部１６には、多言語の単語データベースと多言語翻訳機能プログラムとが予め記憶されている。抽出された文字は、携帯端末１の記憶部１６に記憶された多言語の単語データベースと多言語翻訳機能プログラムとによって、携帯端末１に設定されている言語に翻訳されても良い。

本実施形態において、合成画像の一例として図１１に示す合成画像６０１を挙げている。合成画像６０１は、撮像画像と翻訳文字とが合成された合成画像である。この実施形態に代えて、携帯端末１に設定された言語に翻訳された翻訳文字のみが表示されても良い。撮像画像に含まれる文字の携帯端末１の表示部１５における座標（Ｘ，Ｙ）に、携帯端末１に設定された言語に翻訳された翻訳文字のみが表示されても良い。

本実施形態において、操作位置座標の一例として、図１２の（Ａ）に示す位置座標１０７を挙げている。位置座標１０７は、基準点１０３を基準にし、座標が決定される。この実施形態に代えて、表示部１５の中心、右上、右下、左下を基準にして、操作位置座標が決定されても良い。

本実施形態において、撮影画像の一例として、図１０に示す撮影画像６００を挙げている。撮影画像６００は、カメラ１２によって撮影が実行されたことによって撮影された静止画である。この実施形態に代えて、カメラ１２によって撮影される動画であってもよい。動画は、図９の（Ｂ）に示すスキャン開始画像１０２がユーザによって接触操作されると、カメラ１２によって動画の撮影が開始されても良い。動画の撮影が開始された場合、所定時間毎に動画に文字が含まれるか否かが判断される。動画に文字が含まれると判断された場合、動画に含まれる文字の文字データが携帯端末１から翻訳サーバ６に送信されても良い。

本実施形態において、入力表示手段に表示される画面の一例として楽曲を検索するための画面が図８に示される。この実施形態に代えて、楽曲の種々の調整量の設定、及び各種モードの設定を表す画面を表示しても良い。楽曲の種々の調整量は、楽曲に種々の効果を設定するエコー、楽曲に種々の効果音を設定する効果音、ユーザの声質を変更させるボイスエフェクトを設定する画面でも良い。各種モードの設定は、カラオケリモコン装置２において遊べるゲームの設定、ユーザの歌唱を採点する採点モードの設定、及びユーザが楽器を演奏した演奏音を出力させる楽器演奏モードの設定であっても良い。

本実施形態において、検出ステップの一例として図４のステップＳＣ１０の処理を挙げている。表示部１５のタッチパネルの上部基板と下部基板部とが接触するたびに、接触位置を示す位置座標（ＳＸ，ＳＹ）がタッチパネルにより生成され、タッチパネルから位置座標（ＳＸ，ＳＹ）が制御部１０に送信される。表示部１５の構成は、一般に抵抗膜方式と言われる。本抵抗膜方式は、透明抵抗膜が設けられた素材が透明導電膜間に貼りあわせてあり、タッチペン等でタッチされた時、透明導電膜同士が接触することによってタッチパネルへの入力が行われる。この実施形態に代えて、静電容量方式、超音波表面弾性方式、赤外線光学イメージング方式、及び電磁誘導方式といった、別のタッチパネルの方式を採用してもよい。例えば、静電容量方式は、一方のガラスにＸ電極を、もう一方のガラスにＹ電極がコーティングされてあり、指が電極に近づくと、指と電極間に容量結合が発生し、電極間の容量が大きくなる。そしてどこの電極間で容量値が大きくなっているのかを調べて、タッチしている位置座標を検出する。

本実施形態において、撮影枠データの生成の一例として図５のステップＳＤ４の処理を挙げている。第１画面サイズデータと縮小比率とに基づいて、縦方向サイズＲＳ１と横方向サイズＲＳ２とが算出される。算出される縦方向サイズＲＳ１または横方向サイズＲＳ２に基づいて、撮影枠データが生成される。この実施形態に代えて、第１画面サイズデータに基づいて、予め用意された複数の撮影枠データの中から１つが決定されても良い。複数の撮影枠データは、複数の第１画面サイズの縦横の長さのそれぞれと関連付けられてカラオケ指示プログラムに含まれている。携帯端末１の第１画面サイズの縦横の長さに基づいて、複数の撮影枠データの中から１つの撮影枠データが決定されても良い。

本実施形態において、撮影枠データが図４のステップＳＣ１において生成される。第１画面サイズデータと縮小比率とに基づいて、縦方向サイズＲＳ１と横方向サイズＲＳ２とが算出される。算出される縦方向サイズＲＳ１または横方向サイズＲＳ２に基づいて、撮影枠データが生成される。この実施形態に代えて、撮影枠データが生成されなくても良い。携帯端末１の表示部１５には基準点１０３と、アドバイス画像１０１と、スキャン開始画像１０２とのみが表示されても良い。この場合、基準点１０３は携帯端末１の画面の最も左上に表示されても良い。

本実施形態において、通信許可プログラムの一例として、図２及び図３の処理を挙げている。ユーザが、携帯端末１の表示部１５のタッチパネル、またはカラオケリモコン装置２の表示部２６のタッチパネル２５を操作すると、図２及び図３に示す一連のステップの処理が開始される。この実施形態に代えて、ユーザによってカラオケ指示操作モードの実行指示がされた際に、図２及び図３の処理が実行されても良い。ユーザが、携帯端末１の表示部１５を操作して。カラオケ指示操作モードの実行指示をした際、通信許可プログラムが実行される。通信許可プログラムが実行された後、カラオケ指示操作プログラムが実行される。また、通信許可プログラムが終了された場合、カラオケ指示操作プログラムの処理が終了されても良い。

１…携帯端末、２Ａ、２Ｂ…カラオケリモコン装置、３…カラオケ装置、５…サーバ装置、６…翻訳サーバ、１０…制御部、１１…近距離通信部、１２…カメラ、１３…マイク、１４…操作部、１５…表示部、１６…記憶部、１７…無線通信部、２０…制御部、２１…近距離通信部、２２…操作部、２３…赤外線通信部、２４…ＬＡＮ通信部、２５…タッチパネル、２６…表示部、２７…記憶部、３０…制御部、３１…操作部、３２…赤外線通信部、３３…記憶部、３４…音声入出力部、３５…ＬＡＮ通信部、４０…モニタ、４１…マイク、４２…スピーカー、５０…制御部、５１…ＬＡＮ通信部、５２…記憶部、４００…ＬＡＮ、４１０…アクセスポイント、４２０…ルータ、４３０…インターネット

Claims (3)

1. カラオケリモコン装置と通信可能な携帯端末であって、接触操作可能なタッチパネルを含む入力表示手段と撮影手段とを備える携帯端末のコンピュータに、実行させるプログラムであって、
   前記カラオケリモコン装置に表示された画面を前記撮影手段によって撮影させる撮影ステップと、
   前記撮影手段によって撮影された撮影画像データに含まれる文字を示す文字データを抽出する文字抽出ステップと、
   前記抽出された文字データが前記携帯端末に設定された言語に翻訳された翻訳文字データを取得する翻訳文字取得ステップと、
   前記翻訳文字データと前記撮影画像データとを合成し合成画像データを生成する画像生成ステップと、
   前記合成画像データを、前記入力表示手段に表示させる表示制御ステップと、
   前記入力表示手段への接触操作を検出する検出ステップと、
   前記検出ステップにより検出された接触操作の操作位置座標を生成する操作座標生成ステップと、
   前記操作位置座標に基づいて、前記カラオケリモコン装置に表示された画面における指示位置座標を決定する指示座標決定ステップと、
   前記指示座標決定ステップによって決定される指示位置座標をカラオケリモコン装置に送信する座標送信ステップと、
   を前記携帯端末のコンピュータに実行させることを特徴とするカラオケ指示操作プログラム。
2. 前記携帯端末は、前記携帯端末の画面サイズを示す第１画面サイズデータを記憶する記憶手段を備え、
   前記指示座標決定ステップは、
   前記カラオケリモコン装置の画面サイズを示す第２画面サイズデータを前記カラオケリモコン装置から受信するカラオケリモコンデータ受信ステップと、
   前記第１画面サイズデータを前記携帯端末の記憶手段から読み出す第１画面サイズ読出ステップと、
   前記第２画面サイズデータと前記第１画面サイズデータとに基づいて、画面サイズ比率を算出する比率算出ステップと、
   前記操作座標生成ステップにより生成された前記操作位置座標を、前記画面サイズ比率に基づいて変換位置座標に変換する位置座標変換ステップと、を含み、
   前記座標送信ステップは、前記指示位置座標として前記変換位置座標を前記カラオケリモコン装置に送信する
   ことを特徴とする請求項１に記載のカラオケ指示操作プログラム。
3. 前記携帯端末は、前記文字データを前記携帯端末に設定された言語に翻訳する翻訳サーバと通信可能であり、
   前記翻訳サーバに前記文字データと前記携帯端末に設定された言語を示す言語データとを送信する言語送信ステップと、
   前記翻訳サーバから前記翻訳文字データを受信する翻訳受信ステップと、
   を前記携帯端末のコンピュータに実行させることを特徴とする請求項１又は請求項２に記載のカラオケ指示操作プログラム。
   
   

Images