JP6608754B2 - カラオケ指示操作プログラム、カラオケ指示操作システム、および、カラオケ指示操作装置 - Google Patents

Description

本発明は、カラオケ装置の指示操作を行うためのプログラム、そのプログラムを記憶した記憶媒体、カラオケ指示操作装置に関し、特に、カラオケリモコン装置に用いられている表示言語と異なる言語にて携帯端末からカラオケ指示操作を可能とする技術に関する。

カラオケリモコン装置を用いた遠隔的な操作により、多数の楽曲のうちから選択された所定の楽曲を出力させるカラオケ装置が知られている。このカラオケリモコン装置は、表示部を備え、カラオケルームにおいて表示部に所定の画像を表示させた状態で利用者の接触入力操作を受け付ける。たとえば特許文献１に記載された電子早見本装置がそれである。

上記のようなカラオケリモコン装置は、カラオケルームに設置されている専用に設けられているものであるが、その他に、スマートフォン、タブレット型端末装置等に代表される携帯端末（携帯型情報通信端末装置）でカラオケ装置を遠隔操作するために、その携帯端末に各種ソフトウェアを入れてカラオケリモコン装置として機能させるものが知られている。たとえば、特許文献２に記載されたネットワークカラオケシステムがそれである。このように、携帯端末に各種ソフトウェアを入れて、その携帯端末をカラオケリモコン装置として機能させる場合においては、その携帯端末の表示部に所定の日本語表記を含む画像を表示させることで、利用者のタッチ入力操作を受け付けるようになっている。

ところで、日本語以外の言語を使用するユーザはカラオケリモコン装置の表示部に表示された日本語表記を理解できない。このため、たとえば特許文献３に記載されているような撮像装置を用いて、カラオケリモコン装置の表示部に表示された日本語表記を撮像し、撮像された撮像画像から文字を抽出し、抽出した文字が翻訳された翻訳文字を撮像装置の画面に表示させ、表示された翻訳文字を見ることによって、日本語以外の言語を使用するユーザは、カラオケリモコン装置の画面に日本語にて表示された機能を理解することができる。

特開２００６−０１１１９２号公報 特開２０１４−０７７９２８号公報 特開２００８−０５４２３６号公報

上記の日本語以外の言語を使用するユーザは、撮像装置の画面に表示された翻訳文字に基づいてカラオケリモコン装置の表示部に表示された各機能を理解する。各機能を理解した上で、カラオケリモコン装置の表示部に表示された所望の機能を、日本語にて表示された部位を操作することによって、カラオケ装置を操作する。このため、日本語以外の言語を使用するユーザは、撮像装置の画面に表示された翻訳文字とカラオケリモコン装置の表示部に表示された日本語とを対比させ、カラオケリモコン装置に日本語にて表示された画面内の入力操作領域を操作する必要があるので、操作間違いが発生する可能性があった。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、日本語以外の言語を使用するユーザでも、間違いなく簡単にカラオケ装置をリモコン操作できる、カラオケ指示操作プログラム、カラオケ指示操作システム、および、カラオケ指示操作装置を提供することにある。

第１発明の要旨とするところは、（ａ）カラー画像表示および接触による入力操作が可能な表示部と撮像装置とを備え、カラオケリモコン装置と通信可能な携帯端末、のコンピュータを、（ｂ）前記カラオケリモコン装置に表示された画面を前記撮像装置により撮像させる撮像手段、（ｃ）前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段、（ｄ）前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字取得手段、（ｅ）前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段、（ｆ）前記カラー合成画像を前記表示部に表示させる合成画像表示手段、（ｇ）前記表示部への接触操作位置を検出する操作位置検出手段、（ｈ）前記表示部に表示された前記カラー合成画像のうち前記操作位置検出手段により検出された前記接触操作位置の色彩を検出する色彩検出手段、および（ｉ）前記色彩検出手段により検出された前記接触操作位置の色彩を表す色彩情報を前記カラオケリモコン装置に送信する送信手段として機能させるための携帯端末のカラオケ指示操作プログラムにある。

第２発明の要旨とするところは、（ａ）カラー画像表示および接触による入力操作が可能な表示部と撮像装置とを備え、カラオケリモコン装置と通信可能な携帯端末、のコンピュータを、（ｂ）前記カラオケリモコン装置に表示された画面を前記撮像装置により撮像させる撮像手段、（ｃ）前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段、（ｄ）前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字取得手段、（ｅ）前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段、（ｆ）前記カラー合成画像を前記表示部に表示させる合成画像表示手段、（ｇ）前記表示部への接触操作位置を検出する操作位置検出手段、（ｈ）前記表示部に表示された前記カラー合成画像のうち前記操作位置検出手段により検出された前記接触操作位置の色彩を検出する色彩検出手段、（ｉ）前記色彩検出手段により検出された前記色彩に基づいて、前記カラオケリモコン装置に表示された画面における入力操作領域を決定する操作領域決定手段、および、（ｊ）前記操作領域決定手段により決定された前記入力操作領域を前記カラオケリモコン装置に送信する送信手段として機能させるための携帯端末のカラオケ指示操作プログラムにある。

第３発明の要旨とするところは、（ｋ）前記携帯端末は、前記抽出された文字を前記携帯端末に設定された言語に翻訳する翻訳サーバと通信可能であり、前記携帯端末のコンピュータを、さらに、（ｌ）前記抽出された文字と前記携帯端末に設定された言語とを、前記翻訳サーバに送信する文字送信手段、および（ｍ）前記翻訳サーバから前記翻訳文字を受信する翻訳受信手段として機能させることにある。

第４発明の要旨とするところは、（Ａ）カラオケリモコン装置と通信可能な携帯端末と、前記カラオケリモコン装置とが通信を介して接続されて情報伝達を行うカラオケの指示操作システムであって、（Ｂ）前記携帯端末は、（ａ）カラー画像の表示および接触操作による入力操作が可能な表示部および撮像装置と、（ｂ）前記カラオケリモコン装置に表示された入力操作領域を含む画面を前記撮像装置により撮像させる撮像手段と、（ｃ）前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段と、（ｄ）前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字取得手段と、（ｅ）前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段と、（ｆ）前記カラー合成画像を前記表示部に表示させる画像表示手段と、（ｇ）前記表示部への接触操作位置を検出する操作位置検出手段と、（ｈ）前記検出された接触操作位置の色彩を検出する色彩検出手段と、（ｉ）前記色彩検出手段により検出された色彩を表す色彩情報を前記カラオケリモコン装置に送信する送信手段とを、備え、（Ｃ）前記カラオケリモコン装置は、（ｊ）カラー画像を表示可能な表示手段と、（ｋ）前記色彩情報を受信する色彩受信手段と、（ｌ）前記色彩受信手段により受信された色彩情報に基づいて、前記入力操作領域を含む画面における前記入力操作領域を決定する領域決定手段とを、備えることにある。

第５発明の要旨とするところは、（ａ）カラー画像表示および接触による入力操作が可能な表示部と撮像装置とを備え、カラオケリモコン装置と通信可能な携帯端末を用いたカラオケ指示操作装置であって、（ｂ）前記カラオケリモコン装置に表示された入力操作領域を含む画面を前記撮像装置により撮像させる撮像手段と、（ｃ）前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段と、（ｄ）前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字手得手段と、（ｅ）前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段と、（ｆ）前記カラー合成画像を表示部に表示させる合成画像表示手段と、（ｇ）前記表示部への接触操作位置を検出する操作位置検出手段と、（ｈ）前記表示部に表示された前記カラー合成画像のうち、前記操作位置検出手段により検出された接触操作位置の色彩を検出する色彩検出手段と、（ｉ）前記色彩検出手段により検出された色彩を表す色彩情報または前記色彩情報に基づいて決定される入力操作領域を表す入力操作領域情報を前記カラオケリモコン装置へ送信する送信手段とを、含むことにある。

第１発明によれば、文字抽出手段により撮像手段により撮像されたカラー撮像画像に含まれる文字が抽出され、翻訳文字取得手段により前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字が取得され、合成画像生成手段によって生成された前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像が、合成画像表示手段により前記表示部に表示され、前記表示部に表示されたカラー合成画像のうち操作位置検出手段により検出された接触操作位置の色彩が色彩検出手段により検出され、色彩検出手段により検出された前記接触操作位置の色彩を表す色彩情報が送信手段によってカラオケリモコン装置に送信される。これにより、日本語以外の言語を使用するユーザは、表示部に表示されたカラー合成画像内において翻訳文字で表される機能にしたがってタッチ入力操作を行うことにより、間違いがなく簡単にカラオケ装置を操作できる。

第２発明によれば、文字抽出手段により撮像手段により撮像されたカラー撮像画像に含まれる文字が抽出され、翻訳文字取得手段により前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字が取得され、合成画像生成手段によって生成された前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像が、合成画像表示手段により前記表示部に表示され、前記表示部に表示されたカラー合成画像のうち操作位置検出手段により検出された接触操作位置の色彩が色彩検出手段により検出され、検出された色彩に基づいて、前記カラオケリモコン装置に表示された画面における入力操作領域が操作領域決定手段により決定され、決定された入力操作領域が送信手段により前記カラオケリモコン装置に送信される。これにより、日本語以外の言語を使用するユーザは、表示部に表示されたカラー合成画像内において翻訳文字で表される機能にしたがってタッチ入力操作を行うことにより、間違いがなく簡単にカラオケ装置を操作できる。

第３発明の要旨とするところは、前記携帯端末は、前記抽出された文字を前記携帯端末に設定された言語に翻訳する翻訳サーバと通信可能であり、前記携帯端末のコンピュータを、さらに、前記抽出された文字と前記携帯端末に設定された言語とを、前記翻訳サーバに送信する文字送信手段、および前記翻訳サーバから前記翻訳文字を受信する翻訳受信手段として機能させることから、携帯端末内に翻訳ソフトを内蔵する必要がなく、携帯端末の構成が小型且つ簡単となる。

第４発明によれば、携帯端末においては、文字抽出手段により撮像手段により撮像されたカラー撮像画像に含まれる文字が抽出され、翻訳文字取得手段により前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字が取得され、合成画像生成手段によって生成された前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像が、合成画像表示手段により前記表示部に表示され、前記表示部に表示されたカラー合成画像のうち操作位置検出手段により検出された接触操作位置の色彩が色彩検出手段によりを検出され、色彩検出手段により検出された前記接触操作位置の色彩を表す色彩情報が送信手段によって前記カラオケリモコン装置に送信される。また、カラオケリモコン装置においては、色彩受信手段により受信された色彩情報に基づいて、表示手段に表示されるカラー画像内で、領域決定手段により入力操作領域が決定される。これにより、日本語以外の言語を使用するユーザは、表示部に表示されたカラー合成画像内において翻訳文字で表される機能にしたがってタッチ入力操作を行うことにより、間違いがなく簡単にカラオケ装置を操作できる。

第５発明によれば、文字抽出手段により撮像手段により撮像されたカラー撮像画像に含まれる文字が抽出され、翻訳文字取得手段により前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字が取得され、画像生成手段によって生成された前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像が、合成画像表示手段により前記表示部に表示され、前記表示部に表示されたカラー合成画像のうち操作位置検出手段により検出された接触操作位置の色彩が色彩検出手段によりを検出され、色彩検出手段により検出された前記接触操作位置の色彩を表す色彩情報が送信手段によって前記カラオケリモコン装置に送信される。これにより、日本語以外の言語を使用するユーザは、表示部に表示されたカラー合成画像内において翻訳文字で表される機能にしたがってタッチ入力操作を行うことにより、間違いがなく簡単にカラオケ装置を操作できる。

本発明が適用されるカラオケシステムの構成の一例を示す図である。 図１のカラオケシステムに備えられたカラオケ装置の構成を示すブロック線図である。 図１のカラオケシステムに備えられたサーバ装置の構成を示すブロック線図である。 図１のカラオケシステムに備えられた翻訳サーバの構成を示すブロック線図である。 図１のカラオケシステムに備えられたカラオケリモコン装置の構成を示すブロック線図である。 図１のカラオケシステムに用いられる携帯端末の構成を示すブロック線図である。 図６の携帯端末のコンピュータに備えられた制御機能の要部を説明する機能ブロック線図である。 携帯端末による撮像前の、図５のカラオケリモコン装置に表示された入力画面と図７の携帯端末の表示画面との関係を説明する図であって、（ａ）はカラオケリモコン装置の表示画面を示し、（ｂ）は携帯端末の表示画面を示している。 携帯端末による撮像後の、図５のカラオケリモコン装置に表示された初期入力画面と図７の携帯端末の表示画面との関係を説明する図であって、（ａ）はカラオケリモコン装置の表示画面を示し、（ｂ）は携帯端末の表示画面を示している。 携帯端末により図５のカラオケリモコン装置に表示された初期入力画面を撮像したカラー撮像画像を説明する図である。 携帯端末により図５のカラオケリモコン装置に表示された初期入力画面を撮像したカラー撮像画像とそのカラー撮像画像から抽出した文字を翻訳した翻訳文字とのカラー合成画像を説明する図である。 携帯端末の表示部に表示されたカラー合成画像内の入力操作領域を選択する操作を説明する図であって、（ａ）は携帯端端末の表示部に接触入力操作する図を示し、（ｂ）はカラオケリモコン装置の表示部上の接触入力操作された位置を示している。 図１２において「りれき」が表示されている入力操作領域が選択操作された場合の、カラオケリモコン装置に表示される選曲履歴画面と図７の携帯端末の表示画面との関係を説明する図であって、（ａ）はカラオケリモコン装置の表示画面を示し、（ｂ）は携帯端末の表示画面を示している。 携帯端末により図１３のカラオケリモコン装置に表示された選曲履歴画面を撮像したカラー撮像画像とその撮像画像から抽出した文字を翻訳した翻訳文字とのカラー合成画像を説明する図である。 携帯端末の表示部に表示された図１４のカラー合成画像内の入力操作領域を選択する操作を説明する図である。 図１５に示す入力操作において「海」という曲名が表示されている入力操作領域が選択操作された場合の、カラオケリモコン装置に表示される曲指示画面と図７の携帯端末の表示画面との関係を説明する図であって、（ａ）はカラオケリモコン装置の表示画面を示し、（ｂ）は携帯端末の表示画面を示している。 携帯端末により図１３のカラオケリモコン装置に表示された曲指示画面を撮像したカラー撮像画像とその撮像画像から抽出した文字を翻訳した翻訳文字とのカラー合成画像を説明する図である。 携帯端末の表示部に表示された図１７のカラー合成画像内の入力操作領域を選択する操作を説明する図である。 図１８に示す入力操作において「予約」が表示されている入力操作領域が選択された場合の、カラオケリモコン装置に表示される曲画面と図７の携帯端末の表示画面との関係を説明する図であって、（ａ）はカラオケリモコン装置の表示画面を示し、（ｂ）は携帯端末の表示画面を示している。 図５のカラオケリモコン装置のコンピュータの制御作動の要部を説明するフローチャートのうち、通信許可制御ルーチンを示している。 図６の携帯端末のコンピュータの制御作動の要部を説明するフローチャートのうち、通信許可制御ルーチンを示している。 図６の携帯端末のコンピュータの制御作動の要部を説明するフローチャートのうち、カラオケ指示制御ルーチンを示している。 図５のカラオケリモコン装置のコンピュータの制御作動の要部を説明するフローチャートのうち、カラオケ指示制御ルーチンを示している。 本発明の他の実施例における機能ブロック線図であって、図７に対応する図である。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明の一実施例であるカラオケシステム１０の構成を説明する図である。図１に示すように、本実施例のカラオケシステム１０においては、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）カラオケ装置１６ａ、１６ｂ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２８を介して通信回線１８に接続されており、同様にその通信回線１８に接続されたサーバ装置２０および翻訳サーバ３０等との相互間でその通信回線１８を介して情報の通信が可能とされている。ここで、店舗１２は、好適には、固有の識別情報としての店舗ＩＤをそれぞれ有し、その店舗ＩＤにより各店舗１２が識別されるものである。また、複数のカラオケ装置１６は、固有の識別情報としての装置ＩＤ（シリアルナンバー等）をそれぞれ有し、その装置ＩＤにより各カラオケ装置１６が識別されるものである。

カラオケシステム１０は、各カラオケ装置１６に通信可能な１または複数のカラオケリモコン装置２２ａ、２２ｂ、・・・（以下、特に区別しない場合には単にカラオケリモコン装置２２と称する）を備えており、カラオケ装置１６の利用に際して、利用者（グループ）毎に１台乃至数台ずつのカラオケリモコン装置２２が貸与され、各個室１４においてカラオケ装置１６との間で対応付け処理が行われることで、そのカラオケ装置１６の電子早見本装置として用いられるようになっている。また、図１に示すように、店舗１２内には複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、カラオケリモコン装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信により行われる。

通信回線１８は、例えば、公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）等の情報回線であり、インターネットすなわち広域情報通信網の一部である。サーバ装置２０は、例えば、カラオケシステム１０を管理する情報配信サービス提供会社によって運営されるサーバであり、そのカラオケシステム１０におけるカラオケ楽曲（演奏情報）、背景画像情報、曲間情報等のデジタルコンテンツ（Ｄｉｇｉｔａｌ Ｃｏｎｔｅｎｔｓ）の記憶や入出力管理の基本的な制御を行うセンタ装置として機能する。また、カラオケシステム１０を利用する利用者毎の、カラオケ装置１６を用いたカラオケ演奏に関する情報を、その利用者の識別情報（ユーザＩＤ）と対応付けて記憶するＳＮＳデータベースを管理するデータベースサーバとして機能する。なお、本実施例においては、カラオケシステム１０のセンタ装置としての機能及びデータベースサーバとしての機能を兼ね備えた単一のサーバ装置２０を備えた構成について説明するが、それらセンタ装置及びデータベースサーバが個別のサーバ装置として構成されたものであってもよい。また、後述するサーバ装置２０による各種制御が、複数のサーバ装置により分散的に実行される態様も考えられる。

図１に示すように、本実施例のカラオケシステム１０は、通信回線１８を介して複数のシステム乃至通信端末装置との間で相互に情報の送受信が可能とされている。すなわち、翻訳サーバ３０が通信回線１８に接続されると共に、携帯電話機又は通信機能付きの携帯型コンピュータである携帯端末３２が中継基地局３４を介して通信回線１８に接続され、それら翻訳サーバ３０及び携帯端末３２とカラオケ装置１６やサーバ装置２０等との間で相互に情報の送受信が可能とされている。本実施例の携帯端末３２は、選曲予約に用いるカラオケリモコン装置２２との間において、相互通信可能にするための設定が予め行われている。たとえば、相互の機器を認識するためのＩＤ、認識コード、或いはシリアルナンバ−が予め設定されており、そのＩＤ、認識コード、或いはシリアルナンバ−が付された通信情報のみが受け入れられるようになっている。

図２は、カラオケ装置１６の構成を例示するブロック線図である。図２に示すように、カラオケ装置１６は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の画像表示装置４０と、ビデオボード（グラフィックスボード）等の画像出力制御部４２と、画像情報デコーダ４４と、ビデオミキサ４６と、音源であるシンセサイザ４８と、音声入力装置であるマイクロフォン５０と、アンプミキサ５２と、スピーカ５４と、操作パネル５６と、その操作パネル５６等からの入力信号を処理する入出力インターフェイス５８と、中央演算処理装置であるＣＰＵ６０と、読出専用メモリであるＲＯＭ６２と、随時書込読出メモリであるＲＡＭ６４と、記憶装置であるハードディスク６６と、モデム等のデータ回線装置６８と、ＬＡＮポート７０と、カラオケリモコン装置２２等の入力装置からの指示信号を受信するためのリモコン受信部７２とを、備えて構成されている。

画像出力制御部４２は、ＣＰＵ６０において生成された歌詞文字画像等の文字画像（テロップ）を出力する文字画像出力装置として機能する他、画像表示装置４０による種々の画像表示を制御する表示制御装置である。また、画像情報デコーダ４４は、利用者が歌詞を参照しながら歌唱する際にハードディスク６６に記憶された背景画像情報に基づいて所定の背景画像を再生（デコード）する背景画像再生装置である。この背景画像情報は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の情報であり、そのＭＰＥＧ情報に基づいて画像情報デコーダ４４により再生された背景画像は、ビデオミキサ４６へ送られる。また、ビデオミキサ４６は、ＣＰＵ６０において生成され、且つ、画像出力制御部４２から出力される文字画像と、画像情報デコーダ４４により再生される背景画像とを合成して画像表示装置４０に表示させる画像合成装置である。

シンセサイザ４８は、ハードディスク６６から読み出されて送信されるカラオケ楽曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式の情報であり、そのＭＩＤＩ情報に基づいてシンセサイザ４８により生成された音楽信号は、アナログ信号に変換されてアンプミキサ５２へ送られる。アンプミキサ５２では、送られてきた音楽信号とマイクロフォン５０を介して入力される利用者（演奏者）の歌声とがミキシングされ、それらの信号が電気的に増幅されてスピーカ５４から出力される。

操作パネル５６は、カラオケ装置１６の利用者が歌いたいカラオケ楽曲を選択したり、楽曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、カラオケ装置１６とカラオケリモコン装置２２或いは携帯端末２２との対応付け（くくりつけ）処理もリモコン受信部７２を介して行われる。カラオケ装置１６に対応付けられたカラオケリモコン装置２２は、カラオケ装置の指示入力装置として機能する。なお、本実施例においては、対応付け処理の行われたカラオケリモコン装置２２等の入力装置もそのカラオケ装置１６の一部を構成するものであるとして以下の説明を行う。

ＣＰＵ６０は、ＲＡＭ６４の一時記憶機能を利用しつつＲＯＭ６２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、カラオケ装置１６に係る各種制御を実行する。すなわち、カラオケリモコン装置２２或いは携帯端末２２により所定のカラオケ楽曲が選曲された場合、その選曲されたカラオケ楽曲をＲＡＭ６４に設けられた予約曲テーブルに追加する選曲予約制御、その予約曲テーブルの演奏順に従ってハードディスク６６からＲＡＭ６４に選曲されたカラオケ楽曲の演奏情報に含まれる演奏情報及び歌詞情報を読み出す楽曲データ読出制御、カラオケ楽曲の演奏が進行に基づいて、ＲＡＭ６４からシンセサイザ４８へ演奏情報を送信する演奏出力制御、演奏出力制御に際してＲＡＭ６４に展開された歌詞情報に基づいて歌詞文字画像を生成して画像出力制御部４２へ送信する歌詞文字画像出力制御、演奏出力制御に際して画像情報デコーダ４４を制御して所定の背景画像を再生させる背景画像出力制御、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御、及び通信回線１８を介したサーバ装置２０等との間の情報通信制御等の基本的な制御を実行する。

データ回線終端装置６８は、カラオケ装置１６を通信回線１８に接続するための装置であり、ＣＰＵ６０から出力されるデジタル信号をアナログ信号に変換して通信回線１８に送り出すと共に、通信回線１８を介して伝送されるアナログ信号をデジタル信号に変換してＣＰＵ６０に供給する処理を行う。なお、店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６がルータ２８の機能を備えてマスターコマンダとして通信回線１８に接続される態様も考えられる。その場合、データ回線終端装置６８はそのマスターコマンダとして機能するカラオケ装置１６には必要とされるが、そのマスターコマンダを介してサーバ装置２０等との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。

ＬＡＮポート７０は、ＬＡＮ２４を介して他のカラオケ装置１６或いはカラオケリモコン装置２２等の他の機器に接続するための接続器である。カラオケ装置１６は、ＬＡＮ２４を介してカラオケ装置１６と他の機器とが接続されることで、他の機器との間で情報の送受信が可能とされる。例えば、アクセスポイント２６を介して受信されるカラオケリモコン装置２２からの選曲予約を受け付けてＲＡＭ６４に設けられた予約曲テーブルに追加したり、そのアクセスポイント２６を介してカラオケ装置１６からカラオケリモコン装置２２へ所定の情報を送信したりというように、電波を介してカラオケ装置１６とカラオケリモコン装置２２との間における相互の情報のやりとりが実行される。また、通信回線１８を介してのカラオケリモコン装置２２とサーバ装置２０との間の通信も、このＬＡＮ２４乃至ルータ２８を備えたカラオケ装置１６を介して行われる。

ハードディスク６６には、カラオケ楽曲を送信するための多数のカラオケ楽曲（演奏情報）を記憶するカラオケデータベース等の各種データベースが設けられている。カラオケボックス等の店舗１２にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６、例えばカラオケ装置１６ａは、データ回線終端装置６８を介して通信回線１８に接続されており、複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、随時新たなカラオケ楽曲等の情報がサーバ装置２０から通信回線１８を介して送信され、ハードディスク６６のカラオケデータベース等のデータベースに追加され、ハードディスク６６に記憶される。また、サーバ装置２０から情報を受信したカラオケ装置１６ａとその他のカラオケ装置１６との間でＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク６６に記憶される情報が共有され、各カラオケ装置１６のデータベースの内容が等価なものとされる。

カラオケデータベースは、カラオケ装置１６により送信可能な楽曲に対応する多数（例えば、数万曲分）の演奏情報（カラオケ楽曲）である。この演奏情報は、シンセサイザ４８により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字画像（歌詞テロップ）を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字画像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツＩＤである各楽曲に固有の選曲番号により識別される。また、演奏情報には、楽曲の曲名、アーティスト名（歌手名）、発表年月日、ジャンル、曲調、アーティスト（歌手）の出身地、コンサート情報（近い将来その楽曲のコンサートが行われる開催地等に係る情報）、タイアップ情報（例えばその楽曲が主題歌として用いられたドラマの放映された曜日、時間帯、ＣＭソング）等の情報が関連づけられて情報であって、ハードディスク６６に記憶される。

図３は、サーバ装置２０の構成を説明する図である。図３に示すように、サーバ装置２０は、中央演算処理装置であるＣＰＵ８０、読出専用メモリであるＲＯＭ８２、及び随時書込読出メモリであるＲＡＭ８４を備え、ＣＰＵ８０によりＲＡＭ８４の一時記憶機能を利用しつつＲＯＭ８２に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン式コンピュータである。また、ＴＦＴやＰＤＰ等の画像表示装置８６と、その画像表示装置８６による画像の表示を制御するためのビデオボード（グラフィックスチップ）８８と、キーボード等の入力装置９０と、入力装置９０による入力を処理するためのインターフェイス９２と、ＣＰＵ８０を通信回線１８に接続するためのデータ回線終端装置９４とを、備えて構成されている。

図３に示すように、サーバ装置２０は、ハードディスク９６にカラオケデータベースをはじめとする各種データベースを備えている。このカラオケデータベースは、通信カラオケシステム１０におけるカラオケ装置１６等に送信するための多数のカラオケ楽曲（演奏情報）を記憶する。新しく作成されたカラオケ楽曲（演奏情報）は、このカラオケデータベースに追加される。そして、所定の送信制御プログラムにより定期的に、或いはカラオケ装置１６からの要求に基づいて、ハードディスク９６に記憶されたカラオケデータベースの随時新たなカラオケ楽曲が通信回線１８を介して送信され、カラオケ装置１６により演奏可能にハードディスク６６等の記憶領域に記憶される。

図４は、翻訳サーバ３０の構成を例示する図である。この図４に示すように、翻訳サーバ３０は、中央演算処理装置であるＣＰＵ、随時書込読出メモリであるＲＡＭ、読出専用メモリであるＲＯＭを含む制御部１００と、ハードディスク等から構成されて予め翻訳ソフトが記憶された記憶部１０２と、通信回線１８を介して伝送された翻訳前の文字情報を受信して制御部１００へ供給し、制御部１００において翻訳された翻訳後の翻訳文字情報を通信回線１８を介して送信するデータ回線終端装置１０４とを備えている。

図５は、カラオケリモコン装置２２の構成を説明するブロック線図である。図５に示すように、カラオケリモコン装置２２は、電子早見本装置としても機能するものであり、表示装置１１２とタッチパネル１１６とを備えた表示部１１０と、表示部１１０に所定の画像を表示させる表示装置１１２と、その表示装置１１２による表示を制御する表示制御部１１４と、利用者の指や図示しない備え付けのペン等による接触操作に基づいて、上部基板と下部基板との接触点の上部基板Ｘ座標の電圧を検出し、検出された電圧をＡ／Ｄ変換して位置座標Ｘを決定する。また、上部基板と下部基板との接触点の下部基板Ｙ座標の電圧を検出し、検出された電圧をＡ／Ｄ変換して位置座標Ｙを決定するためのタッチパネル１１６と、タッチパネル１１６による入力を制御する入力制御部１１８と、中央演算処理装置であるＣＰＵ１２０と、読出専用メモリであるＲＯＭ１２２と、随時書込読出メモリであるＲＡＭ１２４と、フラッシュＲＯＭ等の記憶部１２６と、インターフェイス１２８と、リモコン送信部１３０と、無線ＬＡＮ通信部１３２と、クレイドル１３４と電気的な接続を可能とするためのコネクタ１３６ａとを、備えて構成されている。クレイドル１３４には、カラオケリモコン装置２２と電気的な接続を可能とするためのコネクタ１３６ｂが設けられており、カラオケリモコン装置２２は、クレイドル１３４に載置されてコネクタ１３６ａ及び１３６ｂが相互に接触させられることで、インターフェイス１２８を介してＬＡＮ２４に接続されるようになっている。

ＣＰＵ１２０は、表示制御部１１４を介して表示部１１０に所定のカラー画像たとえば選曲予約等の入力画像を表示させたり、その画像に基づく表示部１１０への接触により入力制御部１１８を介して入力される入力信号を処理したり、入力信号に基づき無線ＬＡＮ通信部１３２等の回線を介してカラオケ装置１６へ選曲予約をはじめとする入力送信を行ったり、マスターコマンダであるカラオケ装置１６ａを介してサーバ装置２０とカラオケリモコン装置２２との間で情報の通信を行うといった基本的な制御を実行する。また、記憶部１４６には、多数のカラオケ楽曲に対応して曲名、アーティスト名、属性情報、歌詞の歌い出し部分等の選曲案内情報、及び備考等の楽曲関連情報が選曲番号毎に記憶されている。なお、表示制御部１１４により表示部１１０に表示される入力画像は、接触により選択入力される複数の入力操作領域を備える。入力操作領域は、相互に異なる色彩で表示される。

図６は、携帯端末３２の構成を例示する図である。図６において、携帯端末３２は、中央演算処理装置であるＣＰＵ１４０と、読出専用メモリであるＲＯＭ１４２と、随時書込読出メモリであるＲＡＭ１４４と、フラッシュＲＯＭ等の記憶部１４８、後述する表示部１６４の補助的な操作を行うための操作部１６８と、アンテナ１５０と、送受信部１５２と、データ回線終端部１５４と、音声コーディック部１５６と、アナログフロントエンド１５８と、スピーカ１６０と、マイクロフォン１６２と、カラー画像表示可能な表示部１６４とを、備えて構成されている。

ＣＰＵ１４０は、随時書込読出メモリであるＲＡＭ１４４の一時記憶機能を利用しつつ読出専用メモリであるＲＯＭ１４２に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータであり、表示部１６４に表示された文字入力ボタンに対する入力操作に従って文字入力が実行されるように制御したり、入力操作により入力された電話番号に従って通信或いは通話チャンネルを成立させると共に相互の通信或いは通話が可能となるように制御したり、入力操作により入力されたＵＲＬに従って所定のウェブサイトにアクセスしたり、メールの作成及び送受信を制御する等の基本的な制御を実行する。例えば、携帯端末３２の通話状態においては、アンテナ１５０を介して送受信部１５２に受けた通話信号がデータ回線終端部１５４を介して音声コーディック部１５６においてデジタルコード信号から音声信号に変換され、アナログフロントエンド１５８によりスピーカ１６０が駆動されて音声が出力される。同時に、マイクロフォン１６２により音声から変換された音声信号がアナログフロントエンド１５８を介して音声コーディック部１５６に送られてそこでデジタル信号に変換され、データ回線終端部１５４、送受信部１５２、及びアンテナ１５０を介して送信される。

携帯端末３２は、表示装置１６６とタッチパネル１７０とを備える表示部１６４と、表示部１６４に所定の画像を表示させる表示装置１６６と、その表示装置１６６による表示を制御する表示制御部１６８と、利用者の指や図示しない備え付けのペン等による表示部１６４への接触により入力を行うタッチパネル１７０と、タッチパネル１７０による入力を制御する入力制御部１７２とを、備えている。タッチパネル１７０は、カラオケリモコン装置２２のタッチパネル１１６と同様である為、説明を省く。また、送受信部１５２を介して通信回線１８に接続され、例えば公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ等のインターネットに接続された翻訳サーバ３０およびカラオケリモコン装置２２をはじめとする各種通信機器との間で情報の通信が可能とされる。また、通信回線１８を介しての通信状態において、ＣＰＵ１４０は、表示部１６４等の入力手段から入力された信号を通信先へ送信すると同時に、通信先から受信された信号をその表示部１６４に表示させる制御を行う。すなわち、携帯電話機３２は、表示部１６４を有すると共に、その表示部１６４を介しての操作に応じたインターネットへのアクセス機能をはじめとする各種機能を備える所謂携帯電話機である。

また、携帯端末３２は、カラー画像を撮像可能なＣＣＤカメラなどから成るデジタル式の撮像装置１７４を備え、撮像したカラー撮像画像を記憶部１４６に記憶し、記憶したカラー撮像画像を表示部１６４にカラー表示させる。携帯端末３２は、この表示部１６４にカラー表示されたカラー撮像画像内に含まれる日本語文字をそれぞれ抽出して翻訳サーバ３０へ送信する。携帯端末３２は、翻訳サーバ３０から送信された翻訳後の翻訳文字（外国語文字）を取得して対応する日本語文字が表示されている位置に表示させた合成画像を生成する。生成された合成画像を表示した表示部１６４に対して接触入力された位置（タッチされた位置）を検出し、検出された位置の色彩に関連する色彩関連情報を、入力された入力操作領域情報としてカラオケリモコン装置２２へ送信するように、予めプログラムされているカラオケ指示操作アプリケーションプログラムを記憶部１４８に搭載している。

図７は、前記カラオケ指示操作アプリケーションプログラムに従った図６の携帯端末３２のＣＰＵ１２０の制御機能の要部を説明するブロック線図である。図７において、撮像手段１８０は、撮像装置１７４により撮像させ、撮像した撮像画像をＲＡＭ１４４に一時記憶させる。例えば、撮像手段１８０は、カラオケリモコン装置２２の表示部１１０に表示された初期入力画面、選曲履歴画面、曲指示画面などの入力画面Ｇｒを撮像装置１７４により撮像させて、撮像した入力画面のカラー撮像画像をＲＡＭ１４４に一時記憶させる。

図８（ａ）および図９（ａ）は、カラオケリモコン装置２２の入力画面Ｇｒの一例である。入力画面Ｇｒは、複数の入力操作領域を含む。入力操作領域は、入力操作領域Ａ１「歌手」、入力操作領域Ａ２「曲名」、入力操作領域Ａ３「キーワード」、入力操作領域Ａ４「ジャンル」、入力操作領域Ａ５「ランキング」、入力操作領域Ａ６「りれき」である。各入力操作領域は、日本語文字が含まれて表示される。各入力操作領域Ａ１、Ａ２、・・・Ａ６は、異なる色彩で表示されており、その色彩に対応する異なる斜線が示されている。例えば、右から左に向かう粗い斜線は赤色、左から右に向かう粗い斜線は橙色、右から左に向かう破線の斜線は黄色、左から右に向かう破線の斜線は緑色、右から左に向かう細かな斜線は青色、左から右に向かう細かな斜線は藍色を、それぞれ示している。図１３、図１６も同様である。

図８（ｂ）は、カラオケ指示操作アプリケーションプログラムが搭載され、且つ、アプリケーションプログラム起動操作された携帯端末３２を例示する図である。図８（ｂ）において、携帯端末３２の表示部１６４には、撮像モードにおいて表示されるスキャン開始（撮像開始）の入力操作領域Ｍが設けられている。

図９（ｂ）は、入力操作領域Ｍの近傍を接触入力操作が行われることにより、撮像装置による撮像が実行され、撮像画像が表示部１６４に表示されている様子を示す。具体的には、カラオケリモコン装置２２の表示部１１０に表示された初期入力画面の入力画面Ｇｒが、撮像されたカラー撮像画像Ｇｓを端末装置３２の表示部１６４に表示されている状態を示す。

文字抽出手段１８２は、文字画像に絞り込む絞込処理、文字列のレイアウト解析処理、画像内文字の正規化処理、文字の特徴抽出処理、標準文字パターンとのマッチング処理を順次行う文字認識手法を用いて、文字或いは文字列を抽出する。具体的には、図１０に示すように、撮像装置１７４により撮像されたカラー撮像画像Ｇｓ内に存在する日本語の文字或いは文字列を、自動的に抽出する。

翻訳文字取得手段１８４は、文字抽出手段１８２によりカラー撮像画像Ｇｓから抽出された１または複数の文字或いは文字列を表す文字情報と、携帯端末３２に初期設定された使用言語を表す言語情報とを、翻訳サーバ３０へ送信する文字送信手段１８６と、翻訳サーバ３０により文字情報が表す１または複数の文字或いは文字列から使用言語へ翻訳された１または複数の翻訳文字或いは文字列を表す翻訳文字情報を受信する翻訳文字受信手段１８８とを備える。

翻訳文字取得手段１８４は、具体的には、文字抽出手段１８２によりカラー撮像画像から抽出された１または複数の日本語の文字或いは文字列を表す日本語文字情報と、携帯端末３２に初期設定された使用言語である英語を表す英語言語情報とを翻訳サーバ３０へ送信する。翻訳文字取得手段１８４は、翻訳サーバ３０から日本文字情報が表す１または複数の文字或いは文字列から使用言語の英語に翻訳された１または複数の翻訳文字或いは文字列を表す英語翻訳文字情報を取得する。たとえば、翻訳文字取得手段１８４は、「歌手」、「曲名」、「キーワード」、「ジャンル」、「ランキング」、「りれき」という日本語文字が英訳された「Ｓｉｎｇｅｒ」、「Ｓｏｎｇ」、「Ｋｅｙｗｏｒｄ」、「Ｇｅｎｒｅ」、「Ｒａｎｋｉｎｇ」、「Ｈｉｓｔｏｒｙ」を、翻訳サーバ３０から取得する。

合成画像生成手段１９０は、翻訳文字取得手段１８４により取得された１または複数の翻訳文字と、撮像手段１８０により撮像されたカラー撮像画像とを合成し、翻訳文字とカラー撮像画像とが重ねられたカラー合成画像を生成する。具体的には、カラー合成画像は、日本語の文字或いは文字列と翻訳文字或いは文字列とが接近した位置に合成された画像である。例えば、カラー撮像画像内において日本語の文字或いは文字列が抽出された位置と抽出された文字或いは文字列とを対応付けてＲＡＭ１４４に一時記憶し、抽出された文字或いは文字列が翻訳された翻訳文字或いは文字列は、ＲＡＭ１４４に一時記憶された位置と抽出された文字或いは文字列とに基づいて、翻訳文字とカラー撮像画像とを合成する。

合成画像表示手段１９２は、合成画像生成手段１９０により合成されたカラー合成画像を、携帯端末３２の表示部１６４に表示させる。図１１は、携帯端末３２の表示部１６４に、日本語の文字或いは文字列と翻訳文字或いは文字列とが合成されたカラー合成画像Ｇｇが表示部１６４に表示された状態を示す。

操作位置検出手段１９４は、携帯端末３２の表示部１６４に表示されたカラー合成画像のいずれかの位置に、携帯端末３２の操作者の指やタッチペン１９５によって接触（タッチ）操作された操作位置を、検出する。例えば、図１２（ａ）に示すように、タッチペン１９５によって日本語文字の「りれき」と英語翻訳文字の「Ｈｉｓｔｏｙ」との近傍を接触操作された場合には、操作位置検出手段１９４は、その接触操作位置を示す印Ｓを検出する。印Ｓは、図面において便宜上示しており、実際のサービスにおいては、印Ｓは必ずしも表示されない。携帯端末３２の表示部１６４の接触操作位置を示す印Ｓに関する情報は、後述の送信手段２００によりカラオケリモコン装置２２に送信される。図１２の（ｂ）は、携帯端末３２によって、カラオケリモコン装置２２の表示部１１０に表示されている初期入力画面内の印Ｓの位置が接触操作されたことを示す。

色彩検出手段１９６は、携帯端末３２の表示部１６４に表示されたカラー合成画像のうち操作位置検出手段１９４により検出された接触操作位置の色彩を示す色彩情報を、カラー合成画像の画像情報に基づいて検出する。色彩情報は、表示部１６４に表示されたカラー合成画像の色彩に関する情報である。色彩情報は、例えばＲＧＢ情報である。

操作領域決定手段１９８は、カラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報と、カラオケリモコン装置２２の入力画面の各入力操作領域の色彩情報に対応付けられている入力操作領域情報との関係（マップ）を、たとえば通信許可信号と共にカラオケリモコン装置２２から受信し、その関係を用いて、色彩検出手段１９６により検出された色彩が、各入力操作領域のいずれかが操作されたことを決定する。具体的には、携帯端末３２は、カラオケリモコン装置２２よりカラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報と、カラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報に対応付けられている入力操作領域情報を受信する。操作領域決定手段１９８は、受信された入力操作領域情報と、色彩検出手段１９６により検出された色彩とに基づいて、カラオケリモコン装置２２の入力画面における入力操作領域を決定する。

送信手段２００は、操作領域決定手段１９８により決定された入力操作領域を表す操作領域情報を表す入力操作領域情報を、カラオケリモコン装置２２に送信する。

カラオケリモコン装置２２は、携帯端末３２から送信された入力操作領域情報に基づいて、カラオケリモコン装置２２の表示部１１０に表示された入力画面が接触操作された場合に生成される接触操作信号が生成され、生成された接触操作信号に基づいてカラオケリモコン装置２２の表示部１１０を変化させる。具体的には、図１２の（ｂ）に示す図において、カラオケリモコン装置２２の表示部１１０に表示される初期入力画面内の入力操作領域Ａ６の履歴ボタンが接触操作されたことを示す入力操作領域情報をカラオケリモコン装置２２が受信すると、図１３（ａ）に示す図において、カラオケリモコン装置２２の表示部１１０が、過去にカラオケ装置１６に送信されたカラオケ楽曲に関する情報である選曲履歴画面が表示される。前述と同様に、携帯端末３２の撮像手段１８０は、選曲履歴画面を撮像装置１７４により撮像させて、撮像した選曲履歴画面のカラー撮像画像をＲＡＭ１４４に一時に記憶させる。

図１３（ａ）は、カラオケリモコン装置２２の選曲履歴画面の一例である。この選曲履歴画面には、複数の入力操作領域が含まれている。入力操作領域は、楽曲名とアーティスト名とを日本語文字にて表した文字が含まれる領域である。入力操作領域は、具体的には、入力操作領域Ａ７「ＳＫＹ ＩＮＡＢＡかすみ」、入力操作領域Ａ８「海 ＭＡＪＵ」、入力操作領域Ａ９「やま 西よしお」、入力操作領域Ａ１０「靴 かしまり」、入力操作領域Ａ１１「森 ＲＩＲＩＫＡ」である。図１３（ｂ）は、図８（ｂ）と同じである為、説明を省く。

文字抽出手段１８２は、前述と同様の文字認識手法を用いて、カラー撮像画像から文字或いは文字列を抽出する。例えば、図１３（ａ）に示された選曲履歴画面を撮像装置１７４により撮像されたカラー撮像画像から日本語の文字或いは文字列を、自動的に抽出する。

翻訳文字取得手段１８４は、文字抽出手段１８２によりカラー撮像画像から抽出された１または複数の文字或いは文字列を表す文字情報を翻訳サーバ３０へ送信し、翻訳サーバ３０から文字情報が表す１または複数の文字或いは文字列から使用言語へ翻訳された１または複数の翻訳文字或いは文字列を表す翻訳文字情報を取得する。例えば、文字抽出手段１８２は、図１３（ａ）に示す「ＳＫＹ ＩＮＡＢＡかすみ」、「海 ＭＡＪＵ」、「やま 西よしお」、「靴 かしまり」、「森 ＲＩＲＩＫＡ」の文字を含むカラオケリモコン装置２２の画面を、撮像したカラー撮像画像から文字を抽出し、文字送信手段１８８によって抽出された文字を表す文字情報を翻訳サーバ３０に送信する。翻訳文字受信手段１８８は、翻訳サーバ３０から文字を翻訳文字「Ｓｋｙ Ｉｎａｂａ ｋａｚｕｍｉ」、「Ｓｅａ Ｍａｊｕ」、「Ｍｏｕｎｔａｉｎ ＮｉｓｈｉＹｏｓｈｉｏ」、「Ｓｈｏｅｓ Ｋａｓｈｉｍａｒｉ」、「Ｆｏｒｅｓｔ Ｒｉｒｉｋａ」を、受信する。

合成画像生成手段１９０は、翻訳文字取得手段１８４により取得された翻訳文字と、撮像手段１８０により撮像されたカラー撮像画像とを合成し、翻訳文字とカラー撮像画像とが重ねられたカラー合成画像を生成する。合成画像表示手段１９２は、合成画像生成手段１９０により合成されたカラー合成画像を、携帯端末３２の表示部１６４に表示させる。図１４は、日本語の文字或いは文字列と、日本語の文字或いは文字列が翻訳された翻訳文字とが合成されたカラー合成画像Ｇｇが表示部１６４に表示された図である。具体的には、入力操作領域の入力操作領域Ａ７’、入力操作領域Ａ８’、入力操作領域Ａ９’、入力操作領域Ａ’、入力操作領域Ａ１１’内に、文字と翻訳文字とが表示されるカラー合成画像Ｇｇが携帯端末３２の表示部１６４に表示された図を示す。

操作位置検出手段１９４は、携帯端末３２の表示部１６４に表示されたカラー合成画像のいずれかの位置に、携帯端末３２の操作者の指、又は、タッチペン１９５によって接触操作された操作位置を、検出する。例えば、図１５に示すように、タッチペン１９５によって文字の「海」と「ＭＡＪＵ」と、及び翻訳文字の「Ｓｅａ」と「Ｍａｊｕ」とが含まれる入力操作領域Ａ８’に接触操作された場合には、操作位置検出手段１９４は、その接触操作位置を示す印Ｓを検出する。携帯端末３２の表示部１６４の接触操作位置を示す印Ｓに関する情報は、後述の送信手段２００によりカラオケリモコン装置２２に送信される。

色彩検出手段１９６は、携帯端末３２の表示部１６４に表示されたカラー合成画像のうちのうち操作位置検出手段１９４により検出された接触操作位置の色彩を、カラー合成画像の画像情報に基づいて検出する。

操作領域決定手段１９８は、カラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報と、カラオケリモコン装置２２の入力画面の各入力操作領域の色彩情報に対応付けられている入力操作領域情報との関係（マップ）を、たとえば通信許可信号と共にカラオケリモコン装置２２から受信し、その関係を用いて、色彩検出手段１９６により検出された色彩が、各入力操作領域のいずれかが操作されたことを決定する。具体的には、携帯端末３２は、カラオケリモコン装置２２よりカラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報と、カラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報に対応付けられた入力操作領域情報を受信する。操作領域決定手段１９８は、受信された入力操作領域情報と、色彩検出手段１９６により検出された色彩とに基づいて、図１５において、カラオケリモコン装置２２の入力画面における入力操作領域のうちの入力操作領域Ａ８’が操作されたことを決定する。

送信手段２００は、操作領域決定手段１９８により決定された入力操作領域（入力操作領域Ａ８’）を表す入力操作領域情報を、カラオケリモコン装置２２に送信する。

カラオケリモコン装置２２は、携帯端末３２から送信された入力操作領域情報に基づいて、カラオケリモコン装置２２の表示部１１０に表示された入力画面が接触操作された場合に生成される接触操作信号が生成され、生成された接触操作信号に基づいてカラオケリモコン装置２２の表示部１１０を変化させる。具体的には、図１３に示す図において、カラオケリモコン装置２２の表示部１１０に表示された選曲履歴画面内の入力操作領域Ａ８すなわち「海」と「ＭＡＪＵ」とを含めた入力操作領域が接触操作されたことを示す入力操作領域情報をカラオケリモコン装置２２が受信すると、図１６（ａ）に示す、カラオケリモコン装置２２の表示部１１０が曲指示画面に変化する。前述と同様に、携帯端末３２の撮像手段１８０は、曲指示画面を撮像装置１７４により撮像させて、撮像された曲指示画面のカラー撮像画像をＲＡＭ１４４に一時記憶させる。

図１６（ａ）は、カラオケリモコン装置２２の曲指示画面の一例である。この曲指示画面には、複数の入力操作領域が含まれている。入力操作領域は、前のページに戻ることを示す「戻るボタン」と、カラオケ楽曲の音高を変更することを示す「キー変更ボタン」と、カラオケ楽曲をカラオケ装置１６に予約することを示す「予約ボタン」とが、日本語にて表した文字が含まれる領域である。入力操作領域は、具体的には、入力操作領域Ａ１２「戻る」、入力操作領域Ａ１３「キー変更」、入力操作領域Ａ１４「予約」である。図１６（ｂ）は、図８（ｂ）及び図１３（ｂ）と同様である為、説明を省く。

文字抽出手段１８２は、前述と同様の文字認識手法を用いて、カラー撮像画像から文字或いは文字列を抽出する。例えば、図１６（ａ）に示された曲指示画面を、撮像装置１７４により撮像されたカラー撮像画像から日本語の文字或いは文字列を、自動的に抽出する。

翻訳文字取得手段１８４は、文字抽出手段１６２によりカラー撮像画像から抽出された１または複数の文字或いは文字列を表す文字情報を翻訳サーバ３０へ送信し、翻訳サーバ３０から文字情報が表す１または複数の翻訳文字或いは文字列を表す翻訳文字情報を受信する。例えば、文字出力手段１８２は、図１６（ａ）に示す「歌手名：ＭＡＪＵ 曲名：海」、「戻る」、「キー変更」、「予約」を含むカラオケリモコン装置２２の画面を、撮像されたカラー撮像画像から文字を抽出し、文字送信手段１８６によって抽出された文字を表す文字情報を翻訳サーバ３０に送信する。翻訳文字受信手段１８８は、翻訳サーバ３０から文字を翻訳文字「Ｓｉｎｇｅｒ Ｍａｊｕ， Ｓｏｎｇ Ｓｅａ」、「Ｒｅｔｕｒｎ」、「Ｋｅｙ Ｃｈａｎｇｅ」、「Ｒｅｓｅｒｖａｔｉｏｎ」を、受信する。

合成画像生成手段１９０は、翻訳文字取得手段１８４により取得された翻訳文字と、撮像手段１８０により撮像されたカラー撮像画像とを合成し、翻訳文字とカラー撮像画像とが重ねられたカラー合成画像を生成する。合成画像表示手段１９２は、合成画像生成手段１９０により合成されたカラー合成画像を、携帯端末３２の表示部１６４に表示させる。図１７は、日本語の文字或いは文字列と、日本語の文字或いは文字列が翻訳された翻訳文字とが合成されたカラー合成画像Ｇｇが表示部１６４に表示された図である。具体的には、入力操作領域Ａ１２’、入力操作領域Ａ１３’、入力操作領域Ａ１４’内に、文字と翻訳文字或いは文字列とが表示されるカラー合成画像Ｇｇが携帯端末３２の表示部１６４に表示された図を示す。

操作位置検出手段１９４は、携帯端末３２の表示部１６４に表示されたカラー合成画像のいずれかの位置に、携帯端末３２の操作者の指やタッチペン１９５によって接触（タッチ）操作された操作位置を、検出する。例えば、図１８に示すように、タッチペン１９５によって日本語文字の「予約」と英語翻訳文字の「Ｒｅｓｅｒｖａｔｉｏｎ」との近傍を接触操作された場合には、操作位置検出手段１９４は、接触操作位置を示す印Ｓを検出する。表示部１６４に表示されたカラー合成画像において印Ｓに関する情報は、後述の送信手段２００によりカラオケリモコン装置２２に送信される。

色彩検出手段１９６は、携帯端末３２の表示部１６４に表示されたカラー合成画像のうち操作位置検出手段１９４により検出された接触操作位置の色彩を、カラー合成画像の画像情報に基づいて検出する。

操作領域決定手段１９８は、カラオケリモコン装置２２の入力画面における各入力操作領域の色彩情報と、カラオケリモコン装置２２の入力画面の各入力操作領域の色彩情報に対応付けられている入力操作領域情報との関係（マップ）を、たとえば通信許可信号と共にカラオケリモコン装置２２から受信し、その関係を用いて、色彩検出手段１９６により検出された色彩が、各入力操作領域のいずれかが操作されたことを決定する。具図１８において、カラオケリモコン装置２２の入力画面における入力操作領域のうちの入力操作領域Ａ１４’が操作されたことを決定する。

送信手段２００は、操作領域決定手段１９８により決定された入力操作領域を表す入力操作領域情報を表す入力操作領域情報を、カラオケリモコン装置２２に送信する。

カラオケリモコン装置２２は、送信手段２００から送信された入力操作領域情報に基づいて、カラオケリモコン装置２２の表示部１１０に表示された入力画面が接触操作された場合に生成される接触操作信号が生成され、生成された接触操作信号に基づいてカラオケリモコン装置２２の表示部１１０を変化させる。具体的には、図１６に示す図において、カラオケリモコン装置２２の表示部１１０に表示される曲指示画面の入力操作領域Ａ１４、すなわち「予約」文字を含めた入力操作領域が接触操作されたことを示す入力操作領域情報をカラオケリモコン装置２２が受信すると、「歌手名：ＭＡＪＵ 曲名：海」の選曲予約制御を実行する。選曲予約制御が完了されると、カラオケリモコン装置２２の表示部１１０に、図１９（ａ）に示す「予約を完了しました」が表示される画面に変化する。図１９（ｂ）は、図８（ｂ）、図１３（ｂ）、および図１６（ｂ）と同様である為、説明を省く。

図２０、図２１、図２２、図２３は、図６の携帯端末３２のＣＰＵ１２０の制御作動の要部を説明するフローチャートであって、図２０は記憶部１２６に記憶されたプログラムに従うカラオケリモコン装置２２のコンピュータの制御作動のうちの通信許可制御ルーチンを示し、図２１は記憶部１４８に記憶されたプログラムに従う携帯端末３２のコンピュータの制御作動のうちの通信許可制御ルーチンを示し、図２２は携帯端末３２のコンピュータの制御作動のうちのカラオケ指示制御ルーチンを示し、図２３は記憶部１２６に記憶されたプログラムに従うカラオケリモコン装置２２のコンピュータのうちのカラオケ指示制御ルーチンを示している。

図２０において、カラオケリモコン装置２２と携帯端末３２との通信可能に設定する指示をカラオケリモコン装置２２が受信すると、ステップＳ１１（以下、ステップを省略する）では、カラオケリモコン装置２２のＩＤを表す情報を含む二次元バーコードがカラオケリモコン装置２２の表示部１１０に表示される。次いで、Ｓ１２では、携帯端末３２からの通信許可要求信号を受信したか否かが判断される。このＳ１２の判断が否定される場合はＳ１３において、二次元バーコードがカラオケリモコン装置２２の表示部１１０に表示されてから所定時間Ｔが経過したか否かが判断される。このＳ１３の判断が否定される場合はＳ１２以下が繰り返し実行されるが、Ｓ１３の判断が肯定されると、本ルーチンが終了される。しかし、Ｓ１２の判断が肯定される場合は、Ｓ１４において、通信を許可する通信許可信号（通信許可フラグ）が生成された後、Ｓ１５において、携帯端末３２のＩＤとカラオケリモコン装置２２のＩＤと通信許可信号とが関連づけて記憶される。そして、Ｓ１６では、相互に関連づけられた通信許可信号とカラオケリモコン装置２２のＩＤと、カラオケリモコン装置２２の入力画面の各入力操作領域の色彩情報と、カラオケリモコン装置２２の入力画面の各入力操作領域の色彩情報に対応づけられて入力操作領域情報との関係（マップ）とが携帯端末３２のＩＤに基づいて、携帯端末３２へ送信される。

図２１において、Ｓ２１では、携帯端末３２の撮像操作により撮像手段１８０が撮像指示を受けたか否かが判断される。このＳ２１の判断が否定されると待機させられるが、Ｓ２１の判断が肯定されると、撮像手段１８０により撮像装置１７４を用いた撮像が実行される。次いで、Ｓ２３において、Ｓ２２において撮像された撮像画像中にカラオケリモコン装置２２のカラオケリモコン装置のＩＤ含まれているか否かが判断される。このＳ２３の判断が否定される場合はＳ２１以下が繰り返されるが、Ｓ２３の判断が肯定される場合は、Ｓ２４において、携帯端末３２のＩＤおよびカラオケリモコン装置２２のＩＤを含む通信許可要求信号がカラオケリモコン装置２２に送信される。Ｓ２５では、カラオケリモコン装置２２から送信される通信許可信号を受信したか否かが判断される。このＳ２５の判断が否定される場合は、Ｓ２６において通信許可要求信号がカラオケリモコン装置２２に送信されてから所定時間Ｔｓが経過したか否かが判断される。このＳ２６の判断が否定される場合はＳ２５以下が繰り返し実行されるが、Ｓ２６の判断が肯定されると、本ルーチンが終了される。Ｓ２５の判断が肯定される場合は、Ｓ２７において、受信した通信許可信号とカラオケリモコン装置２２のＩＤと、携帯端末３２のＩＤとがＲＡＭ１４４に一時記憶される。

図２２において、カラオケ指示操作モードを実行するために、ユーザが、携帯端末３２の表示部１６４を操作すると、カラオケ指示操作プログラムが記憶部１４８から読み出され、図２２に示す一連のステップの処理が開始される。Ｓ３１では、携帯端末３２の表示部１６４には、スキャン開始（撮像開始）を示す画像（アイコン）により撮像開始を指示する入力操作領域Ｍが表示される。次いで、Ｓ３２では、入力操作領域Ｍの接触入力操作により撮像開始が指示されたか否かが判断される。このＳ３２の判断が否定される場合はＳ３１以下が繰り返し実行される。Ｓ３２の判断が肯定される場合は、撮像手段１８０に対応するＳ３３において、携帯端末３２の撮像装置１７４によりカラオケリモコン装置２２の表示部１１０に表示された初期入力画面、選曲履歴画面、曲指示画面などの入力画面の撮像が実行される。次いで、文字抽出手段１８２に対応するＳ３４では、撮像装置１７４により撮像されたカラー撮像画像中から文字或いは文字列が抽出される。文字送信手段１８６に対応するＳ３５では、Ｓ３４において抽出された文字を表す文字情報および携帯端末３２において初期設定されている言語を表す言語情報が、翻訳サーバ３０へ送信される。次いで、翻訳文字受信手段１８８に対応するＳ３６では、翻訳サーバ３０からの翻訳文字を表す翻訳情報が受信されたか否かが判断される。このＳ３６の判断が否定される場合はＳ３６以下が繰り返し実行されることにより待機される。Ｓ３６の判断が肯定される場合は、合成画像生成手段１９０に対応するＳ３７において、カラー撮像画像と翻訳文字とを合成したカラー合成画像が生成される。合成画像表示手段１９２に対応するＳ３８において、生成されたカラー合成画像が携帯端末３２の表示部１６４に表示される。

操作位置検出手段１９４に対応するＳ３９では、カラー合成画像が表示された携帯端末３２の表示部１６４において、カラー合成画像が接触入力操作されたか否かが判断される。Ｓ３９の判断が否定される場合はＳ４０において、カラー合成画像が表示部１６４部に表示されてから予め設定された有効期限、たとえば、撮像装置１７４によって撮影が実行されてから所定時間内であるか否かが判断される。このＳ４０の判断が否定される場合は本ルーチンが終了させられるが、Ｓ４０の判断が肯定される場合は、Ｓ３８以下が繰り返し実行される。Ｓ３９の判断が肯定される場合は、色彩検出手段１９６に対応するＳ４１において、接触入力操作が検出された位置の色彩を表すＲＧＢ（色彩）情報が抽出される。そして、送信手段２００に対応するＳ４２では、Ｓ４１において検出されたＲＧＢ情報および／または、入力操作領域情報がカラオケリモコン装置２２に送信される。また、予めカラオケリモコン装置２２から送信されて記憶されたカラオケリモコン装置２２の各入力操作領域の色彩情報と、その色彩情報に対応づけられている入力操作領域情報との関係（マップ）を用いて、各入力操作領域のいずれかが操作されたかが決定される。

図２３において、Ｓ５１では、カラオケリモコン装置２２の表示部１１０において表示された入力画面をユーザが接触入力操作したか否かが判断される。このＳ５１の判断が肯定される場合は後述のＳ５４以下が実行されるが、否定される場合は、Ｓ５２において、携帯端末３２から送信された入力操作領域の色彩を表すＲＧＢ情報がカラオケリモコン装置２２に受信されたか否かが判断される。このＳ５２の判断が否定される場合はＳ５１以下が繰り返し実行される。Ｓ５２の判断が肯定される場合は、Ｓ５３において、入力画面内の入力操作領域と入力操作領域の色彩とに基づいて、受信されたＲＧＢ情報が表す色彩の入力操作領域を決定する。決定された入力操作領域を表す接触操作信号が生成される。次に、Ｓ５４では、接触操作信号に基づいて、画像処理、および各種処理が実行される。Ｓ５２において入力操作領域情報が受信された場合は、Ｓ５４において、その入力操作領域情報に基づいて、画像処理および各種処理が実行される。Ｓ５５において、その処理結果を表す画像がカラオケリモコン装置２２の表示部１１０に表示される。Ｓ５４およびＳ５５において、例えば、入力画面が図８（ａ）に示す初期入力画面であって、その初期入力画面内の入力操作領域Ａ１、入力操作領域Ａ２、入力操作領域Ａ３、入力操作領域Ａ４、入力操作領域Ａ５、入力操作領域Ａ６のうちの「りれき」という日本語文字が表示されている入力操作領域Ａ６の操作が行われた場合には、図１３（ａ）に示される選曲履歴画面を表示する処理が実行されて表示される。例えば、入力画面が図１３（ａ）に示される選曲履歴画面であって、選曲履歴画面内の入力操作領域Ａ７、入力操作領域Ａ８、入力操作領域Ａ９、入力操作領域Ａ１０、入力操作領域Ａ１１のうち、「海」という日本語文字が表示されている入力操作領域Ａ８の操作が行われた場合には、図１６に示す曲指示画面が表示される。また、例えば、入力画面Ｇｒが図１６に示す曲指示画面であって、その曲指示画面内の入力操作領域Ａ１２、入力操作領域Ａ１３、入力操作領域Ａ１４のうちの「予約」という日本語文字が表示されている入力操作領域Ａ１４の操作が行われた場合には、予め設定されている選曲予約作動が実施された後、図１９に示す「予約が完了しました」という文字が、カラオケリモコン装置２２の表示部１１０において表示される。

上述のように、本実施例のカラオケシステム１０、携帯端末３２およびそれに搭載されたプログラムによれば、撮像手段１８０によって撮像されたカラー撮像画像に含まれる文字が文字抽出手段１８２により抽出され、抽出された文字が携帯端末３２に設定された言語に翻訳された翻訳文字が翻訳文字取得手段１８４により取得され、取得された翻訳文字とカラー撮像画像とを合成したカラー合成画像が合成画像生成手段１９０によって生成され、生成されたカラー合成画像が合成画像表示手段１９２により表示部１６４に表示され、表示部１６４に表示されたカラー合成画像のうち操作位置検出手段１９４により検出された接触操作位置の色彩が色彩検出手段１９６によりを検出され、色彩検出手段１９６により検出された接触操作位置の色彩を表す色彩情報が送信手段２００によってカラオケリモコン装置２２に送信される。これにより、日本語以外の言語を使用するユーザは、携帯端末３２の表示部１６４に表示されたカラー合成画像内において翻訳文字で表される機能にしたがってタッチ入力操作を行うことにより、間違いがなく簡単にカラオケ装置１６をリモコン操作できる。

また、本実施例によれば、さらに、色彩検出手段１９６により検出された色彩に基づいて、カラオケリモコン装置２２の表示部１１０に表示された入力画面における入力操作領域を決定する操作領域決定手段１９８を含み、送信手段２００は、その操作領域決定手段１９８により決定された入力操作領域をカラオケリモコン装置２２へ送信することから、その入力操作領域に対応した部位にある操作領域に応じた入力操作でカラオケ装置２２をリモコン操作することで、日本語以外の言語を使用するユーザの携帯端末３２の表示部１６４に表示されたカラー合成画像内において翻訳文字で表される機能にしたがってタッチ入力操作を行うことにより、間違いがなく簡単にカラオケ装置２２をリモコン操作できる。

また、本実施例によれば、携帯端末３２は、カラオケリモコン装置２２の表示部１１０に表示された入力画面内の日本語文字を携帯端末３２に設定された言語に翻訳する翻訳サーバと通信可能であり、携帯端末３２は、さらに、前記日本語文字と携帯端末３２に設定された外国語とを、翻訳サーバ３０に送信する文字送信手段１８６、および翻訳サーバ３０から翻訳文字を受信する翻訳受信手段１８８を有することから、携帯端末３２内に翻訳ソフトを内蔵する必要がなく、携帯端末３２の構成が小型且つ簡単となる。

次に、本発明の他の実施例を説明する。以下の説明において前述の実施例１と同一の部分には同一の符号を付して説明を省略する。

図２４は本発明の他の実施例における機能ブロック線図を示している。本実施例の携帯端末３２は、図７に示す実施例１の携帯端末３２に比較して、操作領域決定手段１９８を備えておらず、送信手段２００は、色彩検出手段１９６により検出された色彩を表す色彩情報をカラオケリモコン装置２２へ送信する点と、カラオケリモコン装置２２は、送信手段２００により送信された色彩情報を受信する色彩受信手段２０２、操作領域決定手段１９８、および表示手段２０４を備えている点で、相違する。カラオケリモコン装置２２では、操作領域決定手段１９８が、カラオケリモコン装置２２の入力画面すなわち携帯端末３２の表示部１６４に表示されたカラー合成画像内の入力操作領域とそれを表示する色彩との間の予め記憶されている関係から、色彩受信手段２０２により受信された色彩情報が表す色彩に基づいて、複数の入力操作領域のうちの接触入力操作された所定の入力操作領域を決定する。表示手段２０４は、カラオケリモコン装置２２では、操作領域決定手段１９８が、カラオケリモコン装置２２の表示部１１０の入力操作画面の所定の入力操作領域に接触入力操作された接触操作情報に基づいて、処理を実行する。本実施例においても、前述の実施例と同様の効果が得られる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれらの実施例に限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例において、カラー合成画像内の翻訳文字は、入力操作領内において日本語と主に表示されていたが、翻訳文字は必ずしも入力操作領域内でなくてもよい。たとえば、入力操作領域と関係づけ可能な距離を隔てた位置に表示されていてもよい。

また、前述の実施例では、携帯端末３２とカラオケリモコン装置２２との相互通信は公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線を用いて説明したが、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などの近距離通信を用いて相互通信を行っても良い。また、前述の実施例において、携帯端末３２は、カラオケリモコン装置２２の各入力操作領域の色彩情報と、その色彩情報に対応づけられている入力操作領域情報との関係（マップ）を、通信許可信号と共にカラオケリモコン装置２２から受信していたが、カラオケ指示操作アプリケーションプログラムに含まれているなど、他の手段によってあらかじめ搭載或いは受信されてもよい。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１０：カラオケシステム
１６：カラオケ装置
２２：カラオケリモコン装置
３０：翻訳サーバ
３２：携帯端末
１６４：携帯端末の表示部
１８０：撮像手段
１８２：文字抽出手段
１８４：翻訳文字取得手段
１８６：文字送信手段
１８８：翻訳文字受信手段
１９０：合成画像生成手段
１９２：合成画像表示手段
１９４：操作位置決定手段
１９６：色彩検出手段
１９８：操作領域決定手段
２００：送信手段

Claims (5)

1. カラー画像表示および接触による入力操作が可能な表示部と撮像装置とを備え、カラオケリモコン装置と通信可能な携帯端末、のコンピュータを、
   前記カラオケリモコン装置に表示された画面を前記撮像装置により撮像させる撮像手段、
   前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段、
   前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字取得手段、
   前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段、
   前記カラー合成画像を前記表示部に表示させる合成画像表示手段、
   前記表示部への接触操作位置を検出する操作位置検出手段、
   前記表示部に表示された前記カラー合成画像のうち前記操作位置検出手段により検出された前記接触操作位置の色彩を検出する色彩検出手段、および
   前記色彩検出手段により検出された前記接触操作位置の色彩を表す色彩情報を前記カラオケリモコン装置に送信する送信手段、
   として機能させるための携帯端末のカラオケ指示操作プログラム。
2. カラー画像表示および接触による入力操作が可能な表示部と撮像装置とを備え、カラオケリモコン装置と通信可能な携帯端末、のコンピュータを、
   前記カラオケリモコン装置に表示された画面を前記撮像装置により撮像させる撮像手段、
   前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段、
   前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字取得手段、
   前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段、
   前記カラー合成画像を前記表示部に表示させる合成画像表示手段、
   前記表示部への接触操作位置を検出する操作位置検出手段、
   前記表示部に表示された前記カラー画像のうち前記操作位置検出手段により検出された前記接触操作位置の色彩を検出する色彩検出手段、
   前記色彩検出手段により検出された前記色彩に基づいて、前記カラオケリモコン装置に表示された画面における入力操作領域を決定する操作領域決定手段、および、
   前記操作領域決定手段により決定された前記入力操作領域を前記カラオケリモコン装置に送信する送信手段、
   として機能させるための携帯端末のカラオケ指示操作プログラム。
3. 前記携帯端末は、前記抽出された文字を前記携帯端末に設定された言語に翻訳する翻訳サーバと通信可能であり、
   前記携帯端末のコンピュータを、さらに、
   前記抽出された文字と前記携帯端末に設定された言語とを、前記翻訳サーバに送信する文字送信手段、および
   前記翻訳サーバから前記翻訳文字を受信する翻訳文字受信手段、
   として機能させることを特徴とする請求項１又は２の携帯端末のカラオケ指示操作プログラム。
4. カラオケリモコン装置と通信可能な携帯端末と、前記カラオケリモコン装置とが通信を介して接続されて情報伝達を行うカラオケの指示操作システムであって、
   前記携帯端末は、
   カラー画像の表示および接触操作による入力操作が可能な表示部および撮像装置と、
   前記カラオケリモコン装置に表示された入力操作領域を含む画面を前記撮像装置により撮像させる撮像手段と、
   前記撮像手段により撮像されたカラー撮像画像に含まれる文字を抽出する文字抽出手段と、
   前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字取得手段と、
   前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段と、
   前記カラー合成画像を前記表示部に表示させる合成画像表示手段と、
   前記表示部への接触操作位置を検出する操作位置検出手段と、
   前記検出された接触操作位置の色彩を検出する色彩検出手段と、
   前記色彩検出手段により検出された色彩を表す色彩情報を前記カラオケリモコン装置に送信する送信手段とを、備え、
   前記カラオケリモコン装置は、
   カラー画像を表示可能な表示手段と、
   前記色彩情報を受信する色彩受信手段と、
   前記色彩受信手段により受信された色彩情報に基づいて、前記入力操作領域を含む画面における前記入力操作領域を決定する操作領域決定手段とを、備える
   ことを特徴とするカラオケ指示操作システム。
5. カラー画像表示および接触による入力操作が可能な表示部と撮像装置とを備え、カラオケリモコン装置と通信可能な携帯端末を用いたカラオケ指示操作装置であって、
   前記カラオケリモコン装置に表示された入力操作領域を含む画面を前記撮像装置により撮像させる撮像手段と、
   前記撮像手段により撮像されたカラ−撮像画像に含まれる文字を抽出する文字抽出手段と、
   前記抽出された文字が前記携帯端末に設定された言語に翻訳された翻訳文字を取得する翻訳文字手得手段と、
   前記翻訳文字と前記カラー撮像画像とを合成したカラー合成画像を生成する合成画像生成手段と、
   前記カラー合成画像を前記表示部に表示させる合成画像表示手段と、
   前記表示部への接触操作位置を検出する操作位置検出手段と、
   前記表示部に表示された前記カラー合成画像のうち、前記操作位置検出手段により検出された前記接触操作位置の色彩を検出する色彩検出手段と、
   前記色彩検出手段により検出された色彩を表す色彩情報を前記カラオケリモコン装置へ送信する送信手段と、
   を、含むことを特徴とする携帯端末を用いたカラオケ指示操作装置。

Images