JP4438194B2 - 携帯電話機及び未整理の視覚情報処理方法 - Google Patents
携帯電話機及び未整理の視覚情報処理方法 Download PDFInfo
- Publication number
- JP4438194B2 JP4438194B2 JP2000229604A JP2000229604A JP4438194B2 JP 4438194 B2 JP4438194 B2 JP 4438194B2 JP 2000229604 A JP2000229604 A JP 2000229604A JP 2000229604 A JP2000229604 A JP 2000229604A JP 4438194 B2 JP4438194 B2 JP 4438194B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- visual information
- information
- audio
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は携帯電話機及び携帯電話機に用いて好適な未整理の視覚情報処理方法に関する。
【０００２】
【従来の技術】
従来から、携帯電話機或は送受信機能を有するＰＤＡ（個人情報端末）１等では図１０に示す様に動画や静止画像を撮像するデジタルビデオカメラ２、静止画像等を撮影可能なデジタルスチールカメラ３、携帯電話機１に内蔵の撮像カメラ１５からの映像情報やインターネット網４からのテキスト情報等（本発明では映像情報及びテキスト情報等の表示装置上に映出される情報を視覚情報として定義して、以下、視覚情報と記す）を容易に取得することが可能になっている。
【０００３】
例えば、デジタルビデオカメラ２と携帯電話機１との間ではＵＳＢ：ＩＥＥＥ１３９４（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：Ｉｎｓｔｉｔｕｔｅｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ １３９４）等のインタフェースを介して有線による接続によって、またデジタルスチールカメラ３と携帯電話機１間ではＢｌｕｅｔｏｏｔｈ（近距離での無線による送受信接続用インタフェース）等のインタフェースを介する無線による送受信によって、更に、インターネット網４の各ウェブ（Ｗｅｂ）サイト５ａ，５ｂ，５ｃ‥‥からの各種テキストデータや図形、映像データ等の視覚情報は携帯電話基地局６及び電波塔７を介して無線によって容易にダウンロードが可能であり、携帯電話機〔本発明では携帯電話端末、（６４ｋｂｐｓ）携帯情報端末、（１６４ｋｂｐｓ〜３８４ｋｂｐｓ）、カーマルチメディア端末（６４ｋｂｐｓ，１２８ｋｂｐｓ，１４４ｋｂｐｓ）、携帯用のマルチメディア端末（２Ｍｂｐｓ）等を含めて、携帯電話機として説明を進める。〕にメモリスティックやフラッシュメモリ等の小型メモリカードやＢｌｕｅｔｏｏｔｈ用の送受信用カード等が搭載可能とされ、大量の視覚情報を携帯電話機のメモリ内に格納可能で且つＰＤＡ等でも送受信が可能と成されている。
【０００４】
【発明が解決しようとする課題】
上述の携帯電話機１ではＬＣＤ等の表示装置８の表示面が極めて小さく、且つテンキー等の操作部９のキー数が少ないために、例えば小型メモリカード内に格納した未整理の複数の視覚情報ファイルを検索するためにタイトルや説明情報をキーを介して入力しようとすると、一般の比較的大きな表示装置及び文字入力用のキーボードを有するものに比べて操作性が悪く、且つ、長時間を要する課題があった。
【０００５】
本発明は叙上の課題を解決するためになされたものであり、発明が解決しようとする課題は携帯電話機が有する基本機能である音声送受信機能から音声ファイルを作成し、この音声ファイルを複数の視覚情報ファイルにタイトルとして添付することで所定の画像等の視覚情報を容易に検索可能な携帯電話機及び未整理の視覚情報処理方法を提供しようとするものである。
【０００６】
【課題を解決するための手段】
本発明の携帯電話機は、複数の未整理の視覚情報をファイルに取得する視覚情報取得手段と、未整理の視覚情報ファイルに対応する検索用音声情報を作成する検索用音声情報作成手段と、視覚情報と上記検索用音声情報を記憶する記憶手段と、視覚情報と検索用音声情報を記憶手段内にマージ或はリンクさせる検索ファイル作成手段と、音声再生手段と、表示手段と、キー入力手段と、上記視覚情報の検索時に、上記記憶手段に記憶されている上記検索用音声情報を順番に上記音声再生手段から再生させるとともに、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか否かの入力を促す表示を上記表示手段に行わせ、検索対象の視覚情報であることを示す入力が上記キー入力手段によって行われた場合には、上記記憶手段に記憶されている当該視覚情報を上記表示手段に表示させる検索処理手段とを具備して成るものである。
【０００８】
また本発明の携帯電話機は、上記検索処理手段は、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか、直前に再生した検索用音声情報に戻るか、または次の検索用音声情報に移るかの入力を促す表示を上記表示手段に行わせ、直前に再生した検索用音声情報に戻ることを示す入力が上記キー入力手段によって行われた場合には、直前に再生した検索用音声情報を再び上記音声再生手段から再生させるように成したものである。
また本発明の携帯電話機は、上記音声再生手段の再生速度を高速或は低速に可変可能な再生速度可変手段を有するように成したものである。
【０００９】
本発明の未整理の視覚情報処理方法は、携帯電話機に設けられた制御手段が、複数の未整理の視覚情報をファイルに取得する視覚情報取得ステップと、上記制御手段が、未整理の視覚情報ファイルに対応する検索用音声情報を作成する検索用音声情報作成ステップと、上記制御手段が、視覚情報と検索用音声情報を記憶手段内にマージ或はリンクさせる検索ファイル作成ステップと、上記制御手段が、上記視覚情報の検索時に、上記記憶手段に記憶されている上記検索用音声情報を順番に音声再生手段から再生させるとともに、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか否かの入力を促す表示を表示手段に行わせ、検索対象の視覚情報であるとの入力がキー入力手段によって行われた場合には、上記記憶手段に記憶されている当該視覚情報を上記表示手段に表示させる検索処理ステップとを具備してなるものである。
【００１０】
本発明の携帯電話機及び未整理の視覚情報処理方法によれば記憶手段に格納された複数の視覚情報を検索する際に携帯電話機では入力し難いテキストデータとして入力することなく、容易に入力可能な音声をタイトル、説明情報として添付することが可能で、複数の視覚情報の整理、検索を容易にすることが出来る。
【００１２】
また本発明の携帯電話機によれば、音声情報ファイルを作成する際に、再生速度制御可能な音声コーデックを使用することにより、検索時間を短縮化することができる。
【００１３】
【発明の実施の形態】
以下、本発明の携帯電話機及び未整理の視覚情報処理方法を図１乃至図９によって説明する。
【００１４】
図１は本発明の携帯電話機の機能ブロック図、図２は本発明の携帯電話機のブロック図、図３乃至図６は動作説明用のフローチャート図、図７乃至図９はファイル説明図である。
【００１５】
本発明に用いる携帯電話機１は図２のブロック図に示す様に送受信用アンテナ３０、ＲＦブロック３１、変復調ブロック３２を含む送受信用無線部、スピーカ３３、デジタル−アナログ変換器（Ｄ／Ａ）３４を含む音声及びダイヤラ信号放音用の音声出力部とマイクロホン３５、アナログ−デジタル変換器（Ａ／Ｄ）３６を含む音声入力部を有する音声コーデック部３９、キーボードを含む小さな操作部９、ＬＣＤ等の小さな表示部８、マイクロコンピュータ（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）等のシステム及び伝送制御用のプロセッサ部３７とプログラム・データ用のＲＯＭ，ＲＡＭ等の内蔵メモリ部３８、メモリカード等の外部メモリ部１１ａ，１１ｂ、携帯電話機１内蔵の撮像カメラ１５及び画像コーデック部４０を有し、これら各部分はバスを介してプロセッサ３７に接続されている。
【００１６】
外部メモリ（メモリ・スティックカード、ＰＣカード、スマート・メディアカード、ミニチュアカード、コンパクト・フラッシュカード）１１ａ，１１ｂは携帯電話機１の外筺に設けたカード挿入用のスロットを介して着脱自在と成されている。
【００１７】
上述のハードウェア構成に於ける、本発明の機能ブロックを図１に示す。図１に於いて、画像情報等の視覚情報ファイル２７と音声情報ファイル２８は外部メモリ１１ａ，１１ｂ内に格納される。
【００１８】
図１では二つの外部メモリ１１ａ，１１ｂとして書かれているが１つのメモリでよく、外部メモリ１１ａ，１１ｂでなく携帯電話機１に内蔵された内蔵メモリ（内蔵メモリ部３８以外）であってもよい。
【００１９】
図１０で説明した様にデジタルビデオカメラ２、デジタルスチルカメラ３、イメージスキャナ等の他のデバイス１２（図１参照）から取り出された静止画や動画等の画像情報とインタラネットやインターネット等１３のパーソナルコンピュータやＰＤＡ等から取り出された図形、表、テキスト情報及び画像情報と図形、表、テキスト情報を組合せた組合せ情報が視覚情報として外部入力部１４に供給される。
【００２０】
外部入力部１４は物理的にはＵＳＢであったり、無線で送受信されるデジタルデータをベースバンドのデジタルデータに変換するＢｌｕｅｔｏｏｔｈ用のモデムであったりする。これら視覚情報を取得するための制御ソフトウェアはプロセッサ３７内に含まれ、これらを含めて外部入力部１４としている。
【００２１】
内蔵画像デバイスは携帯電話機１内蔵のＣＣＤ、ＣＭＯＳセンサ等の撮像カメラ１５であり、画像ファイル作成部１６は図２の画像コーデック部４０と上述の外部入力部１４に対応しているので内蔵画像デバイス１５の出力を外部入力部に供給するようにしてもよい。
【００２２】
メモリ１１ａに格納された画像情報、テキスト情報等の視覚情報ファイル２７は画像表示・選択部１７及びテキスト表示・選択部２３によりＬＣＤ等の表示部８上に表示、選択される。
【００２３】
次に音声ファイル作成部１９は携帯電話機１内にすでに備わっている機能としての音声入力デバイス（マイクロホン）３５及び音声コーデック部３９並びに音声再生・選択部２２等を利用する。
【００２４】
一般に携帯電話機１では図２に示す様にマイクロホン３５から入力した音声情報信号はＡ／Ｄ３６でデジタルデータに変換後に決められた音声コーデック・フォーマットに音声コーデック部３９でエンコードし、そのデジタルデータを無線で送信可能な様に変復調部３２及びＲＦブロック部３１を介してアンテナ３０より送信する。
【００２５】
また、アンテナ３０で受信した信号はＲＦブロック部３１及び変復調部３２で復調してデジタルデータに戻し、音声コーデック部３９で音声コーデックフォーマットに従ってデコードし、Ｄ／Ａ３４でアナログ信号に変換してスピーカ３３に出力される。
【００２６】
本発明は、音声ファイル作成部１９により音声コーデック・フォーマットにエンコードしてメモリ１１ｂに音声情報ファイル２８としてファイルさせ、この音声情報ファイル２８をデコードし、再生、選択する音声再生、選択部２２（音声コーデック部３９）を用いて画像情報、テキスト情報等の複数の未処理の視覚情報に説明情報、検索情報としてのタイトルを添付（マージ）させる音声ファイル添付部２４を設けて、ｉモードやＥＺ−Ｗｅｂなどと称されるインターネット網からダウンロードした複数の未整理の視覚情報を整理し、検索を容易にしようとするものである。
【００２７】
従来から、複数の未整理の視覚情報を扱う際に、ユーザがインデックス番号やファイル名等の検索情報を入力することなく、自動的にファイルの区別を行なうためダウンロード時や視覚情報の作成順に通しのインデックス番号を付加するとか、ファイルへのダウンロードや作成時のタイムスタンプをファイル名とする方法があるが、必要な視覚情報を探す際には順次画像等の視覚情報を表示部８に表示しなくてはならず面倒である。そこで単純なインデックス番号やタイムスタンプのファイル名でなく、より効率良くファイルを整理するために、ユーザが識別するためのタイトルをつけることが必要になるのだが携帯電話機ではキーがパーソナルコンピュータ等に比べて少なく文字タイトルの入力も容易でない。
【００２８】
本発明は、携帯電話機の基本機能である音声ファイルが容易に作成できる部分に着目し、この音声ファイルを、整理が必要な複数の画像等のファイルにタイトル或は画像等ファイルの説明として添付する機能を新たに追加することで上記問題を解決しようとするものである。
【００２９】
図３は上述の音声情報ファイルを視覚情報の１つである画像情報ファイルにタイトル等の検索情報として添付するためのプロセッサ（以下ＣＰＵと記す）３７による音声ファイル添付処理のフローチャートを示すものである。
【００３０】
図３の第１ステップＳ1 ではデジタルビデオカメラ２、デジタルスチルカメラ３等の他のデバイス１２からＵＳＢやＢｌｕｅｔｏｏｔｈ等で取得した画像情報或はインターネット網等１３からのテキスト情報、図形情報等の視覚情報をダウンロードする。
【００３１】
第２ステップＳ2 ではダウンロード時刻に基づいて自動的にファイル名やタイムスタンプ等が付加される。
【００３２】
この状態で表示部８にはダウンロードした画像８ａや画像８ａを保存するか否かの質問文８ｂが表示される。
【００３３】
第３ステップＳ3 ではＣＰＵ３７はダウンロードした画像を保存するか否かを判断する。ユーザは表示部８上の質問文８ｂの０（はい）、１（いいえ）をクリックする。ＮＯであれば第４ステップＳ4 に進み画像８ａを表示して終了し、ＹＥＳであれば第５ステップＳ5 に進められる。
【００３４】
第５ステップＳ5 では音声入力メッセージの表示が成され、表示部８にはダウンロード画像８ａと共に「音声を入力して下さい」等のメッセージ８ｃが表示される。
【００３５】
第６ステップＳ6 ではユーザが表示部８の画像８ａを視ながら画像８ａに対応した検索用タイトル、説明文等をマイクロホン３５を介して音声で例えば「逗子海岸の夕日」等と入力する。
【００３６】
第７ステップＳ7 ではＣＰＵ３７は音声コーデック部３９及びＤ／Ａ３４を介してスピーカ３３から「逗子海岸の夕日」と再生する。
【００３７】
第８ステップＳ8 では音声再生音がＯＫか否かをユーザに求め、表示部８に「ＯＫですか」の質問文８ｄを表示する。ユーザは「１」或は「０」をクリックすることでＮＯであれば第５ステップＳ5 の頭に戻されるが、ＹＥＳであれば第９ステップＳ9 に進む。
【００３８】
第９ステップＳ9 では音声情報ファイルを画像等の視覚情報ファイルとマージすることで図７に示す様に１つのファイルに併合させる。
【００３９】
図７は音声ファイル添付部２４で視覚情報ファイル２７と音声情報ファイル２８を１つにまとめたファイル・イメージを示すものであり、５０は第２ステップＳ2 で自動生成されたファイル名等のテキスト索引部、５１は第６ステップＳ6 で音声情報ファイル２７に格納した「逗子海岸の夕日」等の音声情報ファイル、５２は第１ステップＳ1 でデジタルビデオカメラ３等から取得した画像８ａを格納した画像等の視覚情報ファイルである。尚ファイル名５０は００年０３月０１日１６時２５分００秒（０００３０１１６２５００，ＰＣＫ）の様なタイムスタンプであってもよい。
【００４０】
この様に音声情報ファイル５１と視覚情報ファイル５２をマージして１つのファイルとした後に終了に至ることになる。
【００４１】
次に、上述の様にマージした複数の未整理の視覚情報ファイルから所定の視覚情報を検索する場合のフローチャートを図４に示す。
【００４２】
図４に於いて、第１ステップＳＴ1 ではＣＰＵ３７は音声タイトルを再生するか否かを表示部８に表示する。例えば表示部８の画面上には「音声を再生しますか」等の質問文８ｅが表示される。ユーザはＹＥＳでは「０」をクリックし、ＮＯでは「１」をクリックする。
【００４３】
第１ステップＳＴ1 でＮＯであれば第２ステップＳＴ2 に進んで従来一般に行なわれている様な複数の画像等の視覚情報ファイルを順次、表示させ、これら表示画像を見ながら所定の視覚情報検索を行なう様な従来の処理が行なわれる。
【００４４】
第１ステップＳＴ1 がＹＥＳであれば、第３ステップＳＴ3 でＣＰＵ３７はスピーカ３３を介して視覚情報ファイルにマージした音声タイトルを順番に再生する。
【００４５】
この様な再生時に音声を単純に通常の速度で再生するステップ（第５ステップＳＴ5 ）の場合、入力時に文字で入力する場合に比べれば音声で入力するので入力方法は容易であるが、検索時には画像を順番に見に行く第２ステップＳＴ2 に比べて時間がかかってしまう可能性があるので、第４ステップＳＴ4 で早聞き操作を行なうか否かを判断させる。
【００４６】
この早聞機能は図１の音声再生、選択部２２内に設けられた再生速度可変制御部２２ａで行ない、この音声コーデックはＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４：オーディオビジュアルオブジェクト符号化規格）ＨＶＸＣ（Ｈａｒｍｏｎｉｃ Ｖｅｃｔｏｒ ｅＸｃｉｔａｔｉｏｎ Ｃｏｄｉｎｇ）を用いることで早聞き、遅聞き再生を容易に行なうことが出来る。
【００４７】
パラメトリック符号化であるＨＶＸＣでの音声符号化のビットレートは２ｋｂｐｓ〜４ｋｂｐｓであるが可変ビットレートモードによって１．２ｋｂｐｓ程度まで使用可能である。人間の声等の有声音をスペクトル分布させるとハーモニックと呼ばれる一様な信号になるがＨＶＸＣではこの中から位相情報を捨てたハーモニック振幅列として周波数や振幅（ピッチ）等を量子化しているので再生側で認識可能で、速度やピッチの制御・変更が容易に可能となっている。
【００４８】
この場合、早聞き、遅聞きに対応するキー操作は例えば「早聞きしますか」等の質問文８ｆが表示部８の画面上に表示され、「０」：はい、「１」：いいえのいずれかをクリックすることで早聞き操作か否かの判断が成され、ＮＯでは上記した様に第５ステップＳＴ5 の通常再生が行なわれ、ＹＥＳでは第６ステップＳＴ6 によって速度可変制御部２２ａで早聞き、遅聞き等の再生が成される。
【００４９】
第５ステップＳＴ5 及び第６ステップＳＴ6 終了後は第７ステップＳＴ7 に進んで再生された音声タイトルに対応した画像等の視覚情報でＯＫか否かを判断する。
【００５０】
即ち、表示部８の画面には「この音声に対応する画面ですか」と「０」：はい、「１」：戻る、「２」：次へ等の質問文８ｇが表示される。従って、例えば「逗子海岸の夕日」と云う音声タイトルが再生されたらＹＥＳとし「０」をクリックすることで第８ステップＳＴ8 に進む。ＮＯでは第４ステップＳＴ4 の頭に戻され、「１」のクリックでは元の早聞きが再度再生され、「２」のクリックでは次の音声タイトルが再生される。
【００５１】
第８ステップＳＴ8 では対応する画像等の視覚情報ファイルの「逗子海岸の夕日」に対応した画像８ａが表示部８に表示されてファイル検索、再生表示終了に至る。
【００５２】
上述の検索方法によれば、所定の未整理の複数の視覚情報から所定の視覚情報を音声タイトルを開いて高速に検索することが出来る。
【００５３】
更に図３で説明した音声情報ファイル添付処理の第１ステップＳ1 乃至第８ステップＳ8 に続けて、図１の機能ブロックに示す様に音声認識テキスト変換部２５及び音声ファイル並び替え部２６を介して、２９で示す様なイメージのテキスト索引付音声ファイルを作成することで視覚情報を効率よく検索整理可能な携帯電話機及び未整理の視覚情報処理方法を図５及び図６並びに図８及び図９によって説明する。
【００５４】
図１の音声認識・テキスト変換部２５ではメモリ１１ｂの音声情報ファイル２８から取り出した音声情報をテキスト（文字）に変換する。ここで重要なのは通常の会話をすべて正しくテキストへ変換するには、プロセッサ能力、メモリ容量を考えても携帯電話機に搭載するのは困難を要するので、ここでの音声認識・テキスト変換部２４は、音声情報ファイルを（例えば辞書順に）並び替えるために必要な音声情報ファイルの先頭の一部（一単語程度）のみをテキストに変換するだけの機能でよい。この様にテキスト変換されたテキスト索引付音声情報のファイル２９はテキストタグ（例えば辞書順）を元の並び替えが音声情報ファイルの並び替え部２６で行なわれる。
【００５５】
図５に於いては、携帯電話機１のモード設定時に索引（インデックス）作成モードになっていることを前提とし、図３で説明した第１〜第８ステップＳ1 〜Ｓ8 での音声ファイル添付処理が終了した第８ステップＳ8 がＹＥＳの状態から第１ステップＳＴＥ1 のインデックス作成モードか否かをＣＰＵ３７は判断し、インデックスを作成しない場合は第２ステップＳＴＥ2 から第３ステップＳＴＥ3 に進んで音声情報ファイルを画像等の視覚情報ファイルとマージさせて終了に至る。
【００５６】
一方、インデックス作成モードがＹＥＳであれば第４ステップＳＴＥ4 に進んで音声情報ファイルの先頭部を切り出し、音声認識する。
【００５７】
第５ステップＳＴＥ5 では音声認識結果から「逗子海岸の夕日」の一部「ズシカイガン」と云うインデックスを作成する。
【００５８】
第６ステップＳＴＥ6 ではインデックス、音声情報ファイルを画像等の視覚情報ファイルとマージする。
【００５９】
第７ステップＳＴＥ7 では検索のために画像等の視覚情報ファイルのインデックスによるソートが行なわれる。例えば辞書順に並び替えが行なわれた後にインデックス作成処理終了に至る。
【００６０】
上述ではインデックスによる並び替えを第７ステップＳＴＥ7 で行なったが、第６ステップＳ6 の音声情報ファイル作成時に並び替えたり、第７ステップＳ7 での音声再生時に選択された（例えば「ズ」で始まる音声を指定）音声が再生できればテキストのインデックスが付けられたまま並び替えることなくメモリ１１ｂ上に保存されていてもよい。
【００６１】
上述のインデックス作成処理の第６ステップＳＴＥ6 でインデックス、音声情報ファイル、画像等の視覚情報ファイルのマージで作成した１つのファイルのイメージは図７に示す様に例えば「ズシカイガン」の様なインデックス５３が付加される。
【００６２】
この様な１つのファイル内に３つの各ファイル（インデックス、音声情報、視覚情報）をまとめた場合、一度作成した１つのファイルに対し、例えば音声情報ファイルだけを付け替え（関連付けの変更）る場合に、プロセッサの負荷が大きくなり、メモリの利用効率も悪くなる。
【００６３】
そこでテキストのタグファイルを作成し、複数のファイルをリンクさせることで検索を容易にし、メモリも小容量化可能にすることも出来る。これを図８及び図９を用いて説明する。
【００６４】
図８（Ａ）の２７は図３の第１ステップＳ1 でダウンロード等により取得した画像等の視覚情報ファイルであり、例えば０００４２６１９００００．ｊｐｇは取得日時にしたがって自動的に第２ステップＳ2 で付加したファイル名であるが携帯電話機１でのファイル名と重複しない様にしている。
【００６５】
図８（Ｂ）の２８は図３の第６ステップＳ6 で作成した「逗子海岸の夕日」という音声情報ファイルであり、例えば０００４２１９０２００．ｗａｖは音声情報ファイルのファイル名である。
【００６６】
図８（Ｃ）の５３は音声情報ファイル２８の先頭から音声認識により音声からテキストに変換し、図５の第５ステップＳＴＥ5 で作成した「ズシカイガン」と云うインデックスファイルであり、０００４２６１９０２００．ｔｘｔはインデックス作成時のファイル名である。
【００６７】
本発明では上述の視覚情報ファイル２７、音声情報ファイル２８、インデックスファイル５３のファイルをリンクするテキストインデックスタグファイル５４を作成する。このテキストインデックスタグファイルを作成する際にファイル名を新たに作成してもよいが図８（Ｃ）に示すインデックスファイルは既にテキストなのでこのファイル名を修正したファイル名０００４２６１９０２００．ｈｅａｄを作成しリンク情報として〈ＴＩＴＬＥ〉，〈ＶＯＩＣＥ〉，〈ＣＯＮＴＥＮＴＳ〉等のタグを定義し、ここに各ファイル名を記述する様にする。
【００６８】
又、テキストインデックスタグファイル５４をユーザ独自の仕様でなく、国際標準であるＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のタグが定義可能なマークアップ言語で記述することによって、携帯電話機に限定されることなく、インターネット上のＷｅｂサイト、他のユーザのパーソナルコンピュータ、その他ＸＭＬ記述を認識できる機器でもテキストインデックスタグファイルのリンク情報が認識でき、音声情報ファイル、画像等の視覚情報ファイルをテキストインデックスタグファイルと一緒に配布・管理することで、異なるメディア（音声と画像等の視覚情報）のファイルをまとめて扱うことが、インターネット上のＷｅｂサイト、他のユーザのパーソナルコンピュータ、その他ＸＭＬ記述を認識できる機器上で容易になる。
【００６９】
図６は、インデックスが付加されたファイル（インデックスモード）でのファイル検索再生、表示のフローチャートを示すものであり、第１ステップＳＴＥＰ1 ではインデックスを表示するか否かの判断が成された、ＮＯであれば第２ステップＳＴＥＰ2 で従来の画像表示による検索或は図３で説明した音声タイトルによる検索が行なわれる。
【００７０】
第１ステップＳＴＥＰ1 がＹＥＳの場合は、第３ステップＳＴＥＰ3 に進んでインデックスの一覧表８ｈを表示部８に表示するか、インデックスの最初の文字を表示する。
【００７１】
第４ステップＳＴＥＰ4 では表示部８の該当する番号、例えば「４」を入力するか、ファイルの多いときは１頁で一覧できないので最初の文字「ズシカイガン」の「ズ」のみを入力する。
【００７２】
第５ステップＳＴＥＰ5 では対応する画像８ａ等の視覚情報ファイルの表示と音声タイトルが再生される。即ち、表示部８には画像８ａと「ズシカイガン」の文字８ｉが表示されると同時に音声タイトルも再生されて終了に至る。
【００７３】
上述の様なインデックスモードでの視覚情報ファイルの検索は
（１）テキストインデックスタグファイル５４のタグ〈ＴＩＴＬＥ〉の中身の一覧表を表示する。
（２）同じテキストインデックスがある場合等は音声ファイルを再生する。
２段階にすることで単純に音声ファイルを再生して探すよりも検索効率を上げることが可能となる。
また、テキストインデックスタグファイル５４を設けることで音声情報ファイル２８と視覚情報ファイル２７を別々に存在させたままでリンクを変更するだけで関連付けの変更が容易に行なえる。更に、音声情報ファイルと視覚情報ファイルの関連付けを１：１だけでなく１つの音声情報ファイルに対して複数の画像等の視覚情報ファイルや、複数の音声情報ファイルを１つの視覚情報ファイルに関連付けすることが可能となり、メモリを節約可能となる。
【００７４】
【発明の効果】
本発明の携帯電話機及び未整理の視覚情報の処理方法によれば、（１）インターネット等と接続して得た複数の視覚情報ファイルや、端末内蔵あるいは外部の画像デバイスから入力した複数の視覚情報ファイルについて、携帯電話機では困難なテキスト入力をすることなく、容易に入力可能な音声をタイトル、説明情報として添付することにより、複数の視覚情報ファイルの整理が可能となる。
（２）音声情報ファイルを作成する際に、再生速度制御可能な音声コーデック（例えばＭＰＥＧ−４ ＨＶＸＣ）を使用することにより、検索時間を短縮化することが出来る。等の多くの効果を奏する。
【図面の簡単な説明】
【図１】本発明の携帯電話機の機能ブロック図である。
【図２】本発明の携帯電話機のブロック図である。
【図３】本発明の音声情報ファイル添付時のフローチャートである。
【図４】本発明のファイル検索時のフローチャートである。
【図５】本発明のインデックス作成時のフローチャートである。
【図６】本発明のインデックスモードのファイル検索時のフローチャートである。
【図７】本発明の音声情報ファイル添付時のファイルのイメージ図である。
【図８】本発明に用いる各ファイルの説明図である。
【図９】本発明のテキストインデックスタグファイルのイメージ図である。
【図１０】従来の情報取得方法説明図である。
【符号の説明】
１‥‥携帯電話機、８‥‥表示部、１１ａ，１１ｂ‥‥メモリ、１４‥‥外部入力部、１６‥‥画像ファイル作成部、１９‥‥音声ファイル作成部、２２‥‥音声情報ファイル添付部、２５‥‥音声認識テキスト変換部、２７‥‥視覚情報ファイル、２８‥‥音声情報ファイル、３３‥‥スピーカ、３５‥‥マイクロホン
【発明の属する技術分野】
本発明は携帯電話機及び携帯電話機に用いて好適な未整理の視覚情報処理方法に関する。
【０００２】
【従来の技術】
従来から、携帯電話機或は送受信機能を有するＰＤＡ（個人情報端末）１等では図１０に示す様に動画や静止画像を撮像するデジタルビデオカメラ２、静止画像等を撮影可能なデジタルスチールカメラ３、携帯電話機１に内蔵の撮像カメラ１５からの映像情報やインターネット網４からのテキスト情報等（本発明では映像情報及びテキスト情報等の表示装置上に映出される情報を視覚情報として定義して、以下、視覚情報と記す）を容易に取得することが可能になっている。
【０００３】
例えば、デジタルビデオカメラ２と携帯電話機１との間ではＵＳＢ：ＩＥＥＥ１３９４（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：Ｉｎｓｔｉｔｕｔｅｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ １３９４）等のインタフェースを介して有線による接続によって、またデジタルスチールカメラ３と携帯電話機１間ではＢｌｕｅｔｏｏｔｈ（近距離での無線による送受信接続用インタフェース）等のインタフェースを介する無線による送受信によって、更に、インターネット網４の各ウェブ（Ｗｅｂ）サイト５ａ，５ｂ，５ｃ‥‥からの各種テキストデータや図形、映像データ等の視覚情報は携帯電話基地局６及び電波塔７を介して無線によって容易にダウンロードが可能であり、携帯電話機〔本発明では携帯電話端末、（６４ｋｂｐｓ）携帯情報端末、（１６４ｋｂｐｓ〜３８４ｋｂｐｓ）、カーマルチメディア端末（６４ｋｂｐｓ，１２８ｋｂｐｓ，１４４ｋｂｐｓ）、携帯用のマルチメディア端末（２Ｍｂｐｓ）等を含めて、携帯電話機として説明を進める。〕にメモリスティックやフラッシュメモリ等の小型メモリカードやＢｌｕｅｔｏｏｔｈ用の送受信用カード等が搭載可能とされ、大量の視覚情報を携帯電話機のメモリ内に格納可能で且つＰＤＡ等でも送受信が可能と成されている。
【０００４】
【発明が解決しようとする課題】
上述の携帯電話機１ではＬＣＤ等の表示装置８の表示面が極めて小さく、且つテンキー等の操作部９のキー数が少ないために、例えば小型メモリカード内に格納した未整理の複数の視覚情報ファイルを検索するためにタイトルや説明情報をキーを介して入力しようとすると、一般の比較的大きな表示装置及び文字入力用のキーボードを有するものに比べて操作性が悪く、且つ、長時間を要する課題があった。
【０００５】
本発明は叙上の課題を解決するためになされたものであり、発明が解決しようとする課題は携帯電話機が有する基本機能である音声送受信機能から音声ファイルを作成し、この音声ファイルを複数の視覚情報ファイルにタイトルとして添付することで所定の画像等の視覚情報を容易に検索可能な携帯電話機及び未整理の視覚情報処理方法を提供しようとするものである。
【０００６】
【課題を解決するための手段】
本発明の携帯電話機は、複数の未整理の視覚情報をファイルに取得する視覚情報取得手段と、未整理の視覚情報ファイルに対応する検索用音声情報を作成する検索用音声情報作成手段と、視覚情報と上記検索用音声情報を記憶する記憶手段と、視覚情報と検索用音声情報を記憶手段内にマージ或はリンクさせる検索ファイル作成手段と、音声再生手段と、表示手段と、キー入力手段と、上記視覚情報の検索時に、上記記憶手段に記憶されている上記検索用音声情報を順番に上記音声再生手段から再生させるとともに、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか否かの入力を促す表示を上記表示手段に行わせ、検索対象の視覚情報であることを示す入力が上記キー入力手段によって行われた場合には、上記記憶手段に記憶されている当該視覚情報を上記表示手段に表示させる検索処理手段とを具備して成るものである。
【０００８】
また本発明の携帯電話機は、上記検索処理手段は、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか、直前に再生した検索用音声情報に戻るか、または次の検索用音声情報に移るかの入力を促す表示を上記表示手段に行わせ、直前に再生した検索用音声情報に戻ることを示す入力が上記キー入力手段によって行われた場合には、直前に再生した検索用音声情報を再び上記音声再生手段から再生させるように成したものである。
また本発明の携帯電話機は、上記音声再生手段の再生速度を高速或は低速に可変可能な再生速度可変手段を有するように成したものである。
【０００９】
本発明の未整理の視覚情報処理方法は、携帯電話機に設けられた制御手段が、複数の未整理の視覚情報をファイルに取得する視覚情報取得ステップと、上記制御手段が、未整理の視覚情報ファイルに対応する検索用音声情報を作成する検索用音声情報作成ステップと、上記制御手段が、視覚情報と検索用音声情報を記憶手段内にマージ或はリンクさせる検索ファイル作成ステップと、上記制御手段が、上記視覚情報の検索時に、上記記憶手段に記憶されている上記検索用音声情報を順番に音声再生手段から再生させるとともに、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか否かの入力を促す表示を表示手段に行わせ、検索対象の視覚情報であるとの入力がキー入力手段によって行われた場合には、上記記憶手段に記憶されている当該視覚情報を上記表示手段に表示させる検索処理ステップとを具備してなるものである。
【００１０】
本発明の携帯電話機及び未整理の視覚情報処理方法によれば記憶手段に格納された複数の視覚情報を検索する際に携帯電話機では入力し難いテキストデータとして入力することなく、容易に入力可能な音声をタイトル、説明情報として添付することが可能で、複数の視覚情報の整理、検索を容易にすることが出来る。
【００１２】
また本発明の携帯電話機によれば、音声情報ファイルを作成する際に、再生速度制御可能な音声コーデックを使用することにより、検索時間を短縮化することができる。
【００１３】
【発明の実施の形態】
以下、本発明の携帯電話機及び未整理の視覚情報処理方法を図１乃至図９によって説明する。
【００１４】
図１は本発明の携帯電話機の機能ブロック図、図２は本発明の携帯電話機のブロック図、図３乃至図６は動作説明用のフローチャート図、図７乃至図９はファイル説明図である。
【００１５】
本発明に用いる携帯電話機１は図２のブロック図に示す様に送受信用アンテナ３０、ＲＦブロック３１、変復調ブロック３２を含む送受信用無線部、スピーカ３３、デジタル−アナログ変換器（Ｄ／Ａ）３４を含む音声及びダイヤラ信号放音用の音声出力部とマイクロホン３５、アナログ−デジタル変換器（Ａ／Ｄ）３６を含む音声入力部を有する音声コーデック部３９、キーボードを含む小さな操作部９、ＬＣＤ等の小さな表示部８、マイクロコンピュータ（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）等のシステム及び伝送制御用のプロセッサ部３７とプログラム・データ用のＲＯＭ，ＲＡＭ等の内蔵メモリ部３８、メモリカード等の外部メモリ部１１ａ，１１ｂ、携帯電話機１内蔵の撮像カメラ１５及び画像コーデック部４０を有し、これら各部分はバスを介してプロセッサ３７に接続されている。
【００１６】
外部メモリ（メモリ・スティックカード、ＰＣカード、スマート・メディアカード、ミニチュアカード、コンパクト・フラッシュカード）１１ａ，１１ｂは携帯電話機１の外筺に設けたカード挿入用のスロットを介して着脱自在と成されている。
【００１７】
上述のハードウェア構成に於ける、本発明の機能ブロックを図１に示す。図１に於いて、画像情報等の視覚情報ファイル２７と音声情報ファイル２８は外部メモリ１１ａ，１１ｂ内に格納される。
【００１８】
図１では二つの外部メモリ１１ａ，１１ｂとして書かれているが１つのメモリでよく、外部メモリ１１ａ，１１ｂでなく携帯電話機１に内蔵された内蔵メモリ（内蔵メモリ部３８以外）であってもよい。
【００１９】
図１０で説明した様にデジタルビデオカメラ２、デジタルスチルカメラ３、イメージスキャナ等の他のデバイス１２（図１参照）から取り出された静止画や動画等の画像情報とインタラネットやインターネット等１３のパーソナルコンピュータやＰＤＡ等から取り出された図形、表、テキスト情報及び画像情報と図形、表、テキスト情報を組合せた組合せ情報が視覚情報として外部入力部１４に供給される。
【００２０】
外部入力部１４は物理的にはＵＳＢであったり、無線で送受信されるデジタルデータをベースバンドのデジタルデータに変換するＢｌｕｅｔｏｏｔｈ用のモデムであったりする。これら視覚情報を取得するための制御ソフトウェアはプロセッサ３７内に含まれ、これらを含めて外部入力部１４としている。
【００２１】
内蔵画像デバイスは携帯電話機１内蔵のＣＣＤ、ＣＭＯＳセンサ等の撮像カメラ１５であり、画像ファイル作成部１６は図２の画像コーデック部４０と上述の外部入力部１４に対応しているので内蔵画像デバイス１５の出力を外部入力部に供給するようにしてもよい。
【００２２】
メモリ１１ａに格納された画像情報、テキスト情報等の視覚情報ファイル２７は画像表示・選択部１７及びテキスト表示・選択部２３によりＬＣＤ等の表示部８上に表示、選択される。
【００２３】
次に音声ファイル作成部１９は携帯電話機１内にすでに備わっている機能としての音声入力デバイス（マイクロホン）３５及び音声コーデック部３９並びに音声再生・選択部２２等を利用する。
【００２４】
一般に携帯電話機１では図２に示す様にマイクロホン３５から入力した音声情報信号はＡ／Ｄ３６でデジタルデータに変換後に決められた音声コーデック・フォーマットに音声コーデック部３９でエンコードし、そのデジタルデータを無線で送信可能な様に変復調部３２及びＲＦブロック部３１を介してアンテナ３０より送信する。
【００２５】
また、アンテナ３０で受信した信号はＲＦブロック部３１及び変復調部３２で復調してデジタルデータに戻し、音声コーデック部３９で音声コーデックフォーマットに従ってデコードし、Ｄ／Ａ３４でアナログ信号に変換してスピーカ３３に出力される。
【００２６】
本発明は、音声ファイル作成部１９により音声コーデック・フォーマットにエンコードしてメモリ１１ｂに音声情報ファイル２８としてファイルさせ、この音声情報ファイル２８をデコードし、再生、選択する音声再生、選択部２２（音声コーデック部３９）を用いて画像情報、テキスト情報等の複数の未処理の視覚情報に説明情報、検索情報としてのタイトルを添付（マージ）させる音声ファイル添付部２４を設けて、ｉモードやＥＺ−Ｗｅｂなどと称されるインターネット網からダウンロードした複数の未整理の視覚情報を整理し、検索を容易にしようとするものである。
【００２７】
従来から、複数の未整理の視覚情報を扱う際に、ユーザがインデックス番号やファイル名等の検索情報を入力することなく、自動的にファイルの区別を行なうためダウンロード時や視覚情報の作成順に通しのインデックス番号を付加するとか、ファイルへのダウンロードや作成時のタイムスタンプをファイル名とする方法があるが、必要な視覚情報を探す際には順次画像等の視覚情報を表示部８に表示しなくてはならず面倒である。そこで単純なインデックス番号やタイムスタンプのファイル名でなく、より効率良くファイルを整理するために、ユーザが識別するためのタイトルをつけることが必要になるのだが携帯電話機ではキーがパーソナルコンピュータ等に比べて少なく文字タイトルの入力も容易でない。
【００２８】
本発明は、携帯電話機の基本機能である音声ファイルが容易に作成できる部分に着目し、この音声ファイルを、整理が必要な複数の画像等のファイルにタイトル或は画像等ファイルの説明として添付する機能を新たに追加することで上記問題を解決しようとするものである。
【００２９】
図３は上述の音声情報ファイルを視覚情報の１つである画像情報ファイルにタイトル等の検索情報として添付するためのプロセッサ（以下ＣＰＵと記す）３７による音声ファイル添付処理のフローチャートを示すものである。
【００３０】
図３の第１ステップＳ1 ではデジタルビデオカメラ２、デジタルスチルカメラ３等の他のデバイス１２からＵＳＢやＢｌｕｅｔｏｏｔｈ等で取得した画像情報或はインターネット網等１３からのテキスト情報、図形情報等の視覚情報をダウンロードする。
【００３１】
第２ステップＳ2 ではダウンロード時刻に基づいて自動的にファイル名やタイムスタンプ等が付加される。
【００３２】
この状態で表示部８にはダウンロードした画像８ａや画像８ａを保存するか否かの質問文８ｂが表示される。
【００３３】
第３ステップＳ3 ではＣＰＵ３７はダウンロードした画像を保存するか否かを判断する。ユーザは表示部８上の質問文８ｂの０（はい）、１（いいえ）をクリックする。ＮＯであれば第４ステップＳ4 に進み画像８ａを表示して終了し、ＹＥＳであれば第５ステップＳ5 に進められる。
【００３４】
第５ステップＳ5 では音声入力メッセージの表示が成され、表示部８にはダウンロード画像８ａと共に「音声を入力して下さい」等のメッセージ８ｃが表示される。
【００３５】
第６ステップＳ6 ではユーザが表示部８の画像８ａを視ながら画像８ａに対応した検索用タイトル、説明文等をマイクロホン３５を介して音声で例えば「逗子海岸の夕日」等と入力する。
【００３６】
第７ステップＳ7 ではＣＰＵ３７は音声コーデック部３９及びＤ／Ａ３４を介してスピーカ３３から「逗子海岸の夕日」と再生する。
【００３７】
第８ステップＳ8 では音声再生音がＯＫか否かをユーザに求め、表示部８に「ＯＫですか」の質問文８ｄを表示する。ユーザは「１」或は「０」をクリックすることでＮＯであれば第５ステップＳ5 の頭に戻されるが、ＹＥＳであれば第９ステップＳ9 に進む。
【００３８】
第９ステップＳ9 では音声情報ファイルを画像等の視覚情報ファイルとマージすることで図７に示す様に１つのファイルに併合させる。
【００３９】
図７は音声ファイル添付部２４で視覚情報ファイル２７と音声情報ファイル２８を１つにまとめたファイル・イメージを示すものであり、５０は第２ステップＳ2 で自動生成されたファイル名等のテキスト索引部、５１は第６ステップＳ6 で音声情報ファイル２７に格納した「逗子海岸の夕日」等の音声情報ファイル、５２は第１ステップＳ1 でデジタルビデオカメラ３等から取得した画像８ａを格納した画像等の視覚情報ファイルである。尚ファイル名５０は００年０３月０１日１６時２５分００秒（０００３０１１６２５００，ＰＣＫ）の様なタイムスタンプであってもよい。
【００４０】
この様に音声情報ファイル５１と視覚情報ファイル５２をマージして１つのファイルとした後に終了に至ることになる。
【００４１】
次に、上述の様にマージした複数の未整理の視覚情報ファイルから所定の視覚情報を検索する場合のフローチャートを図４に示す。
【００４２】
図４に於いて、第１ステップＳＴ1 ではＣＰＵ３７は音声タイトルを再生するか否かを表示部８に表示する。例えば表示部８の画面上には「音声を再生しますか」等の質問文８ｅが表示される。ユーザはＹＥＳでは「０」をクリックし、ＮＯでは「１」をクリックする。
【００４３】
第１ステップＳＴ1 でＮＯであれば第２ステップＳＴ2 に進んで従来一般に行なわれている様な複数の画像等の視覚情報ファイルを順次、表示させ、これら表示画像を見ながら所定の視覚情報検索を行なう様な従来の処理が行なわれる。
【００４４】
第１ステップＳＴ1 がＹＥＳであれば、第３ステップＳＴ3 でＣＰＵ３７はスピーカ３３を介して視覚情報ファイルにマージした音声タイトルを順番に再生する。
【００４５】
この様な再生時に音声を単純に通常の速度で再生するステップ（第５ステップＳＴ5 ）の場合、入力時に文字で入力する場合に比べれば音声で入力するので入力方法は容易であるが、検索時には画像を順番に見に行く第２ステップＳＴ2 に比べて時間がかかってしまう可能性があるので、第４ステップＳＴ4 で早聞き操作を行なうか否かを判断させる。
【００４６】
この早聞機能は図１の音声再生、選択部２２内に設けられた再生速度可変制御部２２ａで行ない、この音声コーデックはＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４：オーディオビジュアルオブジェクト符号化規格）ＨＶＸＣ（Ｈａｒｍｏｎｉｃ Ｖｅｃｔｏｒ ｅＸｃｉｔａｔｉｏｎ Ｃｏｄｉｎｇ）を用いることで早聞き、遅聞き再生を容易に行なうことが出来る。
【００４７】
パラメトリック符号化であるＨＶＸＣでの音声符号化のビットレートは２ｋｂｐｓ〜４ｋｂｐｓであるが可変ビットレートモードによって１．２ｋｂｐｓ程度まで使用可能である。人間の声等の有声音をスペクトル分布させるとハーモニックと呼ばれる一様な信号になるがＨＶＸＣではこの中から位相情報を捨てたハーモニック振幅列として周波数や振幅（ピッチ）等を量子化しているので再生側で認識可能で、速度やピッチの制御・変更が容易に可能となっている。
【００４８】
この場合、早聞き、遅聞きに対応するキー操作は例えば「早聞きしますか」等の質問文８ｆが表示部８の画面上に表示され、「０」：はい、「１」：いいえのいずれかをクリックすることで早聞き操作か否かの判断が成され、ＮＯでは上記した様に第５ステップＳＴ5 の通常再生が行なわれ、ＹＥＳでは第６ステップＳＴ6 によって速度可変制御部２２ａで早聞き、遅聞き等の再生が成される。
【００４９】
第５ステップＳＴ5 及び第６ステップＳＴ6 終了後は第７ステップＳＴ7 に進んで再生された音声タイトルに対応した画像等の視覚情報でＯＫか否かを判断する。
【００５０】
即ち、表示部８の画面には「この音声に対応する画面ですか」と「０」：はい、「１」：戻る、「２」：次へ等の質問文８ｇが表示される。従って、例えば「逗子海岸の夕日」と云う音声タイトルが再生されたらＹＥＳとし「０」をクリックすることで第８ステップＳＴ8 に進む。ＮＯでは第４ステップＳＴ4 の頭に戻され、「１」のクリックでは元の早聞きが再度再生され、「２」のクリックでは次の音声タイトルが再生される。
【００５１】
第８ステップＳＴ8 では対応する画像等の視覚情報ファイルの「逗子海岸の夕日」に対応した画像８ａが表示部８に表示されてファイル検索、再生表示終了に至る。
【００５２】
上述の検索方法によれば、所定の未整理の複数の視覚情報から所定の視覚情報を音声タイトルを開いて高速に検索することが出来る。
【００５３】
更に図３で説明した音声情報ファイル添付処理の第１ステップＳ1 乃至第８ステップＳ8 に続けて、図１の機能ブロックに示す様に音声認識テキスト変換部２５及び音声ファイル並び替え部２６を介して、２９で示す様なイメージのテキスト索引付音声ファイルを作成することで視覚情報を効率よく検索整理可能な携帯電話機及び未整理の視覚情報処理方法を図５及び図６並びに図８及び図９によって説明する。
【００５４】
図１の音声認識・テキスト変換部２５ではメモリ１１ｂの音声情報ファイル２８から取り出した音声情報をテキスト（文字）に変換する。ここで重要なのは通常の会話をすべて正しくテキストへ変換するには、プロセッサ能力、メモリ容量を考えても携帯電話機に搭載するのは困難を要するので、ここでの音声認識・テキスト変換部２４は、音声情報ファイルを（例えば辞書順に）並び替えるために必要な音声情報ファイルの先頭の一部（一単語程度）のみをテキストに変換するだけの機能でよい。この様にテキスト変換されたテキスト索引付音声情報のファイル２９はテキストタグ（例えば辞書順）を元の並び替えが音声情報ファイルの並び替え部２６で行なわれる。
【００５５】
図５に於いては、携帯電話機１のモード設定時に索引（インデックス）作成モードになっていることを前提とし、図３で説明した第１〜第８ステップＳ1 〜Ｓ8 での音声ファイル添付処理が終了した第８ステップＳ8 がＹＥＳの状態から第１ステップＳＴＥ1 のインデックス作成モードか否かをＣＰＵ３７は判断し、インデックスを作成しない場合は第２ステップＳＴＥ2 から第３ステップＳＴＥ3 に進んで音声情報ファイルを画像等の視覚情報ファイルとマージさせて終了に至る。
【００５６】
一方、インデックス作成モードがＹＥＳであれば第４ステップＳＴＥ4 に進んで音声情報ファイルの先頭部を切り出し、音声認識する。
【００５７】
第５ステップＳＴＥ5 では音声認識結果から「逗子海岸の夕日」の一部「ズシカイガン」と云うインデックスを作成する。
【００５８】
第６ステップＳＴＥ6 ではインデックス、音声情報ファイルを画像等の視覚情報ファイルとマージする。
【００５９】
第７ステップＳＴＥ7 では検索のために画像等の視覚情報ファイルのインデックスによるソートが行なわれる。例えば辞書順に並び替えが行なわれた後にインデックス作成処理終了に至る。
【００６０】
上述ではインデックスによる並び替えを第７ステップＳＴＥ7 で行なったが、第６ステップＳ6 の音声情報ファイル作成時に並び替えたり、第７ステップＳ7 での音声再生時に選択された（例えば「ズ」で始まる音声を指定）音声が再生できればテキストのインデックスが付けられたまま並び替えることなくメモリ１１ｂ上に保存されていてもよい。
【００６１】
上述のインデックス作成処理の第６ステップＳＴＥ6 でインデックス、音声情報ファイル、画像等の視覚情報ファイルのマージで作成した１つのファイルのイメージは図７に示す様に例えば「ズシカイガン」の様なインデックス５３が付加される。
【００６２】
この様な１つのファイル内に３つの各ファイル（インデックス、音声情報、視覚情報）をまとめた場合、一度作成した１つのファイルに対し、例えば音声情報ファイルだけを付け替え（関連付けの変更）る場合に、プロセッサの負荷が大きくなり、メモリの利用効率も悪くなる。
【００６３】
そこでテキストのタグファイルを作成し、複数のファイルをリンクさせることで検索を容易にし、メモリも小容量化可能にすることも出来る。これを図８及び図９を用いて説明する。
【００６４】
図８（Ａ）の２７は図３の第１ステップＳ1 でダウンロード等により取得した画像等の視覚情報ファイルであり、例えば０００４２６１９００００．ｊｐｇは取得日時にしたがって自動的に第２ステップＳ2 で付加したファイル名であるが携帯電話機１でのファイル名と重複しない様にしている。
【００６５】
図８（Ｂ）の２８は図３の第６ステップＳ6 で作成した「逗子海岸の夕日」という音声情報ファイルであり、例えば０００４２１９０２００．ｗａｖは音声情報ファイルのファイル名である。
【００６６】
図８（Ｃ）の５３は音声情報ファイル２８の先頭から音声認識により音声からテキストに変換し、図５の第５ステップＳＴＥ5 で作成した「ズシカイガン」と云うインデックスファイルであり、０００４２６１９０２００．ｔｘｔはインデックス作成時のファイル名である。
【００６７】
本発明では上述の視覚情報ファイル２７、音声情報ファイル２８、インデックスファイル５３のファイルをリンクするテキストインデックスタグファイル５４を作成する。このテキストインデックスタグファイルを作成する際にファイル名を新たに作成してもよいが図８（Ｃ）に示すインデックスファイルは既にテキストなのでこのファイル名を修正したファイル名０００４２６１９０２００．ｈｅａｄを作成しリンク情報として〈ＴＩＴＬＥ〉，〈ＶＯＩＣＥ〉，〈ＣＯＮＴＥＮＴＳ〉等のタグを定義し、ここに各ファイル名を記述する様にする。
【００６８】
又、テキストインデックスタグファイル５４をユーザ独自の仕様でなく、国際標準であるＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のタグが定義可能なマークアップ言語で記述することによって、携帯電話機に限定されることなく、インターネット上のＷｅｂサイト、他のユーザのパーソナルコンピュータ、その他ＸＭＬ記述を認識できる機器でもテキストインデックスタグファイルのリンク情報が認識でき、音声情報ファイル、画像等の視覚情報ファイルをテキストインデックスタグファイルと一緒に配布・管理することで、異なるメディア（音声と画像等の視覚情報）のファイルをまとめて扱うことが、インターネット上のＷｅｂサイト、他のユーザのパーソナルコンピュータ、その他ＸＭＬ記述を認識できる機器上で容易になる。
【００６９】
図６は、インデックスが付加されたファイル（インデックスモード）でのファイル検索再生、表示のフローチャートを示すものであり、第１ステップＳＴＥＰ1 ではインデックスを表示するか否かの判断が成された、ＮＯであれば第２ステップＳＴＥＰ2 で従来の画像表示による検索或は図３で説明した音声タイトルによる検索が行なわれる。
【００７０】
第１ステップＳＴＥＰ1 がＹＥＳの場合は、第３ステップＳＴＥＰ3 に進んでインデックスの一覧表８ｈを表示部８に表示するか、インデックスの最初の文字を表示する。
【００７１】
第４ステップＳＴＥＰ4 では表示部８の該当する番号、例えば「４」を入力するか、ファイルの多いときは１頁で一覧できないので最初の文字「ズシカイガン」の「ズ」のみを入力する。
【００７２】
第５ステップＳＴＥＰ5 では対応する画像８ａ等の視覚情報ファイルの表示と音声タイトルが再生される。即ち、表示部８には画像８ａと「ズシカイガン」の文字８ｉが表示されると同時に音声タイトルも再生されて終了に至る。
【００７３】
上述の様なインデックスモードでの視覚情報ファイルの検索は
（１）テキストインデックスタグファイル５４のタグ〈ＴＩＴＬＥ〉の中身の一覧表を表示する。
（２）同じテキストインデックスがある場合等は音声ファイルを再生する。
２段階にすることで単純に音声ファイルを再生して探すよりも検索効率を上げることが可能となる。
また、テキストインデックスタグファイル５４を設けることで音声情報ファイル２８と視覚情報ファイル２７を別々に存在させたままでリンクを変更するだけで関連付けの変更が容易に行なえる。更に、音声情報ファイルと視覚情報ファイルの関連付けを１：１だけでなく１つの音声情報ファイルに対して複数の画像等の視覚情報ファイルや、複数の音声情報ファイルを１つの視覚情報ファイルに関連付けすることが可能となり、メモリを節約可能となる。
【００７４】
【発明の効果】
本発明の携帯電話機及び未整理の視覚情報の処理方法によれば、（１）インターネット等と接続して得た複数の視覚情報ファイルや、端末内蔵あるいは外部の画像デバイスから入力した複数の視覚情報ファイルについて、携帯電話機では困難なテキスト入力をすることなく、容易に入力可能な音声をタイトル、説明情報として添付することにより、複数の視覚情報ファイルの整理が可能となる。
（２）音声情報ファイルを作成する際に、再生速度制御可能な音声コーデック（例えばＭＰＥＧ−４ ＨＶＸＣ）を使用することにより、検索時間を短縮化することが出来る。等の多くの効果を奏する。
【図面の簡単な説明】
【図１】本発明の携帯電話機の機能ブロック図である。
【図２】本発明の携帯電話機のブロック図である。
【図３】本発明の音声情報ファイル添付時のフローチャートである。
【図４】本発明のファイル検索時のフローチャートである。
【図５】本発明のインデックス作成時のフローチャートである。
【図６】本発明のインデックスモードのファイル検索時のフローチャートである。
【図７】本発明の音声情報ファイル添付時のファイルのイメージ図である。
【図８】本発明に用いる各ファイルの説明図である。
【図９】本発明のテキストインデックスタグファイルのイメージ図である。
【図１０】従来の情報取得方法説明図である。
【符号の説明】
１‥‥携帯電話機、８‥‥表示部、１１ａ，１１ｂ‥‥メモリ、１４‥‥外部入力部、１６‥‥画像ファイル作成部、１９‥‥音声ファイル作成部、２２‥‥音声情報ファイル添付部、２５‥‥音声認識テキスト変換部、２７‥‥視覚情報ファイル、２８‥‥音声情報ファイル、３３‥‥スピーカ、３５‥‥マイクロホン
Claims (5)
- 複数の未整理の視覚情報をファイルに取得する視覚情報取得手段と、
上記未整理の視覚情報ファイルに対応する検索用音声情報を作成する検索用音声情報作成手段と、
上記視覚情報と上記検索用音声情報を記憶する記憶手段と、
上記視覚情報と上記検索用音声情報を上記記憶手段内にマージ或はリンクさせる検索ファイル作成手段と、
音声再生手段と、
表示手段と、
キー入力手段と、
上記視覚情報の検索時に、上記記憶手段に記憶されている上記検索用音声情報を順番に上記音声再生手段から再生させるとともに、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか否かの入力を促す表示を上記表示手段に行わせ、検索対象の視覚情報であることを示す入力が上記キー入力手段によって行われた場合には、上記記憶手段に記憶されている当該視覚情報を上記表示手段に表示させる検索処理手段とを具備して成る
携帯電話機。 - 上記検索処理手段は、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか、直前に再生した検索用音声情報に戻るか、または次の検索用音声情報に移るかの入力を促す表示を上記表示手段に行わせ、直前に再生した検索用音声情報に戻ることを示す入力が上記キー入力手段によって行われた場合には、直前に再生した検索用音声情報を再び上記音声再生手段から再生させる
請求項１記載の携帯電話機。 - 上記音声再生手段の再生速度を高速或は低速に可変可能な再生速度可変手段を有する
請求項１または請求項２記載の携帯電話機。 - 携帯電話機に設けられた制御手段が、複数の未整理の視覚情報をファイルに取得する視覚情報取得ステップと、
上記制御手段が、上記未整理の視覚情報ファイルに対応する検索用音声情報を作成する検索用音声情報作成ステップと、
上記制御手段が、上記視覚情報と上記検索用音声情報を記憶手段内にマージ或はリンクさせる検索ファイル作成ステップと、
上記制御手段が、上記視覚情報の検索時に、上記記憶手段に記憶されている上記検索用音声情報を順番に音声再生手段から再生させるとともに、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか否かの入力を促す表示を表示手段に行わせ、検索対象の視覚情報であるとの入力がキー入力手段によって行われた場合には、上記記憶手段に記憶されている当該視覚情報を上記表示手段に表示させる検索処理ステップとを具備して成る
未整理の視覚情報処理方法。 - 上記検索処理ステップでは、現在再生されている検索用音声情報に上記マージ或はリンクされている上記視覚情報が検索対象の視覚情報であるか、直前に再生した検索用音声情報に戻るか、または次の検索用音声情報に移るかの入力を促す表示を上記表示手段に行わせ、直前に再生した検索用音声情報に戻ることを示す入力が上記キー入力手段によって行われた場合には、直前に再生した検索用音声情報を再び上記音声再生手段から再生させる
請求項４記載の未整理の視覚情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000229604A JP4438194B2 (ja) | 2000-07-28 | 2000-07-28 | 携帯電話機及び未整理の視覚情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000229604A JP4438194B2 (ja) | 2000-07-28 | 2000-07-28 | 携帯電話機及び未整理の視覚情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002041529A JP2002041529A (ja) | 2002-02-08 |
| JP4438194B2 true JP4438194B2 (ja) | 2010-03-24 |
Family
ID=18722695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000229604A Expired - Fee Related JP4438194B2 (ja) | 2000-07-28 | 2000-07-28 | 携帯電話機及び未整理の視覚情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4438194B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004030369A (ja) * | 2002-06-27 | 2004-01-29 | Yamaha Corp | ファイル管理方法、ファイル管理装置およびプログラム |
| JP4862143B2 (ja) * | 2007-04-25 | 2012-01-25 | 株式会社Ｊｖｃケンウッド | 再生装置、プログラム、及び再生方法 |
| TWI496470B (zh) * | 2008-03-05 | 2015-08-11 | Univ Nat Central | Digital stethoscope for extensive collection of clinical lung tone signals |
| JP2019135609A (ja) * | 2018-02-05 | 2019-08-15 | 東京瓦斯株式会社 | 文字入力支援システム、文字入力支援制御装置、文字入力支援プログラム |
-
2000
- 2000-07-28 JP JP2000229604A patent/JP4438194B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002041529A (ja) | 2002-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7221901B2 (en) | Image server and image display system | |
| US7162197B2 (en) | Picture book production system, server for producing picture book, and recording medium | |
| JP2006085681A (ja) | データ転換及びシェアのシステム及び方法 | |
| US20080170075A1 (en) | Display controller, display control method, display control program, and mobile terminal device | |
| JP2001256162A (ja) | 情報処理端末およびコンテンツ取得システム | |
| US20080022845A1 (en) | Portable electronic device with a song selcetion function | |
| US6700049B2 (en) | Music data providing apparatus, music data receiving apparatus, music data reproducing apparatus, and music data providing method | |
| WO2005043405A1 (ja) | データ処理装置、データ処理方法、およびデータ処理プログラム | |
| JP4438194B2 (ja) | 携帯電話機及び未整理の視覚情報処理方法 | |
| KR20110053397A (ko) | 검색 키워드를 이용한 멀티미디어 파일 검색 방법 및 그 휴대기기 | |
| US20060089736A1 (en) | Music reproducing apparatus, mobile phone conversation apparatus, music reproducing system, and operating method thereof | |
| CN1300158A (zh) | 便携式无线通信终端及其表现风格的处理方法 | |
| JP2007058103A (ja) | 歌詞ダウンロード機能付き携帯端末装置 | |
| JP4845683B2 (ja) | コンテンツ再生方法及び通信端末装置 | |
| US6823046B2 (en) | Telephone answering device, and method for telephone answering by acquiring procedure files stating various answering functions realized by telephone answering device thereof | |
| JPH10322478A (ja) | 音声によるハイパーテキストアクセス装置 | |
| JP3440015B2 (ja) | コンテンツ登録装置、および、そのプログラムを記録した記録媒体 | |
| KR20050030711A (ko) | 바코드 인식을 이용한 멀티미디어 컨텐츠 재생 기능을가지는 무선통신단말기 및 그 방법 | |
| KR100754630B1 (ko) | 정보 단말기에서 사용되는 컨텐츠 데이터를 관리하는 장치및 방법 | |
| JP2004342044A (ja) | 携帯端末のカスタマイズシステム、管理サーバ、携帯端末、並びに携帯端末のプログラム | |
| KR101099998B1 (ko) | 서버와 이동통신 단말기 간의 개선된 데이터 교환 시스템및 방법 | |
| JP5248051B2 (ja) | 電子機器 | |
| KR100629868B1 (ko) | 이동통신 단말기의 도움말 제공 방법 | |
| TW410509B (en) | Method and device of incoming call alert function for mobile phone | |
| KR20110103626A (ko) | 휴대용 단말기에서 멀티미디어 데이터에 대한 태그 정보를 제공하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |