JP3910537B2 - マルチチャネル情報処理装置 - Google Patents
マルチチャネル情報処理装置 Download PDFInfo
- Publication number
- JP3910537B2 JP3910537B2 JP2002576422A JP2002576422A JP3910537B2 JP 3910537 B2 JP3910537 B2 JP 3910537B2 JP 2002576422 A JP2002576422 A JP 2002576422A JP 2002576422 A JP2002576422 A JP 2002576422A JP 3910537 B2 JP3910537 B2 JP 3910537B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- moving image
- image information
- cursor
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 69
- 238000003672 processing method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4438—Window management, e.g. event handling following interaction with the user interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【技術分野】
本発明は、音声データを伴う複数の動画像情報を同時に表示装置上に表示可能なマルチチャネル情報処理に関し、特に、表示装置上に表示された複数の動画像の中から特定の動画像の内容を容易に把握することができるマルチチャネル情報処理装置、マルチチャネル情報処理方法、マルチチャネル情報処理方法のプログラムおよびこのプログラムを記憶するコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【背景技術】
近年、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）やＣＡＴＶモデムなどのインターネットに高速にアクセスする手段が普及しており、これに伴ってＴＶ番組などの動画像情報を家庭からインターネットを通じてダウンロードする機会が増えている。また、ディジタルビデオカメラとパーソナルコンピュータ（以下、ＰＣと称す）との間のインターフェイスが普及しており、ユーザが自分で撮影した動画像情報をＰＣに取り込んで処理することも盛んに行われている。
【０００３】
また、ＰＣの性能が向上していることやハードディスクの容量が拡大していることから、大量の動画像情報をハードディスクに格納して再生表示することも容易になってきており、複数の動画像情報を表示装置上に同時に表示できる環境にも容易に対応可能となっている。このような複数の動画像情報の表示には、ＣＲＴや液晶ディスプレイなどの表示装置上に複数のウィンドウを任意の位置に配置し、これらの動画像情報を同時に表示させることが可能である。
【０００４】
このような複数の動画像を表示する場合に、これら動画像に付随している音声データは、全ての音声データを出力しないか、あるいは全ての音声データを同一の音量で合成して出力することが行われている。音声データを出力しない場合には、各動画像情報の内容を把握するために音声データを利用することができず、表示装置上に表示された画像のみでその内容を判断する必要がある。また、全ての音声データを同一の音量で合成して出力する場合には、それぞれの音声データが干渉しあって音声を認識することが困難であり、またどの音声データがどの動画像情報に対応しているかを認識することも困難であるという問題を包含している。
【０００５】
本発明は、複数の動画像情報を表示装置上に表示する際に、特定の動画像情報に対応する音声データを認識することを容易にし、表示されている動画像情報の内容を容易に把握することを可能にすることを目的とする。
【０００６】
【発明の開示】
本発明の請求項１に係るマルチチャネル情報処理装置は、複数の動画像情報を同時に表示装置に表示するマルチチャネル情報処理装置であって、複数の動画像情報を取得し、複数の動画像情報の表示装置上での表示位置に関する動画像位置情報を決定して複数の動画像情報を前記動画像位置情報に基づいて出力する動画像情報制御手段と、入力デバイスを介して入力されるカーソル指示情報に基づいてカーソル位置情報を算出しカーソル位置情報に基づいてカーソル画像情報を生成してこれを出力するカーソル位置制御手段と、動画像表示制御手段が出力する複数の動画像情報とカーソル位置制御手段が出力するカーソル画像情報とを合成して表示装置上に表示する表示画像生成手段と、複数の動画像情報に対応する動画像位置情報とカーソル位置制御手段で算出されたカーソル位置情報とに基づいて、各動画像情報の表示位置とカーソルの表示位置との距離を算出し距離情報を生成する距離情報生成手段と、距離情報生成手段で生成された距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定して音声出力装置に出力する音声出力制御手段とを備え、距離情報生成手段で生成された距離情報は、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を含み、音声出力制御手段は音声出力装置が形成する音像空間に複数の動画像情報に対応する音声データが定位するように距離情報に基づいて音声出力装置に出力を行うことを特徴とする。
【０００７】
本発明の請求項２に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処理装置であって、音声出力制御手段が、距離情報生成手段で生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を音量Ｖａよりも小さな予め定められた音量Ｖｂに設定することを特徴としている。
【０００８】
本発明の請求項３に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処理装置であって、音声出力制御手段が、複数の動画像情報に対応する音声データの音量を、距離情報生成手段で生成された距離情報中の距離の値に反比例するように設定することを特徴としている。
本発明の請求項４に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処置装置であって、複数の動画像情報に対応する音声データに含まれる言葉を認識する音声データ認識手段と、音声データ認識手段で認識した言葉を文字情報に変換して表示装置に表示する文字情報表示手段とをさらに備えている。
【０００９】
本発明の請求項５に係るマルチチャネル情報処理装置は、請求項５に記載のマルチチャネル情報処理装置であって、インターネット接続手段と、音声データ認識手段で認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索するホームページ検索手段と、ホームページ検索手段で検索されたホームページを前記表示装置上に表示するホームページ表示手段とを備えている。
【００１０】
本発明の請求項６に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処理装置であって、表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する動画像選択手段をさらに備え、音声出力制御手段は動画像選択手段が選択した動画像情報に対応する音声データを音声出力装置に出力することを特徴としている。
【００１１】
本発明の請求項７に係るマルチチャネル情報処理装置は、請求項６に記載のマルチチャネル情報処理装置であって、動画像選択手段は、所定時間毎に選択する動画像情報を切り換えることを特徴としている。
本発明の請求項８に係るマルチチャネル情報処理方法は、複数の動画像情報を同時に表示装置に表示する際のマルチチャネル情報処理方法であって、表示装置上に表示を行う動画像情報表示装置上での表示位置を決定する段階と、決定した表示位置に基づいて複数の動画像情報を出力する段階と、入力デバイスから入力されるカーソル指示情報を受け付ける段階と、カーソル指示情報に基づいてカーソルを表示するカーソル位置情報を算出する段階と、カーソル位置情報に基づいてカーソル画像情報を生成する段階と、複数の動画像情報とカーソル画像情報とを合成して表示画像を生成しこれを表示装置上に出力する段階と、複数の動画像情報の表示位置とカーソル位置情報との間の距離を算出し距離情報を生成する段階と、距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定し音声出力装置に出力する段階と、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を生成する段階と、複数の動画像情報に対応する音声データが、音声出力装置の音像空間における距離情報および方向情報に応じた音像位置に定位するように、音声出力装置に出力を行う段階とを含んでいる。
【００１２】
本発明の請求項９に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、複数の動画像情報について生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を音量Ｖａよりも小さな予め定められた音量Ｖｂに設定することを特徴としている。
【００１３】
本発明の請求項１０に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、複数の動画像情報に対応する音声データの音量を、各距離情報中の距離の値に反比例するように設定することを特徴としている。
本発明の請求項１１に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、複数の動画像情報に対応する音声データに含まれる言葉を音声認識する段階と、音声認識した言葉を文字情報に変換して表示装置に表示する段階とをさらに備えている。
【００１４】
本発明の請求項１２に係るマルチチャネル情報処理方法は、請求項１１に記載のマルチチャネル情報処理方法であって、インターネットに接続する段階と、音声認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索する段階と、検索された関連ホームページを前記表示装置上に表示する段階とを備えている。
【００１５】
本発明の請求項１３に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する段階と、選択した動画像情報に対応する音声データを音声出力装置に出力する段階とをさらに備えている。
【００１６】
本発明の請求項１４に係るプログラムは、複数の動画像情報を同時に表示装置に表示する際のマルチチャネル情報処理方法のプログラムであって、複数の動画像情報の表示装置上での表示位置を決定する段階と、決定した表示位置に基づいて複数の動画像情報を出力する段階と、入力デバイスから入力されるカーソル指示情報を受け付ける段階と、カーソル指示情報に基づいてカーソルを表示するカーソル位置情報を算出する段階と、カーソル位置情報に基づいてカーソル画像情報を生成する段階と、複数の動画像情報とカーソル画像情報とを合成して表示画像を生成しこれを表示装置上に出力する段階と、複数の動画像情報の表示位置とカーソル位置情報との間の距離を算出し距離情報を生成する段階と、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を生成する段階と、距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定し、複数の動画像情報に対応する音声データが、音声出力装置の音像空間における距離情報および方向情報に応じた音像位置に定位するように、音声出力装置に出力を行う段階とを含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００１７】
本発明の請求項１５に係るプログラムは、請求項１４に記載のプログラムであって、複数の動画像情報について生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する 音声データの音量を音量Ｖａよりも小さな予め定められた音量Ｖｂに設定し音声出力装置に出力する段階をさらに含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００１８】
本発明の請求項１６に係るプログラムは、請求項１４に記載のプログラムであって、複数の動画像情報に対応する音声データの音量を、各距離情報中の距離の値に反比例するように設定し音声出力装置に出力する段階をさらに含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
本発明の請求項１７に係るプログラムは、請求項１４に記載のプログラムであって、複数の動画像情報に対応する音声データに含まれる言葉を音声認識する段階と、音声認識した言葉を文字情報に変換してこれを出力する段階と、複数の動画像情報、カーソル画像情報および文字情報とを合成して表示画像を生成しこれを表示装置上に出力する段階とをさらに備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００１９】
本発明の請求項１８に係るプログラムは、請求項１４に記載のプログラムであって、距離情報に基づいて複数の動画像情報のうちから特定の動画像情報を選択し、この動画像情報に対応する音声データを音声出力装置に出力する段階と、音声出力装置に出力する音声データに含まれる言葉を音声認識する段階と、音声認識した言葉を文字情報に変換してこれを出力する段階と、複数の動画像情報、カーソル画像情報および文字情報とを合成して表示画像を生成しこれを表示装置上に出力する段階とを備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００２０】
本発明の請求項１９に係るプログラムは、請求項１４に記載のプログラムであって、距離情報に基づいて複数の動画像情報のうちから特定の動画像情報を選択し、この動画像情報に対応する音声データを音声出力装置に出力する段階と、音声出力装置に出力する音声データに含まれる言葉を音声認識する段階と、インターネットに接続する段階と、音声認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索する段階と、複数の動画像情報、カーソル画像情報および検索された関連ホームページを合成して表示画像を生成しこれを表示装置上に出力する段階とを備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００２１】
本発明の請求項２０に係るプログラムは、請求項１４に記載のプログラムであって、表示装置に表示される複数の動画像情報から所定のアルコリズムに基づいて特定の動画像情報を選択する段階と、選択した動画像情報に対応する音声データを音声出力装置に出力する段階とを備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００２２】
本発明の請求項２１に係る記憶媒体は、請求項１４〜２０のプログラムを記憶したコンピュータが読み取り可能な記憶媒体である。
【００２３】
【発明の効果】
本発明によれば、表示装置に表示される複数の動画像情報から特定の動画像情報に対応する音声データを容易に認識することができ、その動画像情報の内容の把握が容易になる。
【００２４】
【発明を実施するための最良の形態】
〔基本構成〕
本発明の１実施形態が採用される情報処理装置のハード構成を図１に示す。
情報処理装置１０は、通常のパーソナルコンピュータで構成することが可能であり、ＰＣ本体１、ＣＲＴや液晶表示装置などで構成されるディスプレイ２、スピーカ３、マウスやトラックボール、タッチパッド、キーボードなどの入力デバイス４、インターネット接続が可能なモデム５などを備えている。モデム５は、たとえば公衆回線を通じてインターネット接続を行うＡＤＳＬモデムなどが採用される。
【００２５】
ＰＣ本体１は、モデム５および公衆回線を介してＩＳＰ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅｓ Ｐｒｏｖｉｄｅｒ）２０に接続を行い、ＩＳＰ２０に用意されているストリーミングデータから複数の動画像情報をダウンロードすることが可能な構成となっている。ダウンロードされた複数の動画像情報は、ディスプレイ２上の予めプログラムで設定されている表示位置に表示される。もちろん、プログラム上に用意されたツールを用いてユーザが表示位置を設定するように構成することも可能である。
【００２６】
動画像情報の表示位置に関する位置情報テーブルの一例を図２に示す。
この位置情報テーブルは、チャネル番号、中心の位置、左右の幅、上下の高さなどの項目を備えており、各チャネル番号ＣＨｉ（ｉ＝１〜ｎ）の動画像情報の中心の座標位置（ＣＸｉ，ＣＹｉ）、左右の幅Ｗｉ、上下の高さＨｉがそれぞれ格納される。この位置情報テーブルは、表示されるチャネル数ｎ毎に設定されており、ＰＣ本体１で処理可能な最大チャネル数またはディスプレイ２上に表示可能な最大チャネル数まで用意されている。
【００２７】
このような位置情報テーブルで設定された表示位置に基づいて動画像情報の表示を行う場合の表示画面の一例を図３に示す。ここでは、表示チャネル数が３の場合を示しており、それぞれ中心の座標位置（ＣＸｉ，ＣＹｉ）、左右の幅Ｗｉ、上下の高さＨｉによって、各動画像情報の表示位置を決定することができる。
〔第１実施形態〕
本発明の第１実施形態の制御ブロック図を図４に示す。
【００２８】
この情報処理装置１００は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、たとえば、図２に示されるような位置情報テーブルにしたがって各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
カーソル位置決定手段１０２は、マウス、トラックボール、タッチパッド、キーボード、その他のポインティングデバイスで構成される入力デバイス１４０により入力されるカーソル指示情報を受け付け、このカーソル指示情報と現在のカーソルの表示位置とに基づいて次のカーソル位置情報を算出しこれを出力する。
【００２９】
カーソル位置決定手段１０２から出力されるカーソル位置情報はカーソル画像生成手段１０３に入力される。カーソル画像生成手段１０３は、カーソル位置情報に基づいてカーソル画像情報を生成しこれを出力する。
動画像表示制御手段１０１から出力される動画像情報と動画像位置情報およびカーソル画像生成手段１０３から出力されるカーソル画像情報は、表示画像生成手段１０４に入力される。表示画像生成手段１０４は、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置するとともに、カーソル画像を合成して表示装置１２０に出力する。
【００３０】
動画像表示制御手段１０１から出力される動画像位置情報とカーソル位置決定手段１０２から出力されるカーソル位置情報は距離情報生成手段１０５に入力される。距離情報生成手段１０５は、動画像位置情報とカーソル位置情報に基づいて各動画像情報の表示位置とカーソルの表示位置との距離を算出する。この各動画像情報の表示位置とカーソルの表示位置との距離は、動画像情報の中心位置とカーソルの中心位置との間の距離とすることができる。また、カーソルが動画像情報のウィンドウ内に位置する場合には、その距離を”０”に設定するように構成できる。
【００３１】
距離情報生成手段１０５で生成された距離情報は動画像選択手段１０６に入力される。動画像選択手段１０６では、距離情報生成手段１０５で生成された距離情報に基づいて、どの動画像情報に対応する音声データを出力するかを決定する。たとえば、各動画像情報の距離情報のうち最も距離の値が小さい動画像情報を選択するように構成できる。
【００３２】
動画像選択手段１０６は、選択された動画像情報に基づいて音声出力選択情報を音声出力選択手段１０７に出力する。音声出力選択手段１０７は、動画像源２００からの複数の動画像情報のうち、音声出力選択情報で設定される動画像情報に対応する音声データを選択的に取得し、これを音声出力装置１３０に出力する。
【００３３】
この構成における動作を図５のフローチャートに基づいて説明する。
ステップＳ１１では、変数ｉの値を初期化する。
ステップＳ１２では、カーソル位置情報の読み込みを行う。
ステップＳ１３では、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っているか否かを判別する。動画像情報の位置情報テーブルとして、図６に示すような、チャネル番号、中心の位置、表示幅、表示高さの各項目に加えて、近傍幅、近傍高さの項目を備えるものを用いることができる。カーソルの表示位置が、チャネル番号ＣＨｉの動画像情報の中央位置座標（ＣＸｉ，ＣＹｉ）および近傍幅ＮＷｉ、近傍高さＮＨｉで規定される範囲内にある場合には、この動画像情報の表示枠に入っていると判断する。この場合、動画像情報を表示しているウィンドウの周囲に所定の距離範囲で表示枠を設定し、この表示枠内にカーソルが入った場合にその動画像情報が選択されたと判断するように構成できる。カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていると判断した場合にはステップＳ１６に移行する。
【００３４】
ステップＳ１６では、チャネル番号ＣＨｉの動画像情報に対応する音声データを音声出力装置１３０に出力する。
ステップＳ１３において、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていないと判断した場合には、ステップＳ１４に移行する。
【００３５】
ステップＳ１４では、変数ｉの値が表示されている動画像情報数ｎに到達したか否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ１１に移行し、そうでない場合にはステップＳ１５に移行する。
ステップＳ１５では変数ｉの値をインクリメントしステップＳ１３に移行する。
【００３６】
このように構成した場合、たとえばマウスカーソルの表示位置が動画像情報のウィンドウ上にない場合であっても、ウィンドウの近傍にあることを認識して、その動画像情報に対応する音声データを出力するように構成できる。ユーザは、マウスやトラックボール、その他のポインティングデバイスを用いてカーソルを移動させ、希望する動画像情報のウィンドウにカーソルを近づけることで、その音声データを聞くことができ、動画像情報の内容を容易に認識することが可能となる。
〈変形例１〉
カーソルの表示位置に最も近い動画像情報を選択して音声データを出力するように構成することも可能である。この場合のフローチャートを図７に示す。
【００３７】
ステップＳ２１では、変数ｉの値を初期化する。
ステップＳ２２では、カーソル位置情報の読み込みを行う。
ステップＳ２３では、カーソルの表示位置とチャネル番号ＣＨｉの動画像情報の表示位置との距離ｄｉを算出する。この距離ｄｉは、動画像情報を表示しているウィンドウの中心座標とカーソルの中心座標との間の距離とすることも可能であり、また動画像情報を表示しているウィンドウ枠とカーソルの中心座標との最短距離とすることも可能である。
【００３８】
ステップＳ２４では、変数ｉの値が表示されている動画像情報数ｎに到達したか否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ２６に移行し、そうでない場合にはステップＳ２５に移行する。
ステップＳ２５では、変数ｉの値をインクリメントしステップＳ２３に移行する。
【００３９】
ステップＳ２６では、動画像情報の表示位置とカーソルの表示位置との間の距離ｄｉのうち最小値を判定し、これに対応するチャネルＣＨｉの動画像情報を選択画像に決定する。
ステップＳ２７では、選択された動画像情報に対応する音声データの出力を行う。
【００４０】
このように構成した場合、動画像情報を表示するウィンドウの近傍に表示枠を設けるためのテーブルを用意する必要がなく、カーソルの表示位置に最も近い動画像情報に対応する音声データを出力するように構成できる。
〈変形例２〉
音声データの出力を行っている動画像情報について、その表示ウィンドウの枠の色を変更したり、選択されていない動画像情報の色調を変更するなどにより、選択されたチャネルを認識できるように構成することも可能である。
〈変形例３〉
動画像情報の表示位置とカーソルの表示位置との間の距離ｄｉに反比例するように、各動画像情報に対応する音声データを増幅し、各音声データを合成して￥出力するように構成することも可能である。
【００４１】
カーソルの表示位置の中心座標を（ＣｕＸ，ＣｕＹ）、チャネルＣＨｉの動画像情報の中心座標（ＣＸｉ，ＣＹｉ）としこれらの座標間の距離ｄｉとすると、
ｄｉ＝（（ＣｕＸ−ＣＸｉ）２＋（ＣｕＹ−ＣＹｉ）２）１／２
で計算することができる。この距離ｄｉを用いてその動画像情報に対応する音声データの増幅率ＣＨｉｇ［ｄＢ］を、
ＣＨｉｇ［ｄＢ］＝ａ・ｄｉ（ただし、ａ＜０の定数）
で設定する。
【００４２】
このことにより、カーソル表示位置に近い動画像情報の音声データは大きな音量で出力され、カーソル表示位置から遠い動画像情報の音声データは小さい音量で出力されることとなる。したがって、マウスなどのポインティングデバイスを用いてカーソルを近づけた動画像情報の音声データの音量が大きくなり、その動画像情報の内容把握を容易にするとともに、他の動画像情報についても音量が小さいながらも音声データの出力を行っているため、内容把握の助けとすることが可能である。
〈変形例４〉
カーソルの表示位置から見た動画像情報の表示位置の方向に関する方向情報を算出し、音声出力装置１３０が生成する音像空間内に方向情報と距離情報に基づいて動画像情報に対応する音声データの音像を定位するように構成することも可能である。
【００４３】
前述したように、カーソルの表示位置および動画像情報の表示位置は、それぞれ表示装置上の座標で表すことが可能であり、この座標を用いてカーソルから見た動画像情報の表示位置の方向情報を算出することが可能である。このような方向情報と距離情報ｄｉを用いて、音声出力装置１３０が生成する音像空間内に音声データの音像を定位することが可能となる。ただし、この場合、音声出力装置１３０は２以上のスピーカを備え、各スピーカから出力される音声による音像空間が生成されるように各スピーカからの出力が制御される必要がある。
【００４４】
たとえば、カーソルの中心座標（ＣｕＸ，ＣｕＹ）、チャネルＣＨｉの中心座標（ＣＸｉ，ＣＹｉ）とし、Ｘ軸方向の距離ＣＸｉｄを、
ＣＸｉｄ＝ＣｕＸ−ＣＸｉ
として算出する。このＸ軸方向の距離ＣＸｉｄを用いて、左右のスピーカに出力する音量を決定して出力することにより、音像の定位を行うことが可能となる。
【００４５】
このような構成とすることにより、表示装置１２０の動画像情報の表示位置と音声出力装置１３０から出力される音声データの位置との間に整合性を持たせることができ、動画像情報の内容把握を促すことが容易になる。
〔第２実施形態〕
本発明の第２実施形態の制御ブロック図を図８に示す。
【００４６】
この情報処理装置１５０は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、第１実施形態と同様に、予め設定された位置情報テーブルにしたがって各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
表示画像生成手段１０４は、第１実施形態と同様に、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置し画像出力を行う。
【００４７】
動画像表示制御手段１０１からの動画像位置情報は動画像選択手段１０８に入力される。動画像選択手段１０８は、複数のチャネルの動画像情報を所定の周期で選択するようなアルゴリズムを有している。たとえば、ひとつのチャネル番号を選択してこの動画像情報に対応する音声データを選択するための音声選択情報を出力し、一定時間経過する毎にチャネル番号順に選択するチャネル番号を切り換えていくように構成できる。
【００４８】
動画像選択手段１０８から出力される音声出力選択情報は音声出力選択手段１０７に入力される。音声出力選択手段１０７は、音声出力選択情報に基づいて選択されているチャネルの動画像情報に対応する音声データを音声出力装置１３０に出力する。
表示されている動画像情報を順に選択し、選択された動画像情報に対応する音声データを一定時間出力するような構成のアルゴリズムを図９のフローチャートに示す。
【００４９】
ステップＳ３１では、変数ｉの値を初期化する。
ステップＳ３２では、タイマを初期化してこのタイマによる経過時間のカウントを開始する。このタイマは、選択されたチャネルの動画像情報に対応する音声データを出力する時間を計時するものである。
ステップＳ３３では、チャネルＣＨｉの画像情報に対応する音声データを音声出力装置１３０に出力する。
【００５０】
ステップＳ３４では、タイマのカウント値が所定値に達したか否かを判別する。タイマのカウント値が予め設定されている所定値に到達したと判断した場合にはステップＳ３５に移行する。
ステップＳ３５では、変数ｉの値をインクリメントし、次のチャネル番号の動画像情報を選択する。
【００５１】
ステップＳ３６では、変数ｉの値が表示を行っているチャネル数ｎを超えたか否かを判別する。変数ｉの値がチャネル数ｎを超えていないと判断した場合にはステップＳ３２に移行し、変数ｉの値がチャネル数ｎを超えたと判断した場合にはステップＳ３１に移行する。
動画像選択手段１０８がこのようなアルゴリズムにしたがって動画像情報を選択し、選択した動画像情報に対応する音声データを出力するように構成することで、周期的に選択する動画像情報を切り換えてそれに対応する音声データを一定時間出力することができる。ユーザは、各動画像情報をポインティングデバイスなどで指定する作業なしで、各動画像情報に対応する音声データを周期的に認識することが可能であり、各動画像情報の内容を把握することが容易となる。
〔第３実施形態〕
本発明の第３実施形態の制御ブロック図を図１０に示す。
【００５２】
この情報処理装置１６０は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、第１実施形態と同様にして各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
カーソル位置決定手段１０２は、マウス、トラックボール、タッチパッド、キーボード、その他のポインティングデバイスで構成される入力デバイス１４０により入力されるカーソル指示情報を受け付け、このカーソル指示情報と現在のカーソルの表示位置とに基づいて次のカーソル位置情報を算出しこれを出力する。
【００５３】
カーソル位置決定手段１０２から出力されるカーソル位置情報はカーソル画像生成手段１０３に入力される。カーソル画像生成手段１０３は、カーソル位置情報に基づいてカーソル画像情報を生成しこれを出力する。
動画像表示制御手段１０１から出力される動画像位置情報とカーソル位置決定手段１０２から出力されるカーソル位置情報は距離情報生成手段１０５に入力される。距離情報生成手段１０５は、動画像位置情報とカーソル位置情報に基づいて各動画像情報の表示位置とカーソルの表示位置との距離を算出する。この各動画像情報の表示位置とカーソルの表示位置との距離は、動画像情報の中心位置とカーソルの中心位置との間の距離とすることができる。また、カーソルが動画像情報のウィンドウ内に位置する場合には、その距離を”０”に設定するように構成できる。
【００５４】
距離情報生成手段１０５で生成された距離情報は動画像選択手段１０６に入力される。動画像選択手段１０６では、距離情報生成手段１０５で生成された距離情報に基づいて、どの動画像情報に対応する音声データを出力するかを決定する。たとえば、各動画像情報の距離情報のうち最も距離の値が小さい動画像情報を選択するように構成できる。
【００５５】
動画像選択手段１０６は、選択された動画像情報に基づいて音声出力選択情報を音声出力選択手段１０７に出力する。音声出力選択手段１０７は、動画像源２００からの複数の動画像情報のうち、音声出力選択情報で設定される動画像情報に対応する音声データを選択的に取得し、これを音声出力装置１３０に出力する。
【００５６】
音声出力選択手段１０７から出力される音声データは、音声認識手段１０９に入力される。音声認識手段１０９は、入力される音声データから意味のある言葉を認識してこれを抽出し文字情報に変換するものである。
音声認識手段１０９で変換された文字情報は認識文字表示手段１１０に入力される。認識文字表示手段１１０は、音声認識手段１０９から入力される文字情報に基づいて表示装置１２０上に表示する文字データを生成し表示画像生成手段１０４に出力する。
【００５７】
動画像表示制御手段１０１から出力される動画像情報と動画像位置情報、カーソル画像生成手段１０３から出力されるカーソル画像情報および認識文字表示手段１１０から出力される文字データは、表示画像生成手段１０４に入力される。表示画像生成手段１０４は、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置し、カーソル画像および文字データを合成して表示装置１２０に出力する。
【００５８】
ここで、認識文字表示手段１１０から出力される文字データは、対応する動画像情報の近傍に表示するように構成することが可能であり、どの動画像情報から得た文字データであるかを示す情報を表示装置１２０上に明示するような構成とすることも可能である。
また、選択されたチャネルの動画像情報に対応する音声データから取得した文字データを表示し、音声出力装置１３０から音声データの出力を行わない構成とすることも可能である。
【００５９】
この場合の動作について図１１に示すフローチャートに基づいて説明する。
ステップＳ４１では、変数ｉの値を初期化する。
ステップＳ１２では、カーソル位置情報の読み込みを行う。
ステップＳ１３では、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っているか否かを判別する。この場合、第１実施形態と同様に、動画像情報を表示しているウィンドウの周囲に所定の距離範囲で表示枠を設定し、この表示枠内にカーソルが入った場合にその動画像情報が選択されたと判断するように構成できる。カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていると判断した場合にはステップＳ４４に移行する。
【００６０】
ステップＳ４４では、チャネル番号ＣＨｉの動画像情報に対応する音声データを音声出力装置１３０に出力する。
ステップＳ４５では、チャネル番号ＣＨｉの動画像情報に対応する音声データから意味のある言葉を認識し文字データに変換する。
ステップＳ４６では、認識した文字データを表示画像生成手段１０４に送出し、表示装置１２０上に表示する。
【００６１】
ステップＳ４３において、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていないと判断した場合には、ステップＳ４７に移行する。
ステップＳ４７では、変数ｉの値が表示されている動画像情報数ｎに到達したか否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ４１に移行し、そうでない場合にはステップＳ４８に移行する。
【００６２】
ステップＳ４８では変数ｉの値をインクリメントしステップＳ４３に移行する。
このように構成した場合には、選択されたチャネルの動画像情報に対応する音声データに含まれる意味のある言葉を視覚的に認識することが可能となり、動画像情報の内容把握を容易にすることができる。
〈変形例〉
第３実施形態の変形例のブロック図を図１２に示す。
【００６３】
この情報処理装置１７０では、音声認識手段１０９および認識文字表示手段１１０が表示するチャネル数だけ設けられており、それぞれ各チャネルの動画像情報に対応する音声データから意味のある言葉を抽出して文字データに変換しこれを表示画像生成手段１０４に入力し、表示装置１２０上に表示する構成となっている。
【００６４】
各文字データはそれぞれ対応する動画像情報の表示位置の近傍に表示されるように構成することが可能であり、文字データのみをリスト表示するように構成することも可能である。
この場合には、各動画像情報に対応する音声データから抽出された言葉を表示装置１２０上にそれぞれ表示することが可能となり、各動画像情報の内容把握を容易にすることができる。
〔第４実施形態〕
本発明の第４実施形態の制御ブロック図を図１３に示す。
【００６５】
この情報処理装置１８０は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、第１実施形態と同様にして各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
カーソル位置決定手段１０２は、マウス、トラックボール、タッチパッド、キーボード、その他のポインティングデバイスで構成される入力デバイス１４０により入力されるカーソル指示情報を受け付け、このカーソル指示情報と現在のカーソルの表示位置とに基づいて次のカーソル位置情報を算出しこれを出力する。
【００６６】
カーソル位置決定手段１０２から出力されるカーソル位置情報はカーソル画像生成手段１０３に入力される。カーソル画像生成手段１０３は、カーソル位置情報に基づいてカーソル画像情報を生成しこれを出力する。
動画像表示制御手段１０１から出力される動画像位置情報とカーソル位置決定手段１０２から出力されるカーソル位置情報は距離情報生成手段１０５に入力される。距離情報生成手段１０５は、動画像位置情報とカーソル位置情報に基づいて各動画像情報の表示位置とカーソルの表示位置との距離を算出する。この各動画像情報の表示位置とカーソルの表示位置との距離は、動画像情報の中心位置とカーソルの中心位置との間の距離とすることができる。また、カーソルが動画像情報のウィンドウ内に位置する場合には、その距離を”０”に設定するように構成できる。
【００６７】
距離情報生成手段１０５で生成された距離情報は動画像選択手段１０６に入力される。動画像選択手段１０６では、距離情報生成手段１０５で生成された距離情報に基づいて、どの動画像情報に対応する音声データを出力するかを決定する。たとえば、各動画像情報の距離情報のうち最も距離の値が小さい動画像情報を選択するように構成できる。
【００６８】
動画像選択手段１０６は、選択された動画像情報に基づいて音声出力選択情報を音声出力選択手段１０７に出力する。音声出力選択手段１０７は、動画像源２００からの複数の動画像情報のうち、音声出力選択情報で設定される動画像情報に対応する音声データを選択的に取得し、これを音声出力装置１３０に出力する。
【００６９】
音声出力選択手段１０７から出力される音声データは、音声認識手段１０９に入力される。音声認識手段１０９は、入力される音声データから意味のある言葉を認識してこれを抽出し文字情報に変換するものである。
音声認識手段１０９で変換された文字情報は認識文字表示手段１１０に入力される。認識文字表示手段１１０は、音声認識手段１０９から入力される文字情報に基づいて表示装置１２０上に表示する文字データを生成し表示画像生成手段１０４に出力する。
【００７０】
音声認識手段１０９から出力される文字情報はホームページ検索手段１１１に入力される。ホームページ検索手段１１１はインターネット接続手段１１３を介してインターネットにアクセスを行い、音声認識手段１０９から取得した文字情報をキーワードとしてインターネット上で検索可能なホームページを検索する。ホームページの検索には、ＹＡＨＯＯ、ｇｏｏ、ｇｏｏｇｌｅなどの検索サイトに接続して検索結果を受信するように構成することが可能である。検索結果はインターネット接続手段１１３を介してホームページ検索手段１１１で受信され、ホームページ表示手段１１２に送出される。
【００７１】
ホームページ表示手段１１２は、検索結果から得られたホームページのＵＲＬにアクセスを行い、ホームページの情報を取得して表示画像生成手段１０４に出力する。ホームページ表示手段１１２は、ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒやＮｅｔｓｃａｐｅ Ｎａｖｉｇａｔｏｒなどのウェブブラウザで構成することが可能である。また、ホームページ情報の取得はインターネット接続手段１１３を介してインターネットにアクセスを行うことで可能となる。
【００７２】
動画像表示制御手段１０１から出力される動画像情報と動画像位置情報、カーソル画像生成手段１０３から出力されるカーソル画像情報、認識文字表示手段１１０から出力される文字データおよびホームページ表示手段１１２から出力されるホームページ情報は、表示画像生成手段１０４に入力される。表示画像生成手段１０４は、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置し、カーソル画像、文字データおよびホームページ情報を合成して表示装置１２０に出力する。
【００７３】
この場合の動作について、図１４に示すフローチャートに基づいて説明する。
ステップＳ５１では、変数ｉの値を初期化する。
ステップＳ５２では、カーソル位置情報の読み込みを行う。
ステップＳ５３では、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っているか否かを判別する。この場合、第１実施形態と同様に、動画像情報を表示しているウィンドウの周囲に所定の距離範囲で表示枠を設定し、この表示枠内にカーソルが入った場合にその動画像情報が選択されたと判断するように構成できる。カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていると判断した場合にはステップＳ５４に移行する。
【００７４】
ステップＳ５４では、チャネル番号ＣＨｉの動画像情報に対応する音声データを音声出力装置１３０に出力する。
ステップＳ５５では、チャネル番号ＣＨｉの動画像情報に対応する音声データから意味のある言葉を認識し文字データに変換する。
ステップＳ５６では、認識した文字データを表示画像生成手段１０４に送出し、表示装置１２０上に表示する。
【００７５】
ステップＳ５７では、音声認識により得られた文字データからホームページ検索を行う。
ステップＳ５８では、ホームページ検索を行った検索結果に基づいて、ホームページ情報を取得し、これを表示装置１２０上に表示する。
ステップＳ５３において、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていないと判断した場合には、ステップＳ５９に移行する。
【００７６】
ステップＳ５９では、変数ｉの値が表示されている動画像情報数ｎに到達したが否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ５１に移行し、そうでない場合にはステップＳ６０に移行する。
ステップＳ６０では変数ｉの値をインクリメントしステップＳ５３に移行する。
【００７７】
このように構成した場合には、動画像情報に対応する音声データから得られる言葉から関連ホームページの情報を取得してこれを表示装置上に表示させることが可能となる。このことにより、各動画像情報の関連情報を容易に取得することができ、種々のデータを簡単に取得することができる。
【００７８】
【産業上の利用可能性】
本発明によれば、表示装置に表示される複数の動画像情報から特定の動画像情報に対応する音声データを容易に認識することができ、その動画像情報の内容の把握が容易になる。
【図面の簡単な説明】
【図１】 本発明の概略構成を示すブロック図である。
【図２】 動画像位置情報テーブルの一例を示す説明図である。
【図３】 画面構成の一例を示す説明図である。
【図４】 第１実施形態の制御ブロック図である。
【図５】 第１実施形態の制御フローチャートである。
【図６】 動画像一情報テーブルの他の例を示す説明図である。
【図７】 第１実施形態の変形例の制御フローチャートである。
【図８】 第２実施形態の制御ブロック図である。
【図９】 第２実施形態の制御フローチャートである。
【図１０】 第３実施形態の制御ブロック図である。
【図１１】 第３実施形態の制御フローチャートである。
【図１２】 第３実施形態の変形例の制御ブロック図である。
【図１３】 第４実施形態の制御ブロック図である。
【図１４】 第４実施形態の制御フローチャートである。
【技術分野】
本発明は、音声データを伴う複数の動画像情報を同時に表示装置上に表示可能なマルチチャネル情報処理に関し、特に、表示装置上に表示された複数の動画像の中から特定の動画像の内容を容易に把握することができるマルチチャネル情報処理装置、マルチチャネル情報処理方法、マルチチャネル情報処理方法のプログラムおよびこのプログラムを記憶するコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【背景技術】
近年、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）やＣＡＴＶモデムなどのインターネットに高速にアクセスする手段が普及しており、これに伴ってＴＶ番組などの動画像情報を家庭からインターネットを通じてダウンロードする機会が増えている。また、ディジタルビデオカメラとパーソナルコンピュータ（以下、ＰＣと称す）との間のインターフェイスが普及しており、ユーザが自分で撮影した動画像情報をＰＣに取り込んで処理することも盛んに行われている。
【０００３】
また、ＰＣの性能が向上していることやハードディスクの容量が拡大していることから、大量の動画像情報をハードディスクに格納して再生表示することも容易になってきており、複数の動画像情報を表示装置上に同時に表示できる環境にも容易に対応可能となっている。このような複数の動画像情報の表示には、ＣＲＴや液晶ディスプレイなどの表示装置上に複数のウィンドウを任意の位置に配置し、これらの動画像情報を同時に表示させることが可能である。
【０００４】
このような複数の動画像を表示する場合に、これら動画像に付随している音声データは、全ての音声データを出力しないか、あるいは全ての音声データを同一の音量で合成して出力することが行われている。音声データを出力しない場合には、各動画像情報の内容を把握するために音声データを利用することができず、表示装置上に表示された画像のみでその内容を判断する必要がある。また、全ての音声データを同一の音量で合成して出力する場合には、それぞれの音声データが干渉しあって音声を認識することが困難であり、またどの音声データがどの動画像情報に対応しているかを認識することも困難であるという問題を包含している。
【０００５】
本発明は、複数の動画像情報を表示装置上に表示する際に、特定の動画像情報に対応する音声データを認識することを容易にし、表示されている動画像情報の内容を容易に把握することを可能にすることを目的とする。
【０００６】
【発明の開示】
本発明の請求項１に係るマルチチャネル情報処理装置は、複数の動画像情報を同時に表示装置に表示するマルチチャネル情報処理装置であって、複数の動画像情報を取得し、複数の動画像情報の表示装置上での表示位置に関する動画像位置情報を決定して複数の動画像情報を前記動画像位置情報に基づいて出力する動画像情報制御手段と、入力デバイスを介して入力されるカーソル指示情報に基づいてカーソル位置情報を算出しカーソル位置情報に基づいてカーソル画像情報を生成してこれを出力するカーソル位置制御手段と、動画像表示制御手段が出力する複数の動画像情報とカーソル位置制御手段が出力するカーソル画像情報とを合成して表示装置上に表示する表示画像生成手段と、複数の動画像情報に対応する動画像位置情報とカーソル位置制御手段で算出されたカーソル位置情報とに基づいて、各動画像情報の表示位置とカーソルの表示位置との距離を算出し距離情報を生成する距離情報生成手段と、距離情報生成手段で生成された距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定して音声出力装置に出力する音声出力制御手段とを備え、距離情報生成手段で生成された距離情報は、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を含み、音声出力制御手段は音声出力装置が形成する音像空間に複数の動画像情報に対応する音声データが定位するように距離情報に基づいて音声出力装置に出力を行うことを特徴とする。
【０００７】
本発明の請求項２に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処理装置であって、音声出力制御手段が、距離情報生成手段で生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を音量Ｖａよりも小さな予め定められた音量Ｖｂに設定することを特徴としている。
【０００８】
本発明の請求項３に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処理装置であって、音声出力制御手段が、複数の動画像情報に対応する音声データの音量を、距離情報生成手段で生成された距離情報中の距離の値に反比例するように設定することを特徴としている。
本発明の請求項４に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処置装置であって、複数の動画像情報に対応する音声データに含まれる言葉を認識する音声データ認識手段と、音声データ認識手段で認識した言葉を文字情報に変換して表示装置に表示する文字情報表示手段とをさらに備えている。
【０００９】
本発明の請求項５に係るマルチチャネル情報処理装置は、請求項５に記載のマルチチャネル情報処理装置であって、インターネット接続手段と、音声データ認識手段で認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索するホームページ検索手段と、ホームページ検索手段で検索されたホームページを前記表示装置上に表示するホームページ表示手段とを備えている。
【００１０】
本発明の請求項６に係るマルチチャネル情報処理装置は、請求項１に記載のマルチチャネル情報処理装置であって、表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する動画像選択手段をさらに備え、音声出力制御手段は動画像選択手段が選択した動画像情報に対応する音声データを音声出力装置に出力することを特徴としている。
【００１１】
本発明の請求項７に係るマルチチャネル情報処理装置は、請求項６に記載のマルチチャネル情報処理装置であって、動画像選択手段は、所定時間毎に選択する動画像情報を切り換えることを特徴としている。
本発明の請求項８に係るマルチチャネル情報処理方法は、複数の動画像情報を同時に表示装置に表示する際のマルチチャネル情報処理方法であって、表示装置上に表示を行う動画像情報表示装置上での表示位置を決定する段階と、決定した表示位置に基づいて複数の動画像情報を出力する段階と、入力デバイスから入力されるカーソル指示情報を受け付ける段階と、カーソル指示情報に基づいてカーソルを表示するカーソル位置情報を算出する段階と、カーソル位置情報に基づいてカーソル画像情報を生成する段階と、複数の動画像情報とカーソル画像情報とを合成して表示画像を生成しこれを表示装置上に出力する段階と、複数の動画像情報の表示位置とカーソル位置情報との間の距離を算出し距離情報を生成する段階と、距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定し音声出力装置に出力する段階と、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を生成する段階と、複数の動画像情報に対応する音声データが、音声出力装置の音像空間における距離情報および方向情報に応じた音像位置に定位するように、音声出力装置に出力を行う段階とを含んでいる。
【００１２】
本発明の請求項９に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、複数の動画像情報について生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を音量Ｖａよりも小さな予め定められた音量Ｖｂに設定することを特徴としている。
【００１３】
本発明の請求項１０に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、複数の動画像情報に対応する音声データの音量を、各距離情報中の距離の値に反比例するように設定することを特徴としている。
本発明の請求項１１に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、複数の動画像情報に対応する音声データに含まれる言葉を音声認識する段階と、音声認識した言葉を文字情報に変換して表示装置に表示する段階とをさらに備えている。
【００１４】
本発明の請求項１２に係るマルチチャネル情報処理方法は、請求項１１に記載のマルチチャネル情報処理方法であって、インターネットに接続する段階と、音声認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索する段階と、検索された関連ホームページを前記表示装置上に表示する段階とを備えている。
【００１５】
本発明の請求項１３に係るマルチチャネル情報処理方法は、請求項８に記載のマルチチャネル情報処理方法であって、表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する段階と、選択した動画像情報に対応する音声データを音声出力装置に出力する段階とをさらに備えている。
【００１６】
本発明の請求項１４に係るプログラムは、複数の動画像情報を同時に表示装置に表示する際のマルチチャネル情報処理方法のプログラムであって、複数の動画像情報の表示装置上での表示位置を決定する段階と、決定した表示位置に基づいて複数の動画像情報を出力する段階と、入力デバイスから入力されるカーソル指示情報を受け付ける段階と、カーソル指示情報に基づいてカーソルを表示するカーソル位置情報を算出する段階と、カーソル位置情報に基づいてカーソル画像情報を生成する段階と、複数の動画像情報とカーソル画像情報とを合成して表示画像を生成しこれを表示装置上に出力する段階と、複数の動画像情報の表示位置とカーソル位置情報との間の距離を算出し距離情報を生成する段階と、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を生成する段階と、距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定し、複数の動画像情報に対応する音声データが、音声出力装置の音像空間における距離情報および方向情報に応じた音像位置に定位するように、音声出力装置に出力を行う段階とを含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００１７】
本発明の請求項１５に係るプログラムは、請求項１４に記載のプログラムであって、複数の動画像情報について生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する 音声データの音量を音量Ｖａよりも小さな予め定められた音量Ｖｂに設定し音声出力装置に出力する段階をさらに含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００１８】
本発明の請求項１６に係るプログラムは、請求項１４に記載のプログラムであって、複数の動画像情報に対応する音声データの音量を、各距離情報中の距離の値に反比例するように設定し音声出力装置に出力する段階をさらに含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
本発明の請求項１７に係るプログラムは、請求項１４に記載のプログラムであって、複数の動画像情報に対応する音声データに含まれる言葉を音声認識する段階と、音声認識した言葉を文字情報に変換してこれを出力する段階と、複数の動画像情報、カーソル画像情報および文字情報とを合成して表示画像を生成しこれを表示装置上に出力する段階とをさらに備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００１９】
本発明の請求項１８に係るプログラムは、請求項１４に記載のプログラムであって、距離情報に基づいて複数の動画像情報のうちから特定の動画像情報を選択し、この動画像情報に対応する音声データを音声出力装置に出力する段階と、音声出力装置に出力する音声データに含まれる言葉を音声認識する段階と、音声認識した言葉を文字情報に変換してこれを出力する段階と、複数の動画像情報、カーソル画像情報および文字情報とを合成して表示画像を生成しこれを表示装置上に出力する段階とを備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００２０】
本発明の請求項１９に係るプログラムは、請求項１４に記載のプログラムであって、距離情報に基づいて複数の動画像情報のうちから特定の動画像情報を選択し、この動画像情報に対応する音声データを音声出力装置に出力する段階と、音声出力装置に出力する音声データに含まれる言葉を音声認識する段階と、インターネットに接続する段階と、音声認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索する段階と、複数の動画像情報、カーソル画像情報および検索された関連ホームページを合成して表示画像を生成しこれを表示装置上に出力する段階とを備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００２１】
本発明の請求項２０に係るプログラムは、請求項１４に記載のプログラムであって、表示装置に表示される複数の動画像情報から所定のアルコリズムに基づいて特定の動画像情報を選択する段階と、選択した動画像情報に対応する音声データを音声出力装置に出力する段階とを備えるマルチチャネル情報処理方法をコンピュータに実行させるためのプログラムである。
【００２２】
本発明の請求項２１に係る記憶媒体は、請求項１４〜２０のプログラムを記憶したコンピュータが読み取り可能な記憶媒体である。
【００２３】
【発明の効果】
本発明によれば、表示装置に表示される複数の動画像情報から特定の動画像情報に対応する音声データを容易に認識することができ、その動画像情報の内容の把握が容易になる。
【００２４】
【発明を実施するための最良の形態】
〔基本構成〕
本発明の１実施形態が採用される情報処理装置のハード構成を図１に示す。
情報処理装置１０は、通常のパーソナルコンピュータで構成することが可能であり、ＰＣ本体１、ＣＲＴや液晶表示装置などで構成されるディスプレイ２、スピーカ３、マウスやトラックボール、タッチパッド、キーボードなどの入力デバイス４、インターネット接続が可能なモデム５などを備えている。モデム５は、たとえば公衆回線を通じてインターネット接続を行うＡＤＳＬモデムなどが採用される。
【００２５】
ＰＣ本体１は、モデム５および公衆回線を介してＩＳＰ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅｓ Ｐｒｏｖｉｄｅｒ）２０に接続を行い、ＩＳＰ２０に用意されているストリーミングデータから複数の動画像情報をダウンロードすることが可能な構成となっている。ダウンロードされた複数の動画像情報は、ディスプレイ２上の予めプログラムで設定されている表示位置に表示される。もちろん、プログラム上に用意されたツールを用いてユーザが表示位置を設定するように構成することも可能である。
【００２６】
動画像情報の表示位置に関する位置情報テーブルの一例を図２に示す。
この位置情報テーブルは、チャネル番号、中心の位置、左右の幅、上下の高さなどの項目を備えており、各チャネル番号ＣＨｉ（ｉ＝１〜ｎ）の動画像情報の中心の座標位置（ＣＸｉ，ＣＹｉ）、左右の幅Ｗｉ、上下の高さＨｉがそれぞれ格納される。この位置情報テーブルは、表示されるチャネル数ｎ毎に設定されており、ＰＣ本体１で処理可能な最大チャネル数またはディスプレイ２上に表示可能な最大チャネル数まで用意されている。
【００２７】
このような位置情報テーブルで設定された表示位置に基づいて動画像情報の表示を行う場合の表示画面の一例を図３に示す。ここでは、表示チャネル数が３の場合を示しており、それぞれ中心の座標位置（ＣＸｉ，ＣＹｉ）、左右の幅Ｗｉ、上下の高さＨｉによって、各動画像情報の表示位置を決定することができる。
〔第１実施形態〕
本発明の第１実施形態の制御ブロック図を図４に示す。
【００２８】
この情報処理装置１００は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、たとえば、図２に示されるような位置情報テーブルにしたがって各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
カーソル位置決定手段１０２は、マウス、トラックボール、タッチパッド、キーボード、その他のポインティングデバイスで構成される入力デバイス１４０により入力されるカーソル指示情報を受け付け、このカーソル指示情報と現在のカーソルの表示位置とに基づいて次のカーソル位置情報を算出しこれを出力する。
【００２９】
カーソル位置決定手段１０２から出力されるカーソル位置情報はカーソル画像生成手段１０３に入力される。カーソル画像生成手段１０３は、カーソル位置情報に基づいてカーソル画像情報を生成しこれを出力する。
動画像表示制御手段１０１から出力される動画像情報と動画像位置情報およびカーソル画像生成手段１０３から出力されるカーソル画像情報は、表示画像生成手段１０４に入力される。表示画像生成手段１０４は、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置するとともに、カーソル画像を合成して表示装置１２０に出力する。
【００３０】
動画像表示制御手段１０１から出力される動画像位置情報とカーソル位置決定手段１０２から出力されるカーソル位置情報は距離情報生成手段１０５に入力される。距離情報生成手段１０５は、動画像位置情報とカーソル位置情報に基づいて各動画像情報の表示位置とカーソルの表示位置との距離を算出する。この各動画像情報の表示位置とカーソルの表示位置との距離は、動画像情報の中心位置とカーソルの中心位置との間の距離とすることができる。また、カーソルが動画像情報のウィンドウ内に位置する場合には、その距離を”０”に設定するように構成できる。
【００３１】
距離情報生成手段１０５で生成された距離情報は動画像選択手段１０６に入力される。動画像選択手段１０６では、距離情報生成手段１０５で生成された距離情報に基づいて、どの動画像情報に対応する音声データを出力するかを決定する。たとえば、各動画像情報の距離情報のうち最も距離の値が小さい動画像情報を選択するように構成できる。
【００３２】
動画像選択手段１０６は、選択された動画像情報に基づいて音声出力選択情報を音声出力選択手段１０７に出力する。音声出力選択手段１０７は、動画像源２００からの複数の動画像情報のうち、音声出力選択情報で設定される動画像情報に対応する音声データを選択的に取得し、これを音声出力装置１３０に出力する。
【００３３】
この構成における動作を図５のフローチャートに基づいて説明する。
ステップＳ１１では、変数ｉの値を初期化する。
ステップＳ１２では、カーソル位置情報の読み込みを行う。
ステップＳ１３では、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っているか否かを判別する。動画像情報の位置情報テーブルとして、図６に示すような、チャネル番号、中心の位置、表示幅、表示高さの各項目に加えて、近傍幅、近傍高さの項目を備えるものを用いることができる。カーソルの表示位置が、チャネル番号ＣＨｉの動画像情報の中央位置座標（ＣＸｉ，ＣＹｉ）および近傍幅ＮＷｉ、近傍高さＮＨｉで規定される範囲内にある場合には、この動画像情報の表示枠に入っていると判断する。この場合、動画像情報を表示しているウィンドウの周囲に所定の距離範囲で表示枠を設定し、この表示枠内にカーソルが入った場合にその動画像情報が選択されたと判断するように構成できる。カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていると判断した場合にはステップＳ１６に移行する。
【００３４】
ステップＳ１６では、チャネル番号ＣＨｉの動画像情報に対応する音声データを音声出力装置１３０に出力する。
ステップＳ１３において、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていないと判断した場合には、ステップＳ１４に移行する。
【００３５】
ステップＳ１４では、変数ｉの値が表示されている動画像情報数ｎに到達したか否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ１１に移行し、そうでない場合にはステップＳ１５に移行する。
ステップＳ１５では変数ｉの値をインクリメントしステップＳ１３に移行する。
【００３６】
このように構成した場合、たとえばマウスカーソルの表示位置が動画像情報のウィンドウ上にない場合であっても、ウィンドウの近傍にあることを認識して、その動画像情報に対応する音声データを出力するように構成できる。ユーザは、マウスやトラックボール、その他のポインティングデバイスを用いてカーソルを移動させ、希望する動画像情報のウィンドウにカーソルを近づけることで、その音声データを聞くことができ、動画像情報の内容を容易に認識することが可能となる。
〈変形例１〉
カーソルの表示位置に最も近い動画像情報を選択して音声データを出力するように構成することも可能である。この場合のフローチャートを図７に示す。
【００３７】
ステップＳ２１では、変数ｉの値を初期化する。
ステップＳ２２では、カーソル位置情報の読み込みを行う。
ステップＳ２３では、カーソルの表示位置とチャネル番号ＣＨｉの動画像情報の表示位置との距離ｄｉを算出する。この距離ｄｉは、動画像情報を表示しているウィンドウの中心座標とカーソルの中心座標との間の距離とすることも可能であり、また動画像情報を表示しているウィンドウ枠とカーソルの中心座標との最短距離とすることも可能である。
【００３８】
ステップＳ２４では、変数ｉの値が表示されている動画像情報数ｎに到達したか否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ２６に移行し、そうでない場合にはステップＳ２５に移行する。
ステップＳ２５では、変数ｉの値をインクリメントしステップＳ２３に移行する。
【００３９】
ステップＳ２６では、動画像情報の表示位置とカーソルの表示位置との間の距離ｄｉのうち最小値を判定し、これに対応するチャネルＣＨｉの動画像情報を選択画像に決定する。
ステップＳ２７では、選択された動画像情報に対応する音声データの出力を行う。
【００４０】
このように構成した場合、動画像情報を表示するウィンドウの近傍に表示枠を設けるためのテーブルを用意する必要がなく、カーソルの表示位置に最も近い動画像情報に対応する音声データを出力するように構成できる。
〈変形例２〉
音声データの出力を行っている動画像情報について、その表示ウィンドウの枠の色を変更したり、選択されていない動画像情報の色調を変更するなどにより、選択されたチャネルを認識できるように構成することも可能である。
〈変形例３〉
動画像情報の表示位置とカーソルの表示位置との間の距離ｄｉに反比例するように、各動画像情報に対応する音声データを増幅し、各音声データを合成して￥出力するように構成することも可能である。
【００４１】
カーソルの表示位置の中心座標を（ＣｕＸ，ＣｕＹ）、チャネルＣＨｉの動画像情報の中心座標（ＣＸｉ，ＣＹｉ）としこれらの座標間の距離ｄｉとすると、
ｄｉ＝（（ＣｕＸ−ＣＸｉ）２＋（ＣｕＹ−ＣＹｉ）２）１／２
で計算することができる。この距離ｄｉを用いてその動画像情報に対応する音声データの増幅率ＣＨｉｇ［ｄＢ］を、
ＣＨｉｇ［ｄＢ］＝ａ・ｄｉ（ただし、ａ＜０の定数）
で設定する。
【００４２】
このことにより、カーソル表示位置に近い動画像情報の音声データは大きな音量で出力され、カーソル表示位置から遠い動画像情報の音声データは小さい音量で出力されることとなる。したがって、マウスなどのポインティングデバイスを用いてカーソルを近づけた動画像情報の音声データの音量が大きくなり、その動画像情報の内容把握を容易にするとともに、他の動画像情報についても音量が小さいながらも音声データの出力を行っているため、内容把握の助けとすることが可能である。
〈変形例４〉
カーソルの表示位置から見た動画像情報の表示位置の方向に関する方向情報を算出し、音声出力装置１３０が生成する音像空間内に方向情報と距離情報に基づいて動画像情報に対応する音声データの音像を定位するように構成することも可能である。
【００４３】
前述したように、カーソルの表示位置および動画像情報の表示位置は、それぞれ表示装置上の座標で表すことが可能であり、この座標を用いてカーソルから見た動画像情報の表示位置の方向情報を算出することが可能である。このような方向情報と距離情報ｄｉを用いて、音声出力装置１３０が生成する音像空間内に音声データの音像を定位することが可能となる。ただし、この場合、音声出力装置１３０は２以上のスピーカを備え、各スピーカから出力される音声による音像空間が生成されるように各スピーカからの出力が制御される必要がある。
【００４４】
たとえば、カーソルの中心座標（ＣｕＸ，ＣｕＹ）、チャネルＣＨｉの中心座標（ＣＸｉ，ＣＹｉ）とし、Ｘ軸方向の距離ＣＸｉｄを、
ＣＸｉｄ＝ＣｕＸ−ＣＸｉ
として算出する。このＸ軸方向の距離ＣＸｉｄを用いて、左右のスピーカに出力する音量を決定して出力することにより、音像の定位を行うことが可能となる。
【００４５】
このような構成とすることにより、表示装置１２０の動画像情報の表示位置と音声出力装置１３０から出力される音声データの位置との間に整合性を持たせることができ、動画像情報の内容把握を促すことが容易になる。
〔第２実施形態〕
本発明の第２実施形態の制御ブロック図を図８に示す。
【００４６】
この情報処理装置１５０は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、第１実施形態と同様に、予め設定された位置情報テーブルにしたがって各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
表示画像生成手段１０４は、第１実施形態と同様に、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置し画像出力を行う。
【００４７】
動画像表示制御手段１０１からの動画像位置情報は動画像選択手段１０８に入力される。動画像選択手段１０８は、複数のチャネルの動画像情報を所定の周期で選択するようなアルゴリズムを有している。たとえば、ひとつのチャネル番号を選択してこの動画像情報に対応する音声データを選択するための音声選択情報を出力し、一定時間経過する毎にチャネル番号順に選択するチャネル番号を切り換えていくように構成できる。
【００４８】
動画像選択手段１０８から出力される音声出力選択情報は音声出力選択手段１０７に入力される。音声出力選択手段１０７は、音声出力選択情報に基づいて選択されているチャネルの動画像情報に対応する音声データを音声出力装置１３０に出力する。
表示されている動画像情報を順に選択し、選択された動画像情報に対応する音声データを一定時間出力するような構成のアルゴリズムを図９のフローチャートに示す。
【００４９】
ステップＳ３１では、変数ｉの値を初期化する。
ステップＳ３２では、タイマを初期化してこのタイマによる経過時間のカウントを開始する。このタイマは、選択されたチャネルの動画像情報に対応する音声データを出力する時間を計時するものである。
ステップＳ３３では、チャネルＣＨｉの画像情報に対応する音声データを音声出力装置１３０に出力する。
【００５０】
ステップＳ３４では、タイマのカウント値が所定値に達したか否かを判別する。タイマのカウント値が予め設定されている所定値に到達したと判断した場合にはステップＳ３５に移行する。
ステップＳ３５では、変数ｉの値をインクリメントし、次のチャネル番号の動画像情報を選択する。
【００５１】
ステップＳ３６では、変数ｉの値が表示を行っているチャネル数ｎを超えたか否かを判別する。変数ｉの値がチャネル数ｎを超えていないと判断した場合にはステップＳ３２に移行し、変数ｉの値がチャネル数ｎを超えたと判断した場合にはステップＳ３１に移行する。
動画像選択手段１０８がこのようなアルゴリズムにしたがって動画像情報を選択し、選択した動画像情報に対応する音声データを出力するように構成することで、周期的に選択する動画像情報を切り換えてそれに対応する音声データを一定時間出力することができる。ユーザは、各動画像情報をポインティングデバイスなどで指定する作業なしで、各動画像情報に対応する音声データを周期的に認識することが可能であり、各動画像情報の内容を把握することが容易となる。
〔第３実施形態〕
本発明の第３実施形態の制御ブロック図を図１０に示す。
【００５２】
この情報処理装置１６０は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、第１実施形態と同様にして各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
カーソル位置決定手段１０２は、マウス、トラックボール、タッチパッド、キーボード、その他のポインティングデバイスで構成される入力デバイス１４０により入力されるカーソル指示情報を受け付け、このカーソル指示情報と現在のカーソルの表示位置とに基づいて次のカーソル位置情報を算出しこれを出力する。
【００５３】
カーソル位置決定手段１０２から出力されるカーソル位置情報はカーソル画像生成手段１０３に入力される。カーソル画像生成手段１０３は、カーソル位置情報に基づいてカーソル画像情報を生成しこれを出力する。
動画像表示制御手段１０１から出力される動画像位置情報とカーソル位置決定手段１０２から出力されるカーソル位置情報は距離情報生成手段１０５に入力される。距離情報生成手段１０５は、動画像位置情報とカーソル位置情報に基づいて各動画像情報の表示位置とカーソルの表示位置との距離を算出する。この各動画像情報の表示位置とカーソルの表示位置との距離は、動画像情報の中心位置とカーソルの中心位置との間の距離とすることができる。また、カーソルが動画像情報のウィンドウ内に位置する場合には、その距離を”０”に設定するように構成できる。
【００５４】
距離情報生成手段１０５で生成された距離情報は動画像選択手段１０６に入力される。動画像選択手段１０６では、距離情報生成手段１０５で生成された距離情報に基づいて、どの動画像情報に対応する音声データを出力するかを決定する。たとえば、各動画像情報の距離情報のうち最も距離の値が小さい動画像情報を選択するように構成できる。
【００５５】
動画像選択手段１０６は、選択された動画像情報に基づいて音声出力選択情報を音声出力選択手段１０７に出力する。音声出力選択手段１０７は、動画像源２００からの複数の動画像情報のうち、音声出力選択情報で設定される動画像情報に対応する音声データを選択的に取得し、これを音声出力装置１３０に出力する。
【００５６】
音声出力選択手段１０７から出力される音声データは、音声認識手段１０９に入力される。音声認識手段１０９は、入力される音声データから意味のある言葉を認識してこれを抽出し文字情報に変換するものである。
音声認識手段１０９で変換された文字情報は認識文字表示手段１１０に入力される。認識文字表示手段１１０は、音声認識手段１０９から入力される文字情報に基づいて表示装置１２０上に表示する文字データを生成し表示画像生成手段１０４に出力する。
【００５７】
動画像表示制御手段１０１から出力される動画像情報と動画像位置情報、カーソル画像生成手段１０３から出力されるカーソル画像情報および認識文字表示手段１１０から出力される文字データは、表示画像生成手段１０４に入力される。表示画像生成手段１０４は、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置し、カーソル画像および文字データを合成して表示装置１２０に出力する。
【００５８】
ここで、認識文字表示手段１１０から出力される文字データは、対応する動画像情報の近傍に表示するように構成することが可能であり、どの動画像情報から得た文字データであるかを示す情報を表示装置１２０上に明示するような構成とすることも可能である。
また、選択されたチャネルの動画像情報に対応する音声データから取得した文字データを表示し、音声出力装置１３０から音声データの出力を行わない構成とすることも可能である。
【００５９】
この場合の動作について図１１に示すフローチャートに基づいて説明する。
ステップＳ４１では、変数ｉの値を初期化する。
ステップＳ１２では、カーソル位置情報の読み込みを行う。
ステップＳ１３では、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っているか否かを判別する。この場合、第１実施形態と同様に、動画像情報を表示しているウィンドウの周囲に所定の距離範囲で表示枠を設定し、この表示枠内にカーソルが入った場合にその動画像情報が選択されたと判断するように構成できる。カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていると判断した場合にはステップＳ４４に移行する。
【００６０】
ステップＳ４４では、チャネル番号ＣＨｉの動画像情報に対応する音声データを音声出力装置１３０に出力する。
ステップＳ４５では、チャネル番号ＣＨｉの動画像情報に対応する音声データから意味のある言葉を認識し文字データに変換する。
ステップＳ４６では、認識した文字データを表示画像生成手段１０４に送出し、表示装置１２０上に表示する。
【００６１】
ステップＳ４３において、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていないと判断した場合には、ステップＳ４７に移行する。
ステップＳ４７では、変数ｉの値が表示されている動画像情報数ｎに到達したか否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ４１に移行し、そうでない場合にはステップＳ４８に移行する。
【００６２】
ステップＳ４８では変数ｉの値をインクリメントしステップＳ４３に移行する。
このように構成した場合には、選択されたチャネルの動画像情報に対応する音声データに含まれる意味のある言葉を視覚的に認識することが可能となり、動画像情報の内容把握を容易にすることができる。
〈変形例〉
第３実施形態の変形例のブロック図を図１２に示す。
【００６３】
この情報処理装置１７０では、音声認識手段１０９および認識文字表示手段１１０が表示するチャネル数だけ設けられており、それぞれ各チャネルの動画像情報に対応する音声データから意味のある言葉を抽出して文字データに変換しこれを表示画像生成手段１０４に入力し、表示装置１２０上に表示する構成となっている。
【００６４】
各文字データはそれぞれ対応する動画像情報の表示位置の近傍に表示されるように構成することが可能であり、文字データのみをリスト表示するように構成することも可能である。
この場合には、各動画像情報に対応する音声データから抽出された言葉を表示装置１２０上にそれぞれ表示することが可能となり、各動画像情報の内容把握を容易にすることができる。
〔第４実施形態〕
本発明の第４実施形態の制御ブロック図を図１３に示す。
【００６５】
この情報処理装置１８０は、動画像源２００から複数の動画像情報を取得する動画像表示制御手段１０１を備えている。動画像情報表示制御手段１０１は、第１実施形態と同様にして各動画像情報の表示位置を決定し、この動画像位置情報と動画像情報とを出力する。
カーソル位置決定手段１０２は、マウス、トラックボール、タッチパッド、キーボード、その他のポインティングデバイスで構成される入力デバイス１４０により入力されるカーソル指示情報を受け付け、このカーソル指示情報と現在のカーソルの表示位置とに基づいて次のカーソル位置情報を算出しこれを出力する。
【００６６】
カーソル位置決定手段１０２から出力されるカーソル位置情報はカーソル画像生成手段１０３に入力される。カーソル画像生成手段１０３は、カーソル位置情報に基づいてカーソル画像情報を生成しこれを出力する。
動画像表示制御手段１０１から出力される動画像位置情報とカーソル位置決定手段１０２から出力されるカーソル位置情報は距離情報生成手段１０５に入力される。距離情報生成手段１０５は、動画像位置情報とカーソル位置情報に基づいて各動画像情報の表示位置とカーソルの表示位置との距離を算出する。この各動画像情報の表示位置とカーソルの表示位置との距離は、動画像情報の中心位置とカーソルの中心位置との間の距離とすることができる。また、カーソルが動画像情報のウィンドウ内に位置する場合には、その距離を”０”に設定するように構成できる。
【００６７】
距離情報生成手段１０５で生成された距離情報は動画像選択手段１０６に入力される。動画像選択手段１０６では、距離情報生成手段１０５で生成された距離情報に基づいて、どの動画像情報に対応する音声データを出力するかを決定する。たとえば、各動画像情報の距離情報のうち最も距離の値が小さい動画像情報を選択するように構成できる。
【００６８】
動画像選択手段１０６は、選択された動画像情報に基づいて音声出力選択情報を音声出力選択手段１０７に出力する。音声出力選択手段１０７は、動画像源２００からの複数の動画像情報のうち、音声出力選択情報で設定される動画像情報に対応する音声データを選択的に取得し、これを音声出力装置１３０に出力する。
【００６９】
音声出力選択手段１０７から出力される音声データは、音声認識手段１０９に入力される。音声認識手段１０９は、入力される音声データから意味のある言葉を認識してこれを抽出し文字情報に変換するものである。
音声認識手段１０９で変換された文字情報は認識文字表示手段１１０に入力される。認識文字表示手段１１０は、音声認識手段１０９から入力される文字情報に基づいて表示装置１２０上に表示する文字データを生成し表示画像生成手段１０４に出力する。
【００７０】
音声認識手段１０９から出力される文字情報はホームページ検索手段１１１に入力される。ホームページ検索手段１１１はインターネット接続手段１１３を介してインターネットにアクセスを行い、音声認識手段１０９から取得した文字情報をキーワードとしてインターネット上で検索可能なホームページを検索する。ホームページの検索には、ＹＡＨＯＯ、ｇｏｏ、ｇｏｏｇｌｅなどの検索サイトに接続して検索結果を受信するように構成することが可能である。検索結果はインターネット接続手段１１３を介してホームページ検索手段１１１で受信され、ホームページ表示手段１１２に送出される。
【００７１】
ホームページ表示手段１１２は、検索結果から得られたホームページのＵＲＬにアクセスを行い、ホームページの情報を取得して表示画像生成手段１０４に出力する。ホームページ表示手段１１２は、ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒやＮｅｔｓｃａｐｅ Ｎａｖｉｇａｔｏｒなどのウェブブラウザで構成することが可能である。また、ホームページ情報の取得はインターネット接続手段１１３を介してインターネットにアクセスを行うことで可能となる。
【００７２】
動画像表示制御手段１０１から出力される動画像情報と動画像位置情報、カーソル画像生成手段１０３から出力されるカーソル画像情報、認識文字表示手段１１０から出力される文字データおよびホームページ表示手段１１２から出力されるホームページ情報は、表示画像生成手段１０４に入力される。表示画像生成手段１０４は、ＶＲＡＭなどの画像出力用バッファを備え、複数の動画像情報をその位置情報に基づいて配置し、カーソル画像、文字データおよびホームページ情報を合成して表示装置１２０に出力する。
【００７３】
この場合の動作について、図１４に示すフローチャートに基づいて説明する。
ステップＳ５１では、変数ｉの値を初期化する。
ステップＳ５２では、カーソル位置情報の読み込みを行う。
ステップＳ５３では、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っているか否かを判別する。この場合、第１実施形態と同様に、動画像情報を表示しているウィンドウの周囲に所定の距離範囲で表示枠を設定し、この表示枠内にカーソルが入った場合にその動画像情報が選択されたと判断するように構成できる。カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていると判断した場合にはステップＳ５４に移行する。
【００７４】
ステップＳ５４では、チャネル番号ＣＨｉの動画像情報に対応する音声データを音声出力装置１３０に出力する。
ステップＳ５５では、チャネル番号ＣＨｉの動画像情報に対応する音声データから意味のある言葉を認識し文字データに変換する。
ステップＳ５６では、認識した文字データを表示画像生成手段１０４に送出し、表示装置１２０上に表示する。
【００７５】
ステップＳ５７では、音声認識により得られた文字データからホームページ検索を行う。
ステップＳ５８では、ホームページ検索を行った検索結果に基づいて、ホームページ情報を取得し、これを表示装置１２０上に表示する。
ステップＳ５３において、カーソルの表示位置がチャネル番号ＣＨｉの動画像情報の表示枠内に入っていないと判断した場合には、ステップＳ５９に移行する。
【００７６】
ステップＳ５９では、変数ｉの値が表示されている動画像情報数ｎに到達したが否かを判別する。変数ｉ＝表示チャネル数ｎである場合にはステップＳ５１に移行し、そうでない場合にはステップＳ６０に移行する。
ステップＳ６０では変数ｉの値をインクリメントしステップＳ５３に移行する。
【００７７】
このように構成した場合には、動画像情報に対応する音声データから得られる言葉から関連ホームページの情報を取得してこれを表示装置上に表示させることが可能となる。このことにより、各動画像情報の関連情報を容易に取得することができ、種々のデータを簡単に取得することができる。
【００７８】
【産業上の利用可能性】
本発明によれば、表示装置に表示される複数の動画像情報から特定の動画像情報に対応する音声データを容易に認識することができ、その動画像情報の内容の把握が容易になる。
【図面の簡単な説明】
【図１】 本発明の概略構成を示すブロック図である。
【図２】 動画像位置情報テーブルの一例を示す説明図である。
【図３】 画面構成の一例を示す説明図である。
【図４】 第１実施形態の制御ブロック図である。
【図５】 第１実施形態の制御フローチャートである。
【図６】 動画像一情報テーブルの他の例を示す説明図である。
【図７】 第１実施形態の変形例の制御フローチャートである。
【図８】 第２実施形態の制御ブロック図である。
【図９】 第２実施形態の制御フローチャートである。
【図１０】 第３実施形態の制御ブロック図である。
【図１１】 第３実施形態の制御フローチャートである。
【図１２】 第３実施形態の変形例の制御ブロック図である。
【図１３】 第４実施形態の制御ブロック図である。
【図１４】 第４実施形態の制御フローチャートである。
Claims (21)
- 複数の動画像情報を同時に表示装置に表示するマルチチャネル情報処理装置であって、
前記複数の動画像情報を取得し、前記複数の動画像情報の表示装置上での表示位置に関する動画像位置情報を決定して前記複数の動画像情報を前記動画像位置情報に基づいて出力する動画像情報制御手段と、
入力デバイスを介して入力されるカーソル指示情報に基づいてカーソル位置情報を算出し前記カーソル位置情報に基づいてカーソル画像情報を生成してこれを出力するカーソル位置制御手段と、
前記動画像表示制御手段が出力する複数の動画像情報と、前記カーソル位置制御手段が出力するカーソル画像情報とを合成して前記表示装置上に表示する表示画像生成手段と、
前記複数の動画像情報に対応する動画像位置情報と、前記カーソル位置制御手段で算出されたカーソル位置情報とに基づいて、各動画像情報の表示位置とカーソルの表示位置との距離を算出し距離情報を生成する距離情報生成手段と、
前記距離情報生成手段で生成された距離情報に基づいて前記複数の動画像情報に対応する音声データの音量を決定して音声出力装置に出力する音声出力制御手段と、
を備え、前記距離情報生成手段で生成された距離情報は、カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を含み、前記音声出力制御手段は前記音声出力装置が形成する音像空間に前記複数の動画像情報に対応する音声データが定位するように前記距離情報に基づいて前記音声出力装置に出力を行うことを特徴とするマルチチャネル情報処理装置。 - 前記音声出力制御手段は、前記距離情報生成手段で生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を前記音量Ｖａよりも小さな音量Ｖｂに設定することを特徴とする、請求項１に記載のマルチチャネル情報処理装置。
- 前記音声出力制御手段は、前記複数の動画像情報に対応する音声データの音量を、前記距離情報生成手段で生成された距離情報中の距離の値に反比例するように設定することを特徴とする、請求項１に記載のマルチチャネル情報処理装置。
- 前記複数の動画像情報に対応する音声データに含まれる言葉を認識する音声データ認識手段と、
前記音声データ認識手段で認識した言葉を文字情報に変換して前記表示装置に表示する文字情報表示手段と、
をさらに備える請求項１に記載のマルチチャネル情報処理装置。 - インターネット接続手段と、
前記音声データ認識手段で認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索するホームページ検索手段と、
前記ホームページ検索手段で検索されたホームページを前記表示装置上に表示するホームページ表示手段と、
を備える、請求項４に記載のマルチチャネル情報処理装置。 - 前記表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する動画像選択手段をさらに備え、前記音声出力制御手段は前記動画像選択手段が選択した動画像情報に対応する音声データを音声出力装置に出力することを特徴とする、請求項１に記載のマルチチャネル情報処理装置。
- 前記動画像選択手段は、所定時間毎に選択する動画像情報を切り換えることを特徴とする、請求項６に記載のマルチチャネル情報処理装置。
- 複数の動画像情報を同時に表示装置に表示する際のマルチチャネル情報処理方法であって、
前記表示装置上に表示を行う動画像情報の表示装置上での表示位置を決定する段階と、
決定した表示位置に基づいて前記複数の動画像情報を出力する段階と、
前記入力デバイスから入力されるカーソル指示情報を受け付ける段階と、
前記カーソル指示情報に基づいてカーソルを表示するカーソル位置情報を算出する段階と、
前記カーソル位置情報に基づいてカーソル画像情報を生成する段階と、
前記複数の動画像情報と前記カーソル画像情報とを合成して表示画像を生成しこれを前記表示装置上に出力する段階と、
前記複数の動画像情報の表示位置と前記カーソル位置情報との間の距離を算出し距離情報を生成する段階と、
カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を生成する段階と、
前記距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定し、前記複数の動画像情報に対応する音声データが、前記音声出力装置の音像空間における前記距離情報および方向情報に応じた音像位置に定位するように音声出力装置に出力する段階と、
を含むマルチチャネル情報処理方法。 - 複数の動画像情報について生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を前記音量Ｖａよりも小さな予め定められた音量Ｖｂに設定することを特徴とする、請求項８に記載のマルチチャネル情報処理方法。
- 前記複数の動画像情報に対応する音声データの音量を、各距離情報中の距離の値に反比例するように設定することを特徴とする、請求項８に記載のマルチチャネル情報処理方法。
- 前記複数の動画像情報に対応する音声データに含まれる言葉を音声認識する段階と、
音声認識した言葉を文字情報に変換して前記表示装置に表示する段階と、
をさらに備える請求項８に記載のマルチチャネル情報処理方法。 - インターネットに接続する段階と、
音声認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索する段階と、
検索された関連ホームページを前記表示装置上に表示する段階と、
を備える、請求項１１に記載のマルチチャネル情報処理方法。 - 前記表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する段階と、
選択した動画像情報に対応する音声データを前記音声出力装置に出力する段階と、
をさらに備える、請求項８に記載のマルチチャネル情報処理方法。 - 複数の動画像情報を同時に表示装置に表示する際のマルチチャネル情報処理方法のプログラムであって、
前記複数の動画像情報の表示装置上での表示位置を決定する段階と、
決定した表示位置に基づいて前記複数の動画像情報を出力する段階と、
前記入力デバイスから入力されるカーソル指示情報を受け付ける段階と、
前記カーソル指示情報に基づいてカーソルを表示するカーソル位置情報を算出する段階と、
前記カーソル位置情報に基づいてカーソル画像情報を生成する段階と、
前記複数の動画像情報と前記カーソル画像情報とを合成して表示画像を生成しこれを前記表示装置上に出力する段階と、
前記複数の動画像情報の表示位置と前記カーソル位置情報との間の距離を算出し距離情報を生成する段階と、
カーソルの表示位置から見た各動画像情報の表示位置の方向に関する方向情報を生成する段階と、
前記距離情報に基づいて複数の動画像情報に対応する音声データの音量を決定し、前記複数の動画像情報に対応する音声データが、前記音声出力装置の音像空間における前記距離情報および方向情報に応じた音像位置に定位するように、前記音声出力装置に出力を行う段階と、
を含むマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。 - 前記複数の動画像情報について生成された距離情報のうち距離の値が最も小さい動画像情報に対応する音声データの音量を予め定められた音量Ｖａに設定し、他の動画像情報に対応する音声データの音量を前記音量Ｖａよりも小さな予め定められた音量Ｖｂに設定し音声出力装置に出力する段階をさらに含む、請求項１４に記載のマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。
- 前記複数の動画像情報に対応する音声データの音量を、各距離情報中の距離の値に反比例するように設定し音声出力装置に出力する段階をさらに含む、請求項１４に記載のマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。
- 前記複数の動画像情報に対応する音声データに含まれる言葉を音声認識する段階と、
音声認識した言葉を文字情報に変換してこれを出力する段階と、
前記複数の動画像情報、前記カーソル画像情報および前記文字情報とを合成して表示画像を生成しこれを前記表示装置上に出力する段階と、
をさらに備える、請求項１４に記載のマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。 - 前記距離情報に基づいて複数の動画像情報のうちから特定の動画像情報を選択し、この動画像情報に対応する音声データを音声出力装置に出力する段階と、
前記音声出力装置に出力する音声データに含まれる言葉を音声認識する段階と、
音声認識した言葉を文字情報に変換してこれを出力する段階と、
前記複数の動画像情報、前記カーソル画像情報および前記文字情報とを合成して表示画像を生成しこれを前記表示装置上に出力する段階と、
をさらに備える、請求項１４に記載のマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。 - 前記音声出力装置に出力する音声データに含まれる言葉を音声認識する段階と、
インターネットに接続する段階と、
音声認識した言葉をキーワードとしてインターネット上に存在する関連ホームページを検索する段階と、
前記複数の動画像情報、前記カーソル画像情報および前記検索された関連ホームページを合成して表示画像を生成しこれを前記表示装置上に出力する段階と、
をさらに備える、請求項１４に記載のマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。 - 前記表示装置に表示される複数の動画像情報から所定のアルゴリズムに基づいて特定の動画像情報を選択する段階と、
選択した動画像情報に対応する音声データを前記音声出力装置に出力する段階と、
をさらに備える、請求項１４に記載のマルチチャネル情報処理方法をコンピュータに実行させるためのプログラム。 - 請求項１４〜２０のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2001/002423 WO2002078328A1 (fr) | 2001-03-26 | 2001-03-26 | Processeur d'informations multicanal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002078328A1 JPWO2002078328A1 (ja) | 2004-07-15 |
| JP3910537B2 true JP3910537B2 (ja) | 2007-04-25 |
Family
ID=11737161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002576422A Expired - Fee Related JP3910537B2 (ja) | 2001-03-26 | 2001-03-26 | マルチチャネル情報処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7633487B2 (ja) |
| JP (1) | JP3910537B2 (ja) |
| CN (1) | CN1258285C (ja) |
| WO (1) | WO2002078328A1 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7366712B2 (en) * | 2001-05-31 | 2008-04-29 | Intel Corporation | Information retrieval center gateway |
| US20030122777A1 (en) * | 2001-12-31 | 2003-07-03 | Grover Andrew S. | Method and apparatus for configuring a computer system based on user distance |
| US7062444B2 (en) * | 2002-01-24 | 2006-06-13 | Intel Corporation | Architecture for DSR client and server development platform |
| JP4011949B2 (ja) * | 2002-04-01 | 2007-11-21 | キヤノン株式会社 | マルチ画面合成装置及びデジタルテレビ受信装置 |
| KR100906136B1 (ko) * | 2003-12-12 | 2009-07-07 | 닛본 덴끼 가부시끼가이샤 | 정보 처리용 로봇 |
| JP4781059B2 (ja) * | 2004-12-14 | 2011-09-28 | 富士通テン株式会社 | 表示装置及び出力制御装置 |
| EP1705916A1 (en) * | 2005-03-25 | 2006-09-27 | Alcatel | Interactive displaying system |
| US7509593B2 (en) * | 2005-05-12 | 2009-03-24 | Microsoft Corporation | Mouse sound volume control |
| JP5230096B2 (ja) * | 2006-12-27 | 2013-07-10 | キヤノン株式会社 | 映像音声出力装置及び映像音声出力方法 |
| JPWO2008093630A1 (ja) * | 2007-01-29 | 2010-05-20 | 株式会社Ａｃｃｅｓｓ | 動画生成方法、動画生成プログラム、および動画生成装置 |
| CN101132516B (zh) * | 2007-09-28 | 2010-07-28 | 华为终端有限公司 | 一种视频通讯的方法、系统及用于视频通讯的装置 |
| JPWO2009081478A1 (ja) * | 2007-12-21 | 2011-05-06 | 富士通株式会社 | 電子装置及びプログラム |
| JP5160457B2 (ja) | 2009-01-19 | 2013-03-13 | ルネサスエレクトロニクス株式会社 | コントローラドライバ、表示装置及び制御方法 |
| KR101854141B1 (ko) * | 2009-01-19 | 2018-06-14 | 삼성전자주식회사 | 디스플레이 정보 제어 장치 및 방법 |
| JP5789075B2 (ja) * | 2009-01-22 | 2015-10-07 | 理想科学工業株式会社 | インクジェットインク |
| CN101923554A (zh) * | 2009-06-11 | 2010-12-22 | 鸿富锦精密工业（深圳）有限公司 | 网页查找方法 |
| JP5929243B2 (ja) * | 2012-01-30 | 2016-06-01 | カシオ計算機株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US9641891B2 (en) | 2013-06-17 | 2017-05-02 | Spotify Ab | System and method for determining whether to use cached media |
| US10097604B2 (en) | 2013-08-01 | 2018-10-09 | Spotify Ab | System and method for selecting a transition point for transitioning between media streams |
| US9917869B2 (en) | 2013-09-23 | 2018-03-13 | Spotify Ab | System and method for identifying a segment of a file that includes target content |
| US9529888B2 (en) | 2013-09-23 | 2016-12-27 | Spotify Ab | System and method for efficiently providing media and associated metadata |
| US9063640B2 (en) | 2013-10-17 | 2015-06-23 | Spotify Ab | System and method for switching between media items in a plurality of sequences of media items |
| US9235602B2 (en) * | 2013-10-25 | 2016-01-12 | Parham Aarabi | Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying |
| US9423998B2 (en) | 2014-03-28 | 2016-08-23 | Spotify Ab | System and method for playback of media content with audio spinner functionality |
| EP2925008A1 (en) * | 2014-03-28 | 2015-09-30 | Spotify AB | System and method for multi-track playback of media content |
| KR102202576B1 (ko) * | 2014-12-12 | 2021-01-13 | 삼성전자주식회사 | 음향 출력을 제어하는 디바이스 및 그 방법 |
| US9606620B2 (en) | 2015-05-19 | 2017-03-28 | Spotify Ab | Multi-track playback of media content during repetitive motion activities |
| TWI736542B (zh) * | 2015-08-06 | 2021-08-21 | 日商新力股份有限公司 | 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體 |
| US20170052926A1 (en) * | 2015-08-17 | 2017-02-23 | Ci&T | System, method, and computer program product for recommending content to users |
| US9798514B2 (en) | 2016-03-09 | 2017-10-24 | Spotify Ab | System and method for color beat display in a media content environment |
| CA3049732C (en) * | 2017-01-27 | 2021-11-23 | Appario Global Solutions (AGS) AG | Method and system for transmitting alternative image content of a physical display to different viewers |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04114576A (ja) * | 1990-09-04 | 1992-04-15 | Sony Corp | 画面合成機能を備えた電子機器の音声出力回路 |
| JPH05113864A (ja) * | 1991-10-22 | 1993-05-07 | Canon Inc | マルチウインドウ動画表示方法及び装置 |
| JP3426267B2 (ja) * | 1992-09-29 | 2003-07-14 | 沖電気工業株式会社 | 音声出力制御方法 |
| JPH07129356A (ja) * | 1993-11-08 | 1995-05-19 | Matsushita Electric Ind Co Ltd | マルチウィンドウズシステム |
| JP3337798B2 (ja) * | 1993-12-24 | 2002-10-21 | キヤノン株式会社 | 画像データ及び音声データを処理する装置、データ処理装置並びにデータ処理方法 |
| US5736982A (en) * | 1994-08-03 | 1998-04-07 | Nippon Telegraph And Telephone Corporation | Virtual space apparatus with avatars and speech |
| JPH08292872A (ja) * | 1995-04-21 | 1996-11-05 | Hitachi Ltd | 音声誘導装置及び方法 |
| US5796945A (en) * | 1995-06-07 | 1998-08-18 | Tarabella; Robert M. | Idle time multimedia viewer method and apparatus for collecting and displaying information according to user defined indicia |
| US6118493A (en) * | 1997-04-01 | 2000-09-12 | Ati Technologies, Inc. | Method and apparatus for selecting a channel from a multiple channel display |
| US6081266A (en) * | 1997-04-21 | 2000-06-27 | Sony Corporation | Interactive control of audio outputs on a display screen |
| KR100330012B1 (ko) * | 1998-09-14 | 2002-08-08 | 삼성전자 주식회사 | 텔레비전의채널변경방법 |
| US6469712B1 (en) * | 1999-03-25 | 2002-10-22 | International Business Machines Corporation | Projected audio for computer displays |
-
2001
- 2001-03-26 JP JP2002576422A patent/JP3910537B2/ja not_active Expired - Fee Related
- 2001-03-26 CN CN01823081.4A patent/CN1258285C/zh not_active Expired - Fee Related
- 2001-03-26 WO PCT/JP2001/002423 patent/WO2002078328A1/ja active Application Filing
-
2003
- 2003-09-25 US US10/669,508 patent/US7633487B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1494801A (zh) | 2004-05-05 |
| US20040056885A1 (en) | 2004-03-25 |
| JPWO2002078328A1 (ja) | 2004-07-15 |
| CN1258285C (zh) | 2006-05-31 |
| WO2002078328A1 (fr) | 2002-10-03 |
| US7633487B2 (en) | 2009-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3910537B2 (ja) | マルチチャネル情報処理装置 | |
| JP4388982B2 (ja) | 遠隔制御装置によるハイパーテキスト・オブジェクト間のナビゲーションが可能なウェブ・ブラウザ | |
| JPWO2004079709A1 (ja) | スクロール表示制御 | |
| JPH0916457A (ja) | マルチメディアデータ検索システム | |
| JP2012501035A (ja) | オーディオユーザインターフェイス | |
| WO2020108045A1 (zh) | 视频播放方法、装置和多媒体数据播放方法 | |
| US9877129B2 (en) | Device and method for playing sound | |
| JP5454604B2 (ja) | 動画再生方法、動画再生装置及びプログラム | |
| US8605117B2 (en) | Method and apparatus for providing content | |
| JP6149862B2 (ja) | 表示制御装置、表示制御システムおよび表示制御方法 | |
| JP2013025554A (ja) | マーク情報記録装置、マーク情報提示装置、マーク情報記録方法及びマーク情報提示方法 | |
| JP6765558B1 (ja) | コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信システム、および、コンテンツ配信プログラム | |
| KR20150043063A (ko) | 전자 장치 및 이의 정보 제공 방법 | |
| JP3460964B2 (ja) | マルチメディア情報閲覧システムにおける音声読み上げ方法および記録媒体 | |
| US20070022379A1 (en) | Terminal for displaying distributed picture content | |
| KR101459701B1 (ko) | 센서가 부착된 단말기에서의 뮤직비디오 생성 방법 | |
| CN113553466A (zh) | 页面展示方法、装置、介质和计算设备 | |
| JP4592719B2 (ja) | ダイジェストコンテンツ表示装置及びそのプログラム | |
| JPH10187408A (ja) | ウェブ・ブラウザ内のオーディオ機能を制御するためのユーザ・インタフェース | |
| JP2010287236A (ja) | ウェブページのサーチング方法 | |
| JP7263957B2 (ja) | 情報装置、自動設定方法及び自動設定プログラム | |
| JP3902398B2 (ja) | 画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 | |
| JP6007645B2 (ja) | 音波形編集装置およびプログラム | |
| JP2004320659A (ja) | 映像要約装置、映像要約方法およびプログラム | |
| JP6185416B2 (ja) | カラオケ装置、プログラム及びカラオケシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140202 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |