JPH05250860A - Multimedium device - Google Patents

Multimedium device

Info

Publication number
JPH05250860A
JPH05250860A JP4081673A JP8167392A JPH05250860A JP H05250860 A JPH05250860 A JP H05250860A JP 4081673 A JP4081673 A JP 4081673A JP 8167392 A JP8167392 A JP 8167392A JP H05250860 A JPH05250860 A JP H05250860A
Authority
JP
Japan
Prior art keywords
signal
image
circuit
prediction
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4081673A
Other languages
Japanese (ja)
Inventor
Hiroyuki Fukuda
弘之 福田
Tatsuo Nagasaki
達夫 長崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP4081673A priority Critical patent/JPH05250860A/en
Publication of JPH05250860A publication Critical patent/JPH05250860A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

PURPOSE:To carry a device and to handle the multimedium information of a video signal, a voice signal and so on without holding it by hand and a strap. CONSTITUTION:A signal read out of a CD-ROM by a reading-out section 20 is corrected at an error correction section 22 and sent to a buffer memory 23. After the reading errors of a vibration, etc., are corrected by the buffer memory 23, the signal is sent to a demultiplexer 24, a multiplexed video and a voice and separated and send to their individual decoders. The video signal is made to a regenerative signal at a stereoscopic image decoding section 25 and outputted to an image output section 26 as a strereoscopic image signal. The voice signal is made to the regenerative signal at a voice signal decoder 27 and outputted from a voice output section 28 as a stereo sound.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は情報を記録または再生す
る装置に係わり、特にディジタル信号として圧縮符号化
された画像信号や音声信号等のマルチメディア情報を記
録・再生する装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for recording or reproducing information, and more particularly to an apparatus for recording / reproducing multimedia information such as image signals and audio signals compressed and encoded as digital signals.

【0002】[0002]

【従来の技術】近年、写真、映画、ビデオ等の画像情報
と共に、音楽やアナウンス等の音声情報等の複数の情報
を同時に記録したいわゆるマルチメディアの情報を記録
した媒体として、CD−ROM等の光ディスクや、ビデ
オテープ等の磁気記録媒体等があり、それらの記録媒体
に対して、情報を記録・再生する装置が着目されてきて
いる。
2. Description of the Related Art In recent years, a CD-ROM or the like has been used as a medium for recording so-called multimedia information in which a plurality of pieces of information such as audio information such as music and announcements are recorded together with image information such as photographs, movies and videos. There are optical recording media such as optical discs and video tapes, and devices for recording and reproducing information on these recording media have been receiving attention.

【0003】[0003]

【発明が解決しようとする課題】ところが、上記CDー
ROMやビデオテープに記録されたマルチメディア情報
を記録・再生する装置は、画像信号が音声信号と共に据
置型のVDT(ビデオ・ディスプレイ・ターミナル)等
に出力されるのが一般的であり、たとえ、持ち運びので
きる小型ディスプレイを用いても、手やストラップによ
って保持していなければならず、不便であり、携帯用に
優れた可搬性の装置と呼べるものは存在していないのが
現状である。そこで、本発明は上記欠点を解決し、持ち
運びができ、画像信号や音声信号等のマルチメディア情
報を手やストラップによって保持しなくても扱うことの
できる装置を提供することを目的とする。
However, in the apparatus for recording / reproducing the multimedia information recorded on the CD-ROM or the video tape, the image signal is a stationary VDT (video display terminal) together with the audio signal. It is generally output to a device such as a portable display, and even if a small display that can be carried is used, it must be held by a hand or a strap, which is inconvenient and a portable device excellent in portability. At present, there is nothing that can be called. Therefore, it is an object of the present invention to solve the above-mentioned drawbacks and to provide a device which can be carried and can handle multimedia information such as an image signal and an audio signal without being held by a hand or a strap.

【0004】[0004]

【課題を解決するための手段】そこで、本発明は上記課
題を解決し、目的を達成するために、記録媒体に圧縮符
号化して記録されている画像信号または音声信号とを読
み出す読出手段と、前記圧縮符号化して記録された画像
信号または音声信号を復号する復号手段と、音声信号の
時間軸を変換し、画像信号と音声信号とを同期させて出
力する同期出力手段と、使用者の頭部または顔面に装着
可能であり、前記画像信号と音声信号を再生する再生手
段と、使用者の使用意図に応じて前記再生手段により再
生する出力信号を切り換える切換手段とを備えたマルチ
メディア装置としたものである。
SUMMARY OF THE INVENTION In order to solve the above problems and to achieve the object, therefore, the present invention comprises a reading means for reading out an image signal or an audio signal compressed and encoded and recorded in a recording medium, Decoding means for decoding the image signal or audio signal recorded by the compression encoding, a synchronous output means for converting the time axis of the audio signal and outputting the image signal and the audio signal in synchronization with each other, and a user's head A multimedia device that can be mounted on a face or face and that has a reproducing means for reproducing the image signal and the audio signal, and a switching means for switching an output signal reproduced by the reproducing means according to a user's intention of use. It was done.

【0005】[0005]

【作用】この発明のマルチメディア装置によれば、記録
媒体に圧縮符号化して記録されている画像信号と音声信
号とを読み出し、前記圧縮符号化して記録された画像信
号または音声信号を復号し、音声信号の時間軸を変換し
て画像信号と音声信号とを同期させて出力し、この出力
信号を、使用者の頭部または顔面に装着可能な再生手段
により再生する際に、使用者の使用意図に応じて再生す
る出力信号を切り換えられ、マルチメディア情報がイン
タラクティブに再生される。また、使用者の頭部又は顔
面に装着可能な再生手段であるメガネ型ディスプレイに
て画像信号と音声信号を再生させるので、手やストラッ
プによって保持することなく容易に情報が再生される。
According to the multimedia device of the present invention, the image signal and the audio signal which are compression-encoded and recorded on the recording medium are read out, and the image signal or the audio signal which is compression-encoded and recorded are decoded, When the time axis of the audio signal is converted and the image signal and the audio signal are output in synchronization with each other, and the output signal is reproduced by a reproducing means that can be worn on the head or face of the user, the user's use The output signal to be reproduced can be switched according to the intention, and the multimedia information can be reproduced interactively. Further, since the image signal and the audio signal are reproduced by the glasses-type display which is a reproducing means that can be worn on the head or face of the user, the information can be easily reproduced without holding them by the hand or the strap.

【0006】なお、本発明のマルチメディア装置にて三
次元画像データを扱う場合、信号再生手段は、以下のよ
うに構成されている。右画像もしくは左画像のいずれか
の第1の画像を動き補償フレーム間予測符号化し、残り
の第2の画像は前記予測符号化に用いた第1の画像の予
測信号と左右画像信号の視差情報を用いて第2の画像の
予測信号をもとめ、前記予測信号との予測誤差信号を符
号化したものである。従って、符号器と復号器とで同じ
局部復号信号を利用して予測信号を求めているので、誤
差の蓄積は起きない。また、そのようにして符号化され
た三次元画像信号の再生装置は、記録媒体から画像信号
と音声信号とを読み出す信号読み出し手段と、誤り訂正
を行う誤り訂正手段と、前記誤り訂正手段からの出力を
一時記憶する一時記憶手段と、前記一時記憶手段から適
当なタイミングで読み出した前記画像信号を復号する画
像信号復号化手段と、画像信号とともに記録されていた
音声信号を復号する音声信号復号化手段と、音声信号の
時間軸を変換する時間軸変換手段とを有し、画像信号と
音声信号とをそれぞれ右信号と左信号として出力する。
When the multimedia device of the present invention handles three-dimensional image data, the signal reproducing means is constructed as follows. The first image, which is either the right image or the left image, is motion-compensated inter-frame predictive coding, and the remaining second image is the parallax information between the predicted signal of the first image and the left and right image signals used for the predictive coding. Is used to obtain the prediction signal of the second image, and the prediction error signal with the prediction signal is encoded. Therefore, since the encoder and the decoder use the same locally decoded signal to obtain the prediction signal, error accumulation does not occur. Further, the reproducing apparatus for the three-dimensional image signal encoded in such a manner includes a signal reading unit for reading an image signal and an audio signal from a recording medium, an error correcting unit for performing error correction, and an error correcting unit for correcting the error. Temporary storage means for temporarily storing the output, image signal decoding means for decoding the image signal read from the temporary storage means at appropriate timing, and audio signal decoding for decoding the audio signal recorded together with the image signal And a time axis conversion means for converting the time axis of the audio signal, and outputs the image signal and the audio signal as a right signal and a left signal, respectively.

【0007】[0007]

【実施例】次に本発明の実施例を図を用いて説明する。
図1は本発明のマルチメディア装置の使用状態を説明す
るための図である。図1(A)に示すように光ディスク
ドライブを含む再生部1はウエストにベルトで固定さ
れ、画像信号と音声信号はケーブルで顔部装着式ディス
プレイ(以下FMD)2に送られ、使用者は立体映像と
ステレオ音響を楽しむ事ができるようになっている。こ
の再生部1には、図1(B)に示すようなカーソル移動
装置3が前面に付いており、移動方向指示ボタン3a〜
3dを操作することで画面内のカーソルを移動させ、画
面内のメニューを選択ボタン3eで選択することで処理
を切り換えるようにしている。つまり、表示画面に対し
てポインティングデバイスとしてのカーソル移動装置3
によりアクセスするいわゆるインタラクティブ性を実現
している。
Embodiments of the present invention will now be described with reference to the drawings.
FIG. 1 is a diagram for explaining a usage state of the multimedia device of the present invention. As shown in FIG. 1 (A), a reproducing unit 1 including an optical disk drive is fixed to a waist by a belt, and image signals and audio signals are sent to a face-mounted display (hereinafter FMD) 2 by a cable so that a user can see a stereoscopic image. You can enjoy the video and stereo sound. The reproducing unit 1 is provided with a cursor moving device 3 as shown in FIG.
The cursor is moved on the screen by operating 3d, and the process is switched by selecting the menu on the screen with the select button 3e. That is, the cursor moving device 3 as a pointing device for the display screen.
It realizes so-called interactivity that is accessed by.

【0008】なお、上記FMD2についての詳細な説明
は、本出願人が先に出願した特願平3−295874号
に開示されているため省略するが、そのFMD2の基本
的な構成について図2を用いて簡単に説明する。10は
使用者の頭部、11は眼球を表しており、上記FMD2
は12から17の部品を顔面に保持するメガネ型のヘッ
ドホン付きディスプレイである。スピーカ内蔵の信号処
理部12では音声信号を再生しながら、画像信号を自家
発光型二次元表示素子13に表示させ、それを結像レン
ズ14、光軸屈曲用くさび型プリズム15、開口絞り1
6、及び非球面型凹面鏡17を用いて眼球内部に投影す
る。この画像及び音声信号処理は右、左それぞれに独立
して行なわれるようになっている。本装置は、眼球の視
度に合わせて非球面型凹面鏡17の作る虚像の位置を適
当な位置にできるよう、自家発光型二次元表示素子13
の位置を光軸方向に移動調整できる機能を有している。
A detailed description of the FMD2 is omitted because it is disclosed in Japanese Patent Application No. 3-295874 filed earlier by the present applicant, but FIG. A brief description will be given using. Reference numeral 10 represents the head of the user, and 11 represents the eyeball.
Is a glasses-type headphone-equipped display that holds 12 to 17 parts on the face. In the signal processing unit 12 with a built-in speaker, while reproducing the audio signal, the image signal is displayed on the self-emission type two-dimensional display element 13, and the image signal is formed, the imaging lens 14, the wedge-shaped prism 15 for bending the optical axis, and the aperture stop 1.
6 and an aspherical concave mirror 17 are used to project the image inside the eyeball. This image and audio signal processing is performed independently for right and left. The present apparatus uses the self-emission type two-dimensional display element 13 so that the virtual image formed by the aspherical concave mirror 17 can be positioned at an appropriate position according to the diopter of the eyeball.
It has the function of moving and adjusting the position of in the optical axis direction.

【0009】本実施例において再生部1からFMD2へ
はケーブルを用いて信号を送っているが、これは無線を
利用したものや赤外線等の光によって信号を送るように
しても構わない。その場合FMD2の内部にそれらの信
号の受信部を持たせることで、コードレス化でき、同じ
受信機能を持った複数のFMD2によって同時に複数の
人が同じ情報を見ることができるようになる。また、カ
ーソル移動装置3として図1(b)に示した移動方向指
示ボタンを利用したものの他にも、ジョイスティックや
トラックボールを用いたもの等でも構わない。また、扱
う画像情報は三次元データでなく通常の二次元画像であ
ってもなんら問題は無い。
In this embodiment, the signal is sent from the reproducing unit 1 to the FMD 2 by using a cable, but the signal may be sent by using wireless or light such as infrared rays. In that case, by providing a receiving unit for those signals inside the FMD 2, it is possible to realize cordlessness, and a plurality of people can simultaneously view the same information by a plurality of FMDs 2 having the same receiving function. Further, as the cursor moving device 3, a device using a joystick or a trackball may be used in addition to the device using the moving direction instruction button shown in FIG. 1B. There is no problem even if the image information to be handled is not a three-dimensional data but a normal two-dimensional image.

【0010】次に、記録媒体としてCD−ROMを用い
た本実施例の再生部1の構成を図3により説明する。読
み出し部20はCD−ROM再生用の光学ピックアップ
と再生アンプおよび復調回路を含んでおり、セットされ
たCD−ROMから、制御部21の信号に従って記録さ
れている信号を読み出し、読み出し部20で読み出した
信号は、誤り訂正部22で誤り訂正を行ないバッファメ
モリ23へ送る。ショック校正用のバッファメモリ23
は振動等の読み出しエラーを補正するためのバッファメ
モリとそのコントローラーからなっていて、捕正後の信
号をデマルチプレクサ24へ送る。デマルチプレクサ2
4では、マルチプレックスされた画像、音声のビットス
トリームを分離して個別の復号部へと送り出す。画像信
号は立体画像復号部25で再生信号とされて画像出力部
26に立体画像信号として出力される。音声信号は音声
信号復号部27で再生信号にされ、音声出力部28か
ら、ステレオ音声として出力される。
Next, the structure of the reproducing section 1 of this embodiment using a CD-ROM as a recording medium will be described with reference to FIG. The reading unit 20 includes an optical pickup for reproducing the CD-ROM, a reproducing amplifier, and a demodulation circuit. The signal recorded according to the signal of the control unit 21 is read from the set CD-ROM, and the reading unit 20 reads the signal. The error correction unit 22 performs error correction on the received signal and sends it to the buffer memory 23. Buffer memory 23 for shock calibration
Is composed of a buffer memory for correcting a read error such as vibration and its controller, and sends the corrected signal to the demultiplexer 24. Demultiplexer 2
In 4, the multiplexed image and audio bit streams are separated and sent to individual decoding units. The image signal is converted into a reproduction signal by the stereoscopic image decoding unit 25 and output to the image output unit 26 as a stereoscopic image signal. The audio signal is converted into a reproduction signal by the audio signal decoding unit 27, and is output as stereo sound from the audio output unit 28.

【0011】この時、デマルチプレクサ24からはコン
トロール信号がコントローラ29に出され、コントロー
ラ29の制御によって音声と画像とが同期再生される。
図1(B)に示したカーソル移動装置3とそのインター
フェイスから成るポインティングデバイス部30からの
入力に従って制御部21は再生すべき信号を切り換える
ように読み出し部20に対してCD−ROMの読みだし
アドレスを変更する。また、ポインティングデバイス部
30からの入力に従って制御部21は音量や画面の表示
を変更するようにコントローラー29へ信号を出すよう
にもなっている。この実施例において、記録媒体として
CD−ROMを用いているが、これに限定されるもので
はなく、例えば大容量固体メモリのようにエラーレート
の低い媒体を用いれば、誤り訂正部22およびバッファ
メモリ23は必要無くなる。
At this time, a control signal is output from the demultiplexer 24 to the controller 29, and the voice and the image are reproduced synchronously under the control of the controller 29.
The control unit 21 instructs the reading unit 20 to read the address of the CD-ROM so as to switch the signal to be reproduced in accordance with the input from the pointing device unit 30 including the cursor moving device 3 and its interface shown in FIG. 1B. To change. Further, the control unit 21 also outputs a signal to the controller 29 to change the volume and the display of the screen according to the input from the pointing device unit 30. In this embodiment, the CD-ROM is used as the recording medium, but the recording medium is not limited to this, and if a medium having a low error rate such as a large capacity solid-state memory is used, the error correction unit 22 and the buffer memory are used. 23 is no longer needed.

【0012】この例でポインティングデバイス30に図
1(B)に示したカーソル移動装置3を使用した場合の
構成をバス形式で表したのが図4である。カーソル移動
装置インタフェイス32から使用者の入力を受け、CP
U33でそれぞれの入出力を制御する信号を出す。CD
−ROMインタフェイス34は制御信号に従ったアドレ
スの情報を読みだし、誤り訂正と振動等の読みだしエラ
ーを補正する。CPU33にてデマルチプレクスされた
音声信号及び画像信号は、それぞれオーディオボード3
5とビデオボード36に送られる。オーディオボード3
5は、ADPCM方式で符号化した音声データをデコー
ドし、D/A変換器を介して出力する。ビデオボード3
6は、圧縮された動画像を伸長し、それを編集、表示す
る機能を備えており、静止画像についてもほぼ同様の処
理を行なえる。この時音声信号及び画像信号は、同期し
て出力されるように制御されている。このようにしてマ
ルチメディア情報はインタラクティブに再生されるよう
になっている。また、扱うマルチメディア情報が文字情
報等を含んでいる場合にも対応できるようにバスにプリ
ンタインタフェイスや、通信機能を接続することも可能
である。
FIG. 4 shows a configuration in a bus format when the cursor moving device 3 shown in FIG. 1B is used as the pointing device 30 in this example. User input from the cursor movement device interface 32
U33 issues signals to control each input / output. CD
-ROM interface 34 reads out the information of the address according to the control signal and corrects the read error such as error correction and vibration. The audio signal and the image signal demultiplexed by the CPU 33 are respectively sent to the audio board 3
5 and the video board 36. Audio board 3
Reference numeral 5 decodes the audio data encoded by the ADPCM system, and outputs it via the D / A converter. Video board 3
6 has a function of decompressing a compressed moving image, editing and displaying the compressed moving image, and substantially the same processing can be performed on a still image. At this time, the audio signal and the image signal are controlled so as to be output in synchronization. In this way, multimedia information can be reproduced interactively. Further, it is possible to connect a printer interface and a communication function to the bus so as to be able to deal with the case where the handled multimedia information includes character information and the like.

【0013】図5は本発明のマルチメディア装置におい
て三次元画像信号の録画機能及び音声の録音機能を付加
させた入出力装置の構成を示す図で、記録媒体に光磁気
ディスク40を利用した時の信号の流れを示している。
画像入力端子41、42よりそれぞれ右、左の画像信号
が入力され、A/D変換回路43、44でディジタル信
号とされた後に、立体画像圧縮回路45で符号化され
る。一方、このとき、音声信号は右、左毎にそれぞれ音
声入力端子46、47から入力され、A/D変換回路4
8、49を介して、時間軸変換回路50により時間軸が
変換される。そして、多重化回路51で画像信号と音声
信号が多重化され、誤り訂正符号付加回路52で誤り訂
正符号が付加されて記録変調回路53で記録変調され記
録アンプ54と記録ヘッド55によって光磁気ディスク
40に記録される。また、前記誤り訂正符号付加回路5
2は、ショックによるデータの読み書きエラーを補正す
るバッファメモリを備えており、装置を持ち運ぶときの
振動による問題点を解決し、ポータブル性を実現するよ
うになっている。
FIG. 5 is a diagram showing the construction of an input / output device to which a recording function of a three-dimensional image signal and a recording function of voice are added in the multimedia device of the present invention. When the magneto-optical disk 40 is used as a recording medium. Shows the signal flow of.
Right and left image signals are input from the image input terminals 41 and 42, respectively, converted into digital signals by the A / D conversion circuits 43 and 44, and then encoded by the stereoscopic image compression circuit 45. On the other hand, at this time, the audio signals are input from the audio input terminals 46 and 47 for the right and left respectively, and the A / D conversion circuit 4
The time axis conversion circuit 50 converts the time axis via 8, 49. Then, the multiplexing circuit 51 multiplexes the image signal and the audio signal, the error correction code adding circuit 52 adds the error correction code, the recording modulation circuit 53 performs recording modulation, and the recording amplifier 54 and the recording head 55 perform the magneto-optical disk. Recorded at 40. Further, the error correction code adding circuit 5
2 has a buffer memory that corrects a data read / write error due to a shock, solves a problem caused by vibration when carrying the apparatus, and realizes portability.

【0014】記録された情報の再生には、光学ピックア
ップ56で信号を読みとって、再生アンプ57、復調回
路58で得た信号を、誤り訂正符号付加回路52と同様
に振動補正バッファメモリを内蔵した誤り訂正回路59
で誤り訂正し、分離回路60で画像信号と音声信号とを
分離して、画像信号は立体画像復号回路61で復号され
D/A変換回路62、63を通り、右、左それぞれの信
号が画像出力端子64、65へと出力される。また、音
声信号は画像信号と分離された後に時間軸変換回路66
で画像信号と同期した信号としてD/A変換回路67、
68により変換されて、音声出力端子69、70よりそ
れぞれ右、左の音声信号が出力される。本実施例の扱う
音声信号は、当然のことながら圧縮符号化されたもので
も良く、その場合は、前記時間軸変換回路50には音声
信号符号化回路、時間軸変換回路66には音声信号復号
回路をそれぞれ含ませるようにする。
To reproduce the recorded information, the signal is read by the optical pickup 56 and the signal obtained by the reproduction amplifier 57 and the demodulation circuit 58 is incorporated in the vibration correction buffer memory like the error correction code adding circuit 52. Error correction circuit 59
The image signal and the audio signal are separated by the separation circuit 60, the image signal is decoded by the stereoscopic image decoding circuit 61, passes through the D / A conversion circuits 62 and 63, and the right and left signals are imaged. It is output to the output terminals 64 and 65. In addition, the audio signal is separated from the image signal and then the time axis conversion circuit 66
The D / A conversion circuit 67 as a signal synchronized with the image signal,
After being converted by 68, right and left audio signals are output from the audio output terminals 69 and 70, respectively. The audio signal handled in this embodiment may of course be compressed and encoded. In that case, the time axis conversion circuit 50 is an audio signal encoding circuit and the time axis conversion circuit 66 is an audio signal decoding. Include each circuit.

【0015】この三次元画像信号の入出力装置は記録再
生の両機能を持たせたもので、図3で示した再生専用の
実施例に対して、記録機能として図5に41〜55とし
て示した手段を付加したものなので、インタラクティブ
性や使い勝手は、図3で示した実施例と同じであり、マ
イクロホン内蔵のビデオカメラ等を接続することで映像
と音声の記録装置としても利用できる。
This three-dimensional image signal input / output device is provided with both recording and reproducing functions. In contrast to the reproduction-only embodiment shown in FIG. 3, recording functions are shown as 41 to 55 in FIG. Since the means described above is added, the interactivity and usability are the same as those of the embodiment shown in FIG. 3, and it can also be used as a video and audio recording device by connecting a video camera with a built-in microphone.

【0016】次に、図5に示した立体画像圧縮回路45
及び立体画像復号回路61のいくつかの実施例について
説明する。この説明に先立ち、従来の圧縮方式について
説明する。
Next, the stereoscopic image compression circuit 45 shown in FIG.
Some embodiments of the stereoscopic image decoding circuit 61 will be described. Prior to this description, a conventional compression method will be described.

【0017】動画像の圧縮方式としては、ISOで提案
されている方式等(画像電子学会誌第20巻第4号参
照)、フレーム間相関を利用して高圧縮を達成する方法
が一般的である。この方法について図13を用いて簡単
に説明する。まず動き補償フレーム間予測画像を差分回
路200により引いた予測誤差信号がDCT回路201
でブロック毎にDCTされた後、量子化回路202で量
子化され、そしてこの量子化結果は符号化回路203で
可変長符号が割り当てられて記録される。また、前記量
子化結果は逆量子化回路204および、逆DCT回路2
05によって復号され、加算回路206により前記動き
補償フレーム間予測画像とたし合わされて、動き補償用
可変遅延機能を持つ画像メモリを内蔵した動き補償予測
回路207で、次のフレームの動き補償フレーム間予測
画像をつくるようにしている。
As a moving image compression method, there is generally used a method proposed by ISO (see the Institute of Image Electronics Engineers, Vol. 20, No. 4) to achieve high compression by utilizing inter-frame correlation. is there. This method will be briefly described with reference to FIG. First, the prediction error signal obtained by subtracting the motion-compensated inter-frame predicted image by the difference circuit 200 is the DCT circuit 201.
After the DCT is performed for each block, the quantization circuit 202 quantizes the result, and a variable length code is assigned to the quantization result by the encoding circuit 203 and recorded. Further, the quantization result is the inverse quantization circuit 204 and the inverse DCT circuit 2
The motion compensation prediction circuit 207 having a built-in image memory having a variable delay function for motion compensation is decoded by the adder circuit 206 and added by the addition circuit 206 to the motion compensation interframe prediction image. I try to make prediction images.

【0018】ところで、一般的に三次元画像は左右の画
像間に強い相関を有しているので、この方法を三次元画
像の左右それぞれの信号に独立に用いることは、左右の
画像間の相関の冗長成分が除去しきれていないことにな
るので効率的でない。
By the way, in general, a three-dimensional image has a strong correlation between the left and right images. Therefore, using this method independently for the left and right signals of the three-dimensional image means that the correlation between the left and right images is large. It is not efficient because the redundant components of are not completely removed.

【0019】また、ステレオ動画像の符号化方法とし
て、特開平2ー131697号公報では、動き補償フレ
ーム間差分信号に、左右の画像間のずれを表すベクトル
である、視差ベクトル情報を利用することで視差補償予
測を行い、高効率のステレオ動画像符号化を実現してい
る。しかし、この方法では左右両方の信号に対してそれ
ぞれ動き補償フレーム間予測を行ってから視差補償を行
うので、動き補償フレーム間予測の段階で、左右画像間
の相関は減少してしまっている為、視差補償がしにくく
なってしまっている上にその効果が少なくなってしま
い、また、処理も複雑になるという欠点があった。
As a method for encoding a stereo moving image, in Japanese Patent Laid-Open No. 2-131697, disparity vector information, which is a vector representing a shift between left and right images, is used in a motion compensation inter-frame difference signal. Parallax-compensated prediction is performed in order to realize highly efficient stereo video coding. However, in this method, the motion-compensated interframe prediction is performed for both the left and right signals, and then the parallax compensation is performed. Therefore, the correlation between the left and right images is reduced at the stage of the motion-compensated interframe prediction. However, there is a drawback in that parallax compensation is difficult to perform, its effect is reduced, and processing is complicated.

【0020】本発明では上記欠点を解決し、高効率で三
次元画像信号を符号化する方法を用いており、その方法
に関して以下に図を用いて説明する。
The present invention solves the above-mentioned drawbacks and uses a method for encoding a three-dimensional image signal with high efficiency, which method will be described below with reference to the drawings.

【0021】図6は図5で説明した実施例の立体画像圧
縮回路45の第1の実施例の構成を示す図である。80
は右画像入力端子、81は左画像入力端子、82は動き
補償予測回路、83は視差補償予測回路、84はDCT
回路、85は量子化回路、86は逆量子化回路、87は
逆DCT回路、88は符号化回路、90は加算回路、9
1、92は差分回路、93、94は切換回路である。
FIG. 6 is a diagram showing the configuration of the first embodiment of the stereoscopic image compression circuit 45 of the embodiment described in FIG. 80
Is a right image input terminal, 81 is a left image input terminal, 82 is a motion compensation prediction circuit, 83 is a parallax compensation prediction circuit, and 84 is a DCT.
Circuit, 85 is a quantization circuit, 86 is an inverse quantization circuit, 87 is an inverse DCT circuit, 88 is an encoding circuit, 90 is an addition circuit, 9
Reference numerals 1 and 92 are difference circuits, and 93 and 94 are switching circuits.

【0022】入力画像は、輝度および色差信号あるいは
RGB信号に分解されていて、すでにディジタル化され
たものであり、処理はブロックに分解されたものに対し
て行なわれるものである。
The input image has been decomposed into luminance and color difference signals or RGB signals and has already been digitized, and the processing is performed on the blocks.

【0023】まず、右画像入力端子80より入力された
右画像信号は、差分回路91により動き補償予測回路8
2の出力との差分、つまり前フレームの信号から予測さ
れた動き補償予測信号との差分がとられる。そして、そ
の差分信号は切換回路93を介してDCT回路84でD
CTされ、量子化回路85で量子化される。量子化結果
は二分され、その一方の信号は、符号化回路88で可変
長符号が割り当てられて出力される。残りの一方の信号
は、逆量子化回路86、及び逆DCT回路87で復号さ
れ、加算回路90により前述した前フレームの信号から
予測された動き補償予測信号が加えられて局部復号信号
とされ、動き補償予測回路82に入力される。動き補償
予測回路82では、次のフレームとのブロックマッチン
グにより求めた次フレームの右画像の予測信号と動ベク
トルを出力する。そして、予測信号は、視差補償予測回
路83にも送られる。視差補償予測回路83は、右画像
の予測信号と左画像とのマッチングにより、左画像の予
測画像と、視差ベクトルを求めて出力している。
First, the right image signal input from the right image input terminal 80 is subjected to the motion compensation prediction circuit 8 by the difference circuit 91.
The difference from the output of 2, that is, the difference from the motion compensation prediction signal predicted from the signal of the previous frame is obtained. Then, the difference signal is D
It is CTed and quantized by the quantization circuit 85. The quantization result is divided into two, and one of the signals is assigned a variable length code by the encoding circuit 88 and output. The other one of the signals is decoded by the inverse quantizing circuit 86 and the inverse DCT circuit 87, and the motion compensation prediction signal predicted from the previous frame signal is added by the adding circuit 90 to form a locally decoded signal. It is input to the motion compensation prediction circuit 82. The motion compensation prediction circuit 82 outputs the prediction signal and the motion vector of the right image of the next frame obtained by the block matching with the next frame. Then, the prediction signal is also sent to the parallax compensation prediction circuit 83. The parallax compensation prediction circuit 83 obtains and outputs the predicted image of the left image and the parallax vector by matching the predicted signal of the right image and the left image.

【0024】次に左画像入力端子81より入力された左
画像信号は、差分回路92により前記視差補償予測回路
83からの予測信号との差分がとられ、この差分信号を
左画像入力端子側に切り換えられた切換回路93を介し
てDCT回路84でDCTし、量子化回路85で量子化
する。その量子化した結果は、右画像の時とは違って、
二分せずに符号化回路88で可変長符号を割り当てて出
力する。つまり、逆量子化回路86以降の処理は行なわ
ない。
Next, the difference between the left image signal input from the left image input terminal 81 and the prediction signal from the parallax compensation prediction circuit 83 is calculated by the difference circuit 92, and this difference signal is sent to the left image input terminal side. The DCT circuit 84 performs DCT via the switched switching circuit 93, and the quantization circuit 85 quantizes. The quantized result is different from the one in the right image,
The coding circuit 88 allocates a variable-length code and outputs it without halving it. That is, the processing after the inverse quantization circuit 86 is not performed.

【0025】前記動ベクトルと視差ベクトルは、ブロッ
ク毎の画像信号の符号データと共に記録される。そし
て、視差ベクトルは左右画像の視差によってのみ生じる
ものであるので、ベクトルの方向は左右方向のみで、そ
の大きさは最大視差で制限されているので、視差ベクト
ルを求めるサーチエリアは動ベクトルを求めるときに較
べて非常に狭い範囲で良いことになる。本実施例の立体
画像圧縮回路45によれば、動き補償予測は、右画像に
対してのみ行えば良いので、回路規模的にも処理時間的
にも有利である。
The motion vector and the disparity vector are recorded together with the code data of the image signal for each block. Since the parallax vector is generated only by the parallax of the left and right images, the direction of the vector is only the left and right direction, and its size is limited by the maximum parallax. Therefore, the search area for finding the parallax vector finds the motion vector. It is good in a very narrow range compared to the time. According to the stereoscopic image compression circuit 45 of the present embodiment, motion compensation prediction only needs to be performed for the right image, which is advantageous in terms of circuit scale and processing time.

【0026】図7は、立体画像復号回路61の第1の実
施例を示す図である。100は可変長符号復号回路、1
01は逆量子化回路、102は逆DCT回路、103は
動き補償予測回路、104は視差補償予測回路、105
は右画像出力端子、106は左画像出力端子、107、
108は加算回路、109は切換回路である。右画像の
ブロック毎の符号データは、可変長符号復号回路100
で復号され、逆量子化回路101、および逆DCT回路
102によってフレーム間差分信号に戻され、加算回路
107により動き補償予測回路103からの予測信号と
加算される。そしてその結果は、右画像出力端子105
より出力されるとともに、次のフレームの予測信号を得
るために動き補償予測回路103へと入力される。動き
補償予測回路103は再生画像信号と、画像符号データ
と同時に送られてきた動ベクトルによって次フレームの
動き補償予測信号を出力する。
FIG. 7 is a diagram showing a first embodiment of the stereoscopic image decoding circuit 61. 100 is a variable length code decoding circuit, 1
Reference numeral 01 is an inverse quantization circuit, 102 is an inverse DCT circuit, 103 is a motion compensation prediction circuit, 104 is a parallax compensation prediction circuit, and 105.
Is a right image output terminal, 106 is a left image output terminal, 107,
Reference numeral 108 is an adder circuit, and 109 is a switching circuit. The code data for each block of the right image is the variable length code decoding circuit 100.
Is decoded by the inverse quantization circuit 101 and the inverse DCT circuit 102 to be converted into an interframe difference signal, and is added by the addition circuit 107 to the prediction signal from the motion compensation prediction circuit 103. The result is the right image output terminal 105.
In addition to being output, it is input to the motion compensation prediction circuit 103 to obtain a prediction signal of the next frame. The motion compensation prediction circuit 103 outputs a motion compensation prediction signal for the next frame based on the reproduced image signal and the motion vector sent together with the image code data.

【0027】次に、左画像の符号データが右画像と同様
に可変長符号復号回路100で復号され、逆量子化回路
101、および逆DCT回路102によって視差補償予
測信号との差分信号に戻され、切換回路109を切り換
えることにより、この差分信号は加算回路108に入力
される。この加算回路108により視差補償予測回路1
04からの予測信号と差分信号はたしあわされ、左画像
出力端子106より出力される。視差補償予測回路10
4は動き補償予測回路103からの右画像の予測信号
と、画像符号データと同時に送られてきた視差ベクトル
によって左画像の視差補償予測信号を出力する。
Next, the coded data of the left image is decoded by the variable length code decoding circuit 100 in the same manner as the right image, and is returned to the difference signal with the parallax compensation prediction signal by the inverse quantization circuit 101 and the inverse DCT circuit 102. By switching the switching circuit 109, this difference signal is input to the adding circuit 108. The addition circuit 108 causes the parallax compensation prediction circuit 1
The prediction signal from 04 and the difference signal are summed up and output from the left image output terminal 106. Parallax compensation prediction circuit 10
Reference numeral 4 outputs a prediction signal for the right image from the motion compensation prediction circuit 103 and a prediction signal for parallax compensation for the left image according to the parallax vector sent together with the image code data.

【0028】なお、上記図5〜7には示していないが、
上記図中の各回路の動作は図3に示している制御部21
及びコントローラー29により制御されているものであ
る。また、本発明の三次元画像符号化アルゴリズムは、
主に動画像に用いられるもので、画像の第1フレームで
先行するフレームが存在しない場合や、一定期間毎に実
施されるフレーム内符号化や、シーンチェンジがあった
場合の処理等は、既に一般的となっている動画像圧縮方
式に準ずるものとしている。そのため、上記実施例で
は、フレーム内処理のための回路及びそのコントロール
のための回路は省略して説明しているものである。
Although not shown in FIGS. 5 to 7,
The operation of each circuit in the above figure is performed by the control unit 21 shown in FIG.
And is controlled by the controller 29. Further, the three-dimensional image encoding algorithm of the present invention is
It is mainly used for moving images, and when there is no preceding frame in the first frame of the image, intraframe coding performed at regular intervals, processing when there is a scene change, etc. have already been performed. It is based on the general moving image compression method. Therefore, in the above-described embodiment, the circuit for intra-frame processing and the circuit for controlling the same are omitted.

【0029】本発明の立体画像圧縮回路45の第2の実
施例を図8により説明する。図において、図6で説明し
たものと同一の部材には同一の符号を付し、詳細な説明
は省略する。この実施例が図6の実施例と異なる点は、
逆量子化回路86、及び逆DCT回路87で復号され、
加算回路90により前述した前フレームの信号から予測
された動き補償予測信号が加えられて局部復号信号とな
った信号を、動き補償予測回路82と、視差補償予測回
路83に入力している点である。そのため、第1の実施
例では前フレームの右画像から求めた右画像の予測信号
から左画像をさらに予測していたが、この第2の実施例
では、左画像の予測信号を同一時刻の右画像の再生信号
から得ているので、右画像の予測エラーのない信号から
左画像を予測することになり予測誤差を少なくすること
ができ、また、左画像は局部復号する必要がない。
A second embodiment of the stereoscopic image compression circuit 45 of the present invention will be described with reference to FIG. In the figure, the same members as those described in FIG. 6 are designated by the same reference numerals, and detailed description thereof will be omitted. This embodiment differs from the embodiment of FIG. 6 in that
Decoded by the inverse quantization circuit 86 and the inverse DCT circuit 87,
A signal obtained by adding the motion compensation prediction signal predicted from the previous frame signal by the adder circuit 90 to form a local decoded signal is input to the motion compensation prediction circuit 82 and the parallax compensation prediction circuit 83. is there. Therefore, in the first embodiment, the left image is further predicted from the prediction signal of the right image obtained from the right image of the previous frame, but in the second embodiment, the prediction signal of the left image is predicted from the right signal at the same time. Since it is obtained from the reproduced signal of the image, the left image is predicted from the signal without the prediction error of the right image, and the prediction error can be reduced, and the left image does not need to be locally decoded.

【0030】この立体画像圧縮回路45に対する立体画
像復号回路61の実施例は図9に示した構成のように、
右画像の再生信号を左画像の予測信号をつくる視差補償
予測回路104への入力としている。
An embodiment of the stereoscopic image decoding circuit 61 for the stereoscopic image compression circuit 45 has the configuration shown in FIG.
The reproduction signal of the right image is input to the parallax compensation prediction circuit 104 that creates the prediction signal of the left image.

【0031】さらに、本発明の立体画像圧縮回路45の
第3の実施例を図10により説明する。図において、図
6で説明したものと同一の部材には同一の符号を付し、
詳細な説明は省略する。この実施例が図6に示した第1
実施例と異なる点は、左画像用動き補償予測回路89、
加算回路95、切換回路96を設け、左画像の圧縮方法
を変えた点にある。以下その点について説明する。
Further, a third embodiment of the stereoscopic image compression circuit 45 of the present invention will be described with reference to FIG. In the figure, the same members as those described in FIG. 6 are designated by the same reference numerals,
Detailed description is omitted. This embodiment is the first shown in FIG.
The difference from the embodiment is that the left image motion compensation prediction circuit 89,
The addition circuit 95 and the switching circuit 96 are provided, and the compression method of the left image is changed. This point will be described below.

【0032】右画像については、第1実施例とほぼ同様
であるので説明は省略する。左画像の圧縮は、前述した
視差補償予測回路83からの予測信号と、右画像と同様
にして求めた動き補償予測による予測信号の内の好まし
いものを選択してそれとの差分信号を用いて符号化する
ようにしている。つまり、左画像用動き補償予測回路8
9と、視差補償予測回路83からの出力信号のどちらか
を切換回路96により選択的に切り換えて予測信号と
し、予測誤差を右画像と同様に符号化して記録するとと
もに、逆量子化した後、逆DCTして復号した信号と前
記予測信号を加算回路95により加えて局部復号信号と
して左画像用動き補償予測回路89へ入力する。
The right image is almost the same as that of the first embodiment, and therefore its explanation is omitted. The left image is compressed by selecting a preferable one from the above-described prediction signal from the parallax compensation prediction circuit 83 and the prediction signal obtained by the motion compensation prediction obtained in the same manner as in the right image, and performing coding using the difference signal between them. I am trying to change. That is, the motion compensation prediction circuit 8 for the left image
9 or the output signal from the parallax compensation prediction circuit 83 is selectively switched by the switching circuit 96 to be a prediction signal, and the prediction error is coded and recorded similarly to the right image, and after dequantization, A signal decoded by inverse DCT and the prediction signal are added by an adding circuit 95 and input to a left image motion compensation prediction circuit 89 as a local decoded signal.

【0033】このような構成にすることで、三次元物体
の動きに応じて最適な予測方法を選択することができる
ようになる。例えば、殆ど動きのないようなシーンでは
フレーム間予測の誤差が非常に小さくなるので、左画像
用動き補償予測回路89の出力を選択し、動きの大きい
場合には視差補償予測回路83の出力を選択するように
している。このときの切り替えは、図示されない制御部
21により、動き補償予測回路82からの右画像の動ベ
クトルを判断することにより制御している。そして、左
画像用動き補償予測回路89では、前記右画像の動ベク
トルの近傍をサーチエリアとして左画像用動ベクトルを
求めている。これは、右画像と左画像とで、動ベクトル
が非常に近い値をとるためで、右画像の動ベクトルをそ
のまま左画像の動ベクトルとしてしまっても構わない。
With such a configuration, it becomes possible to select the optimum prediction method according to the movement of the three-dimensional object. For example, in a scene where there is almost no motion, the error in inter-frame prediction is very small, so the output of the left image motion compensation prediction circuit 89 is selected, and when the motion is large, the output of the parallax compensation prediction circuit 83 is selected. I am trying to choose. The switching at this time is controlled by the control unit 21 (not shown) by determining the motion vector of the right image from the motion compensation prediction circuit 82. Then, the motion compensation prediction circuit for left image 89 obtains the motion vector for the left image by using the vicinity of the motion vector of the right image as a search area. This is because the motion vectors of the right image and the left image have very close values, and the motion vector of the right image may be used as it is as the motion vector of the left image.

【0034】図11は図10に示した方法で符号化され
た信号の復号器の実施例を示す図である。図において、
図7で説明したものと同一の部材には同一の符号を付
し、詳細な説明は省略する。この実施例が図7、9に示
した実施例と異なる点は、図10の実施例に応じて、左
画像用動き補償予測回路110、切換回路111を設
け、左画像用の復号を選択的に行うようにした点にあ
る。
FIG. 11 is a diagram showing an embodiment of a decoder for a signal encoded by the method shown in FIG. In the figure,
The same members as those described in FIG. 7 are designated by the same reference numerals, and detailed description thereof will be omitted. This embodiment differs from the embodiments shown in FIGS. 7 and 9 in that a left-image motion compensation prediction circuit 110 and a switching circuit 111 are provided according to the embodiment of FIG. There is a point to do.

【0035】右画像のブロック毎の符号データは、可変
長符号復号回路100で復号され、逆量子化回路10
1、および逆DCT回路102によってフレーム間差分
信号に戻され、加算回路107により動き補償予測回路
103からの予測信号とたしあわされる。そしてその結
果は、右画像出力端子105から出力されるとともに、
次の予測信号を得るために動き補償予測回路103およ
び視差補償予測回路104へと入力される。動き補償予
測回路103は再生画像信号と、画像符号データと同時
に送られてきた動ベクトルによって次フレームの動き補
償予測信号を出力する。
The code data for each block of the right image is decoded by the variable length code decoding circuit 100, and the inverse quantization circuit 10
1 and the inverse DCT circuit 102 restores the inter-frame difference signal, and the adder circuit 107 mixes it with the prediction signal from the motion compensation prediction circuit 103. The result is output from the right image output terminal 105, and
It is input to the motion compensation prediction circuit 103 and the parallax compensation prediction circuit 104 to obtain the next prediction signal. The motion compensation prediction circuit 103 outputs a motion compensation prediction signal for the next frame based on the reproduced image signal and the motion vector sent together with the image code data.

【0036】次に、左画像の符号データが右画像と同様
に可変長符号復号回路100で復号され、逆量子化回路
101、および逆DCT回路102によって予測信号と
の差分信号に戻される。この差分信号は、切換回路11
1により選択的に切り換えられた、視差補償予測回路1
04からの予測信号と左画像用動き補償予測回路110
からの予測信号の内のいずれかの予測信号と、加算回路
108により加算され、左画像出力端子106より出力
される。ここで、切換回路111により、視差補償予測
回路104と左画像用動き補償予測回路110のどちら
の出力を選択するかは、選択情報として符号データに含
まれている信号を用いて、図10に示した圧縮回路45
内の切換回路96により選択した出力と同じものを選択
するように制御している。
Next, the coded data of the left image is decoded by the variable length code decoding circuit 100 in the same manner as the right image, and is returned to the difference signal from the prediction signal by the inverse quantization circuit 101 and the inverse DCT circuit 102. This difference signal is transferred to the switching circuit 11
Disparity compensation prediction circuit 1 selectively switched by 1
04 prediction signal and left image motion compensation prediction circuit 110
Any of the prediction signals from the above is added by the adding circuit 108, and output from the left image output terminal 106. Here, the output of the parallax compensation prediction circuit 104 or the left image motion compensation prediction circuit 110 is selected by the switching circuit 111 by using the signal included in the code data as the selection information. Shown compression circuit 45
The control circuit 96 controls so as to select the same output as the selected output.

【0037】さらに、図12は本発明の立体画像圧縮回
路45の第4の実施例を示す図である。図において、前
記実施例と同一の部材には同一の符号を付し、詳細な説
明は省略する。まず、右画像に関する符号化の方法は前
述した実施例と同じであるが、左画像は視差補償予測誤
差をフレーム間予測してさらに差分をとってから符号化
している。つまり、視差補償予測回路83で、右画像の
局部復号信号と左画像とのマッチングにより、左画像の
予測画像を求めて、左画像と差分をとって第1の予測誤
差信号とし、先行フレームの第1の予測誤差信号から求
めた現フレームの第1の予測誤差信号の予測信号とでさ
らに差分をとることで、第2の予測誤差信号を得る。こ
の第2の予測誤差信号についてDCTおよび量子化して
符号化している。左画像用フレーム間予測回路90へ
は、逆量子化して逆DCTして復号した信号と第2の予
測信号を加えて第1の予測信号の局部復号信号が入力さ
れる。このような構成にすることで、予測方式の選択手
段無しで三次元物体の動きにも対応した予測ができるよ
うになる。
Further, FIG. 12 is a diagram showing a fourth embodiment of the stereoscopic image compression circuit 45 of the present invention. In the figure, the same members as those in the above-mentioned embodiment are designated by the same reference numerals, and detailed description thereof is omitted. First, the encoding method for the right image is the same as that of the above-described embodiment, but the left image is encoded after the inter-frame prediction of the parallax compensation prediction error and the difference is further taken. That is, in the parallax compensation prediction circuit 83, the predicted image of the left image is obtained by matching the locally decoded signal of the right image and the left image, and the difference between the predicted image of the left image and the left image is obtained as the first prediction error signal, The second prediction error signal is obtained by further calculating the difference with the prediction signal of the first prediction error signal of the current frame obtained from the first prediction error signal. This second prediction error signal is DCT, quantized, and coded. The locally decoded signal of the first prediction signal is input to the left image inter-frame prediction circuit 90 by adding the dequantized and inverse DCT decoded signal and the second prediction signal. With such a configuration, it is possible to perform prediction corresponding to the movement of a three-dimensional object without selecting a prediction method.

【0038】[0038]

【発明の効果】以上、実施例に基づき詳細に説明したよ
うに、この発明のマルチメディア装置によれば、記録媒
体に圧縮符号化して記録されている画像信号または音声
信号とを読み出し、前記圧縮符号化して記録された画像
信号または音声信号を復号し、音声信号の時間軸を変換
して画像信号と音声信号とを同期させて出力し、この出
力信号を、使用者の頭部または顔面に装着可能な再生手
段により再生する際に、使用者の使用意図に応じて再生
する出力信号を切り換えられ、マルチメディア情報がイ
ンタラクティブに再生することができる。また、使用者
の頭部又は顔面に装着可能な再生手段であるメガネ型デ
ィスプレイにて画像信号と音声信号を再生させるので、
手やストラップによって保持することなく情報を再生す
ることができ、しかも容易に持ち運びすることができる
マルチメディア装置を提供することができる。
As described above in detail with reference to the embodiments, according to the multimedia device of the present invention, the image signal or the audio signal which is compression-encoded and recorded on the recording medium is read out, and the compression is performed. The encoded image signal or audio signal is decoded, the time axis of the audio signal is converted, the image signal and the audio signal are output in synchronization, and this output signal is output to the head or face of the user. When the reproduction is performed by the attachable reproduction means, the output signal to be reproduced can be switched according to the user's intention of use, and the multimedia information can be reproduced interactively. Further, since the image signal and the audio signal are reproduced by the glasses-type display which is a reproducing means that can be mounted on the head or face of the user,
It is possible to provide a multimedia device which can reproduce information without being held by a hand or a strap and can be easily carried.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明のマルチメディア装置の使用状態を説明
するための図である。
FIG. 1 is a diagram for explaining a usage state of a multimedia device of the present invention.

【図2】顔部装着式ディスプレイ(FMD)の概要を説
明するための図である。
FIG. 2 is a diagram for explaining an outline of a face-mounted display (FMD).

【図3】記録媒体にCD−ROMを用いた再生部の実施
例の構成を示す図である。
FIG. 3 is a diagram showing a configuration of an embodiment of a reproducing unit using a CD-ROM as a recording medium.

【図4】本発明のマルチメディア装置の実施例の構成を
バス形式で表した図である。
FIG. 4 is a diagram showing a configuration of an embodiment of a multimedia device of the present invention in a bus format.

【図5】本発明のマルチメディア装置において三次元画
像信号の録画機能及び音声の録音機能を付加した実施例
を説明するための図である。
FIG. 5 is a diagram for explaining an embodiment in which a recording function of a three-dimensional image signal and a recording function of voice are added to the multimedia device of the present invention.

【図6】図5で説明した実施例における立体画像圧縮回
路45の第1の実施例を説明するための図である。
FIG. 6 is a diagram for explaining a first embodiment of a stereoscopic image compression circuit 45 in the embodiment described in FIG.

【図7】図5で説明した実施例における立体画像復号回
路61の第1の実施例を説明するための図である。
FIG. 7 is a diagram for explaining the first embodiment of the stereoscopic image decoding circuit 61 in the embodiment described in FIG.

【図8】図5で説明した実施例における立体画像圧縮回
路45の第2の実施例を説明するための図である。
FIG. 8 is a diagram for explaining a second embodiment of the stereoscopic image compression circuit 45 in the embodiment described in FIG.

【図9】図5で説明した実施例における立体画像復号回
路61の第2の実施例を説明するための図である。
9 is a diagram for explaining a second embodiment of the stereoscopic image decoding circuit 61 in the embodiment described in FIG.

【図10】図5で説明した実施例における立体画像圧縮
回路45の第3の実施例を説明するための図である。
FIG. 10 is a diagram for explaining a third embodiment of the stereoscopic image compression circuit 45 in the embodiment described in FIG.

【図11】図5で説明した実施例における立体画像復号
回路61の第3の実施例を説明するための図である。
FIG. 11 is a diagram for explaining a third embodiment of the stereoscopic image decoding circuit 61 in the embodiment described in FIG.

【図12】図5で説明した実施例における立体画像圧縮
回路45の第4の実施例を説明するための図である。
FIG. 12 is a diagram for explaining a fourth embodiment of the stereoscopic image compression circuit 45 in the embodiment described in FIG.

【図13】従来の画像圧縮方法を説明するための図であ
る。
FIG. 13 is a diagram for explaining a conventional image compression method.

【符号の説明】[Explanation of symbols]

1 再生部 2 顔面装着式ディスプレイ(FMD) 3 カーソル移動装置 20 読み出し部 21 制御部 22 誤り訂正部 23 バッファメモリ 24 デマルチプレクサ 25 立体画像復号部 26 画像出力部 27 音声信号復号部 28 音声出力部 29 コントローラー 30 ポインティングデバイス部 45 立体画像圧縮回路 50 時間軸変換回路 51 多重化回路 52 誤り訂正符号付加回路 59 誤り訂正回路 60 分離回路 61 立体画像復号回路 66 時間軸変換回路 82、103 動き補償予測回路 83、104 視差補償予測回路 93、94 切換回路 DESCRIPTION OF SYMBOLS 1 Playback unit 2 Face-mounted display (FMD) 3 Cursor moving device 20 Reading unit 21 Control unit 22 Error correction unit 23 Buffer memory 24 Demultiplexer 25 Stereoscopic image decoding unit 26 Image output unit 27 Audio signal decoding unit 28 Audio output unit 29 Controller 30 Pointing device section 45 Stereoscopic image compression circuit 50 Time axis conversion circuit 51 Multiplexing circuit 52 Error correction code addition circuit 59 Error correction circuit 60 Separation circuit 61 Stereoscopic image decoding circuit 66 Time axis conversion circuit 82, 103 Motion compensation prediction circuit 83 , 104 Parallax compensation prediction circuit 93, 94 Switching circuit

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 記録媒体に圧縮符号化して記録されてい
る画像信号または音声信号とを読み出す読出手段と、前
記圧縮符号化して記録された画像信号または音声信号を
復号する復号手段と、音声信号の時間軸を変換し、画像
信号と音声信号とを同期させて出力する同期出力手段
と、使用者の頭部または顔面に装着可能であり、前記画
像信号と音声信号を再生する再生手段と、使用者の使用
意図に応じて前記再生手段により再生する出力信号を切
り換える切換手段とを有することを特徴としたマルチメ
ディア装置。
1. A reading means for reading an image signal or an audio signal compressed and recorded on a recording medium, a decoding means for decoding the image signal or the audio signal compressed and encoded, and an audio signal. The time axis is converted, the synchronous output means for outputting the image signal and the audio signal in synchronization with each other, and the reproducing means which can be mounted on the head or face of the user and which reproduces the image signal and the audio signal. A multimedia device, comprising: switching means for switching an output signal reproduced by the reproducing means according to a user's intention of use.
JP4081673A 1992-03-03 1992-03-03 Multimedium device Pending JPH05250860A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4081673A JPH05250860A (en) 1992-03-03 1992-03-03 Multimedium device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4081673A JPH05250860A (en) 1992-03-03 1992-03-03 Multimedium device

Publications (1)

Publication Number Publication Date
JPH05250860A true JPH05250860A (en) 1993-09-28

Family

ID=13752869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4081673A Pending JPH05250860A (en) 1992-03-03 1992-03-03 Multimedium device

Country Status (1)

Country Link
JP (1) JPH05250860A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096708A (en) * 2005-09-28 2007-04-12 Victor Co Of Japan Ltd Video reproducing device and audio reproducing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096708A (en) * 2005-09-28 2007-04-12 Victor Co Of Japan Ltd Video reproducing device and audio reproducing device
JP4556185B2 (en) * 2005-09-28 2010-10-06 日本ビクター株式会社 Video playback device and audio playback device

Similar Documents

Publication Publication Date Title
JP3381855B2 (en) Image signal encoding method and image signal encoding device, image signal decoding method and image signal decoding device
JP4515465B2 (en) Moving picture photographing apparatus and moving picture photographing method, moving picture reproducing apparatus and moving picture reproducing method for reproducing a video signal recorded on a recording medium
JP2005064569A (en) Transcoder, imaging apparatus using the same, and signal processing apparatus
JP3403168B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
US8155186B2 (en) Bit stream recording medium, video encoder, and video decoder
JP4902854B2 (en) Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, and moving picture encoding / decoding apparatus
JPH07250350A (en) Stereoscopic moving picture coder
JP2006222931A (en) Information recording apparatus, information reproducing apparatus, information recording program, and information reproducing program
JPH05250860A (en) Multimedium device
JP3338425B2 (en) MPEG video decoder
JP4289055B2 (en) Transcoder and recording / reproducing apparatus using the same
JP3515565B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
JP2007028212A (en) Reproducing device and reproducing method
JP4178521B2 (en) Encoded video signal recording method and video signal encoding apparatus
JP3403169B2 (en) Image reproducing method, image reproducing apparatus and television receiver that can use this method
JP3374128B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
JP3403167B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
JP3669536B2 (en) Image encoding / decoding device and method
JP3322671B2 (en) MPEG video decoder
JP2798135B2 (en) Compressed image recording / playback system
JPH08172645A (en) Stereoscopic information recording medium and stereoscopic information recorder
JPH11113026A (en) Device and method for encoding and decoding stereoscopic moving image high efficiency
JP3552045B2 (en) Recording method of image signal recording medium, image signal recording device, and image signal reproducing device
JPH07336681A (en) Picture converting device
JP3433179B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20001206