JPH09271042A - 立体視化方法及び装置 - Google Patents

立体視化方法及び装置

Info

Publication number
JPH09271042A
JPH09271042A JP8103432A JP10343296A JPH09271042A JP H09271042 A JPH09271042 A JP H09271042A JP 8103432 A JP8103432 A JP 8103432A JP 10343296 A JP10343296 A JP 10343296A JP H09271042 A JPH09271042 A JP H09271042A
Authority
JP
Japan
Prior art keywords
eye
sub
video signal
circuit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8103432A
Other languages
English (en)
Inventor
Hideo Nakaya
秀雄 中屋
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP8103432A priority Critical patent/JPH09271042A/ja
Publication of JPH09271042A publication Critical patent/JPH09271042A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】伝送、記録情報量を増やさずに、良好な立体映
像を形成する。 【解決手段】左目用及び右目用テレビジヨンカメラから
得られる左目用及び右目用映像信号をサブサンプル処理
することにより、画素数が1/2に低減された左目用及
び右目用サブサンプル映像信号を伝送又は記録した後復
元するようにしたことにより、伝送、記録情報量を増加
させずに立体視映像を伝送、記録処理することができ
る。

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 発明の属する技術分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態 (1)実施例(図1〜図11) (2)他の実施例(図12〜図14) 発明の効果
【0002】
【発明の属する技術分野】本発明は立体視化方法及び装
置に関し、特に入力テレビジヨン信号に基づくステレオ
画像を表示する立体視化装置に適用して好適なものであ
る。
【0003】
【従来の技術】従来、テレビジヨン信号の立体視化を実
現する装置として、例えばテレビジヨン学会誌 Vol.4
5,No.4,pp.446〜452 (1991)に記載されているように種
々のものが提案されている。
【0004】これらの立体視化装置の中で、左目及び右
目に対応する視差のある2つの画像をテレビジヨンモニ
タにフイールド毎に交互に切り換えて表示し、この表示
画像を、表示画像の切換えに同期して左目用シヤツタ及
び右目用シヤツタが開閉する液晶シヤツタ眼鏡を通して
視ることにより、ステレオ視を実現するものがある。
【0005】
【発明が解決しようとする課題】ところが、左目及び右
目に対応する2つの画像をテレビジヨンモニタに交互に
表示することによりステレオ視を実現する方法において
は、通常、予め左及び右目に対応する2台のテレビジヨ
ンカメラによつて撮影した画像を記録又は伝送する必要
があるために、画像の時間分解能を落とさないようにす
ると2倍の情報量が必要であり、また情報量を増やさな
いようにすると時間分解能が落ちるためフリツカが生じ
画質が劣化する欠点があつた。
【0006】本発明は以上の点を考慮してなされたもの
で、記録情報量又は伝送情報量を増やさずに良好なステ
レオ画像を得ることができる立体視化方法及びその装置
を提案しようとするものである。
【0007】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、左目用及び右目用映像信号をサブ
サンプル処理することにより画素数を1/2に低減した
左目用及び右目用サブサンプル映像信号を形成し、これ
を多重化して伝送手段又は記録手段に送出するようにし
たことにより、伝送又は記録情報量を1つの画像の映像
信号分に低減することができ、かくして少ない情報量で
立体視化映像信号を伝送又は記録することができる。伝
送手段又は記録手段から送出された多重化映像信号は分
離手段によつて分離された後、クラス分類適応処理さ
れ、これによりサブサンプル処理によつて間引かれた画
素を復元して左目用及び右目用サブサンプル映像信号を
補間することができ、かくして良質な立体視映像を提供
できる。
【0008】
【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。
【0009】(1)実施例 図1において、1は全体として立体視化装置を示し、立
体信号符号化装置2から送出された伝送映像データS1
を伝送路3を介して映像信号再生装置4に供給する。映
像信号符号化装置2はそれぞれ人の左目及び右目位置に
相当する位置に配設された左目用テレビジヨンカメラ1
1L及び右目用テレビジヨンカメラ11Rを有し、左目
用及び右目用テレビジヨンカメラ11L及び11Rによ
つて被写体を撮像することにより、それぞれ人の左目及
び右目から被写体を見たときの視差と同様の視差を有す
る左目用映像信号S2L及び右目用映像信号S2Rが得
られる。
【0010】左目用及び右目用映像信号S2L及びS2
Rは、それぞれアナログデイジタル変換回路12L及び
12Rによつて13.5〔MHz〕のクロツクで左目用映像デ
ータS3L及び右目用映像データS3Rに変換される。
左目用及び右目用映像データS3L及びS3Rは、左目
用サブサンプル回路13L及び右目用サブサンプル回路
13Rにおいて、サブサンプル処理されることにより、
左目用及び右目用映像データS3L及びS3Rの画素数
を1/2に間引くような処理を実行することにより、1
フレーム当たりの画素数が1/2の左目用サブサンプル
データS4L及び右目用サブサンプルデータS4Rを送
出する。
【0011】この実施例の場合、左目用及び右目用サブ
サンプル回路13L及び13Rは、図2に示すように、
各水平走査線上に配列されている画素のうち、「○」印
で示す奇数番目の画素を抽出して左目用及び右目用サブ
サンプルデータS4L及びS4Rとして出力すると同時
に、「×」印で示す偶数番目の画素を間引くような処理
を実行する。かくして画素数が1/2となつた左目用及
び右目用サブサンプルデータS4L及びS4Rは、多重
化回路14において時分割多重化処理されることによ
り、1つの伝送映像データS1として映像信号符号化装
置2の出力端子15から伝送路3に送出される。
【0012】この実施例の場合多重化回路14は、図3
に示すように、右目用映像データS3Lの画素のうち奇
数番目の画素でなる右目用サンプルデータS4Lの画素
ELLを伝送映像データS1の奇数番目の画素として時
分割多重化すると共に、右目用映像データS3Rの奇数
番目の画素でなる右目用サブサンプルデータS4Rを伝
送映像データS1の偶数番目の画素ELRとして時分割
多重化するような処理を実行し、かくして伝送映像デー
タS1として図4に示すように、左目用テレビジヨンカ
メラ11Lによつて撮像した被写体像OJL(サンプル
数が1/2に間引かれている)と、右目用テレビジヨン
カメラ11Rによつて撮像した被写体像OJR(画素数
が1/2に間引かれている)を重ね合せたと同様の画像
映内容をもつ1フイールド分の映像データとして伝送路
3に送出されることになる。
【0013】映像信号再生装置4は、伝送路3を介して
伝送されて来る伝送映像データS1を入力端子21に受
けて分離回路22において、奇数番目の画素ELLと偶
数番目の画素ELRとに分離して左目用分離サブサンプ
ルデータS5L及び右目用分離サブサンプルデータS5
Rとして左目用クラス分類適応処理回路23L及び右目
用クラス分類適応処理装置回路23Rに供給する。
【0014】左目用及び右目用クラス分類適応処理回路
23L及び23Rは、左目用及び右目用サブサンプル回
路13L及び13Rにおけるサブサンプル処理によつて
間引かれた画素を、伝送されて来た右目用及び左目用分
離サブサンプルデータS5L及びS5Rから復元するも
ので、それぞれ図5に示す構成によつて、予測演算処理
を実行することにより、間引かれて映像信号再生装置4
には伝送されて来なかつた画素の映像データを補間演算
により求める。
【0015】左目用(及び右目用)クラス分類適応処理
回路23L(及び23R)は、データS5L(及びS5
R)をクラス分類用画素ブロツク化回路31に受けて、
間引かれた画素を注目点として、その周囲の微小領域に
おける画像部分の画像内容の特徴に基づいてクラス分類
コードを求めるために、時空間における周辺画素を集め
るようなブロツク化処理を画素ブロツク単位で実行す
る。その結果クラス分類用ブロツク化回路31は、時空
間でみたとき、注目点の画素を中心とする3次元的な領
域(すなわち当該注目点が存在するフレーム及びその前
後のフレームに亘る近傍領域)内に存在する画素のデー
タでなるブロツク画素データS6を1つのブロツクとし
て集めて、クラス分類回路32に与える。
【0016】この実施例の場合、クラス分類用ブロツク
化回路31は、図6(A)に示すように、第2フレーム
において間引かれた注目点F2Xについて、その周辺に
ある画素として、第1フレームの斜め上及び斜め下の2
つの点F11及びF12と、第2フレームの走査線上の
隣接する2つの点F21及びF22と、第3フレームの
斜め上及び斜め下の2つの画素F31及びF32とを選
んでその画素データをブロツク画素データS6としてク
ラス分類回路32に出力する。
【0017】注目点F2X(図6(A))の画素に対し
て、図6(B)に示すように、第2フレームの真下に隣
接する画素を注目点F2Yとしたとき、クラス分類用ブ
ロツク化回路31は第1フレームの真横の1つの画素F
10と、第2フレーム上の斜め上方の2つの画素F21
及びF22並びに斜め下の2つの画素F23及びF24
と、第3フレームの真横の1つの画素F30とを1つの
ブロツクとして集めて各画素の画素データを画素ブロツ
クデータS6としてクラス分類回路32に出力する。
【0018】クラス分類用ブロツク化回路31はこのよ
うなブロツク化処理を第2フレーム上において間引かれ
た注目点F2X及びF2Yについての処理を、以下同様
にして画面全体について実行する。その後クラス分類用
ブロツク化回路31は、図6(C)に示すように、第3
フレーム上の間引かれた画素を注目点F3Xとして第2
フレームの2つの画素F21及びF22と、第3フレー
ムの2つの画素F31及びF32と、第4フレームの2
つの画素F41及びF42とを集めて同様のブロツク化
処理を実行し、また図6(D)に示すように、第3フレ
ーム上の間引かれた画素を注目点F3Yとして第2フレ
ームの1つの画素F20と、第3フレームの4つの画素
F31、F32、F33及びF34と、第4フレームの
1つの画素F40とを集めて同様のブロツク化処理を実
行する。
【0019】クラス分類回路32は、このようにしてク
ラス分類用ブロツク化回路31から与えられた画素ブロ
ツクデータS6に基づいて、当該画素ブロツクデータS
6のレベル分布パターンに基づいてクラス分類を実行
し、当該分類結果をクラス識別番号であるインデツクス
データINDEXとして積和演算回路33に供給する。
この実施例の場合、クラス分類回路32において用いら
れるADRC圧縮処理は、電子通信学会誌、1986年12月
1日、第23頁〜第30頁に提案されている手法を適用し
得、図6について上述したように、注目点の周囲の画素
を含む微小な時空間にブロツクの領域を限定すれば、各
画素データは相互に強い相関をもつていることを利用し
て、各ブロツクの最小値及び最大値によつて表されるダ
イナミツクレンジ内の各画素データの値と最小値との偏
差が非常に小さくなるために、圧縮処理をすることによ
り各画素の画素データのレベルによつて表されるレベル
分布パターンが単純な傾向をもつことが明確になる。
【0020】当該レベル分布パターンの傾向として、例
えば明るさの分布がブロツク内において上に凸になる
(すなわちブロツク内にピーク値をもつ)傾向になつた
り、下に凸になる(すなわち当該ブロツク内に暗い谷が
ある)ような傾向になつたり、明るさのピークや谷をも
たない平坦な傾向になつたりするといつた特徴が把握で
きるような結果が得られる。クラス分類回路32はこの
ようなクラス分類用ブロツク内のレベル分布パターンの
特徴に基づいて、当該特徴に分類コードを割り当てるこ
とによりインデツクスデータINDEXを形成する。
【0021】これに加えて左目用(及び右目用)分類サ
ブサンプルデータS5L(及びS5R)は画素データ用
ブロツク化回路34に与えられ、クラス分類用ブロツク
化回路31において用いられた注目点を中心とする所定
の時空間領域内の画素の画素データx1 、x2 ……xn
を予測演算用のデータとして積和演算回路33に供給す
る。ここで、画素データブロツク化回路34により形成
されるブロツクはクラス分類用ブロツク化回路31によ
るブロツクより格段的に大きい領域に選定され、これに
より当該注目点の画素データの予測精度を高めるように
なされている。
【0022】積和演算回路33は図7に示すように、ク
ラス分類回路32から与えられたインデツクスデータI
NDEXをインデツクスデコード回路41においてデコ
ードして係数組メモリアドレス信号S11を発生するこ
とにより、インデツクスデータINDEXによつて表さ
れている画素ブロツクのレベル分布パターンに対応する
複数組の係数w1 、w2 ……wn を記憶している係数組
メモリM1、M2……MKの1つをアクセスことにより
当該1組の係数w1 、w2 ……wn をそれぞれ係数レジ
スタ42A1、42A2……42Anに読み出すように
なされている。
【0023】係数レジスタ42A1、42A2……42
Anに読み出された係数データw1、w2 ……wn は掛
算回路43A1、43A2……43Anにおいて画素デ
ータブロツク化回路34から供給されるブロツク化画素
データS7のデータx1 、x2 ……xn と乗算され、当
該乗算結果が加算回路44において加算され、その加算
結果yが注目点予測データS8として積和演算回路33
から出力され、これが多重化回路35を介して立体視化
左目用映像データS9L及び立体視化右目用映像データ
S9Rとしてクラス分類適応処理回路23L及び23R
から出力される。
【0024】これに加えて左目用及び右目用分離サブサ
ンプルデータS5L及びS5Rとして伝送されて来た画
素データは、遅延回路36を介して多重化回路35に与
えられ、この多重化回路35において注目点予測データ
S8と組み合されて立体視化左目用映像データS9L及
び立体視化右目用映像データS9Rとして左目用クラス
分類適応処理回路23L及び右目用クラス分類適応処理
回路23Rから送出される。ここで係数組メモリM1、
M2……MKの各組の係数データw1 、w2 ……w
n は、図8に示すような学習回路を用いて、伝送映像デ
ータS1の伝送処理に先立つて求められる。
【0025】積和演算回路33(図7)の係数組メモリ
M1、M2、……MKの係数データw1 、w2 、……w
n は、図8に示す係数学習回路51を用いて立体視化装
置1を使用する前に予め用意される。係数学習回路51
は左目用及び右目用テレビジヨンカメラ11L及び11
Rと同じ規格をもつ学習用テレビジヨンカメラ52を有
し、学習用テレビジヨンカメラ52によつて標準被写体
を撮像することにより得られる学習用映像信号S21を
アナログデイジタル変換回路53において、映像信号符
号化装置2のアナログデイジタル変換回路12L及び1
2Rにおいて用いられるクロツク周波数と同じクロツク
周波数(この実施例の場合13.5〔MHz〕)によつて学習
用映像データS22に変換してクラス分類用ブロツク化
回路54に与える。
【0026】クラス分類用ブロツク化回路54は学習用
映像データS22の画像データのうち、左目用及び右目
用サブサンプル回路13L及び13Rにおいて抽出され
るべき画素(この実施例の場合奇数番目の画素で、図2
において「○」印で示す画素)を取り込んで、左目用及
び右目用クラス分類適応処理回路23L及び23R(図
5)のクラス分類用ブロツク化回路31におけるブロツ
ク化動作と同様に、注目点を中心とする時空間領域内に
存在する画素によつて1つのブロツクを形成して当該ブ
ロツク化データS23をクラス分類回路55に与える。
【0027】クラス分類回路55は、クラス分類回路3
2(図5)と同様に、ブロツク内画素に対してADRC
圧縮処理を施すことにより、レベル分布パターンに基づ
くクラス分類を実行し、当該分類結果のクラスコード番
号を表すインデツクスデータINDEX1を学習回路5
6に出力する。また学習用映像データS22のうち、サ
ブサンプル処理により抽出される奇数番目の画素の画素
データが画素データ用ブロツク化回路57に取り込ま
れ、各画素のレベルを表す画素データx1 、x2 、……
n でなるブロツク化画素データS24を学習回路56
に供給する。
【0028】これに加えて学習用映像データS22のう
ちサブサンプル処理によつて間引かれるべき画素(この
実施例の場合偶数番目の画素で、図2において「×」印
で示す)に相当する画素データが、遅延回路58を介し
てブロツク化画素データS24と同期するタイミングで
間引き画素データS25として学習回路56に供給され
る。
【0029】学習回路56はインデツクスデータIND
EX1によつて表わされる各クラスごとに、間引き画素
データS25として供給される画素、すなわち間引かれ
るべき画素を教師として、ブロツク化画素データS24
として供給される画素データx1 、x2 、……xn に対
して乗算すべき係数w1 、w2 ……wn を図9に示す最
小自乗法演算回路56Aによつて求めることにより、画
素データx1 、x2 、……xn と、学習動作によつて求
めた係数w1 、w2 、……wn との積和によつて、教師
データとしての間引き画素データS25にできるだけ近
似した値を求めるようにする。
【0030】かくして立体視化装置1の映像信号符号化
装置2においてサブサンプル処理によつて間引かれるべ
き画素について、その周囲の時空間にある画素の画素デ
ータと、学習演算により求めた係数データw1 、w2
……wn との積和を映像信号再生装置4の積和演算回路
33(図5)において演算することにより、当該間引か
れることにより伝送されなかつた画素の画素データを予
測演算できるようにする。
【0031】最小自乗法演算回路56Aは、学習の方法
として多数の入力画素(すなわち1つのブロツク内にあ
る伝送画素)と1つの注目画素(すなわち間引かれた画
素)との関係を次の理論モデルに従つて最小自乗法を用
いて求める。まず伝送画素xmn(m=1、2、……m、
n=1、2、……n)と、間引き画素δym (m=1、
2、……m)との間に、係数wn (n=1、2、……
n)と共に、次式
【0032】
【数1】 ただし、
【数2】 のように線形1次結合の関係があると仮定する。
【0033】このような(1)式による観測方程式を、
未知数として係数wi (i=1、2、……n)について
解くために、
【数3】 のような残差方程式を考え、次式
【数4】 によつて表される残差em (m=1、2、……m)につ
いて、未知数としての係数wi (i=1、2、……n)
を見出すには、次式、
【数5】 を最小にする条件、すなわち
【数6】 になる係数wi (i=1、2、……n)を見出せば良
い。
【0034】そこで(3)式を未知数としての係数wi
(i=1、2、……n)によつて偏微分すれば、
【数7】 となるから、(7)式を(6)式に代入して(6)式の
条件をi=1、2、……nについて立てれば、
【数8】 の条件式が得られる。
【0035】そこで(3)式及び(8)式から次式
【数9】 の正規方程式が得られる。ここで(9)式は未知数がn
個だけある連立方程式であるから、この連立方程式から
最確値であるwi (i=1、2、……n)を求めること
ができ、正確には(9)式において未知数wi が乗算さ
れるマトリクス、すなわち、
【数10】 が正則であれば、未知数としての係数wi を解くことが
できる。
【0036】かかる理論モデルに基づいて学習回路56
の最小自乗法演算回路56A(図9)は、(9)式のう
ちxjnjn(j=1、2、……n、n=1、2、……n
の項及びxjnδyj (j=1、2、……n、n=1、
2、……n)の乗算を実行する乗算器アレイ61を有
し、その演算結果xjnjn(j=1、2、……n、n=
1、2、……n)及びxjnδyj(j=1、2、……n、
n=1、2、……n)の乗算結果を加算メモリ62に供
給することにより、加算メモリ62に(9)式によつて
表される連立方程式の各項が記録される。
【0037】かかる(9)式の加算メモリ62への記憶
は、クラス分類回路55から供給されるインデツクスデ
ータINDEX1が与えられたとき、これをデコード回
路63をデコードして得られるアドレス信号S30によ
つて指定された記憶領域62A、62B……62K(図
12)に、各クラス分類コードごとに格納される。この
実施例の場合、乗算器アレイ61は、図10に示すよう
に、(9)式の項xjnjn(j=1、2、……m、n=
1、2、……n)のうち、斜め右半部の項に対応するし
かしそれぞれ図11に示す構成の掛算器61Aだけが用
意され、かくして構成を簡略化するようになされてい
る。
【0038】因に(9)式の正規方程式は、右上の項を
反転すれば、左下の項と同じものになるため、乗算回路
61Aとしては右上の項に対応するものだけを用意すれ
ば良い。このようにしてインデツクスデータINDEX
1によつて分類されたクラスが指定されたとき、対応さ
れたメモリエリアから(9)式に基づく正規方程式が読
み出され、係数演算回路64において係数wi (i=
1、2、……n)を演算により求めて係数データw1
2 、……wn を係数演算回路64から送出し、これを
積和演算回路33のROMでなる係数組メモリM1、M
2、……MKに格納する。
【0039】この実施例の場合、係数演算回路64はGa
uss-Jordanの消去法(掃出し法)を用いて加算メモリ6
2から送出された連立方程式を解く。このようにして左
目用クラス及び右目用分類適応処理回路23L及び23
Rの積和演算回路33(図7)によつて演算された注目
点予測データS8は、多重化回路35において遅延回路
36から得られる伝送画素映像データS10と組み合わ
され、間引き前の元の映像信号である左目用映像データ
S9L及び右目用映像データS9Rとして表示装置24
(図1)に供給される。
【0040】この実施例の場合、表示装置24は例えば
バイザートロンのように、液晶デイスプレイを2台組み
合わせてヘツドマウントできるように構成されており、
かくして表示装置24を人が装着したとき、立体視映像
を楽しむことができる。
【0041】以上の構成において、左目用及び右目用テ
レビジヨンカメラ11L及び11Rによつて被写体を撮
像することにより得られる左目用及び右目用映像信号S
2L及びS2Rは互いに人の左目及び右目の視差をもつ
映像信号として得られ、それぞれ左目用及び右目用サブ
サンプル回路13L及び13Rによつて画素数が1/2
に間引かれた左目用及び右目用サンプルデータS4L及
びS4Rに変換された後、多重化回路14において多重
化処理されることにより、標準の画素数をもつ伝送映像
データS1として伝送路3を介して映像信号再生装置4
に伝送される。
【0042】かくして伝送路3を伝送される情報量は、
標準のテレビジヨン信号の情報量と同じ情報量を伝送す
るだけで左目用及び右目用映像情報を伝送できる。映像
信号再生装置4は、伝送されて来た伝送映像データS1
を分離回路22において分離して左目用及び右目用分離
サブサンプルデータS5L及びS5Rを得た後、それぞ
れ左目用及び右目用クラス分類適応処理回路23L及び
23Rにおいてクラス分類適応処理を施すことにより、
映像信号符号化装置2の左目用及び右目用サブサンプル
回路13L及び13Rにおいて間引かれたために伝送さ
れて来なかつた画素についての画素データを所定のブロ
ツク内の画素として伝送されて来た画素に基づいて予測
演算処理することにより、復元する。
【0043】かくして左目用及び右目用クラス分類適応
処理回路23L及び23Rは、画素情報として画素数に
欠落がなく、しかも元の映像と区別できないくらいに高
度に復元された映像を表す左目用及び右目用映像データ
S9L及びS9Rを表示装置24に供給できる。かくし
て空間解像度及び時間分解能を劣化させることがなく、
従つてフリツカもない美しい立体画像を表示装置24に
おいて鑑賞できると共に、伝送すべき情報量として1つ
の映像伝送量に相当する伝送量で左目用及び右目用映像
情報を伝送できるような立体視化装置を得ることができ
る。
【0044】(2)他の実施例 なお上述の実施例においては、左目用及び右目用サブサ
ンプル回路13L及び13Rにおけるサブサンプル時
に、図2に示すように水平方向に奇数番目の画素を抽出
し、かつ偶数番目の画素を間引くような処理を実行した
が、これに代え、偶数番目の画素を抽出し、かつ奇数番
目の画素を間引くようにしたり、図13に示すように、
2ラインごとに抽出すべき画素の奇遇番号を切り換えた
りする等、種々のパターンで画素の抽出をしても、上述
の場合と同様の効果を得ることができる。
【0045】また上述の実施例においては、映像信号符
号化装置2の多重化回路14において、図3に示すよう
に奇数番目の画素位置のタイミングで左目用画素データ
を伝送すると共に、偶数番目の画素位置のタイミングで
右目用画素データを伝送するように多重化することによ
り、図4に示すように、左目用被写体OJL及び右目用
被写体OJRが視差の分だけ互いにずれて重なり合うよ
うな映像を表すような伝送映像データS1を得るように
したが、これに代え、図14に示すように、画面の中央
位置にある縦方向の境界線L1の左側(又は右側)のタ
イミングで左目を画素データを多重化すると共に、残る
半部のタイミングで右目用画素データを多重化し、これ
により図15に示すように映像画面の左側映像領域DI
PL(又は右側映像領域DIPR)に被写体像OJL
(又はOJR)を表示すると共に、右側映像領域DIP
R(又は左側映像領域DIPL)に被写体像OJR(又
はOJL)を表示するような内容の伝送映像データS1
を伝送路3に伝送させるようにしても上述の場合と同様
の効果を得ることができる。
【0046】また上述の実施例においては、アナログデ
イジタル変換回路12L及び12Rの変換動作を13.5
〔MHz〕のクロツクで実行するようにしたが、クロツク
信号の周波数はこれに限らず、例えば14.3〔MHz〕など
に必要に応じて変更できる。また上述の実施例において
は、左目用及び右目用サブサンプル回路13L及び13
Rにおいて、データ量を1/2に削減するようなサブサ
ンプル処理をしただけで、これを伝送映像データS1と
して伝送路3に送出するようにした場合について述べた
が、これに加えて圧縮符号化処理(例えばADRC、D
CT等の処理)を施すことにより、さらに情報量を削減
するようにしても良い。
【0047】また左目用及び右目用サブサンプル回路1
3L及び13Rにおいてサブサンプル処理するタイミン
グを、奇数画素位置又は偶数画素位置に揃えるようにし
たが、一方のサブサンプル処理を奇数画素位置のタイミ
ングで実行するのに対して、他方のサブサンプルのタイ
ミングを偶数画素位置で実行するようにしても良い。
【0048】また上述の実施例においては、左目用及び
右目用クラス分類適応処理回路23L及び23Rのクラ
ス分類適応処理を、ハードウエアの構成によつて実現す
るようにしたが、これに代え、電子計算機によるソフト
ウエアの演算によつて実行するようにしても良い。
【0049】また上述の実施例においては、映像信号符
号化装置2において得た伝送映像データS1を伝送路3
を介して映像信号再生装置4に伝送するようにした場合
について述べたが、これに代え、映像信号符号化装置2
から送出された伝送映像データS1を一旦記録装置に記
録した後、当該記録装置から再生して映像信号再生装置
4に供給するようにしても上述の場合と同様の効果を得
ることができる。
【0050】また図6(A)〜(D)の実施例において
は、ダイヤモンド形の微小領域についてクラス分類用ブ
ロツク化をするようにしたが、クラス分類ブロツク化と
してはこれに限らず、図16(A)〜(D)示すよう
に、方形の微小領域についてクラス分類用ブロツク化を
するようにしても良い。
【0051】
【発明の効果】上述のように本発明によれば、左目用及
び右目用映像信号をサブサンプル処理することにより、
画素数を1/2に低減した左目用及び右目用サブサンプ
ル映像信号を伝送又は記録するようにしたことにより、
伝送又は記録すべき映像信号の情報量を1つの映像分に
低減することができるような立体視化装置を実現でき
る。
【図面の簡単な説明】
【図1】本発明による立体視化方法及び装置の一実施例
を示すブロツク図である。
【図2】サブサンプル処理により間引かれる画素の説明
に供する略線図である。
【図3】多重化された伝送映像データを示す略線図であ
る。
【図4】図3の伝送映像データによつて表される映像の
内容を示す略線図である。
【図5】図1の左目用及び右目用クラス分類適応処理回
路23L及び23Rの詳細構成を示すブロツク図であ
る。
【図6】クラス分類用ブロツクを示す略線図である。
【図7】図5の積和演算回路33の詳細構成を示すブロ
ツク図である。
【図8】係数学習回路を示すブロツク図である。
【図9】図8の学習回路56に用いられる最小自乗法演
算回路を示すブロツク図である。
【図10】図9の乗算器アレイ61の詳細構成を示す略
線図である。
【図11】図10の乗算器61Aの詳細構成を示す接続
図である。
【図12】図9の加算メモリ62の説明に供するブロツ
ク図である。
【図13】サブサンプル処理の他の実施例を示す略線図
である。
【図14】多重化処理の他の実施例を示す略線図であ
る。
【図15】図13によつて多重化された伝送映像データ
が表す映像の説明に供する略線図である。
【図16】クラス分類ブロツク化の他の実施例を示す略
線図である。
【符号の説明】
1……立体視化装置、2……映像信号符号化装置、3…
…伝送路、4……映像信号再生装置、11L、11R…
…左目用、右目用テレビジヨンカメラ、13L、13R
……左目用、右目用サブサンプル回路、14……多重化
回路、22……分離回路、23L、23R……左目用、
右目用クラス分類適応処理回路、24……表示装置、3
1……クラス分類用ブロツク化回路、32……クラス分
類回路、33……積和演算回路、34……画素データブ
ロツク化回路、36……遅延回路、41……インデツク
スデコード回路、42A1〜42AN……係数レジス
タ、43A1〜43AN……乗算回路、44……加算回
路、51……係数学習回路、52……学習用テレビジヨ
ンカメラ、54……クラス分類用ブロツク化回路、55
……クラス分類回路、57……画素データ用ブロツク化
回路、56……学習回路、56A……最小自乗法演算回
路、61……乗算器アレイ、62……加算メモリ、63
……デコード回路、64……係数演算回路。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成8年6月5日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正内容】
【0012】この実施例の場合多重化回路14は、図3
に示すように、左目用映像データS3Lの画素のうち奇
数番目の画素でなる左目用サンプルデータS4Lの画素
ELLを伝送映像データS1の奇数番目の画素として時
分割多重化すると共に、右目用映像データS3Rの奇数
番目の画素でなる右目用サブサンプルデータS4Rを伝
送映像データS1の偶数番目の画素ELRとして時分割
多重化するような処理を実行し、かくして伝送映像デー
タS1として図4に示すように、左目用テレビジヨンカ
メラ11Lによつて撮像した被写体像OJL(サンプル
数が1/2に間引かれている)と、右目用テレビジヨン
カメラ11Rによつて撮像した被写体像OJR(画素数
が1/2に間引かれている)を重ね合せたと同様の画像
内容をもつ1フイールド分の映像データとして伝送路3
に送出されることになる。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正内容】
【0013】映像信号再生装置4は、伝送路3を介して
伝送されて来る伝送映像データS1を入力端子21に受
けて分離回路22において、奇数番目の画素ELLと偶
数番目の画素ELRとに分離して左目用分離サブサンプ
ルデータS5L及び右目用分離サブサンプルデータS5
Rとして左目用クラス分類適応処理回路23L及び右目
用クラス分類適応処理回路23Rに供給する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正内容】
【0014】左目用及び右目用クラス分類適応処理回路
23L及び23Rは、左目用及び右目用サブサンプル回
路13L及び13Rにおけるサブサンプル処理によつて
間引かれた画素を、伝送されて来た左目用及び右目用分
離サブサンプルデータS5L及びS5Rから復元するも
ので、それぞれ図5に示す構成によつて、予測演算処理
を実行することにより、間引かれて映像信号再生装置4
には伝送されて来なかつた画素の映像データを補間演算
により求める。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正内容】
【0018】クラス分類用ブロツク化回路31はこのよ
うなブロツク化処理を、第2フレーム上において間引か
れた注目点F2X及びF2Yについて、以下同様にして
画面全体について実行する。その後クラス分類用ブロツ
ク化回路31は、図6(C)に示すように、第3フレー
ム上の間引かれた画素を注目点F3Xとして第2フレー
ムの2つの画素F21及びF22と、第3フレームの2
つの画素F31及びF32と、第4フレームの2つの画
素F41及びF42とを集めて同様のブロツク化処理を
実行し、また図6(D)に示すように、第3フレーム上
の間引かれた画素を注目点F3Yとして第2フレームの
1つの画素F20と、第3フレームの4つの画素F3
1、F32、F33及びF34と、第4フレームの1つ
の画素F40とを集めて同様のブロツク化処理を実行す
る。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】変更
【補正内容】
【0019】クラス分類回路32は、このようにしてク
ラス分類用ブロツク化回路31から与えられた画素ブロ
ツクデータS6に基づいて、当該画素ブロツクデータS
6のレベル分布パターンに基づいてクラス分類を実行
し、当該分類結果をクラス識別番号であるインデツクス
データINDEXとして積和演算回路33に供給する。
この実施例の場合、クラス分類回路32において用いら
れるADRC圧縮処理は、電子通信学会誌、1986年
12月1日、第23頁〜第30頁に提案されている手法
を適用し得、図6について上述したように、注目点の周
囲の画素を含む微小な時空間にブロツクの領域を限定す
れば、各画素データは相互に強い相関をもっていること
を利用して、各ブロツクの最小値及び最大値によつて表
されるダイナミツクレンジ内の各画素データの値と最小
値との偏差を求め、当該偏差について圧縮処理をするこ
とにより各画素の画素データのレベルによつて表される
レベル分布パターンが単純な傾向をもつことを明確にす
る。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0024
【補正方法】変更
【補正内容】
【0024】これに加えて左目用及び右目用分離サブサ
ンプルデータS5L及びS5Rとして伝送されて来た画
素データは、遅延回路36を介して多重化回路35に与
えられ、この多重化回路35において注目点予測データ
S8と組み合されて立体視化左目用映像データS9L及
び立体視化右目用映像データS9Rとして左目用クラス
分類適応処理回路23L及び右目用クラス分類適応処理
回路23Rから送出される。ここで係数組メモリM1、
M2……MKの各組の係数データw、w……w
は、図8に示すような係数学習回路51を用いて、伝
送映像データS1の伝送処理に先立つて求められる。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0036
【補正方法】変更
【補正内容】
【0036】かかる理論モデルに基づいて学習回路56
の最小自乗法演算回路56A(図9)は、(9)式のう
ちxjnjn(j=1、2、……m、n=1、2、…
…n)の項及びxjnδy(j=1、2、……m、n
=1、2、……n)の乗算を実行する乗算器アレイ61
を有し、その演算結果xjnjn(j=1、2、……
m、n=1、2、……n)及びxjnδyj(j=1、
2、……m、n=1、2、……n)の乗算結果を加算メ
モリ62に供給することにより、加算メモリ62に
(9)式によつて表される連立方程式の各項が記録され
る。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正内容】
【0037】かかる(9)式の加算メモリ62への記憶
は、クラス分類回路55から供給されるインデツクスデ
ータINDEX1が与えられたとき、これをデコード回
路63をデコードして得られるアドレス信号S30によ
つて指定された記憶領域62A、62B……62K(図
12)に、各クラス分類コードごとに格納される。この
実施例の場合、乗算器アレイ61は、図10に示すよう
に、(9)式の項xjnjn(j=1、2、……m、
n=1、2、……n)のうち、斜め右半部の項に対応す
るし、かつそれぞれ図11に示す構成の掛算器61Aだ
けが用意され、かくして構成を簡略化するようになされ
ている。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0039
【補正方法】変更
【補正内容】
【0039】この実施例の場合、係数演算回路64はG
auss−Jordanの消去法(掃出し法)を用いて
加算メモリ62から送出された連立方程式を解く。この
ようにして左目用及び右目用クラス分類適応処理回路2
3L及び23Rの積和演算回路33(図7)によつて演
算された注目点予測データS8は、多重化回路35にお
いて遅延回路36から得られる伝送画素映像データS1
0と組み合わされ、間引き前の元の映像信号である左目
用映像データS9L及び右目用映像データS9Rとして
表示装置24(図1)に供給される。
【手続補正10】
【補正対象書類名】図面
【補正対象項目名】図5
【補正方法】変更
【補正内容】
【図5】

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】左目用及び右目用テレビジヨンカメラを左
    目及び右目の位置に設定し、被写体を撮像することによ
    り上記左目用及び右目用テレビジヨンカメラから得られ
    る左目用及び右目用映像信号をサブサンプル処理するこ
    とにより画素数が1/2に低減された左目用及び右目用
    サブサンプル映像信号を形成し、上記左目用及び右目用
    サブサンプル映像信号を多重化し、当該多重化された映
    像信号を伝送路又は記録装置に送出し、上記伝送路又は
    上記記録装置から得た上記多重化された映像信号から上
    記左目用及び右目用サブサンプル映像信号を分離して左
    目用及び右目用立体視化映像信号として表示装置に供給
    することにより立体画像を表示することを特徴とする立
    体視化方法。
  2. 【請求項2】上記多重化された映像信号から分離された
    分離左目用及び右目用サブサンプル映像信号に基づいて
    クラス分類適応処理することにより上記サブサンプル処
    理によつて間引かれた画素の画素情報を復元して上記分
    離左目用及び右目用サブサンプル映像信号に補間して上
    記立体視化映像信号を得ることを特徴とする請求項1に
    記載の立体視化方法。
  3. 【請求項3】それぞれ左目位置及び右目位置に設定した
    左目用及び右目用テレビジヨンカメラと、 上記左目用及び右目用テレビジヨンカメラから得られる
    左目用及び右目用映像信号をサブサンプル処理して画素
    を間引くことにより画素数が1/2に低減された左目用
    及び右目用サブサンプル映像信号を出力するサブサンプ
    ル手段と、 上記左目用及び右目用サブサンプル映像信号を時分割多
    重することにより多重化映像信号を形成する多重化手段
    と、 上記多重化映像信号を伝送し又は記録する映像信号処理
    手段と、 上記映像信号処理手段から伝送され又は読み出された上
    記多重化映像信号から上記左目用及び右目用サブサンプ
    ル映像信号を分離して左目用及び右目用立体視化映像信
    号を形成する立体視化映像信号形成手段と、 上記左目用及び右目用立体視化映像信号に基づいて立体
    視化映像を映出する表示装置とを具えることを特徴とす
    る立体視化装置。
  4. 【請求項4】上記立体視化映像信号形成手段は上記多重
    化映像信号から上記左目用及び右目用サブサンプル映像
    信号を分離する分離手段と、 当該分離された分離左目用及び右目用サブサンプル映像
    信号をクラス分類適応処理することにより上記サブサン
    プル手段によつて間引かれた画素を復元して上記分離左
    目用及び右目用サブサンプル映像信号に補間して上記左
    目用及び右目用立体視化映像信号を形成する補間手段と
    を具えることを特徴とする請求項3に記載の立体視化装
    置。
  5. 【請求項5】上記表示装置は、上記左目用及び右目用映
    像信号をそれぞれ表示するヘツドマウントタイプの液晶
    デイスプレイでなる請求項4に記載の立体視化装置。
JP8103432A 1996-03-31 1996-03-31 立体視化方法及び装置 Pending JPH09271042A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8103432A JPH09271042A (ja) 1996-03-31 1996-03-31 立体視化方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8103432A JPH09271042A (ja) 1996-03-31 1996-03-31 立体視化方法及び装置

Publications (1)

Publication Number Publication Date
JPH09271042A true JPH09271042A (ja) 1997-10-14

Family

ID=14353885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8103432A Pending JPH09271042A (ja) 1996-03-31 1996-03-31 立体視化方法及び装置

Country Status (1)

Country Link
JP (1) JPH09271042A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339699A (ja) * 2000-05-26 2001-12-07 Sony Corp 情報処理装置
JP2004289681A (ja) * 2003-03-24 2004-10-14 Sharp Corp 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006527566A (ja) * 2003-06-13 2006-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的信号変換
JP2007312407A (ja) * 2007-06-21 2007-11-29 Sharp Corp 立体画像表示装置およびその方法
JP2010049607A (ja) * 2008-08-25 2010-03-04 Mitsubishi Electric Corp コンテンツ再生装置および方法
JP2010171522A (ja) * 2009-01-20 2010-08-05 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法
WO2011001864A1 (ja) * 2009-07-01 2011-01-06 ソニー株式会社 画像処理装置、及び、画像処理方法
JP2013519286A (ja) * 2010-02-09 2013-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3dビデオ・フォーマット検出
JP2013132073A (ja) * 2013-02-15 2013-07-04 Toshiba Corp 符号化装置・方法
JP2013153475A (ja) * 2002-04-09 2013-08-08 Sensio Technologies Inc 立体画像シーケンス符号化方法および復号化方法
JP2013168982A (ja) * 2013-04-08 2013-08-29 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法
JP2014098827A (ja) * 2012-11-15 2014-05-29 Shimadzu Corp 頭部装着型表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6472690A (en) * 1987-09-02 1989-03-17 Ibm Method and system for transmission and receiving of three-dimensional video image
JPH0795563A (ja) * 1993-06-18 1995-04-07 Sony Corp ディジタル画像信号の高能率符号化装置
JPH07154827A (ja) * 1993-11-29 1995-06-16 Canon Inc 複数画像合成装置及び画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6472690A (en) * 1987-09-02 1989-03-17 Ibm Method and system for transmission and receiving of three-dimensional video image
JPH0795563A (ja) * 1993-06-18 1995-04-07 Sony Corp ディジタル画像信号の高能率符号化装置
JPH07154827A (ja) * 1993-11-29 1995-06-16 Canon Inc 複数画像合成装置及び画像表示装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339699A (ja) * 2000-05-26 2001-12-07 Sony Corp 情報処理装置
JP2013153475A (ja) * 2002-04-09 2013-08-08 Sensio Technologies Inc 立体画像シーケンス符号化方法および復号化方法
US8743177B2 (en) 2002-04-09 2014-06-03 Sensio Technologies Inc. Process and system for encoding and playback of stereoscopic video sequences
US8804842B2 (en) 2002-04-09 2014-08-12 Sensio Technologies Inc. Process and system for encoding and playback of stereoscopic video sequences
US11012680B2 (en) 2002-04-09 2021-05-18 3Dn, Llc Process and system for encoding and playback of stereoscopic video sequences
US9479755B2 (en) 2002-04-09 2016-10-25 3Dn, Llc Process and system for encoding and playback of stereoscopic video sequences
US10341643B2 (en) 2002-04-09 2019-07-02 3Dn, Llc Process and system for encoding and playback of stereoscopic video sequences
CN108184107A (zh) * 2002-04-09 2018-06-19 3Dn有限责任公司 立体视频序列编码系统和方法
JP2004289681A (ja) * 2003-03-24 2004-10-14 Sharp Corp 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7453489B2 (en) 2003-03-24 2008-11-18 Sharp Kabushiki Kaisha Image processing apparatus, image pickup system, image display system, image pickup display system, image processing program, and computer-readable recording medium in which image processing program is recorded
JP2006527566A (ja) * 2003-06-13 2006-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的信号変換
JP2007312407A (ja) * 2007-06-21 2007-11-29 Sharp Corp 立体画像表示装置およびその方法
JP4657258B2 (ja) * 2007-06-21 2011-03-23 シャープ株式会社 立体画像表示装置およびその方法
JP2010049607A (ja) * 2008-08-25 2010-03-04 Mitsubishi Electric Corp コンテンツ再生装置および方法
JP2010171522A (ja) * 2009-01-20 2010-08-05 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法
US8787691B2 (en) 2009-07-01 2014-07-22 Sony Corporation Image processing device and image processing method of images with pixels arrayed in a checkerboard fashion
WO2011001864A1 (ja) * 2009-07-01 2011-01-06 ソニー株式会社 画像処理装置、及び、画像処理方法
US9729852B2 (en) 2010-02-09 2017-08-08 Koninklijke Philips N.V. 3D video format detection
JP2013519286A (ja) * 2010-02-09 2013-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3dビデオ・フォーマット検出
JP2014098827A (ja) * 2012-11-15 2014-05-29 Shimadzu Corp 頭部装着型表示装置
JP2013132073A (ja) * 2013-02-15 2013-07-04 Toshiba Corp 符号化装置・方法
JP2013168982A (ja) * 2013-04-08 2013-08-29 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法

Similar Documents

Publication Publication Date Title
JP3781210B2 (ja) 立体視化装置及び立体視化方法
EP0306448B1 (en) Method and apparatus for transmitting and receiving 3-dimensional video images
KR100657275B1 (ko) 입체 영상 신호 발생 방법 및 이에 적합한 스케일링 방법
WO1986006914A1 (en) System for transferring three-dimensional tv images
US4658291A (en) Stereoscopic television signal processing method, signal transmitting unit, and signal receiving unit
EP0187406B1 (en) High resolution television transmission system
JPH09271042A (ja) 立体視化方法及び装置
US4733299A (en) Method and apparatus for generating progressively scanned television information
US7668241B2 (en) Apparatus and method for generating 3D image signal using space-division method
JP3454675B2 (ja) 立体映像伝送方法及び装置
JPH03117093A (ja) 立体テレビジョン画像信号の処理・伝送方法
US6008839A (en) Process and apparatus for displaying three-dimensional video images
JPH10257525A (ja) ディジタル放送受信機
JPS61206395A (ja) 立体テレビジョン画像信号の伝送方法
JPH0965374A (ja) 3次元映像記録装置および3次元映像再生装置
JPH0513437B2 (ja)
JPH01202093A (ja) 立体テレビジョン伝送方式
JP2000244946A (ja) 立体映像信号変換装置
JPH01258581A (ja) テレビジョン信号の伝送方法及び再生方法
JP3580450B2 (ja) 立体視化装置及び立体視化方法
JP2663000B2 (ja) 奥行信号分離式立体テレビジョン装置
JP3096562B2 (ja) 立体画像再生装置
JP2614845B2 (ja) 立体用撮像装置
JPH05292544A (ja) 時分割立体テレビジョン装置
JP2602236B2 (ja) 立体テレビジョン信号の処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050610