JP3691444B2 - 立体画像撮像装置 - Google Patents
立体画像撮像装置 Download PDFInfo
- Publication number
- JP3691444B2 JP3691444B2 JP2002065406A JP2002065406A JP3691444B2 JP 3691444 B2 JP3691444 B2 JP 3691444B2 JP 2002065406 A JP2002065406 A JP 2002065406A JP 2002065406 A JP2002065406 A JP 2002065406A JP 3691444 B2 JP3691444 B2 JP 3691444B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic
- unit
- image data
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、立体画像撮像装置に関し、特に、立体画像又は２次元画像の撮影及び表示が可能な立体画像撮像装置に関する。
【０００２】
【従来の技術】
近年、電子表示装置の分野において、技術の発達が著しく、表示画面の大画面化、高精細化が進んでいる。表示画面の大画面化、高精細化によって、表示画面上、人間の視野に占める画像の割合が増加し、人間の目の分解能では判別できないほど高密度に画素を配置することができる。これにより、画像は実物に近い、自然なものとなり、高い臨場感を生むことになる。しかしながら、このような画像は平面的であるのに対し、実際の物は立体的であるため、より臨場感を高めた自然な画像とするには、平面的な画像では限界がある。
【０００３】
ところで、人間は、左右２つの目の働きにより、物を立体的に見ることができる。より自然な画像表示を考えたとき、大画面化、高精細化に加え、今後立体映像化が進むと考えられ、実際その研究が盛んに行われている。
【０００４】
一方、デジタル技術の発展は、画像データの取り扱いを容易にしている。実際、デジタル技術を用いた撮像装置で撮像された画像データは、従来のフィルムを用いた撮像装置とは異なり、パーソナルコンピュータやネットワーク上での取り扱いが容易である。
【０００５】
このような状況下において、撮像された被写体の画像データを立体映像として視認できるように、複数の画像データを合成する立体画像撮像装置に関する技術の開発が進んでいる。
【０００６】
従来、立体画像撮像装置に関する技術として、撮像中、常に、立体映像が表示でき、撮像しながら映像の立体感を調整し、さらに、２次元映像と互換性を持つ複眼カメラ及び画像処理方法が提案されている（特開平１０−９０８１４号公報）。
【０００７】
この公報に提案されたものは、複数の撮像手段によって撮像された被写体の複数の映像信号を立体映像信号として視認できるように合成する。合成された立体映像信号を立体映像表示装置で表示するものである。そして、撮像中、常に、撮像している被写体の映像信号を立体映像として表示することから、撮像者は、撮像しながら映像の立体感を調整することができる。
【０００８】
【発明が解決しようとする課題】
上記した複眼カメラ及び画像処理方法においては、被写体の複数の映像信号を右眼用映像信号と左眼用側映像信号とを縦１ライン毎に交互に配置するように合成し、１つの立体映像信号として立体映像表示装置に与えるものである。
【０００９】
したがって、表示される立体映像信号は左眼用映像信号と右眼用映像信号とが混合されたものである。このため、この立体映像信号生成後においては、表示される映像が、左眼用映像信号と右眼用映像信号とのうち、いずれの映像信号に基づいているものかその判別が困難であった。この結果、映像信号の視差や光学系を調整する必要があっても、調整量を視認することは困難であった。
【００１０】
そこで、この発明においては、画像の立体感の調整を、撮影者が容易に行うことのできる立体画像撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
この発明は、被写体を撮像する２つの撮像手段と、前記２つの撮像手段の少なくとも１つの撮像手段で撮像された画像データを立体視に対応して調整する画像調整手段と、前記調整された画像データを含み複数の画像データを立体画像データとして合成する合成手段と、前記合成手段により合成された立体画像データを表示する表示手段と、前記合成手段により合成された立体画像データを格納する記憶手段と、を備え、前記記憶手段に格納された立体画像データを前記表示手段とは異なる外部表示装置に表示する場合に、前記外部表示装置の大きさに応じた画像の飛び出し量または奥行き量を決定する指標画像を前記表示手段に表示することを特徴とする。更に、前記指標画像は、前記外部表示装置の限界飛び出し量あるいは限界奥行き量を認識できる指標でにすれば良い。
【００１２】
上記した構成によれば、画像を見ながら、画像を調整し、立体画像のデータを作成することができる。調整は、画像毎に行われるため、画像の縮小や回転などにより、画像の調整を容易に行うことができる。また、画像の調整は、データを操作することにより、行われるため、撮像に用いる機材の位置や方向の変更を必要とせず、精密な調整が可能となる。更に、撮像者は、前記合成手段により合成された画像を外部の表示装置に表示させるとき、その飛び出し量や奥行き量をこの表示手段が表示する指標画像を見ることによって予め知ることができる。
【００１３】
前記調整手段により行われる画像の調整が画像データの回転、画像サイズの変更、画像ずらし量の変更であることを特徴とする。
【００１４】
また、１つの撮像手段を本体部と着脱可能に設けられ、この撮像手段が離脱したとき他の撮像手段を用いた撮像装置として使用可能に構成することができる。
【００１５】
上記した構成によれば、必要に応じて撮像手段が着脱可能であり、撮像手段の離脱後においても、撮像装置として使用可能である画像撮像装置を構成することができる。
【００１６】
前記表示手段により表示される画像を選択する選択手段を備え、前記どちらか一方の撮像手段により撮像された被写体の画像を選択して表示するように構成できる。
【００１７】
上記した構成によれば、撮像者が選択した画像を合成することができる。
【００１８】
また、この発明は、前記記憶手段に格納された立体画像データを外部表示装置に表示する場合の画像の飛び出し量を決定する指標画像を前記表示手段に表示することを特徴とする。
【００２０】
【発明の実施の形態】
以下、この発明の実施形態を図に基づいて説明する。図１は、この発明の立体画像撮像装置の一例を正面から見たときの正面図、図２は、この立体画像撮像装置Ｈを背面から見たときの背面図である。
【００２１】
図１及び図２に示すように、この発明の立体画像撮像装置は、カメラ本体３０と、カメラ本体３０に取り付けられ左眼用画像を撮影する左眼用撮像部１と右眼用画像を撮影する右眼画像撮像部２と、液晶表示パネルで構成された表示部９と、を備える。左眼用撮像部１と右眼画像撮像部２は、図示はしないが、レンズ、ＣＣＤ等の撮像素子を内蔵し、それぞれ被写体を左眼用の画像、右眼用の画像を撮像する。これら左眼用撮像部１と右眼画像撮像部２は立体感を出すために、基線長を長くとるように、本体３０に配置され取り付けられている。
【００２２】
撮影時には、図２に示すように、左眼用撮像部１と右眼画像撮像部２で撮像された映像が表示部９で表示され、観察できるようになっている。この表示部９は例えば、特殊な眼鏡を必要とせずに立体映像が表示可能なように、レンチキュラー方式やパララックスバリア方式による立体映像表示装置で構成されている。勿論この表示部９には、立体映像だけではなく２次元映像も表示することができる。
【００２３】
表示部９への表示対応は、後述するように色々な方法が選択でき、本体３０に設けられたスイッチボタン３０ｃを用いてその表示を変更させる。図２においては、表示部９に左眼画像９０Ａと右眼画像９０Ｂとが並列した状態で表示されている。
【００２４】
また、この図１及び図２に示す実施形態では、右眼用画像撮像部２を内蔵した右眼用カメラヘッド部２０が後述するように、カメラ本体３０から着脱自在に設けられている。
【００２５】
撮影時には、左眼用撮像部１と右眼画像撮像部２で撮像された映像を表示部９で表示され、撮像者は、左眼画像９０Ａと右眼画像９０Ｂとを目視して、確認しながら調整する。この調整の際、撮像者はスイッチボタン３０Ｃを操作し、表示部９に表示される画像を調整させる。ここで、調整とは、画像の回転のほかに、画像の縦方向または横方向のサイズ調整、画像の回転、縦方向または横方向への画像の移動等の処理を行うことにより、光学系の補正や視差量の調整をすることをいう。
【００２６】
図３は、この立体画像撮像装置の主要な構成部分を示すブロック図である。この立体画像撮像装置においては、レンズ、ＣＣＤ等の撮像素子を内蔵した左眼画像撮像部１と右眼画像撮像部２で被写体を撮像する。左眼画像撮像部１で撮像された画像データは画像処理部３Ａへ、右眼画像撮像部２で撮像された画像データは画像処理部３Ｂへ送られる。画像処理部３Ａ、３Ｂは、ＣＤＳクランプ回路やゲイン調整回路等のアナログ処理回路の他、Ａ／Ｄ変換器、輝度補正回路等のデジタル処理回路を含む。また、画像処理部３Ａ、３Ｂは、左眼画像撮像部１、右眼画像撮像部２から受け取った画像データを適宜処理して被写体の画像データを作成する。
【００２７】
画像処理部３Ａは、左眼画像撮像部１から受け取ったアナログ画像データをＡ／Ｄ変換器でデジタル画像データに変換し、輝度補正等の処理を施した後、画像メモリ４へ画像データを与える。画像メモリ４は、ＦＩＦＯなどのＲＡＭで構成され、画像データを一時格納する。
【００２８】
同様に、画像処理部３Ｂは、右眼画像撮像部２から受け取ったアナログ画像データをＡ／Ｄ変換器でデジタル画像データに変換し、輝度補正等の処理を施した後、画像メモリ５へ画像データを与える。画像メモリ５は、ＦＩＦＯなどのＲＡＭで構成され、画像データを一時格納する。
【００２９】
画像調整部６は、画像メモリ４又は画像メモリ５に格納された画像データを受け取り、必要に応じ画像データを調整する。撮像後の状態を表示部９で予め確認し、光学系の不具合や不適切な視差量が認められた場合などには、この画像調整部６により、縦或いは横のサイズ変更、回転、縦或いは横への画像の移動などの処理を行うものである。この処理を可能とするためには、左眼画像撮像部１、右眼画像撮像部２のＣＣＤの画素数を予め記録画像や表示画像の画素数より大きくしている。調整方法としては、例えば、画像マッチングなどにより、画像を調整する調整方法がある。この調整方法は、２個以上の視差のついた画像について、撮影時もしくは画像作成時に生じた画像間のずれを各画像のほぼ同じ画像位置を抽出し、各位置間の視差が所定の量になるように、各画像を画像変換して調整する。
【００３０】
画像調整された左眼用の画像データが画像調整部６から画像メモリ７Ａに与えられ、画像メモリ７Ａに格納される。また、画像調整された右眼用の画像データが画像調整部６から画像メモリ７Ｂに与えられ、画像メモリ７Ｂに格納される。
【００３１】
画像合成部８は、画像メモリ７Ａと画像メモリ７Ｂに格納された画像データから左眼用画像データと右眼用画像データとを合成し、立体映像信号を作成する。この画像合成部８は、合成された立体映像信号をこの立体撮像装置で使用する記録媒体１０への書き込みを行う記録制御部と、表示部９に表示する映像信号を作成し供給する表示制御部とを備える。
【００３２】
記録媒体１０は、磁気ディスク、フラッシュメモリなどの半導体メモリで構成され、この記録媒体１０を用い、画像合成部８の記録制御部は、記録媒体１０の空き領域に立体映像信号を所定のフォーマットで圧縮してファイルとして保存する。この記録媒体１０は、本体部に対して着脱自在に構成されている。そして、立体映像信号が格納された記録媒体１０を本体部から取り外し、他の立体映像表示装置に記録媒体１０を取り付け、記録媒体１０から立体映像信号を与えて表示を行うように構成できる。また、パーソナルコンピュータ等に記録媒体１０から立体映像信号を取り込み、パーソナルコンピュータ等を介して、立体映像信号に基づいた映像をプリントアウトしたり、ネットワーク上にデータを送出するように構成することもできる。
【００３３】
表示部９は、左眼画像撮像部１、右眼画像撮像部２で撮像した画像データを画像合成部８で後述するように、色々な態様で合成された映像信号が表示制御部を介して与えられ、画像を表示する。撮影者は、表示される画像の立体感を裸眼で確認した後、この画像のデータを記録媒体１０に格納することができる。
【００３４】
また、表示部９は、記録媒体１０に格納されたファイルも表示する。記録媒体１０に格納されたファイルを使用者がスイッチボタン３０Ｃを用いて指定すると、画像合成部８に記録媒体１０から指定されたファイルの画像データが与えられる。そして、表示制御部から表示部９に映像信号が与えられ、画像を表示する。
【００３５】
尚、上記した記録画像の合成処理と表示画像の合成処理は同一とは限らず、それぞれ別々に制御される。画像の調整処理に関しては同一の処理が施される。
【００３６】
制御部１１は、ＣＰＵで構成され、図示しないＲＯＭに格納されたプログラムに基づいて各部を制御する。この制御部１１に対する制御命令の入力は、主として、画像の調整を指示する制御命令を入力する画像調整入力部１２と、画像の格納方法を指示する制御命令を入力する格納方法選択部１３と、画像の表示方法を指示する制御命令を入力する表示方法選択部１４と、で行われる。これらの入力は、例えば、スイッチボタン３０Ｃを用いて、所定の操作をさせると、表示部９に画像調整入力部１２としてのコマンドを表示し、そのコマンド部分を指定することで行うように構成することができる。
【００３７】
これらの各部から制御命令が入力されるとき、例えば、撮像者が、画像調整入力部１２から表示部９に表示された画像の調整を指示する制御命令を入力すると、画像調整部６において、画像メモリ４または画像メモリ５から読み出された画像は調整され、調整後の画像のデータが画像メモリ７Ａ又は画像メモリ７Ｂに送られる。また、撮像者が、表示方法選択部１４から表示部９に表示される画像の表示方法を指示する制御命令を入力すると、指示された表示方法に従い画像が表示部９に表示される。また、撮像者が、格納方法選択部１３から記録媒体１０に格納する画像データの格納方法を指示する制御命令を入力すると、指示された格納方法により画像データが記録媒体１０に格納される。
【００３８】
次に、画像の調整方法の一例につき図を用いて説明する。図４は、表示部９に表示される画像の一例を示す図である。
【００３９】
左眼画像撮像部１により撮像された左眼画像９１Ａと右眼画像撮像部２により撮像された右眼画像９１Ｂとは被写体を撮像する角度が異なる。このため、合成された画像を立体視に適した画像とするには、右眼画像４Ｂを回転させ、水平線を左眼画像４Ａの水平線と一致させる必要がある。
【００４０】
そこで、撮像者は、スイッチボタン３０Ｃを操作し、右眼画像９１Ｂを回転させる。まず、左眼画像９１Ａと右眼画像９１Ｂとを重ね合わせて合成し、合成された画像９１Ｃを表示部９に表示させる。この画像９１Ｃの領域は、左眼画像９１Ａと右眼画像９１Ｂの領域より小さくしている。この表示部９に表示される画像９１Ｃを目視しながらスイッチボタン３０Ｃを操作し、右眼画像９１Ｂを回転させて、例えば、左眼画像９１Ａの屋根の線と右眼画像９１Ｂの屋根の線とを一致させる。これにより、合成された画像９１Ｃは、立体視に適した画像となる。この右眼画像９１Ｂの回転は画像調整部６で行われる。そして、合成された画像９１Ｃのデータは、記録媒体１０に格納される。
【００４１】
図５に２枚の画像を重ねた画像９１Ｃを表示部９に表示させた状態を示す。図５に示すように、２枚の画像を重ねた画像９１Ｃを表示部９に表示させれば、２つの画像の位置関係や視差量を確認できる。ここで、表示部９が、例えば、レンチキュラー方式やパララックスバリア方式を用いた立体画像表示装置のように裸眼で画像を立体視することのできる立体画像表示装置である場合には、裸眼で2つの画像を適切に調整することができる。例えば、撮像者が、パララックスバリア方式を用いた立体画像表示装置からなる表示部９で画像９１Ｃを裸眼で立体視し、その立体感を確認したのち、画像９１Ｃの画像データを記録媒体１０に格納することができる。
【００４２】
図５に示すように、２つの画像を重ねた状態で表示部９に表示した場合には、図４に示すように、右眼画像が斜めになっているのか、左眼画像が斜めになっているのか判別しにくい場合がある。そこで、図２及び図６に示すように、表示方法選択部１４で表示部９に左眼画像９０Ａ、右眼画像９０Ｂを並べた状態でまず表示させるように選択する。その後、どちらか一方の画像、或いは、両方の画像を調整するかを撮影者が決めるようにすれば、調整を容易に行える。
【００４３】
一般に立体画像の記録には様々な形式がある。例えば、図７に示すように、単純に、左眼画像９４Ａのデータと右眼画像９４Ｂの２枚の画像データとして記録媒体１０に記録する形式がある。また、図８に示すように、左眼画像９５Ａと右眼画像９５Ｂとをそれぞれ水平方向にのみ縮小し、左右に並べて結合された画像データとして記録媒体１０に記録する形式や、図９に示すように、左眼画像９６Ａと右眼画像９６Ｂとを垂直方向にのみ縮小し、上下に並べた画像データ記録媒体１０に記録する形式がある。
【００４４】
さらに、図１０に示すように、左眼画像９７Ａと右眼画像９７Ｂとを画素列単位で交互に並べて合成し、その合成した画像データを記録媒体１０に記録する形式や、図１１に示すように、一方の画像９８Ａのデータと、この画像９８Ａと他方の画像間の差分を記録媒体１０に記録してもよい。
【００４５】
また、動画像を格納する場合には、例えば、フィールド毎またはフレーム毎に左眼画像のデータと右眼画像のデータとを切り換えて交互に格納する時分割方式が存在する。これらの格納方法のうち、どの格納方法で画像データを格納するかは、撮像者が選択することになるが、撮像者は記録媒体１０へデータの格納方法を格納方法選択部１３で選択し、選択された格納方法により、画像データが記録媒体１０に格納されることになる。
【００４６】
格納された画像データを再び表示部９に表示する場合には、記録媒体１０から画像データを読み出し、この画像データから画像合成部８において合成された画像を表示部９に表示する。そして、表示された画像の立体感を調整した後、その画像のデータを記録媒体１０に格納することもできる。この調整を行うために、記録媒体１０から画像データを読み出された画像データが画像調整部６に与えられる。そして、画像調整部６で調整した後、必要に応じ記録媒体１０に格納された画像データが書き換えられる。
【００４７】
次に、この立体画像撮像装置における画像処理について図３を参照して説明する。
【００４８】
まず、左眼画像撮像部１が、被写体を撮像して、撮像した被写体のアナログ画像データを画像処理部３Ａに送る。また、右眼画像撮像部２が、被写体を撮像して、撮像した被写体のアナログ画像データを画像処理部３Ｂに送る。
【００４９】
制御部１１から受けた制御信号に基づいて、画像処理部３Ａ、３Ｂは、このアナログ画像データをデジタル画像データに変換する。また、制御部１１から受けた制御信号に基づいて、画像メモリ４は、左眼用画像データを格納し、画像メモリ５は、右眼用画像データを格納する。
【００５０】
そして、制御部１１は、画像メモリ４、５に制御信号を送り、画像メモリ４、５から読み出された画像データが、画像調整部６に送られる。このとき、制御部１１は、画像調整部６に画像調整を指示する制御命令を送らず、画像調整部６において、画像は調整されない。この後、左眼用画像データが画像メモリ７Ａ、右眼用画像データが画像メモリ７Ｂに送られる。そして、制御部１１から受けた制御信号に基づいて、画像メモリ７Ａ、７Ｂは、この画像データを格納する。
【００５１】
次に、制御部１１は、画像メモリ７Ａと画像メモリ７Ｂとに制御信号を送り、画像メモリ７Ａと画像メモリ７Ｂとから画像データが読み出され、画像合成部８に送られる。そして、制御部１１は、画像合成部８に制御信号を送り、画像合成部８はこれらの画像データに基づいて画像を合成する。続いて、制御部１１から受けた制御信号に基づいて、合成された画像のデータが画像合成部８から表示部９に送られる。そして、表示部９はこの合成された画像を表示する。
【００５２】
このとき、撮像者が表示部９に表示された画像を調整する場合には、画像調整入力部１２から画像の調整を指示する制御命令を入力する。画像調整入力部１２から画像の調整を指示する制御命令が入力されると、制御部１１から受けた制御信号に基づいて、画像調整部６は画像を調整する。そして、制御部１１は、画像メモリ７Ａ及び／又は画像メモリ７Ｂに制御信号を送り、画像メモリ７Ａ及び／又は画像メモリ７Ｂは調整された画像のデータを格納する。
【００５３】
次に、制御部１１から受けた制御信号に基づいて、画像メモリ７Ａと画像メモリ７Ｂとから読み出された画像データが、画像合成部８に送られる。そして、制御部１１は、画像合成部８に制御信号を送り、画像合成部８はこれらのデータから画像を合成する。続いて、制御部１１から受けた制御信号に基づいて、合成された画像のデータが画像合成部８から表示部９に送られる。そして、表示部９はこの合成された画像を表示する。
【００５４】
撮像者が再び表示部９に表示された画像を調整する場合には、再び画像調整入力部１２から画像の調整を指示する制御命令を入力する。画像の調整を指示する制御命令が入力されると、再び前記画像処理がなされる。
【００５５】
撮像者が、表示部９に表示された画像データを記録媒体１０に格納しようとするときには、撮像者が格納方法選択部１３から画像データの格納方法を入力すれば、制御部１１は、記録媒体１０に制御信号を送り、入力された格納方法により、その画像データは格納される。なお、撮像者は、表示部９に表示された画像の表示方法を指示する制御命令を表示方法選択部１４から入力することができる。
【００５６】
ここで、撮像者が、表示部９に立体画像として視認される画像を表示させず、２次元画像として視認される画像のみを表示させようとするときには、視差を有する２つの画像を表示させる代わりに、１つの画像のみを表示部９に表示させて、その画像データを記録媒体１０に格納する構成とすればよい。また、格納する画像を立体画像として視認できる視点の数を必要に応じて変更できる構成であってもよい。
【００５７】
また、撮像された被写体の画像を選択して表示、格納できる構成としてもよい。この場合、撮像者が複数の撮像部により撮像された被写体の画像を選択して、その制御命令を入力する選択部をさらに設け、撮像者がこの選択部から被写体の画像を選択することのできる構成とすればよい。そして、撮像者が、この選択部から、表示、格納する２画像を選択して、その制御命令を入力すると、この選択部から入力された制御命令に基づいて、制御部１１は画像合成部８を制御する。画像合成部８は、制御部１１から受けた制御命令に基づいて、選択された２画像を合成する。そして、合成された画像は表示部９に表示され、合成された画像のデータは記録媒体１０に格納される。
【００５８】
記録媒体１０に合成された画像のデータを格納した後においては、記録媒体１０に格納された画像データを読み出して、合成された画像を表示部９に表示させ、さらにその立体感を調整した後、調整後の画像データを記録媒体１０に格納することができる。
【００５９】
この立体画像撮像装置は、図１２に示すように、右眼画像撮像部２と画像処理部３Ｂと画像メモリ５とを備えた右眼用カメラヘッド部２０をカメラ本体３０に着脱可能に設ける構成でもよい。なお、この構成では、カメラヘッド部を本体３０から離脱させると、２次元画像を撮像する撮像装置として使用可能となる。
【００６０】
また、立体画像撮像装置は、例えば、図１３に示すように、左眼画像撮像部１、右眼画像撮像部２を設けたカメラヘッド部を本体３０に一体に設けた構成でもよい。
【００６１】
また、左眼画像撮像部１、右眼画像撮像部２のＣＣＤのホワイトバランスやレンズのズーム状態が同じになるように自動的に調整するように構成するとよい。この調整は、どちらかの撮像部に合わせても良いし、また全撮像部の平均を取っても良い。
【００６２】
また、左眼画像撮像部１と、画像処理部３Ａと、画像メモリ４と、画像調整部６と、画像メモリ７Ａと、画像合成部８と、表示部９と、記録媒体１０と、制御部１１と、画像調整入力部１２と、格納方法選択部１３と、表示方法選択部１４とから2次元画像を撮像する撮像装置を構成し、右眼画像撮像部２と、画像処理部３Ｂと、画像メモリ５とを追加できるように構成すれば、必要に応じて、右眼画像撮像部２と画像処理部３Ｂと画像メモリ５とを追加することにより、立体画像撮像装置を構成することもできる。この場合、画像メモリ７Ａの容量を２つの画像が格納されるものを用い、領域を分けて右眼用画像、左眼用画像を格納するように構成すればよい。
【００６３】
また、上記した実施形態においては、左眼画像撮像部１と右眼画像撮像部２からの画像データの双方を画像調整できる構成にしているが、どちらか一方のみの画像データを調整する構成にしてもよい。
【００６４】
この立体画像撮像装置は、カメラ付携帯電話など、撮像機器を内蔵する装置を用いて構成してもよい。例えば、カメラ付携帯電話の場合、カメラ付携帯電話が前記立体画像撮像装置の右眼画像撮像部２と画像処理部３Ｂと画像メモリ５以外の構成部分を備え、データ通信に用いられるコネクタの接続部分に右眼画像撮像部２と画像処理部３Ｂと画像メモリ５とを備えた装置を装着し、被写体を撮像する構成としても、立体画像撮像装置を構成することができる。
【００６５】
また、上記した実施形態においては、記録媒体１０を本体に対して着脱自在に構成し、記録媒体１０を取り外し、他の装置に記録媒体１０に格納された画像データを与えるように構成している。この立体画像撮像装置に、カードモデムやＬＡＮカードなどのデータ通信用制御装置を設け、記録媒体１０に格納された画像データをデータ通信用制御装置により、他の機器に送信するように構成してもよい。
【００６６】
また、本実施形態では、視点数を２としたが、視点数が３以上の多眼式データを格納する構成することもできる。
【００６７】
図１４は、この発明に係る画像の表示例を示す図である。同じ画像を小さな画面１５Ａで見る場合と大きな画面１５Ｃで見る場合は飛び出し量、奥行き量が異なる。立体画像として視認されるように調整された画像を立体画像撮像装置に設けた３インチほどの表示部９で見る画面１５Ａと外部の２０インチ以上のディスプレイ装置１５Ｃに表示する場合、飛び出し量１５Ｚは、図１４の（ｂ）（ｃ）に示すように異なる。小さな画面１５Ａで最適な飛び出し量、奥行きに設定していると、図１４（ｃ）に示すように、観察者Ｄの近くまで画像が飛び出したように見え、好ましい立体視が得られない。小さい画面１５Ａで観察距離を短くすると（図１４（ａ））、更に、飛び出し量、奥行きは小さくなる。これは、外部表示装置１５Ｃと表示装置１５Ａとは、表示画面の大きさが異なることから、それぞれの表示画面において、対応する点同士の間隔が相違し、視認される立体画像の位置が異なることによるものである。
【００６８】
そこで、最終的に利用される立体ディスプレイ装置を想定し、そのディスプレイ装置の限界飛び出し量、限界奥行き量を超えないように、撮影時の表示部９で確認できるように、指標を設ける。これは実体で形成しても良いし、立体画像で形成しても良い。想定される立体ディスプレイ装置は、典型的な立体ディスプレイ装置のデータを用いても良いし、ユーザが選択或いは設定しても良い。
【００６９】
指標画像の表示方法は格納されたデータから画像を最終的に表示する外部ディスプレイ装置の表示画面の大きさに合わせるのが望ましい。表示方法は一定でもよいが、表示方法を選択できる構成部分を設け、表示画面の大きさに応じて、撮像者が表示方法を選択する構成または自動的に表示方法を選択する構成でもよい。
【００７０】
このような画像調整の一例として、視認される立体画像が限界飛び出し量と限界奥行き量との間に存在するかどうかを表示する二重線からなる指標画像を設ける。図１５は、この指標画像の表示例を示す図である。表示部９に表示された二重線は、撮像者が表示された画像を外部ディスプレイ装置に表示させるとき、立体画像として視認される視差の範囲を示す。この二重線は、垂直線１６Ａと垂直線１６Ｂとからなり、間隔を一定に保ちながら水平方向に移動可能とする。
【００７１】
そして、異なる視点から撮像した画像の視差が、この二重線の間隔を超えて広がった場合には、限界飛び出し量または限界奥行き量を超えることを意味する。これにより、撮像の際、合成した画像を表示する表示部９において、この二重線を移動させることにより、立体画像が限界飛び出し量と限界奥行き量との間に位置するか否かを確認することができる。
【００７２】
本実施形態では、立体画像が限界飛び出し量と限界奥行き量との間に位置するか否かの確認に垂直線１６Ａと垂直線１６Ｂとを用いたが、点や、円や四角形などの図形、あるいは、立体画像を用いてもよい。
【００７３】
【発明の効果】
以上、説明したように、この発明の立体画像撮像装置では、表示手段に表示された画像を見ながら、画像を調整し、立体画像のデータを作成することができる。調整は、画像毎に行われるため、画像の縮小や回転などにより、画像の調整を容易に行うことができる。また、画像の調整は、データを操作することにより、行われるため、撮像に用いる機材の位置や方向の変更を必要とせず、精密な調整が可能となる。
【００７４】
また、この発明の立体画像撮像装置では、撮像手段が着脱可能に設けられているので、必要に応じて、撮像手段を着脱することができる。これにより、立体画像撮像装置としても、二次元画像を撮像する撮像装置としても、使用可能な立体画像撮像装置を構成することができる。さらに、二次元画像を撮像する装置として使用するとき、使用しない撮像手段を離脱させることができるので、装置の軽量化を図ることができる。表示する画像は、選択可能であるため、任意の撮像手段に撮像された被写体の画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の実施形態に係る立体画像撮像装置の正面図である。
【図２】この発明の実施形態に係る立体画像撮像装置の背面図である。
【図３】この発明の実施形態に係る立体画像撮像装置の構成を示すブロック図である。
【図４】この発明の実施形態に係る画像の調整及び合成例を示す模式図である。
【図５】この発明の実施形態に係る画像の表示例を示す背面図である。
【図６】この発明の実施形態に係る画像の表示例を示す模式図である。
【図７】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図８】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図９】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図１０】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図１１】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図１２】この発明の実施形態に係る立体画像表示装置の構成例を示す正面図である。
【図１３】この発明の他の実施形態に係る立体画像表示装置の構成例を示す正面図である。
【図１４】立体視における飛び出し量を説明する模式図である。
【図１５】指標画像の表示例を説明する模式図である。
【符号の説明】
１ 左眼画像撮像部
２ 右眼画像撮像部
３Ａ、３Ｂ 画像処理部
４、５、７Ａ、７Ｂ 画像メモリ
６ 画像調整部
８ 画像合成部
９ 表示部
１０ 記憶媒体
１１ 制御部
１２ 画像調整入力部
１３ 格納方法選択部
１４ 表示方法選択部
３０ カメラ本体
３０Ｃ スイッチボタン
【発明の属する技術分野】
この発明は、立体画像撮像装置に関し、特に、立体画像又は２次元画像の撮影及び表示が可能な立体画像撮像装置に関する。
【０００２】
【従来の技術】
近年、電子表示装置の分野において、技術の発達が著しく、表示画面の大画面化、高精細化が進んでいる。表示画面の大画面化、高精細化によって、表示画面上、人間の視野に占める画像の割合が増加し、人間の目の分解能では判別できないほど高密度に画素を配置することができる。これにより、画像は実物に近い、自然なものとなり、高い臨場感を生むことになる。しかしながら、このような画像は平面的であるのに対し、実際の物は立体的であるため、より臨場感を高めた自然な画像とするには、平面的な画像では限界がある。
【０００３】
ところで、人間は、左右２つの目の働きにより、物を立体的に見ることができる。より自然な画像表示を考えたとき、大画面化、高精細化に加え、今後立体映像化が進むと考えられ、実際その研究が盛んに行われている。
【０００４】
一方、デジタル技術の発展は、画像データの取り扱いを容易にしている。実際、デジタル技術を用いた撮像装置で撮像された画像データは、従来のフィルムを用いた撮像装置とは異なり、パーソナルコンピュータやネットワーク上での取り扱いが容易である。
【０００５】
このような状況下において、撮像された被写体の画像データを立体映像として視認できるように、複数の画像データを合成する立体画像撮像装置に関する技術の開発が進んでいる。
【０００６】
従来、立体画像撮像装置に関する技術として、撮像中、常に、立体映像が表示でき、撮像しながら映像の立体感を調整し、さらに、２次元映像と互換性を持つ複眼カメラ及び画像処理方法が提案されている（特開平１０−９０８１４号公報）。
【０００７】
この公報に提案されたものは、複数の撮像手段によって撮像された被写体の複数の映像信号を立体映像信号として視認できるように合成する。合成された立体映像信号を立体映像表示装置で表示するものである。そして、撮像中、常に、撮像している被写体の映像信号を立体映像として表示することから、撮像者は、撮像しながら映像の立体感を調整することができる。
【０００８】
【発明が解決しようとする課題】
上記した複眼カメラ及び画像処理方法においては、被写体の複数の映像信号を右眼用映像信号と左眼用側映像信号とを縦１ライン毎に交互に配置するように合成し、１つの立体映像信号として立体映像表示装置に与えるものである。
【０００９】
したがって、表示される立体映像信号は左眼用映像信号と右眼用映像信号とが混合されたものである。このため、この立体映像信号生成後においては、表示される映像が、左眼用映像信号と右眼用映像信号とのうち、いずれの映像信号に基づいているものかその判別が困難であった。この結果、映像信号の視差や光学系を調整する必要があっても、調整量を視認することは困難であった。
【００１０】
そこで、この発明においては、画像の立体感の調整を、撮影者が容易に行うことのできる立体画像撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
この発明は、被写体を撮像する２つの撮像手段と、前記２つの撮像手段の少なくとも１つの撮像手段で撮像された画像データを立体視に対応して調整する画像調整手段と、前記調整された画像データを含み複数の画像データを立体画像データとして合成する合成手段と、前記合成手段により合成された立体画像データを表示する表示手段と、前記合成手段により合成された立体画像データを格納する記憶手段と、を備え、前記記憶手段に格納された立体画像データを前記表示手段とは異なる外部表示装置に表示する場合に、前記外部表示装置の大きさに応じた画像の飛び出し量または奥行き量を決定する指標画像を前記表示手段に表示することを特徴とする。更に、前記指標画像は、前記外部表示装置の限界飛び出し量あるいは限界奥行き量を認識できる指標でにすれば良い。
【００１２】
上記した構成によれば、画像を見ながら、画像を調整し、立体画像のデータを作成することができる。調整は、画像毎に行われるため、画像の縮小や回転などにより、画像の調整を容易に行うことができる。また、画像の調整は、データを操作することにより、行われるため、撮像に用いる機材の位置や方向の変更を必要とせず、精密な調整が可能となる。更に、撮像者は、前記合成手段により合成された画像を外部の表示装置に表示させるとき、その飛び出し量や奥行き量をこの表示手段が表示する指標画像を見ることによって予め知ることができる。
【００１３】
前記調整手段により行われる画像の調整が画像データの回転、画像サイズの変更、画像ずらし量の変更であることを特徴とする。
【００１４】
また、１つの撮像手段を本体部と着脱可能に設けられ、この撮像手段が離脱したとき他の撮像手段を用いた撮像装置として使用可能に構成することができる。
【００１５】
上記した構成によれば、必要に応じて撮像手段が着脱可能であり、撮像手段の離脱後においても、撮像装置として使用可能である画像撮像装置を構成することができる。
【００１６】
前記表示手段により表示される画像を選択する選択手段を備え、前記どちらか一方の撮像手段により撮像された被写体の画像を選択して表示するように構成できる。
【００１７】
上記した構成によれば、撮像者が選択した画像を合成することができる。
【００１８】
また、この発明は、前記記憶手段に格納された立体画像データを外部表示装置に表示する場合の画像の飛び出し量を決定する指標画像を前記表示手段に表示することを特徴とする。
【００２０】
【発明の実施の形態】
以下、この発明の実施形態を図に基づいて説明する。図１は、この発明の立体画像撮像装置の一例を正面から見たときの正面図、図２は、この立体画像撮像装置Ｈを背面から見たときの背面図である。
【００２１】
図１及び図２に示すように、この発明の立体画像撮像装置は、カメラ本体３０と、カメラ本体３０に取り付けられ左眼用画像を撮影する左眼用撮像部１と右眼用画像を撮影する右眼画像撮像部２と、液晶表示パネルで構成された表示部９と、を備える。左眼用撮像部１と右眼画像撮像部２は、図示はしないが、レンズ、ＣＣＤ等の撮像素子を内蔵し、それぞれ被写体を左眼用の画像、右眼用の画像を撮像する。これら左眼用撮像部１と右眼画像撮像部２は立体感を出すために、基線長を長くとるように、本体３０に配置され取り付けられている。
【００２２】
撮影時には、図２に示すように、左眼用撮像部１と右眼画像撮像部２で撮像された映像が表示部９で表示され、観察できるようになっている。この表示部９は例えば、特殊な眼鏡を必要とせずに立体映像が表示可能なように、レンチキュラー方式やパララックスバリア方式による立体映像表示装置で構成されている。勿論この表示部９には、立体映像だけではなく２次元映像も表示することができる。
【００２３】
表示部９への表示対応は、後述するように色々な方法が選択でき、本体３０に設けられたスイッチボタン３０ｃを用いてその表示を変更させる。図２においては、表示部９に左眼画像９０Ａと右眼画像９０Ｂとが並列した状態で表示されている。
【００２４】
また、この図１及び図２に示す実施形態では、右眼用画像撮像部２を内蔵した右眼用カメラヘッド部２０が後述するように、カメラ本体３０から着脱自在に設けられている。
【００２５】
撮影時には、左眼用撮像部１と右眼画像撮像部２で撮像された映像を表示部９で表示され、撮像者は、左眼画像９０Ａと右眼画像９０Ｂとを目視して、確認しながら調整する。この調整の際、撮像者はスイッチボタン３０Ｃを操作し、表示部９に表示される画像を調整させる。ここで、調整とは、画像の回転のほかに、画像の縦方向または横方向のサイズ調整、画像の回転、縦方向または横方向への画像の移動等の処理を行うことにより、光学系の補正や視差量の調整をすることをいう。
【００２６】
図３は、この立体画像撮像装置の主要な構成部分を示すブロック図である。この立体画像撮像装置においては、レンズ、ＣＣＤ等の撮像素子を内蔵した左眼画像撮像部１と右眼画像撮像部２で被写体を撮像する。左眼画像撮像部１で撮像された画像データは画像処理部３Ａへ、右眼画像撮像部２で撮像された画像データは画像処理部３Ｂへ送られる。画像処理部３Ａ、３Ｂは、ＣＤＳクランプ回路やゲイン調整回路等のアナログ処理回路の他、Ａ／Ｄ変換器、輝度補正回路等のデジタル処理回路を含む。また、画像処理部３Ａ、３Ｂは、左眼画像撮像部１、右眼画像撮像部２から受け取った画像データを適宜処理して被写体の画像データを作成する。
【００２７】
画像処理部３Ａは、左眼画像撮像部１から受け取ったアナログ画像データをＡ／Ｄ変換器でデジタル画像データに変換し、輝度補正等の処理を施した後、画像メモリ４へ画像データを与える。画像メモリ４は、ＦＩＦＯなどのＲＡＭで構成され、画像データを一時格納する。
【００２８】
同様に、画像処理部３Ｂは、右眼画像撮像部２から受け取ったアナログ画像データをＡ／Ｄ変換器でデジタル画像データに変換し、輝度補正等の処理を施した後、画像メモリ５へ画像データを与える。画像メモリ５は、ＦＩＦＯなどのＲＡＭで構成され、画像データを一時格納する。
【００２９】
画像調整部６は、画像メモリ４又は画像メモリ５に格納された画像データを受け取り、必要に応じ画像データを調整する。撮像後の状態を表示部９で予め確認し、光学系の不具合や不適切な視差量が認められた場合などには、この画像調整部６により、縦或いは横のサイズ変更、回転、縦或いは横への画像の移動などの処理を行うものである。この処理を可能とするためには、左眼画像撮像部１、右眼画像撮像部２のＣＣＤの画素数を予め記録画像や表示画像の画素数より大きくしている。調整方法としては、例えば、画像マッチングなどにより、画像を調整する調整方法がある。この調整方法は、２個以上の視差のついた画像について、撮影時もしくは画像作成時に生じた画像間のずれを各画像のほぼ同じ画像位置を抽出し、各位置間の視差が所定の量になるように、各画像を画像変換して調整する。
【００３０】
画像調整された左眼用の画像データが画像調整部６から画像メモリ７Ａに与えられ、画像メモリ７Ａに格納される。また、画像調整された右眼用の画像データが画像調整部６から画像メモリ７Ｂに与えられ、画像メモリ７Ｂに格納される。
【００３１】
画像合成部８は、画像メモリ７Ａと画像メモリ７Ｂに格納された画像データから左眼用画像データと右眼用画像データとを合成し、立体映像信号を作成する。この画像合成部８は、合成された立体映像信号をこの立体撮像装置で使用する記録媒体１０への書き込みを行う記録制御部と、表示部９に表示する映像信号を作成し供給する表示制御部とを備える。
【００３２】
記録媒体１０は、磁気ディスク、フラッシュメモリなどの半導体メモリで構成され、この記録媒体１０を用い、画像合成部８の記録制御部は、記録媒体１０の空き領域に立体映像信号を所定のフォーマットで圧縮してファイルとして保存する。この記録媒体１０は、本体部に対して着脱自在に構成されている。そして、立体映像信号が格納された記録媒体１０を本体部から取り外し、他の立体映像表示装置に記録媒体１０を取り付け、記録媒体１０から立体映像信号を与えて表示を行うように構成できる。また、パーソナルコンピュータ等に記録媒体１０から立体映像信号を取り込み、パーソナルコンピュータ等を介して、立体映像信号に基づいた映像をプリントアウトしたり、ネットワーク上にデータを送出するように構成することもできる。
【００３３】
表示部９は、左眼画像撮像部１、右眼画像撮像部２で撮像した画像データを画像合成部８で後述するように、色々な態様で合成された映像信号が表示制御部を介して与えられ、画像を表示する。撮影者は、表示される画像の立体感を裸眼で確認した後、この画像のデータを記録媒体１０に格納することができる。
【００３４】
また、表示部９は、記録媒体１０に格納されたファイルも表示する。記録媒体１０に格納されたファイルを使用者がスイッチボタン３０Ｃを用いて指定すると、画像合成部８に記録媒体１０から指定されたファイルの画像データが与えられる。そして、表示制御部から表示部９に映像信号が与えられ、画像を表示する。
【００３５】
尚、上記した記録画像の合成処理と表示画像の合成処理は同一とは限らず、それぞれ別々に制御される。画像の調整処理に関しては同一の処理が施される。
【００３６】
制御部１１は、ＣＰＵで構成され、図示しないＲＯＭに格納されたプログラムに基づいて各部を制御する。この制御部１１に対する制御命令の入力は、主として、画像の調整を指示する制御命令を入力する画像調整入力部１２と、画像の格納方法を指示する制御命令を入力する格納方法選択部１３と、画像の表示方法を指示する制御命令を入力する表示方法選択部１４と、で行われる。これらの入力は、例えば、スイッチボタン３０Ｃを用いて、所定の操作をさせると、表示部９に画像調整入力部１２としてのコマンドを表示し、そのコマンド部分を指定することで行うように構成することができる。
【００３７】
これらの各部から制御命令が入力されるとき、例えば、撮像者が、画像調整入力部１２から表示部９に表示された画像の調整を指示する制御命令を入力すると、画像調整部６において、画像メモリ４または画像メモリ５から読み出された画像は調整され、調整後の画像のデータが画像メモリ７Ａ又は画像メモリ７Ｂに送られる。また、撮像者が、表示方法選択部１４から表示部９に表示される画像の表示方法を指示する制御命令を入力すると、指示された表示方法に従い画像が表示部９に表示される。また、撮像者が、格納方法選択部１３から記録媒体１０に格納する画像データの格納方法を指示する制御命令を入力すると、指示された格納方法により画像データが記録媒体１０に格納される。
【００３８】
次に、画像の調整方法の一例につき図を用いて説明する。図４は、表示部９に表示される画像の一例を示す図である。
【００３９】
左眼画像撮像部１により撮像された左眼画像９１Ａと右眼画像撮像部２により撮像された右眼画像９１Ｂとは被写体を撮像する角度が異なる。このため、合成された画像を立体視に適した画像とするには、右眼画像４Ｂを回転させ、水平線を左眼画像４Ａの水平線と一致させる必要がある。
【００４０】
そこで、撮像者は、スイッチボタン３０Ｃを操作し、右眼画像９１Ｂを回転させる。まず、左眼画像９１Ａと右眼画像９１Ｂとを重ね合わせて合成し、合成された画像９１Ｃを表示部９に表示させる。この画像９１Ｃの領域は、左眼画像９１Ａと右眼画像９１Ｂの領域より小さくしている。この表示部９に表示される画像９１Ｃを目視しながらスイッチボタン３０Ｃを操作し、右眼画像９１Ｂを回転させて、例えば、左眼画像９１Ａの屋根の線と右眼画像９１Ｂの屋根の線とを一致させる。これにより、合成された画像９１Ｃは、立体視に適した画像となる。この右眼画像９１Ｂの回転は画像調整部６で行われる。そして、合成された画像９１Ｃのデータは、記録媒体１０に格納される。
【００４１】
図５に２枚の画像を重ねた画像９１Ｃを表示部９に表示させた状態を示す。図５に示すように、２枚の画像を重ねた画像９１Ｃを表示部９に表示させれば、２つの画像の位置関係や視差量を確認できる。ここで、表示部９が、例えば、レンチキュラー方式やパララックスバリア方式を用いた立体画像表示装置のように裸眼で画像を立体視することのできる立体画像表示装置である場合には、裸眼で2つの画像を適切に調整することができる。例えば、撮像者が、パララックスバリア方式を用いた立体画像表示装置からなる表示部９で画像９１Ｃを裸眼で立体視し、その立体感を確認したのち、画像９１Ｃの画像データを記録媒体１０に格納することができる。
【００４２】
図５に示すように、２つの画像を重ねた状態で表示部９に表示した場合には、図４に示すように、右眼画像が斜めになっているのか、左眼画像が斜めになっているのか判別しにくい場合がある。そこで、図２及び図６に示すように、表示方法選択部１４で表示部９に左眼画像９０Ａ、右眼画像９０Ｂを並べた状態でまず表示させるように選択する。その後、どちらか一方の画像、或いは、両方の画像を調整するかを撮影者が決めるようにすれば、調整を容易に行える。
【００４３】
一般に立体画像の記録には様々な形式がある。例えば、図７に示すように、単純に、左眼画像９４Ａのデータと右眼画像９４Ｂの２枚の画像データとして記録媒体１０に記録する形式がある。また、図８に示すように、左眼画像９５Ａと右眼画像９５Ｂとをそれぞれ水平方向にのみ縮小し、左右に並べて結合された画像データとして記録媒体１０に記録する形式や、図９に示すように、左眼画像９６Ａと右眼画像９６Ｂとを垂直方向にのみ縮小し、上下に並べた画像データ記録媒体１０に記録する形式がある。
【００４４】
さらに、図１０に示すように、左眼画像９７Ａと右眼画像９７Ｂとを画素列単位で交互に並べて合成し、その合成した画像データを記録媒体１０に記録する形式や、図１１に示すように、一方の画像９８Ａのデータと、この画像９８Ａと他方の画像間の差分を記録媒体１０に記録してもよい。
【００４５】
また、動画像を格納する場合には、例えば、フィールド毎またはフレーム毎に左眼画像のデータと右眼画像のデータとを切り換えて交互に格納する時分割方式が存在する。これらの格納方法のうち、どの格納方法で画像データを格納するかは、撮像者が選択することになるが、撮像者は記録媒体１０へデータの格納方法を格納方法選択部１３で選択し、選択された格納方法により、画像データが記録媒体１０に格納されることになる。
【００４６】
格納された画像データを再び表示部９に表示する場合には、記録媒体１０から画像データを読み出し、この画像データから画像合成部８において合成された画像を表示部９に表示する。そして、表示された画像の立体感を調整した後、その画像のデータを記録媒体１０に格納することもできる。この調整を行うために、記録媒体１０から画像データを読み出された画像データが画像調整部６に与えられる。そして、画像調整部６で調整した後、必要に応じ記録媒体１０に格納された画像データが書き換えられる。
【００４７】
次に、この立体画像撮像装置における画像処理について図３を参照して説明する。
【００４８】
まず、左眼画像撮像部１が、被写体を撮像して、撮像した被写体のアナログ画像データを画像処理部３Ａに送る。また、右眼画像撮像部２が、被写体を撮像して、撮像した被写体のアナログ画像データを画像処理部３Ｂに送る。
【００４９】
制御部１１から受けた制御信号に基づいて、画像処理部３Ａ、３Ｂは、このアナログ画像データをデジタル画像データに変換する。また、制御部１１から受けた制御信号に基づいて、画像メモリ４は、左眼用画像データを格納し、画像メモリ５は、右眼用画像データを格納する。
【００５０】
そして、制御部１１は、画像メモリ４、５に制御信号を送り、画像メモリ４、５から読み出された画像データが、画像調整部６に送られる。このとき、制御部１１は、画像調整部６に画像調整を指示する制御命令を送らず、画像調整部６において、画像は調整されない。この後、左眼用画像データが画像メモリ７Ａ、右眼用画像データが画像メモリ７Ｂに送られる。そして、制御部１１から受けた制御信号に基づいて、画像メモリ７Ａ、７Ｂは、この画像データを格納する。
【００５１】
次に、制御部１１は、画像メモリ７Ａと画像メモリ７Ｂとに制御信号を送り、画像メモリ７Ａと画像メモリ７Ｂとから画像データが読み出され、画像合成部８に送られる。そして、制御部１１は、画像合成部８に制御信号を送り、画像合成部８はこれらの画像データに基づいて画像を合成する。続いて、制御部１１から受けた制御信号に基づいて、合成された画像のデータが画像合成部８から表示部９に送られる。そして、表示部９はこの合成された画像を表示する。
【００５２】
このとき、撮像者が表示部９に表示された画像を調整する場合には、画像調整入力部１２から画像の調整を指示する制御命令を入力する。画像調整入力部１２から画像の調整を指示する制御命令が入力されると、制御部１１から受けた制御信号に基づいて、画像調整部６は画像を調整する。そして、制御部１１は、画像メモリ７Ａ及び／又は画像メモリ７Ｂに制御信号を送り、画像メモリ７Ａ及び／又は画像メモリ７Ｂは調整された画像のデータを格納する。
【００５３】
次に、制御部１１から受けた制御信号に基づいて、画像メモリ７Ａと画像メモリ７Ｂとから読み出された画像データが、画像合成部８に送られる。そして、制御部１１は、画像合成部８に制御信号を送り、画像合成部８はこれらのデータから画像を合成する。続いて、制御部１１から受けた制御信号に基づいて、合成された画像のデータが画像合成部８から表示部９に送られる。そして、表示部９はこの合成された画像を表示する。
【００５４】
撮像者が再び表示部９に表示された画像を調整する場合には、再び画像調整入力部１２から画像の調整を指示する制御命令を入力する。画像の調整を指示する制御命令が入力されると、再び前記画像処理がなされる。
【００５５】
撮像者が、表示部９に表示された画像データを記録媒体１０に格納しようとするときには、撮像者が格納方法選択部１３から画像データの格納方法を入力すれば、制御部１１は、記録媒体１０に制御信号を送り、入力された格納方法により、その画像データは格納される。なお、撮像者は、表示部９に表示された画像の表示方法を指示する制御命令を表示方法選択部１４から入力することができる。
【００５６】
ここで、撮像者が、表示部９に立体画像として視認される画像を表示させず、２次元画像として視認される画像のみを表示させようとするときには、視差を有する２つの画像を表示させる代わりに、１つの画像のみを表示部９に表示させて、その画像データを記録媒体１０に格納する構成とすればよい。また、格納する画像を立体画像として視認できる視点の数を必要に応じて変更できる構成であってもよい。
【００５７】
また、撮像された被写体の画像を選択して表示、格納できる構成としてもよい。この場合、撮像者が複数の撮像部により撮像された被写体の画像を選択して、その制御命令を入力する選択部をさらに設け、撮像者がこの選択部から被写体の画像を選択することのできる構成とすればよい。そして、撮像者が、この選択部から、表示、格納する２画像を選択して、その制御命令を入力すると、この選択部から入力された制御命令に基づいて、制御部１１は画像合成部８を制御する。画像合成部８は、制御部１１から受けた制御命令に基づいて、選択された２画像を合成する。そして、合成された画像は表示部９に表示され、合成された画像のデータは記録媒体１０に格納される。
【００５８】
記録媒体１０に合成された画像のデータを格納した後においては、記録媒体１０に格納された画像データを読み出して、合成された画像を表示部９に表示させ、さらにその立体感を調整した後、調整後の画像データを記録媒体１０に格納することができる。
【００５９】
この立体画像撮像装置は、図１２に示すように、右眼画像撮像部２と画像処理部３Ｂと画像メモリ５とを備えた右眼用カメラヘッド部２０をカメラ本体３０に着脱可能に設ける構成でもよい。なお、この構成では、カメラヘッド部を本体３０から離脱させると、２次元画像を撮像する撮像装置として使用可能となる。
【００６０】
また、立体画像撮像装置は、例えば、図１３に示すように、左眼画像撮像部１、右眼画像撮像部２を設けたカメラヘッド部を本体３０に一体に設けた構成でもよい。
【００６１】
また、左眼画像撮像部１、右眼画像撮像部２のＣＣＤのホワイトバランスやレンズのズーム状態が同じになるように自動的に調整するように構成するとよい。この調整は、どちらかの撮像部に合わせても良いし、また全撮像部の平均を取っても良い。
【００６２】
また、左眼画像撮像部１と、画像処理部３Ａと、画像メモリ４と、画像調整部６と、画像メモリ７Ａと、画像合成部８と、表示部９と、記録媒体１０と、制御部１１と、画像調整入力部１２と、格納方法選択部１３と、表示方法選択部１４とから2次元画像を撮像する撮像装置を構成し、右眼画像撮像部２と、画像処理部３Ｂと、画像メモリ５とを追加できるように構成すれば、必要に応じて、右眼画像撮像部２と画像処理部３Ｂと画像メモリ５とを追加することにより、立体画像撮像装置を構成することもできる。この場合、画像メモリ７Ａの容量を２つの画像が格納されるものを用い、領域を分けて右眼用画像、左眼用画像を格納するように構成すればよい。
【００６３】
また、上記した実施形態においては、左眼画像撮像部１と右眼画像撮像部２からの画像データの双方を画像調整できる構成にしているが、どちらか一方のみの画像データを調整する構成にしてもよい。
【００６４】
この立体画像撮像装置は、カメラ付携帯電話など、撮像機器を内蔵する装置を用いて構成してもよい。例えば、カメラ付携帯電話の場合、カメラ付携帯電話が前記立体画像撮像装置の右眼画像撮像部２と画像処理部３Ｂと画像メモリ５以外の構成部分を備え、データ通信に用いられるコネクタの接続部分に右眼画像撮像部２と画像処理部３Ｂと画像メモリ５とを備えた装置を装着し、被写体を撮像する構成としても、立体画像撮像装置を構成することができる。
【００６５】
また、上記した実施形態においては、記録媒体１０を本体に対して着脱自在に構成し、記録媒体１０を取り外し、他の装置に記録媒体１０に格納された画像データを与えるように構成している。この立体画像撮像装置に、カードモデムやＬＡＮカードなどのデータ通信用制御装置を設け、記録媒体１０に格納された画像データをデータ通信用制御装置により、他の機器に送信するように構成してもよい。
【００６６】
また、本実施形態では、視点数を２としたが、視点数が３以上の多眼式データを格納する構成することもできる。
【００６７】
図１４は、この発明に係る画像の表示例を示す図である。同じ画像を小さな画面１５Ａで見る場合と大きな画面１５Ｃで見る場合は飛び出し量、奥行き量が異なる。立体画像として視認されるように調整された画像を立体画像撮像装置に設けた３インチほどの表示部９で見る画面１５Ａと外部の２０インチ以上のディスプレイ装置１５Ｃに表示する場合、飛び出し量１５Ｚは、図１４の（ｂ）（ｃ）に示すように異なる。小さな画面１５Ａで最適な飛び出し量、奥行きに設定していると、図１４（ｃ）に示すように、観察者Ｄの近くまで画像が飛び出したように見え、好ましい立体視が得られない。小さい画面１５Ａで観察距離を短くすると（図１４（ａ））、更に、飛び出し量、奥行きは小さくなる。これは、外部表示装置１５Ｃと表示装置１５Ａとは、表示画面の大きさが異なることから、それぞれの表示画面において、対応する点同士の間隔が相違し、視認される立体画像の位置が異なることによるものである。
【００６８】
そこで、最終的に利用される立体ディスプレイ装置を想定し、そのディスプレイ装置の限界飛び出し量、限界奥行き量を超えないように、撮影時の表示部９で確認できるように、指標を設ける。これは実体で形成しても良いし、立体画像で形成しても良い。想定される立体ディスプレイ装置は、典型的な立体ディスプレイ装置のデータを用いても良いし、ユーザが選択或いは設定しても良い。
【００６９】
指標画像の表示方法は格納されたデータから画像を最終的に表示する外部ディスプレイ装置の表示画面の大きさに合わせるのが望ましい。表示方法は一定でもよいが、表示方法を選択できる構成部分を設け、表示画面の大きさに応じて、撮像者が表示方法を選択する構成または自動的に表示方法を選択する構成でもよい。
【００７０】
このような画像調整の一例として、視認される立体画像が限界飛び出し量と限界奥行き量との間に存在するかどうかを表示する二重線からなる指標画像を設ける。図１５は、この指標画像の表示例を示す図である。表示部９に表示された二重線は、撮像者が表示された画像を外部ディスプレイ装置に表示させるとき、立体画像として視認される視差の範囲を示す。この二重線は、垂直線１６Ａと垂直線１６Ｂとからなり、間隔を一定に保ちながら水平方向に移動可能とする。
【００７１】
そして、異なる視点から撮像した画像の視差が、この二重線の間隔を超えて広がった場合には、限界飛び出し量または限界奥行き量を超えることを意味する。これにより、撮像の際、合成した画像を表示する表示部９において、この二重線を移動させることにより、立体画像が限界飛び出し量と限界奥行き量との間に位置するか否かを確認することができる。
【００７２】
本実施形態では、立体画像が限界飛び出し量と限界奥行き量との間に位置するか否かの確認に垂直線１６Ａと垂直線１６Ｂとを用いたが、点や、円や四角形などの図形、あるいは、立体画像を用いてもよい。
【００７３】
【発明の効果】
以上、説明したように、この発明の立体画像撮像装置では、表示手段に表示された画像を見ながら、画像を調整し、立体画像のデータを作成することができる。調整は、画像毎に行われるため、画像の縮小や回転などにより、画像の調整を容易に行うことができる。また、画像の調整は、データを操作することにより、行われるため、撮像に用いる機材の位置や方向の変更を必要とせず、精密な調整が可能となる。
【００７４】
また、この発明の立体画像撮像装置では、撮像手段が着脱可能に設けられているので、必要に応じて、撮像手段を着脱することができる。これにより、立体画像撮像装置としても、二次元画像を撮像する撮像装置としても、使用可能な立体画像撮像装置を構成することができる。さらに、二次元画像を撮像する装置として使用するとき、使用しない撮像手段を離脱させることができるので、装置の軽量化を図ることができる。表示する画像は、選択可能であるため、任意の撮像手段に撮像された被写体の画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の実施形態に係る立体画像撮像装置の正面図である。
【図２】この発明の実施形態に係る立体画像撮像装置の背面図である。
【図３】この発明の実施形態に係る立体画像撮像装置の構成を示すブロック図である。
【図４】この発明の実施形態に係る画像の調整及び合成例を示す模式図である。
【図５】この発明の実施形態に係る画像の表示例を示す背面図である。
【図６】この発明の実施形態に係る画像の表示例を示す模式図である。
【図７】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図８】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図９】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図１０】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図１１】この発明の実施形態に係る画像の格納方法の例を説明する模式図である。
【図１２】この発明の実施形態に係る立体画像表示装置の構成例を示す正面図である。
【図１３】この発明の他の実施形態に係る立体画像表示装置の構成例を示す正面図である。
【図１４】立体視における飛び出し量を説明する模式図である。
【図１５】指標画像の表示例を説明する模式図である。
【符号の説明】
１ 左眼画像撮像部
２ 右眼画像撮像部
３Ａ、３Ｂ 画像処理部
４、５、７Ａ、７Ｂ 画像メモリ
６ 画像調整部
８ 画像合成部
９ 表示部
１０ 記憶媒体
１１ 制御部
１２ 画像調整入力部
１３ 格納方法選択部
１４ 表示方法選択部
３０ カメラ本体
３０Ｃ スイッチボタン
Claims (6)
- 被写体を撮像する２つの撮像手段と、前記２つの撮像手段の少なくとも１つの撮像手段で撮像された画像データを立体視に対応して調整する画像調整手段と、前記調整された画像データを含み複数の画像データを立体画像データとして合成する合成手段と、前記合成手段により合成された立体画像データを表示する表示手段と、前記合成手段により合成された立体画像データを格納する記憶手段と、を備え、前記記憶手段に格納された立体画像データを前記表示手段とは異なる外部表示装置に表示する場合に、前記外部表示装置の大きさに応じたの画像の飛び出し量または奥行き量を決定する指標画像を前記表示手段に表示することを特徴とする立体画像撮像装置。
- 前記指標画像は、前記外部表示装置の限界飛び出し量あるいは限界奥行き量を認識できる指標であることを特徴とする請求項１に記載の立体画像撮像装置。
- １つの撮像手段を本体部と着脱可能に設けられ、この撮像手段が離脱したとき他の撮像手段を用いた撮像装置として使用可能であることを特徴とする請求項１または２に記載の立体画像撮像装置。
- 前記表示手段により表示される画像を選択する選択手段を備え、前記どちらか一方の撮像手段により撮像された被写体の画像を選択して表示することを特徴とする請求項１ないし請求項３のいずれかに記載の立体画像撮像装置。
- 前記調整手段により行われる画像の調整が画像データの回転、画像サイズの変更、画像ずらし量変更であることを特徴とする請求項 1 ないし請求項４のいずれかに記載の立体画像撮像装置。
- 前記記憶手段に格納された立体画像データを外部表示装置に表示する場合の画像の飛び出し量を決定する指標画像を前記表示手段に表示することを特徴とする請求項１乃至請求項４のいずれかに記載の立体画像撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065406A JP3691444B2 (ja) | 2002-03-11 | 2002-03-11 | 立体画像撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065406A JP3691444B2 (ja) | 2002-03-11 | 2002-03-11 | 立体画像撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003264851A JP2003264851A (ja) | 2003-09-19 |
| JP3691444B2 true JP3691444B2 (ja) | 2005-09-07 |
Family
ID=29197728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002065406A Expired - Fee Related JP3691444B2 (ja) | 2002-03-11 | 2002-03-11 | 立体画像撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3691444B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103731656A (zh) * | 2009-07-21 | 2014-04-16 | 富士胶片株式会社 | 图像显示控制设备和方法 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005130312A (ja) * | 2003-10-24 | 2005-05-19 | Sony Corp | 立体視画像処理装置，コンピュータプログラム，および視差補正方法 |
| JP2007017635A (ja) * | 2005-07-06 | 2007-01-25 | Ntt Docomo Inc | 立体画像表示装置及び立体画像表示方法 |
| JP4199238B2 (ja) | 2006-01-11 | 2008-12-17 | パナソニック株式会社 | 撮影システム |
| JP4757812B2 (ja) | 2007-02-20 | 2011-08-24 | 富士フイルム株式会社 | 立体撮影装置および方法並びにプログラム |
| JP4291862B2 (ja) * | 2007-07-04 | 2009-07-08 | 稔 稲葉 | 立体テレビジョンシステム及び立体テレビジョン受像機 |
| JP2010102137A (ja) * | 2008-10-24 | 2010-05-06 | Fujifilm Corp | ３次元撮影装置および方法並びにプログラム |
| JP5321011B2 (ja) | 2008-11-25 | 2013-10-23 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法および画像投射装置 |
| EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP5898842B2 (ja) | 2010-01-14 | 2016-04-06 | 任天堂株式会社 | 携帯型情報処理装置、携帯型ゲーム装置 |
| JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
| JP5604173B2 (ja) * | 2010-04-30 | 2014-10-08 | 三洋電機株式会社 | 再生装置、表示装置、記録装置及び格納媒体 |
| JP5546960B2 (ja) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
| EP2395765B1 (en) | 2010-06-14 | 2016-08-24 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
| JP5586377B2 (ja) * | 2010-08-17 | 2014-09-10 | オリンパスイメージング株式会社 | 表示装置 |
| JP5681588B2 (ja) * | 2010-09-30 | 2015-03-11 | 富士フイルム株式会社 | 立体画像編集装置および立体画像編集方法 |
| JP6021296B2 (ja) | 2010-12-16 | 2016-11-09 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法 |
| JP2012205148A (ja) | 2011-03-25 | 2012-10-22 | Kyocera Corp | 電子機器 |
| JP5442688B2 (ja) * | 2011-09-22 | 2014-03-12 | 株式会社Ｎｔｔドコモ | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
| JP5864996B2 (ja) * | 2011-10-05 | 2016-02-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5439460B2 (ja) * | 2011-11-07 | 2014-03-12 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
-
2002
- 2002-03-11 JP JP2002065406A patent/JP3691444B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103731656A (zh) * | 2009-07-21 | 2014-04-16 | 富士胶片株式会社 | 图像显示控制设备和方法 |
| CN103731656B (zh) * | 2009-07-21 | 2016-01-20 | 富士胶片株式会社 | 图像显示控制设备和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003264851A (ja) | 2003-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3691444B2 (ja) | 立体画像撮像装置 | |
| US9341935B2 (en) | Image capturing device | |
| CN102860019B (zh) | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 | |
| US8077964B2 (en) | Two dimensional/three dimensional digital information acquisition and display device | |
| US6549650B1 (en) | Processing of image obtained by multi-eye camera | |
| JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
| JP5468482B2 (ja) | 画像撮像装置 | |
| JP4771671B2 (ja) | 撮影装置及び撮影表示装置 | |
| AU2005215585A1 (en) | Method and apparatus for providing a combined image | |
| JP2012156680A (ja) | ３ｄ画像処理装置 | |
| CN104782110A (zh) | 图像处理装置、摄像装置、程序及图像处理方法 | |
| JP3595634B2 (ja) | 複眼カメラ及び画像処理方法 | |
| JP5449535B2 (ja) | 立体撮像装置及びその制御方法 | |
| JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
| JP4635477B2 (ja) | 画像撮影装置、擬似３次元画像生成方法、及び、プログラム | |
| CN103329549B (zh) | 立体视频处理器、立体成像装置和立体视频处理方法 | |
| CN103339948B (zh) | 3d视频再现装置、3d成像装置和3d视频再现方法 | |
| JPH1188912A (ja) | 複眼カメラ及び複眼カメラにおける表示制御方法 | |
| JP2012015818A (ja) | 立体画像表示装置及び表示方法 | |
| JP4668602B2 (ja) | 立体視画像生成装置および方法並びにプログラム | |
| JP4588439B2 (ja) | 立体視画像撮影装置および方法 | |
| JP2012015820A (ja) | 立体映像表示装置及び立体映像表示方法 | |
| JP5367747B2 (ja) | 撮像装置および撮像方法、ならびに、撮像システム | |
| JP2000152051A (ja) | 撮像装置 | |
| JP2005020187A (ja) | 立体画像撮影装置、および立体画像撮影装置を備えた電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080624 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130624 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |