JP3667620B2 - Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus - Google Patents

Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus Download PDF

Info

Publication number
JP3667620B2
JP3667620B2 JP2000315715A JP2000315715A JP3667620B2 JP 3667620 B2 JP3667620 B2 JP 3667620B2 JP 2000315715 A JP2000315715 A JP 2000315715A JP 2000315715 A JP2000315715 A JP 2000315715A JP 3667620 B2 JP3667620 B2 JP 3667620B2
Authority
JP
Japan
Prior art keywords
image
camera
stereo
display
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000315715A
Other languages
Japanese (ja)
Other versions
JP2002125246A (en
Inventor
勝之 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IO Data Device Inc
Original Assignee
IO Data Device Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IO Data Device Inc filed Critical IO Data Device Inc
Priority to JP2000315715A priority Critical patent/JP3667620B2/en
Publication of JP2002125246A publication Critical patent/JP2002125246A/en
Application granted granted Critical
Publication of JP3667620B2 publication Critical patent/JP3667620B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、疑似的に立体視するためのステレオ画像を撮影するためのステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像を用いて立体視を可能にしたステレオ画像処理装置に関する。
【0002】
【従来の技術】
インターネットを用いた商取引、いわゆるEコマースにおいては、実際に商品を手に取ってみることができないため、画面上で商品を立体視させることは非常に有効である。そして、従来より、平面の画像を用いて疑似的に立体視する方法やそのような画像が種々提案されている。たとえば:
左右の視角からみた2枚の画像を並置し、利用者が右視野の画像を右目で、左視野の画像を左目で見ることにより自分の能力で立体視する裸眼立体視
左右の視角から見た2枚の画像を並置し、鏡などを用いて、右視野の画像を右目に導き、左視野の画像を左視野に導く3Dスコープを用いた立体視
左右の視角から見た画像データを所定の演算によってそれぞれ赤色および青色の画像にし、利用者が左右のレンズがそれぞれ青色・赤色(前記青色の2倍の濃さの赤色)のメガネを掛けて鑑賞する2色メガネ立体視
左右の視角の画像データを10ms程度の周期で切り換えて表示し、この表示切換に同期して左右を視野を開閉する液晶メガネでみる液晶メガネ立体視
などがあり、それぞれ長所・短所がある。
【0003】
最も自然に立体視が可能なのが液晶メガネ立体視であるが、左右に液晶シャッターがついた液晶メガネが必要であり、画像を表示するパソコンもこれを制御する機能が必要であり、高級なシステムでなければこの立体視はできない。また、2色メガネによる立体視も誰でも容易に見ることができるが、左右のレンズの色が補色関係の異なる色であるため、長時間の鑑賞がきびしく、且つ見にくいカラー表示になるという欠点があった。3Dスコープは比較的簡易なシステムでカラーの立体視をすることができるが、メガネとちがって視野が狭いという欠点があった。また、裸眼立体視は器具を必要としないため最も簡易であるが、小さい画像しか見ることができないうえ、利用者の能力による部分が大きくだれでも立体視できるというわけではなかった。
【0004】
【発明が解決しようとする課題】
上記ように複数種類の立体視の方法はそれぞれ一長一短があり、たとえばインターネットを通じて立体画像を公開する場合、これにアクセスする端末がどのような方式で立体視するかを予め知ることができず、画像のレイアウトや画像の表示方法を決定することができないという問題点があった。
【0005】
また、立体視は、左右の視角の画像を必要とするが、この左右の画像は、正確に水平な2点で撮影され、同じ画角且つ同じ倍率であることが正確な立体視の条件である。しかし、従来実用化されている通常のカメラでこれを実現することは困難であり、また、撮影された複数の画像のうち、どれがステレオの左右の画像であるかを後で判断することが困難な場合があった。また、撮影時に立体感の強弱を付けることが困難な場合が多かった。
【0006】
この発明は、正確なステレオ画像を撮影可能なステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、種々の方式で立体視を可能にしたステレオ画像処理装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
この発明のステレオ画像撮影アダプタは、カメラに取り付けられるアダプタであって、カメラが撮影する画像の左端または右端にマーク画像を写し込むキーを備えたことを特徴とする。
この発明のステレオ画像撮影アダプタは、スライドレールおよび該スライドレール上を摺動するカメラ台を備え、前記カメラ台は前記スライドレールに対して直角の方向にカメラが取り付けられ、前記カメラ台がスライドレールの左端に移動したとき、該カメラ台に取り付けられたカメラが撮影する画像の左端にマーク画像を写し込むキーを備えたことを特徴とする。
この発明のステレオ画像撮影アダプタは、前記発明において、前記カメラ台がスライドレールの右端に移動したとき、該カメラ台に取り付けられたカメラが撮影する画像の右端にマーク画像を写し込むキーを備えたことを特徴とする。
【0008】
上記発明において、キーはたとえばカメラのレンズ(視野)に突出する棒のようなもので構成される。これを画像左端または右端に写し込むことによって、ステレオ画像の左画像であるか右画像であるかを利用者が容易に判断することができ、また、自動識別処理も容易になる。また、カメラをスライドレール上で左右に摺動させるようにしたことにより、同じ高さで同じ向きのステレオ画像を確実に撮影できるようになる。
なお、上記発明において左右を反転させても同一構成であり、同一の効果を奏することができる。したがって、上記発明の左右を反転させた発明も実質的に上記発明と同一であって本願上記発明の技術的範囲に含まれるものである。
【0012】
この発明のステレオ画像撮影アダプタは、スライドレールと、該スライドレール上に固定された左カメラ台と、該左カメラ台の右側のスライドレール上を摺動する右カメラ台と、該左カメラ台よび右カメラ台に取り付けられた2台のカメラのシャッタを同時にオンする同時シャッタオン手段と、を備え、前記左カメラ台に取り付けられたカメラが撮影する画像の左端にマーク画像を写し込むキーを備えことを特徴とする。
この発明のステレオ画像撮影アダプタは、前記発明において、前記右カメラ台がスライドレールの右端に移動したとき、該カメラ台に取り付けられたカメラが撮影する画像の右端にマーク画像を写し込むキーを備えたことを特徴とする。
【0013】
上記発明において、キーはたとえばカメラのレンズ(視野)に突出する棒のようなもので構成される。これを画像左端または右端に写し込むことによって、ステレオ画像の左画像であるか右画像であるかを利用者が容易に判断することができ、また、自動識別処理も容易になる。また、右カメラをスライドレール上で左右に摺動させるようにしたことにより、右画像を左画像との間隔を変えて複数枚撮影することができ、立体感の強弱を調節しながら同じ向き、同じ高さの複数種類のステレオ画像を得ることができる。
なお、上記発明において左右を反転させても同一構成であり、同一の効果を奏することができる。したがって、上記発明の左右を反転させた発明も実質的に上記発明と同一であって本願上記発明の技術的範囲に含まれるものである。
【0018】
【発明の実施の形態】
図1はこの発明の実施形態である左画像識別アダプタの外観図である。この左画像識別アダプタは、ステレオ画像を撮影するときに使用されるものであり、左眼の視点から撮影される左画像を撮影するときに左画像である旨のキーマークを画像ファイルに写し込むためのものである。ステレオ画像は上記左眼用の左画像と右眼用の右画像からなる組画像である。左画像識別アダプタ10は、I字形をしたI金具11、L字形をしたL金具12、I金具11とL金具12を接続するネジ13、カメラにマーク画像を写し込むキー14、キー14とL金具12とを接続するヒンジ金具15、このアダプタおよびカメラ水平を検出する気泡水準器16などで構成される。I金具11には長手方向に長穴11aが開設されており、この長穴11aに前記ネジ13およびカメラ(不図示)の三脚用ネジ穴に螺合するネジ(不図示)が貫通している。長穴11aはI金具11の長手方向のほぼ全体にわたって開設されているため、カメラおよびL金具12の固定位置は自由である。また、L金具12の垂直部12aおよび水平部12bにも長穴12c,12dが開設されており、前記ネジは水平部12bの長穴12dを貫通している。長穴12dは水平部12bのほぼ全域にわたって開設されているため、L金具12がI金具11と交わる位置は自由である。ヒンジ金具14は、細長い棒状であるキーを支持するとともに、垂直部12aの長穴12cに固定され、90度揺動可能である。L金具12およびヒンジはキー14をカメラのレンズの前に移動させたり、レンズの前から外したりすることができる。利用者は、カメラの大きさやバランスを考慮して、長穴11aの適当な部分にカメラおよびL字金具12をネジ固定し、ヒンジ15の固定位置やキー14の固定位置を調節してキー14の先端部がカメラのレンズの左端に掛かるようにする。液晶ディスプレイを備えたデジタルカメラ、デジタルビデオカメラであれば、この液晶ディスプレイに写る映像でキーの位置を確認することができる。
【0019】
利用者が、1台のカメラを用いて立体視用のステレオ組画像を撮影する場合、左画像と右画像を順次撮影するが、左画像を撮影するとき前記キー14をレンズの前にかかるようにして撮影し、右画像を撮影するとき、ヒンジ15を視点に前記キー14を回動させ、キー14の先端部がレンズにかからないようにして撮影する。これにより、図5(D)の左側の画像のように、画像の左端にマークが写し込まれ、左右の画像の識別が容易になる。
【0020】
なお、この左画像識別アダプタ10は手持ち撮影で用いてもよいし、三脚等に固定した撮影に用いてもよい。また、この左識別アダプタ10にカメラを取り付けて三脚に固定し、もう一つのカメラを別の三脚に固定して前記カメラの右側に設置することにより、2台のカメラを用いて同時にステレオ撮影をすることも可能である。
【0021】
次に、図2に、この発明の他の実施形態であるスライド式撮影アダプタを示す。このスライド式撮影アダプタは、カメラをスライドさせることによって左右の画像を撮影することができるものである。同図において、このスライド式撮影アダプタ20は、撮影方向に直角に設置されるスライドレール21、このスライドレール21に摺動自在に嵌合し、カメラが固定されるカメラ台22、スライドレール21の両端に設けられる左右のエンドピース23,24、および、スライドレールを三脚に固定するための固定部25を有している。エンドピース23,24はスライドレール21の両端に固定されており、カメラ台22がスライドレール21から外れないようにしている。カメラ台22および左側のエンドピース23上にはI金具11(図1参照)が取り付けられており、この上にカメラまたはL金具12を取り付けられるようになっている。また、エンドピース23上に設けられたI金具11には気泡水準器16が設けられており、このスライド式撮影アダプタが水平に設置されているかを判定することができる。
【0022】
カメラはカメラ台22上のI金具11の長穴11aに取り付ける。そして、スライドレール21の左端に移動させて左画像を撮影し、所定の長さ右に移動させて右画像を撮影する。右画像は1枚でもよく、左画像の撮影位置との間隔を変えて複数枚撮影してもよい。
【0023】
図3は図2のスライド式撮影アダプタに左画像識別用のキー14を設けた実施形態を示す。同図において、左エンドピース23上に取り付けられているI金具11にネジ13を用いてL金具12を取り付け、このL金具12の垂直部12aにキー14を固定している。このキー14を左画像を撮影する位置のカメラのレンズに掛かるように設けることにより、左画像の左端部にマークを写し込むことができ、識別が容易になる。
【0024】
なお、図2、図3のスライド式撮影アダプタにおいて、1枚の左画像と1枚の右画像からなる組画像をペア画像といい、1枚の左画像と、この左画像の視点から距離を変化させて撮影した複数枚の右画像からなる組画像をシリーズ画像という。これは、左画像と右画像の視点の距離が変化すると、距離感・立体感が変化するため、立体視したときの距離感や立体感を変化させたいとき、右画像を複数枚撮影してこれを切り換えながら鑑賞する。
【0025】
この場合、図4(A)に示すように光軸を並行にしたまま複数枚の画像を撮影してもよい(この場合、視線は常に無限遠を向いている)が、同図(B)に示すように特定のオブジェクトを視線を向けてカメラの向きを変化させるようにしてもよい。これはカメラの取り付け角度を変えてカメラの向きを変化させてもよいが、カメラ台を回動可能なものに構成し、カメラ台を回転させることでカメラの向きを変化させるようにしてもよい。回転可能なカメラ台については後述する。
【0026】
ここで、1枚の左画像、1枚の右画像からなるペア画像、および、1枚の左画像、複数枚の右画像からなるシリーズ画像の画像ファイル群の配列のしかたについて、図5を参照して説明する。同図(A)は一般的なペア画像の配列の例を示し、同図(B)は一般的なシリーズ画像の配列の例を示す図である。このような画像の配列では組画像の区切りや左画像がどれかが分からないため内容を比較して決定する必要がある。一方、同図(D)、(I)のペア画像や同図(E)〜(H)のシリーズ画像のように左画像にマークを写し込んでおくことにより、左画像および組画像の開始点を容易に判断することができる。なお、この図において(C)、(E)〜(H)の黒い画像ファイルはシリーズ画像の区切り(終了または開始)を表す画像ファイルであり、カメラ(デジタルカメラ)の場合レンズをマスクして撮影することによって作成することができる。すなわちシリーズ画像を撮影し終わったとき、または、シリーズ画像を撮影する前にマスク撮影して黒い画像ファイルを作成しておくことにより、シリーズ画像の区切りを容易に判断することができる。また、同図(G)〜(H)の右画像の右端にもマークが写し込まれている。これは図6に示すように右側のエンドピース24にもキー14を設けて撮影したものである。これにより、左画像には左側のキー画像が写し込まれ、右画像には右側のキー画像が写し込まれ、識別が容易になる。また、シリーズ画像の場合には、左画像と右端の右画像にそれぞれキーが写し込まれるため、シリーズの最初と最後が分かりやすい。
【0027】
図6において、このスライド式撮影アダプタは、図3のスライド式撮影アダプタに更に右側のキー14を設けた実施形態を示している。右側のキー14の取付機構は左側のキーの取付機構と左右対称であるため説明を省略する。
【0028】
上記実施形態では、1台のカメラを右に移動させて左右の画像を別々の画像ファイルとして撮影する場合に使用するアダプタを示したが、次に1つの画像ファイルに左右の画像を写し込むステレオアダプタ、および、2台のカメラを取り付けて同時に左右の画像ファイルを撮影するアダプタについて説明する。
【0029】
図7は、1つの画像ファイルに左右画像を写し込む単眼カメラ用ステレオアダプタを示す図である。この単眼カメラ用ステレオアダプタ30は、図1のアダプタと同様、I金具11上にL金具12とカメラ(不図示)とを固定するようになっている。L金具の垂直部12aに取付金具32を介してステレオミラー31が取り付けられている。ステレオミラー30は、内部に鏡やプリズムを内蔵し、撮像素子を横に2等分した左右のエリアに左右の画像を別々に結像させる光学機械である。左右の画像は約6cm離れている。この単眼カメラ用ステレオアダプタ30を用いて撮影した画像ファイルは、図5(J)のようになり、1枚でステレオのペア画像となる。なお、I金具11の後端部には気泡水準器16が設けられている。
【0030】
また、図8は、上記単眼カメラ用ステレオアダプタ30において、ステレオミラー31を垂直部12aに取り付ける取付金具をヒンジ金具33とした例を示している。ヒンジ金具33を中心としてステレオミラー31を最大270度回動させることができ、ステレオ画像を撮影しない通常の撮影時にも、この単眼カメラ用ステレオアダプタ30からカメラを取り外すことなく、ステレオミラー31を回動させて、カメラのレンズにステレオミラー31がかからないようにして、通常の撮影を可能にしている。
【0031】
図40、図41は、1つの画像ファイルに左右画像を写し込む単眼カメラ用ステレオアダプタの他の実施形態を示す図である。この単眼カメラ用ステレオアダプタは、固定ベルト94および固定金具95を用いてカメラに直接取り付けられる。固定金具95はカメラの三脚穴に固定されアダプタの本体90をカメラに対して下から支持する。そして、固定ベルト94は、バネによって本体内部に巻き取り式になっており、これを繰り出してカメラの上から固定金具95に係止する。
【0032】
本体90は四角錐台形状をしておりその底面が開口していてその開口部にカメラのレンズが挿入される。本体90の内部には2枚の内部鏡92R,92Lが設けられている。2枚の内部鏡92R,92Lは挿入されるレンズの中央で当接し、左右に90度の開角でレンズに向けて設けられている。各内部鏡92R,92Lは、レンズに向けて45度の角度で対向する。本体の両側面には外部鏡91R,91Lが設けられており、前記底面の両側の辺部に設けられたヒンジを支点に揺動自在に支持されている。持ち運び時や収納時には、この外部鏡91R,91Lは、本体90の側面に沿うようにたたまれている。外部鏡91R,91Lの先端にはこの鏡を本体90に係止するためのフックが設けられている。使用時には、外部鏡91R,91Lは、前記ヒンジを中心に開かれる。開いて状態で固定される角度は、左右の内部鏡92R,92Lと並行になる角度である。これにより、レンズの右半分にはカメラの中心よりも右側の映像が入射し、レンズの左半分にはカメラの中心よりも左側の映像が入射する。したがって、このカメラで撮影した画像は図5(J)のようになり1枚で左右のステレオ画像となる。
【0033】
図9は、左識別ボタン付のデジタルカメラを示す図である。このカメラは、左識別ボタン36を備え、左画像の撮影時にシャッターボタン38とは別に左識別ボタン36を押すようにする。左識別ボタン36が押された状態でシャッターボタン38が押されると、このとき撮影した画像データに左識別情報を自動で付加(記録)する。また左識別ボタン36が押されたときに、音声やファインダ37内のランプ等で左識別ボタン36が押されたことを自動告知する。さらに、モード選択スイッチ39でステレオモードが選択されているときに、左識別ボタン36が押されなかった場合は、右画像であるという自動告知を行う。これにより、利用者の運用の誤りを無くすことができる。さらにファイダ37内に左画像が撮影済のときに点灯するランプを設け、ステレオモード時に左画像が撮影済であるか否かを告知できるようにする。
【0034】
このようにモード設定スイッチ39で種々の撮影モードを設定できるようにし、そのなかにステレオモードを設けて、ステレオ画像の撮影に適したカメラ設定、たとえば、時刻設定、各種撮影状態の設定などを自動設定するか、または、音声、ファインダ37内のランプ等で半自動警告する機能を装備することで、より一層利用者の操作を確実なものにすることができる。また、ステレオ撮影モードで撮影された画像データにその旨の識別情報を自動的に付加することにより、後の画像処理が容易になる。
【0035】
また、カメラに液晶ディスプレイが搭載されている場合には左画像の撮影と同時にディスプレイの左半分に左画像を表示させる。右側も同様に、右画像の撮影と同時にディスプレイの右半分に右画像を表示させる。これにより、左右の間違いやモード違いなどを確認することができ、利用者の運用の誤りを無くすことができる。また、左右同時にディスプレイに表示させることで、いわゆる裸眼立体視が可能になり、撮影結果の確認を即座に行うことができるという利点がある。なお、同図(A)は気泡水準器を設けたタイプ、同図(B)は電子水平センサを設けたタイプを示しており、このように電子水平センサまたは気泡水準器を設けたことにより、撮影時の水平確認が容易になる。
【0036】
図10は、左右にシャッターボタンを装備したデジタルカメラを示す図である。このカメラは左右にシャッターボタン38R,38Lを装備しており、左画像を撮影する場合には左シャッターボタン38L、右画像を撮影する場合には右シャッターボタン38Rをオンする。左シャッターが押されると、そのとき撮影した画像データに左画像であることを示す左識別情報を自動で付加(記録)する。同様に、右シャッターが押されると、そのとき撮影された画像データに右画像であることを示す右識別情報を自動的に付加(記録)する。また、左右のシャッターボタンが重複してオンされた場合には撮影を行わず、これを自動告知して利用者の運用の誤りを正す。
【0037】
また、このカメラは、モード設定スイッチ39で種々の撮影モードを設定できるようにし、そのなかにステレオモードを設けて、ステレオ画像の撮影に適したカメラ設定、たとえば、時刻設定、各種撮影状態の設定などを自動設定するか、または、音声、ファインダ37内のランプ等で半自動警告する機能を装備することで、より一層利用者の操作を確実なものにすることができる。また、ステレオ撮影モード自体も付加情報として自動記録する。
【0038】
また、カメラに液晶ディスプレイが搭載されている場合には左画像の撮影と同時にディスプレイの左半分に左画像を表示させる。右側も同様に、右画像の撮影と同時にディスプレイの右半分に右画像を表示させる。これにより、左右の間違いやモード違いなどを確認することができ、利用者の運用の誤りを無くすことができる。また、左右同時にディスプレイに表示させることで、いわゆる裸眼立体視が可能になり、撮影結果の確認を即座に行うことができるという利点がある。なお、同図(A)は気泡水準器を設けたタイプ、同図(B)は電子水平センサを設けたタイプを示しており、このように電子水平センサまたは気泡水準器を設けたことにより、撮影時の水平確認が容易になる。
【0039】
図11は、筐体の右側に赤外線の物体感知センサ41を装備したデジタルカメラを示す図である。このカメラでは、カメラ筐体の右側に赤外線の物体感知センサ41を装備している。利用者は、右画像撮影時には右目でファインダ37を覗き、左画像撮影時には左目でファインダ37を覗くようにする。そうすると、左目でファインダ37を覗く場合には顔がカメラに対して相対的に右に移動して物体感知センサ41に被さってオンする。この物体感知センサ41がオンしたときに撮影された画像ファイルに対して左画像である旨の左識別情報を付加(記録)する。逆に、物体感知センサ5が物体を感知しない場合には、そのとき撮影された画像ファイルに対して右画像である旨の右識別情報を付加(記録)する。
【0040】
また、このカメラを横に倒し、縦長の画像を撮影する場合には、同図(B)に示すように上記物体感知センサ41のアームを立ててカメラの右側にセンサ部41が来るようにする。このようにすることによって、カメラの構えかたが違っても左右どちらの目でファインダーを覗いているか、すなわち、右画像,左画像のどちらを撮影しているかを検出することができる。
【0041】
また、このカメラは、モード設定スイッチ39で種々の撮影モードを設定できるようにし、そのなかにステレオモードを設けて、ステレオ画像の撮影に適したカメラ設定、たとえば、時刻設定、各種撮影状態の設定などを自動設定するか、または、音声、ファインダ37内のランプ等で半自動警告する機能を装備することで、より一層利用者の操作を確実なものにすることができる。また、ステレオ撮影モード自体も付加情報として自動記録する。
【0042】
また、カメラに液晶ディスプレイが搭載されている場合には左画像の撮影と同時にディスプレイの左半分に左画像を表示させる。右側も同様に、右画像の撮影と同時にディスプレイの右半分に右画像を表示させる。これにより、左右の間違いやモード違いなどを確認することができ、利用者の運用の誤りを無くすことができる。また、左右同時にディスプレイに表示させることで、いわゆる裸眼立体視が可能になり、撮影結果の確認を即座に行うことができるという利点がある。また、電子水平センサまたは気泡水準器を設ければ、撮影時の水平確認が容易になる。
【0043】
次に、2台のカメラを用いてステレオ撮影するときに用いるアダプタについて説明する。図12は、単眼カメラを2台取り付けて同時にステレオ画像を撮影するスライド式撮影アダプタを示す図である。このアダプタにおいて、図2に示したアダプタと同一構成の部分は同一番号を付して説明を省略する。
【0044】
このスライド式撮影アダプタでは、左エンドピースを左カメラ台23とし、ここに左カメラを固定的に取り付け、レール21上をスライド可能なカメラ台22に右カメラを取り付ける。そして、両手で両方のカメラのシャッタを同時に押し下げるか、または、赤外線リモコンを用いて両方のカメラを同時に駆動して撮影する。赤外線リモコンを用いる場合、リモコンは後方から操作されるため、固定部25の前方に反射板26を取り付ける。この反射板26は後方から照射される赤外線を反射してカメラの赤外線受光部に入光させるものである。また、カメラ台23の右側約6cmのレール21上にスライドストッパ27が取り付けられている。このスライドストッパ27は、右カメラ台22が左カメラ台23に接近しすぎないように規制するためのものである。
【0045】
図13は上記スライド式撮影アダプタに左識別キー14を設けた例を示している。同図において、左カメラ台23上に取り付けられているI金具11にネジ13を用いてL金具12を取り付け、このL金具12の垂直部12aにキー14を固定している。L金具12とカメラのI金具11への取り付け位置は適宜決定すればよい。このキー14を、この左カメラ台23に取り付けられた左画像を撮影するカメラのレンズに掛かるように設けることにより、左画像の左端部にマークを写し込むことができ、識別が容易になる。
【0046】
図14は、上記スライド式撮影アダプタに左右の識別キー14を設けた例を示している。右の識別キー14は右のエンドピース24上にI金具11、L金具12を介して取り付けられており、右カメラ台22が右に移動したとき右カメラのレンズがキー14の先端に掛かるようになっている。これにより、右画像の識別が容易になるとともに、シリーズ画像を撮影したとき右端の画像すなわちシリーズの終了の判断が容易になる。
【0047】
図15(A)および図19は、図12のスライド式撮影アダプタにメカニカルな同時シャッタアタッチメント50を設けた図を示している。同時シャッタアタッチメント50は、図16に示すような構成をしており、シャッタキュー53をカメラのシャッタに当接させたのち、可動側機構部51全体を押し下げることにより左右両方のカメラのシャッタを同時に押すことができる。
【0048】
図16において、同時シャッタアタッチメント50は、スライド式撮影アダプタ20の固定部25に取付固定される固定側機構部52と、この固定側機構部に上下動可能に係止される可動側機構部51からなっている。固定側機構部52は、固定部25に差し込まれるアーム55、および、スプリングを内蔵し可動側機構部51を係止する係止部56を有している。係止部56は、上記スプリングにより上方に付勢されている。可動側機構部51は、前記係止部56に係止される逆L形の支柱60、支柱60に取り付けられ複数のシャッタキュー金具62が取り付けられるアーム61、および、先端にピン状のシャッタキュー53を有するシャッタキュー金具62からなっている。支柱60、アーム61、シャッタキュー金具62は、それぞれ長穴を有しており、カメラの形状や高さに合わせて適宜位置合わせして互いにネジ固定される。
【0049】
図12〜図14のスライド式撮影アダプタ20に、予め固定側機構部52を取り付けておく。そして、左右のカメラ台22,23に左右のカメラを取り付けたのち、上から可動側機構部51を被せ、この可動側機構部51の先端のシャッタキュー53が左右のカメラのシャッタ位置にくるように、各機構部品の接続位置を調整する。こののち、利用者が可動側機構部51を押し下げると、先端のシャッタキュー53が左右のカメラのシャッタを押し下げ、同時に左右画像が撮影される。
【0050】
なお、左右のカメラとも同じカメラであれば問題はないが、左のカメラと右のカメラとが異なる種類のカメラであった場合、シャッタ位置やレンズ位置が異なる場合がある。このような場合には図17(A)に示すようなカメラ高さ調整アタッチメントをカメラ台に取り付け、この上にカメラを載置固定することにより、レンズの高さを同じにすることができる。また、シャッタの高さが異なる場合には図17(B)に示すようにシャッタキュー53を有するシャッタキュー金具62のアーム61に対する高さを調整することによって左右2台のカメラのシャッタを同時に押し下げられるようにする。
【0051】
また、カメラを横に倒して固定し、縦長の画像を撮影する場合には、図17(C)に示すような縦カメラ取付アタッチメント65をI金具11に代えてカメラ台22,23に取り付け、この縦カメラ取付アタッチメント65に横向きにカメラを固定する。その場合において、同時シャッタアタッチメントを使用する場合は、固定側機構部52を用いず、可動側機構部51のみを用いる。すなわち、図18,図20に示すように、可動側機構部51の支柱60を固定部25に差し込み、支柱60とアーム61との接続部を緩めることでアーム61を左右に移動可能にし、アーム61を左に移動させることによって、シャッタキュー53の側面の突起がカメラのシャッタを同時に押し下げるようにする。
【0052】
なお、図21にこのスライド式撮影アダプタに使用される各部品の外観を示しておく。同図(A)は、スライドストッパ27を示す図である。このスライドストッパは、スライドレール21上をスライド可能なカメラ台22をスライドレール21上で規制するためのストッパであり、スライドレール21に嵌合させて前後のネジを締めることによってレール21に固定される。同図(B)は、カメラの底板であるI金具11の外観図である。長穴11aにカメラの三脚ネジに螺合するネジが嵌合している。また、同図(C)はこのI金具11の後端部に気泡水準器16を設けたものを示している。また、同図(D)はレール21上をスライド可能なカメラ台22を示す図であるが、このカメラ台22は、I金具と係合するシューの部分がレール上を摺動する基台部に対して回動可能になっている。これを用いて、レールに垂直以外の方向の撮影も可能になる。
【0053】
上記の同時シャッタアタッチメント50は、機構的にシャッタの同時押しを実現したが、電子的にシャッタを切ることのできるカメラ(デジタルカメラ(ビデオカメラを含む))であって、外部に同期端子が設けられているものを用いる場合、図22に示すようにこのカメラを2台並べて設置し、ケーブルまたは赤外線で同期させて同時にシャッタが切れるようにすることもできる。なお、2台並べて配置する場合、何らかの台の上に並べて設置してもよく、利用者が両手に1台ずつ持ってもよい。
【0054】
ここで、赤外線を用いた連動カメラの構成について説明する。
【0055】
▲1▼カメラ本体の左側に赤外線受光部、右側に赤外線発光部を組み込む。
▲2▼上記▲1▼のカメラを2台並べてステレオ撮影する際に、左側に位置するカメラでしかシャッタが切れないようにしておく。
▲3▼左側のカメラのシャッタを軽く押すと、2台のカメラの状態同期設定を指示する赤外線情報が左側のカメラから右側のカメラに送信される。右側のカメラはこの情報を受信して両方のカメラが同じ状態に設定される。
▲4▼左側のカメラのシャッタをさらに押し込むと、シャッタを切る旨の情報が左側のカメラから右側のカメラに向けて送信され、2台のカメラのシャッタが同期して切られて、同期したステレオ画像が撮影される。デジタルカメラの場合、撮影された画像のファイル名に右側画像,左側画像を示す情報が記載される。
【0056】
2台のカメラをケーブルで接続した場合でも上記と同様の連動をさせることが可能である。
【0057】
▲1▼カメラ本体にコネクタを組み込む。
▲2▼上記▲1▼のカメラを2台並べてステレオ撮影する際に、コネクタをケーブルで接続して、それぞれのカメラに右側、左側の設定をする。
▲3▼左側のカメラのシャッタを軽く押すと、2台のカメラの状態同期設定を指示する信号が左側のカメラから右側のカメラに送信される。右側のカメラはこの信号を受信して両方のカメラが同じ状態に設定される。
▲4▼左側のカメラのシャッタをさらに押し込むと、シャッタを切る旨の信号が左側のカメラから右側のカメラに向けて送信され、2台のカメラのシャッタが同期して切られて、同期したステレオ画像が撮影される。デジタルカメラの場合、撮影された画像のファイル名に右側画像,左側画像を示す情報が記載される。
【0058】
また、デジタルカメラを用いた場合には、2台のカメラが写している画像を一方のファインダディスプレイに重ねて表示することにより、撮影する画像の位置を確認することができるとともに、2台のカメラの位置合わせが楽になる。
【0059】
図23および図24にステレオ画像の撮影が可能な2眼カメラの例を示す。この2眼カメラ70は、レンズ、撮像素子、ファインダ等からなる左右のカメラ部71,72を1筐体に2つ組み込んだものである。図23(A)は同カメラの正面側の斜視図、同図(B)は同カメラの背面側の斜視図である。右カメラ部71、左カメラ部72は、下端部でヒンジ73によって接合されており、このヒンジ73を中心として図24(A)のように開くことができる。開く角度は図23の完全に閉じた状態(0度)から図24(A)の完全に開いた(180度)までの間の任意の角度にすることができる。各カメラ部のレンズ、撮像素子、ファインダ等は、カメラ部がどの角度に開かれても筐体内でその開角分だけ逆に回動し、常に正立状態を保つようにされている。そして、撮影された画像ファイルにこの開角に応じたレンズ間隔が付加情報として記憶される。また、左カメラ部72は、図24(B)に示すように水平に270度回転させることができる。
【0060】
このカメラは、ストロボ、デジタル・アナログ出力用コネクタ、水平センサを備えているほか、閉じたとき用・開いているとき用の2つのシャッタ、閉じたとき用・開いているとき用の2つの三脚穴、および、撮影モードスイッチを備えている。
【0061】
さらに、確認用液晶ディスプレイ76,77が左右の筐体の背面に設けられており、撮影時のモードに対応した左右の映像を確認することができ、撮影済の画像データを裸眼立体視表示用に表示することなどが可能である。また、100ヘルツ以上の垂直リフレッシュレートの映像出力インタフェースおよびこれに同期した液晶シャッタメガネを接続するインタフェースを設けてもよい。
【0062】
このカメラは、撮影モードスイッチを切り換えることにより、以下の8つの撮影モードを設定することができる。
【0063】
ノーマルモード:片目のレンズだけを用いた普通の撮影モード
ステレオ同時モード:左右の各1枚を同時にステレオ撮影するモード
パノラマ同時モード:左右の各1枚を同時にパノラマ撮影するモード、また、この場合、片方のレンズが電動で左右に首振りできるようにして自動で左右の画像を比較してパノラマ撮影に適した撮影角度を決められるようにしてもよい
ノーマル連写:片目だけで撮影して数秒間隔で同じ位置を連写するモード
ステレオ連写:2眼を利用して高速に同じ位置を連写するモード(通常の車などの移動体に乗っていてステレオ撮影する場合に適する)
パノラマ連写:2眼を利用して数秒間隔で同じ位置をパノラマ連写するモード(非常に遅い移動体に乗っているとき、この移動による視点の移動を利用してパノラマのステレオ撮影をする場合に適する)
パノラマ180:2眼を利用してパノラマ撮影したのち、片方レンズ筐体を回転させて180度の広いパノラマ風景撮影を行う。電動で自動で片方のレンズが回転する機構であってもよい
パノラマ270:2眼を利用してパノラマ撮影したのち、片方レンズ筐体を回転させて270度の広いパノラマ風景撮影を行う。電動で自動で片方のレンズが回転する機構であってもよい。
【0064】
また、左右のカメラ部背面に液晶ディスプレイ76,77が設けられているため、左画像の撮影と同時にディスプレイの左半分に左画像を表示させる。右側も同様に、右画像の撮影と同時にディスプレイの右半分に右画像を表示させる。これにより、左右の間違いやモード違いなどを確認することができ、利用者の運用の誤りを無くすことができる。また、左右同時にディスプレイに表示させることで、いわゆる裸眼立体視が可能になり、撮影前の画像の確認や撮影結果の確認を即座に行うことができるという利点がある。また、電子水平センサ、気泡水準器などの水平検出手段を設けることにより、撮影時の水平確認が容易になる。
【0065】
図25および図26は、ステレオ画像の撮影が可能な2眼カメラの他の例を示す図である。この2眼カメラ80は、本体81に左カメラ部を備え、この本体に対して摺動可能な棒83で接続されている別体82に右カメラ部を備えている。各カメラ部は、レンズ、撮像素子、ファインダ等からなっている。図25(A)は同カメラの正面側の斜視図、同図(B)は同カメラの背面側の斜視図、同図(C)は、棒の端部の第2ストッパ83bを収納した状態を示す正面側の一部斜視図である。図25に示す状態で左カメラ部と右カメラ部のレンズの距離が、人間の両眼の間隔である6cmになるように設計されている。そして、棒83を摺動させて別体82と本体81との距離を離し、第1ストッパ83aが本体81に当接する位置で停止させると左右のカメラ部の距離は両眼の間隔の2倍(12cm)になる(図26(A)参照)。また、棒の端部に設けられている太い部分である第2ストッパ83bが本体81内部で壁に当接し、それ以上引き出せなくなるところで停止させると左右のカメラ部の距離は両眼の間隔の3倍(18cm)になる(図26(B)参照)。なお、別体82を本体81と合体させた図25の状態では第2ストッパ83bがカメラの側面から突出するが(図25(A)参照)、これを折り曲げて同図(C)のように収納することができる。そして、撮影された画像ファイルに棒83が引き出された長さに応じたレンズ間隔が付加情報として記憶される。また、別体82の右カメラ部は、図26に示すように水平に360度回転させることができる。
なお、一般的に左右のレンズ間の距離を、被写体からの距離の1/20〜1/50に設定すると適当な立体感を得ることができる。
【0066】
このカメラは、シャッタ、ストロボ、三脚穴、デジタル・アナログ出力用コネクタ、水平センサを備えているほか、撮影モードスイッチを備えている。
【0067】
さらに、確認用液晶ディスプレイ83が本体81の背面に設けられており、撮影時のモードに対応した左右の映像を確認することができ、撮影済の画像データを裸眼立体視表示用に表示することなどが可能である。これにより、左右の間違いやモード違いなどを確認することができ、利用者の運用の誤りを無くすことができる。また、裸眼立体視を可能にすることで撮影前の画像の確認や撮影結果の確認を即座に行うことができるという利点がある。また、100ヘルツ以上の垂直リフレッシュレートの映像出力インタフェースおよびこれに同期した液晶シャッタメガネを接続するインタフェースを設けてもよい。また、電子水平センサ、気泡水準器などの水平検出手段を設けることにより、撮影時の水平確認が容易になる。
【0068】
このカメラは、撮影モードスイッチを切り換えることにより、以下の8つの撮影モードを設定することができる。
【0069】
ノーマルモード:片目のレンズだけを用いた普通の撮影モード
ステレオ同時モード:左右の各1枚を同時にステレオ撮影するモード
パノラマ同時モード:左右の各1枚を同時にパノラマ撮影するモード、また、この場合、片方のレンズが電動で左右に首振りできるようにして自動で左右の画像を比較してパノラマ撮影に適した撮影角度を決められるようにしてもよい。
【0070】
ノーマル連写:片目だけで撮影して数秒間隔で同じ位置を連写するモード
ステレオ連写:2眼を利用して高速に同じ位置を連写するモード(通常の車などの移動体に乗っていてステレオ撮影する場合に適する)
パノラマ連写:2眼を利用して数秒間隔で同じ位置をパノラマ連写するモード(非常に遅い移動体に乗っているとき、この移動による視点の移動を利用してパノラマのステレオ撮影をする場合に適する)
パノラマ180:2眼を利用してパノラマ撮影したのち、片方レンズ筐体を回転させて180度の広いパノラマ風景撮影を行う。電動で自動で片方のレンズが回転する機構であってもよい。
【0071】
パノラマ360:2眼を利用してパノラマ撮影したのち、片方レンズ筐体を回転させて360度の広いパノラマ風景撮影を行う(図29参照)。電動で自動で片方のレンズが回転する機構であってもよい。
【0072】
そして、片方のカメラ部(図示では左カメラ部)がパノラマ、ステレオ撮影用に360度横回転するようになっている。
【0073】
また、図27および図28は、さらに他のステレオ画像の撮影が可能な2眼カメラを示す図である。この2眼カメラ80′は、上記図25、図26に示した2眼カメラの棒83に代えて2段の角パイプ85を備えたものである。図25,図26の2眼カメラと同一構成の部分は説明を省略する。図27(A)は同カメラの正面側の斜視図、同図(B)は同カメラの背面側の斜視図である。図25に示す状態で左カメラ部と右カメラ部のレンズの距離が、人間の両眼の間隔である6cmになるように設計されている。そして、図28(A)に示すように、角パイプ85を1段引き出すと、左右のカメラ部の距離は両眼の間隔の2倍(12cm)になる。さらに、図28(B)に示すように、角パイプ85を2段引き出すと、左右のカメラ部の距離は両眼の間隔の3倍(18cm)になるそして、撮影された画像ファイルに棒83が引き出された長さに応じたレンズ間隔が付加情報として記憶される。また、別体82の右カメラ部は、図26に示すように水平に360度回転させることができる。
なお、一般的に左右のレンズ間の距離を、被写体からの距離の1/20〜1/50に設定すると適当な立体感を得ることができる。
【0074】
このカメラは、シャッタ、ストロボ、三脚穴、デジタル・アナログ出力用コネクタ、水平センサ、および、撮影モードスイッチを備えている。
【0075】
さらに、確認用液晶ディスプレイ83が本体81の背面に設けられており、撮影時のモードに対応した左右の映像を確認することができ、撮影済の画像データを裸眼立体視表示用に表示することなどが可能である。また、100ヘルツ以上の垂直リフレッシュレートの映像出力インタフェースおよびこれに同期した液晶シャッタメガネを接続するインタフェースを設けてもよい。
【0076】
このカメラは、撮影モードスイッチを切り換えることにより、以下の8つの撮影モードを設定することができる。
【0077】
ノーマルモード:片目のレンズだけを用いた普通の撮影モード
ステレオ同時モード:左右の各1枚を同時にステレオ撮影するモード
パノラマ同時モード:左右の各1枚を同時にパノラマ撮影するモード、また、この場合、片方のレンズが電動で左右に首振りできるようにして自動で左右の画像を比較してパノラマ撮影に適した撮影角度を決められるようにしてもよい。
【0078】
ノーマル連写:片目だけで撮影して数秒間隔で同じ位置を連写するモード
ステレオ連写:2眼を利用して高速に同じ位置を連写するモード(通常の車などの移動体に乗っていてステレオ撮影する場合に適する)
パノラマ連写:2眼を利用して数秒間隔で同じ位置をパノラマ連写するモード(非常に遅い移動体に乗っているとき、この移動による視点の移動を利用してパノラマのステレオ撮影をする場合に適する)
パノラマ180:2眼を利用してパノラマ撮影したのち、片方レンズ筐体を回転させて180度の広いパノラマ風景撮影を行う。電動で自動で片方のレンズが回転する機構であってもよい。
【0079】
パノラマ360:2眼を利用してパノラマ撮影したのち、片方レンズ筐体を回転させて360度の広いパノラマ風景撮影を行う。電動で自動で片方のレンズが回転する機構であってもよい。
【0080】
そして、片方のカメラ部(図示では左カメラ部)がパノラマ、ステレオ撮影用に360度横回転するようになっている(図29参照)。
【0081】
さらに、確認用液晶ディスプレイ83が本体81の背面に設けられており、撮影時のモードに対応した左右の映像を確認することができ、撮影済の画像データを裸眼立体視表示用に表示することなどが可能である。これにより、左右の間違いやモード違いなどを確認することができ、利用者の運用の誤りを無くすことができる。また、裸眼立体視を可能にすることで撮影前の画像の確認や撮影結果の確認を即座に行うことができるという利点がある。
【0082】
また、100ヘルツ以上の垂直リフレッシュレートの映像出力インタフェースおよびこれに同期した液晶シャッタメガネを接続するインタフェースを設けてもよい。また、電子水平センサ、気泡水準器などの水平検出手段を設けることにより、撮影時の水平確認が容易になる。また、左右のレンズで撮影された左右情報を同時に記録し、あとで編集、鑑賞時に利用できるようにしてもよい。
【0083】
≪立体視画像作成システムの実施形態≫
図30はこの発明の実施形態である立体視画像作成表示システムの概略構成図である。この疑似立体視システムは、上述したカメラで撮影されたステレオ画像を取り込んで立体視表示するシステムである。なお、取り込む画像は上述のカメラで撮影されたものに限定されずスキャナで読み込んだ画像やネットワークを介して受信した画像などを用いてもよい。
【0084】
この立体視画像作成表示システムは、パーソナルコンピュータ1、ディスプレイ2、入力デバイス3、画像入力機器4、液晶シャッタメガネ5を有している。なお、液晶シャッタメガネ5はなくてもよい。入力デバイス3はキーボードやマウスで構成されており、画像入力機器4は、アダプタを用いてステレオ画像を撮影したデジタルカメラ(デジタルビデオカメラを含む)を用いる。また、上記アダプタを用いてステレオ画像を撮影したカメラが銀塩カメラの場合には、現像されたフィルムをスキャンするフィルムスキャナまたはプリントされた印画紙をスキャンするスキャナが用いられる。パーソナルコンピュータ1は、利用者の入力デバイス3の操作に応じて画像入力機器4から画像を取り込む。そして、内部の処理によって立体視の組画像を作成する。そして、利用者の入力デバイス3の操作に応じてディスプレイ2にこれを表示する。
【0085】
以下、立体視画像作成表示システムの処理動作について説明する。
図31,図32および図43,図44は同パーソナルコンピュータの動作を示すフローチャートである。図31において、s1で画像入力機器から画像データを取り込む。このなかから、どの画像が左画像であり、右視角の画像であるかを識別して左右画像からなるステレオ組画像を抽出する(s2)。
【0086】
以下、ステレオ組画像の抽出について説明する。図5(C)〜(I)に示すように複数の画像ファイルが何らかの識別画像を写し込んで撮影されている場合は、この識別子に基づいて組画像を抽出する。ここで、組画像は左画像、右画像1枚ずつのペア画像、または、1枚の左画像および間隔を変えて撮影された複数枚の右画像からなるシリーズ画像である。図5(C)において連続する画像ファイルの両端の黒い画像ファイルはシリーズの開始と終了を示すために故意にマスクして撮影された画像ファイルである。黒い画像ファイルが発見されると、そこがシリーズ画像の区切りであると判断される。また、同図(D)〜(I)の画像ファイルの左端または右端に写し込まれている黒画像は、図2などに示すキー14によるマーク画像である。マーク画像を左端に有する画像ファイルは左画像であると判断され、マーク画像を右端に有する画像ファイルは右画像である、または、シリーズ画像の場合には右端の画像であると判断される。
【0087】
また、ファイル名や各画像ファイルに添付されているデータなどに基づき、画像ファイルそのものを開かなくても判断できる場合には、そのファイル名やデータでステレオ組画像を抽出する。
【0088】
また、図5(A)、(B)のように、画像ファイルにマークがなく、且つファイル名やデータで組画像を判断できない場合には、画像そのものの特徴に基づいて組画像を抽出する。これは、たとえば、画像の色のヒストグラムをとりその類似性で判断するなどの手法を用いる。画像全体のヒストグラムをとると処理量が膨大になるため、画像の縦横の所定の数ラインのヒストグラムをとり、これを比較する。
【0089】
また、図5(J)に示すような1枚を画像ファイルを左右画像に分割したものであった場合には(s3)、これを左右の画像に分割する(s4)。このようにして、抽出・作成された左右の画像データに対して、左右のステレオ画像であることを表示する新たなファイル名を付与する(s5)。
【0090】
そしてこの左右のステレオ画像を、大きさや位置関係が立体視可能になるように加工(自動立体化処理)する(s6)。この自動立体化処理の手順を図33〜図35に示す。立体化の処理は、基本的に図33(B)の手法のように、最も近距離の画像が左右で一致するように重ね合わせる処理である。これは立体視したときの遠近感が画面から奥に向かって生じるようにするためである。同図(A)の手法のように、遠景が一致するように左右の画像を合成した場合、立体視したとき遠近感が画面の手前に生じて画像が画面から飛び出しているように見え、鑑賞しづらくなる。このように画像を合成する場合、左右の画像は同じ倍率且つ同じ角度(水平)の画像である必要がある。このため、図34に示すように、基準となる左画像Lに対して右画像Rの条件が種々異なっていた場合、これを左画像に合わせて修正する。左右の画像のヒストグラムを取ると左右の輝度、色相、コントラストの相違が分かる。これが極端に異なっている場合には自然な立体視ができない。そこで、右画像をこれに合わせて修正する。すなわち、輝度、色相、コントラストのヒストグラムがほぼ一致するように画像処理する。そして、遠近(倍率)、画像サイズ、傾き、左右ズレ、縦横が異なっている場合には、それぞれ同じ倍率、同じサイズ、同じ角度、同じ方向の画像になるように画像ファイルを修正する。この場合において、図42に示すように左右の画像上で共通の3点をそれぞれ指定しすることにより、自動で画像の回転、拡大、左右決定をしてステレオ画像を作成するようにすることもできる。
【0091】
このようにして合成された画像ファイルに前記マーク画像が写し込まれている場合、図35(A)示すように画像の合成部分からこのマーク画像は外れているため、表示するときにこれを削除するようにしてもよく、また同図(B)に示すように画像ファイルからこのマーク画像を含む左右画像の不要部分を切り取って保存するようにしてもよい。
【0092】
図31において、上記の処理により立体視可能に処理されたステレオ組画像データを利用者の要求に応じた方式で出力する(s7〜s10)。出力の方式としては、ディスプレイへの表示(s8)、画像ファイルとして出力(s9)、紙への印刷出力(s10)がある。
【0093】
図32は上記s8の表示動作を詳細に説明するフローチャートである。まず利用者が表示モードを選択する(s13)。表示モードは、図36に示すように、裸眼立体視モード、3Dスコープを用いた3Dスコープモード、2色メガネを用いた2色メガネモード、液晶シャッタメガネを用いたインタレース3Dモードの4種類である。s14でどの表示モードが選択されたかを判断する。裸眼立体視モードが選択された場合には、左右の画像を人間の左右の眼の間隔である6cmの間隔に配置して画面を構成し(s15)、これを表示する(s16)。利用者は左画像を左眼で見るとともに右画像を右眼で見て自分の能力で小さな画像を立体視する。3Dスコープモードが選択された場合には、3Dスコープの対物鏡の間隔に合わせて画像を配置し(s17)、これを表示する(s18)。利用者は鏡を用いて左右の眼に別々の画像を入力する3Dスコープを用いてこの画面を見ることによって大きな画像を立体視する。2色メガネモードが選択された場合には、左画像を赤色に変換し、右画像を青色に変換する(s19)。そしてこれらの画像を図33Bの関係になるように合成して表示する(s20)。
【0094】
一方、インタレース3Dモードが選択された場合には、図33Bの位置関係になるように左右の画像を交互に表示する。すなわち、まず左画像を表示するとともに(s21)、インタフェース1aから左眼オン信号を出力する(s22)。この信号は液晶シャッタメガネ5に伝達される。この状態で10ms待機したのち(s23)、表示を右画像に切り換えるとともに(s24)、インタフェース1aから右眼オン信号を出力する(s25)。そして、この状態で10ms待機したのち(s26)、s21にもどりこの動作を繰り返す。これにより、画面の表示切り換えタイミングと液晶シャッタの切り換えタイミングが同期し、自然に大きな画像を立体視することができる。なお、パーソナルコンピュータ1に液晶シャッタメガネが接続されている場合には、自動的に液晶シャッタメガネのモードが選択されるようにしてもよい。
【0095】
各鑑賞モードで眼の疲れを防ぐために一定時間毎に例えばアラーム音を発生するなどの警告を行うようにしてもよい。また、一定時間で強制的に立体視の表示モードを解除してしまうようにしてもよい。また、各モードの鑑賞時間を記録して利用時間を参照できるようにしてもよい。
【0096】
なお、液晶シャッタメガネや2色メガネを用いて立体視する場合、図30に示したパーソナルコンピュータシステムのディスプレイを用いる方式以外に、図37(A)に示すようにデジタルカメラに付属したディスプレイをそのまま用いて表示する方式や、同図(B)に示すようにデジタルカメラを大型ディスプレイやテレビに接続し、これら大型ディスプレイやテレビに表示させる方式を採用することができる。この場合、上記組画像の抽出処理や合成処理はデジタルカメラが行う。
【0097】
また、画像データのソースとしては、図38に示すようにデジタルカメラ、デジタルカメラ等にセットされるメモリカード、ネットワーク、MO,フロッピィディスク,CD−ROM等のリムーバブルメディア、イメージスキャナ等を用いることができ、また、図39に示すようにパーソナルコンピュータを含む各種機器をセットトップボックスを介して接続するようにしてもよい。
【0098】
また、液晶シャッタメガネは光の透過率が低いため、液晶シャッタメガネのモードが選択された場合にはディスプレイの輝度を若干高くする自動処理を行ってもよい。また、100Hz以上で画面を切り換える性能を発揮できる解像度や表示タイミングに自動切り換えするようにしてもよい。
【0099】
また、ステレオ画像を表示しているとき、マウスのポインタもこのステレオ画像と一緒に立体視できるように左右画像に合わせて表示するようにしてもよい。すなわち、左眼用ポインタ画像と右眼用ポインタ画像を別々に構成する。
【0100】
また、ステレオ画像の左右のずれを利用して撮影されているオブジェクトの奥行き情報を得ることもできる。そして、この奥行き情報を利用して等高線画像を表示することもでき、または色の濃さで高さを表現した画像を表示することもできる。
【0101】
図43は出力モードとしてファイル出力モードを選択した場合の詳細動作を示している。まず利用者がファイル出力の形式(モード)を選択する(s30)。ファイル出力モードは表示と同様に、裸眼立体視モード、3Dスコープモード、2色メガネモード、インタレース3Dモードの4種類である。s31でどのファイル出力モードが選択されたかを判断する。裸眼立体視モードが選択された場合には、左右の画像を人間の左右の眼の間隔である6cmの間隔に配置して画面を構成し(s32)、これを合成して1つの画像ファイルにして出力する(s33)。ファイル出力は具体的にはハードディスクへの保存、ネットワークを介して他の端末装置への送信などがある。3Dスコープモードが選択された場合には、3Dスコープの対物鏡の間隔に合わせて画像を配置し(s34)、これを1つの画像ファイルにして出力する(s35)。2色メガネモードが選択された場合には、左画像を赤色に変換し、右画像を青色に変換する(s36)。そしてこれらの画像を図33Bの関係になるように合成してファイルに出力する(s37)。一方、インタレース3Dモードが選択された場合には、図32のs21からs26の動作をするように画像切換のシーケンスデータと画像データを組み合わせたファイルを作成して出力する。このファイルを再生すればインタレース3Dモードで画像を再生することができる。
【0102】
図44は出力モードとして印刷モードを選択した場合の詳細動作を示している。まず利用者が印刷形式(モード)を選択する(s40)。印刷モードは、裸眼立体視モード、3Dスコープモード、2色メガネモードの3種類である。印刷物ではインタレース3D表示は不可能であるのでそのモードは存在していない。s41でどの印刷モードが選択されたかを判断する。裸眼立体視モードが選択された場合には、左右の画像を人間の左右の眼の間隔である6cmの間隔に配置して画面を構成し(s42)、これを合成して1枚の用紙上に印刷する(s43)。3Dスコープモードが選択された場合には、3Dスコープの対物鏡の間隔に合わせて画像を配置し(s44)、これを1枚の用紙上に印刷する(s45)。2色メガネモードが選択された場合には、左画像を赤色に変換し、右画像を青色に変換する(s46)。そしてこれらの画像を図33Bの関係になるように合成して1枚の用紙上に印刷する(s47)。
【0103】
なお、この実施形態では画像データ処理装置としてパーソナルコンピュータを用いているが、ゲーム機やセットトップボックスを用いることもできる。
【0104】
≪液晶シャッタメガネのモード制御の実施形態≫
ディスプレイ2に表示される画像のモード等に応じて液晶シャッタメガネ5の動作モードを切り換える必要があるが、これをパーソナルコンピュータ1側から行うことができるようにした実施形態を図45に示す。図45のブロック図は、図30のインタフェース1a付近の詳細図である。この図の構成では、液晶シャッタメガネの専用コントロールボックスのほか、パーソナルコンピュータ1のキーボードまたはソフトウェアから液晶シャッタメガネの制御ができるようになっている。
【0105】
同図において、パーソナルコンピュータ1にはビデオカード(VGA CARD)110が接続されており、このビデオカード110にモニタ111およびLCDコントローラ113が接続されている。
【0106】
ビデオカード110とモニタ111との間は、映像信号が伝送されるPGB線,Sync線のほか、制御信号が送受信されるSDA線および制御信号の同期用クロック信号が伝送されるSCL線が接続されている。また、LCDコントローラ113には、上記SDA,SCL,Sync線が接続されている。
【0107】
ビデオカード110は、SDA線を介してモニタ111に対してモニタの種類を確認する信号を送信する。これに対してモニタ111は、モニタの種類を示すデータを返信してくる。この信号は、バッファ114を介してLCDコントローラ113にも入力される。バッファ114は、信号の波形を整形するための回路である。
【0108】
LCDコントローラ113には、LCDドライバ116、赤外線信号発生部118が接続されているとともに、リモートコントロールボックス115が接続されている。LCDドライバ116には1または複数の液晶シャッタメガネ117が接続されている。また、赤外線信号発生部(IR Generator)118には赤外線送信部(IR Transmitter)119が接続されている。赤外線信号は、赤外線で制御されるワイヤレスの液晶シャッタメガネ120に送信される。液晶シャッタメガネ120は送られてくる赤外線信号に基づいて右目,左目のシャッタの開閉を制御する。
【0109】
リモートコントロールボックス115は、ユーザが手動で動作モードなどを切り換えるためのボタンスイッチなどが設けられている。設けられているボタンスイッチとしては、電源オン/オフスイッチ、インターレース/ノンインターレースモードスイッチ、左右切り換えスイッチなどがある。
【0110】
また、LCDコントローラ113は、リモートコントローラ115のスイッチ操作でモードが切り換えられるのみでなく、ビデオカード110から出力される制御信号の回数でモードを切り換える。制御信号としてはREAD EDIDの信号を用い、この信号を2秒間に何回送信したかでモードを切り換える。すなわち、この信号はモニタ111のIDを確認する信号であるためこれを何度送信してもモニタ111の設定自体に影響はない。そこで、これを複数回連続して送信することをLCDコントローラに対するコマンドとしている。
【0111】
READ EDIDを2秒間に3回送信すると、ターンオフコマンドとなり、LCDコントローラ113は接続している液晶シャッタメガネ117(および120)シャッタ切り換えを停止する。これにより、アプリケーションから長時間の液晶シャッタメガネの使用を制限することができるようになる。また、READ EDIDを2秒間に4回送信すると、インタレース偶数フレームコマンドとなり、偶数ラインが右画像(奇数ラインが左画像)となっているインタレース映像を見るモードに液晶シャッタの開閉タイミングが設定される。また、READEDIDを2秒間に5回送信すると、インタレース奇数フレームコマンドとなり、奇数ラインが右画像(偶数ラインが左画像)となっているインタレース映像を見るモードに液晶シャッタの開閉タイミングが設定される。ここで、インタレース映像とは図47に示すような1ラインおきに右映像と左映像がはめ込まれた合成映像である。このような映像がビデオカード110から出力された場合、LCDコントローラ113は、1ライン毎にアナログスイッチ112をオン/オフして奇数フレームは奇数ラインのみ、偶数フレームは偶数ラインのみを表示するようにして1フレーム毎に右画像のみと左画像のみが交互に表示されるようにし、液晶シャッタメガネを1フレーム毎に交互に開閉する。
【0112】
READ EDIDを2秒間に6回送信すると、ノンインタレース偶数フレームコマンドとなり、偶数フレームが右画像(奇数フレームが左画像)となっているノンインタレース映像を見るモードに液晶シャッタの開閉タイミングが設定される。また、READ EDIDを2秒間に7回送信すると、ノンインタレース奇数フレームコマンドとなり、奇数フレームが右画像(偶数フレームが左画像)となっているノンインタレース映像を見るモードに液晶シャッタの開閉タイミングが設定される。ここで、ノンインタレース映像とは1フレームずつ右(左)画像と左(右)画像が交互に表示されるモードである。このような映像がビデオカード110から出力された場合、LCDコントローラ113は、アナログスイッチ112を常時オンにし、液晶シャッタメガネを1フレーム毎に交互に開閉する。
【0113】
なお、従来のLCDコントローラは上記のような機能がなく、液晶シャッタメガネのモード切り換えをリモートコントローラ115のボタンスイッチのみで行っていた。このため、パソコンのキーボードで切り換えることやソフトウェアで自動制御することができず、長時間液晶シャッタを開閉させて立体視鑑賞をしていると目が疲れたり痛くなる場合があったが、このような場合でも自分で手動でオフするしかなく、液晶メガネにチラツキが発生する場合、子供が誤って見ると問題がある可能性があり、PL問題に発展する可能性があった。しかし、図45の構成およびSDAを用いたコマンド制御により、ユーザは、手元にボックスを置かなくてもパーソナルコンピュータのキーボードなどから遠隔制御でき、加えて、アプリケーションプログラムから自動で制御できるため、間違った使い方を防ぐことも可能になる。また、上記PL問題解決も可能で、自動的にある一定時間が経過すると立体視の外付けハードウェアの機能がオフになったり、ユーザの希望で鑑賞延長できたり自由に制御が可能になる。
【0114】
≪左右画像の合わせ方の実施形態≫
以下、ステレオの左右画像の位置合わせを、利用者が効率的に行うことができるようにした処理方式について説明する。この実施形態では利用者の以下の操作を実現している。手動で画面上で2枚の画像を重ね合わせる場合、一方の画像を画面上で固定し、他方の画像の一部分(マウス等で範囲指定した区画)のみをリアルタイムでずらして一方の画像と重ね合わせ、好みの位置が決まったのち、他方の画像の全体を移動して重ね合わせる。また、2枚の画像が重なっても両方とも透けて見えるようになっており、マウス等で範囲指定された区間も透けており、重ね合わせの状態を視覚的、直観的に判断することができる。
【0115】
なお、従来の2枚の画像を手動で重ね合わせる場合、一方の画像を画面上で固定し、他方の画像の全体をリアルタイムでずらして重ね合わせして、好みの位置を決めていた。このため、大きい画像の場合、画像の書き換え表示の処理が重くなって、利用者の操作に追従できなくなり、画像のズレの微調整の場合など作業効率が極端に落ちるという欠点があり、また、画像全体が同時にズレるため、2枚の画像のどちらをずらしているのかが、すぐに判断できないという欠点があった。
【0116】
以下、図面を参照してこの実施形態(パーソナルコンピュータ1)の処理手順について説明する。
【0117】
図46は、同パーソナルコンピュータ1の処理の流れを示す図である。まず、画像合成表示用のウィンドウを表示し(s101)、このウィンドウに左右の画像ファイルのデータを読み込む(s102)。左右の画像ファイルは所定の縦サイズ×横サイズの画像データであるが、これを図47に示すように、インタレース合成処理(左画像を奇数ラインのみ、右画像を偶数ラインのみ(左右の奇偶は逆でもよい))を行う(s103)。これにより、左右画像の両方が透けて見える1枚の画像となる。そして、この左右画像のうち一方を固定画像とし、他方を移動可能な画像と設定する(s104)。そして、合成された画像をディスプレイ上に表示する(s105)。この表示例を図48に示す。同図に示すように、ディスプレイには左右の画像が両方見えるように重なって表示される。この表示のとき、利用者が、マウス等のポインティングデバイス(以下マウスという)でドラッグして小領域を指定するので、その小領域の区切り線を表示する(s106)。利用者は、この領域をマウスで持って任意の最適な位置へ移動させる。これをその移動中の位置でインタレース表示する(s107:図49)。移動された領域は小領域であるため、このインタレース表示の書き換えもリアルタイムで可能である。マウスが開放されたとき(s108:図50)、移動位置がその位置に決定されたものとして移動画像の全体をその位置に移動させて表示する(s109:図51)。この状態で保存操作がされればこの画像ファイルを保存して(s110)動作を終了する。移動位置が最適でなかった場合には、利用者がs106以下の操作をやり直す。
【0118】
上記のように、マウスでドラッグして少しだけ小領域をズラせば、すぐに、重なっている画像のうちどちらの画像をドラッグしたかも直観的にわかり、また、小領域として特徴的な画像部分を選択し、この小領域を最適な位置に移動させながら重ね合わせることにより、効率的に最適位置を探すことができる。そして、最適位置が見つかったとき、マウスドラッグを開放すれば画像全体がその位置に移動するため、インタレース合成処理の負担を少なく最適位置への移動合成処理を行うことができる。
【0119】
≪ステレオ画像の自動合成処理の実施形態≫
この実施形態では、ステレオ撮影された2枚の画像を自動的に最適位置に合成する処理を提案する。この処理は、利用者が、撮影された画像内の物体のなかから画面の半分くらいを占める上下に長い棒状物体または上下に長い物体の縦ラインを探してこれを指定することにより、パーソナルコンピュータ1がこの棒状物体または縦ラインに基づいて左右画像を自動的に合成するものである。指定する棒状物体は、その両端(全体)が撮影者からほぼ同じ距離のものであることが望ましい。利用者は、左右2枚の画像に撮影されている棒状物体(縦ライン)の上下の頂点、すなわち4点の指定を行うのみでよい。パーソナルコンピュータ1は左右画像に撮影されている棒状物体(縦ライン)の両端の2点の距離、角度、傾き、位置を計算し、これを一致させることで2枚のステレオ画像の自動重ね合わせを行う。
【0120】
また、この自動重ね合わせを行ったのちの2つの画像の位置関係でどちらが左画像でどちらが右画像であるかを自動決定することも可能である。すなわち、両方の画像が重なり合っている範囲から左側にはみ出している画像が左画像であり、逆に右側にはみ出している画像が右画像であると決定することができる。
【0121】
なお、従来は、ステレオ撮影された類似の2枚画像の重ね合わせは、手動で量画像を比較して単純に見ながら、画像回転、拡大縮小、上下左右移動、左右指定の各作業を1つずつ行っており非常に効率が悪かった。
【0122】
以下、図52のフローチャートを参照してこのステレオ画像の自動合成処理について詳細に説明する。まず、ディスプレイの全体を使って左右に2分割したウィンドウを表示する(s111)。ステレオ撮影された左右画像を読み込んで(s112)、上記左右ウィンドウ内に読み込んだ左右の各画像を表示する(s113)。このときは、画像の左上端をウィンドウの左上端に合わせて表示する。画像サイズがウィンドウサイズよりも大きい場合は上下、左右のスクロールバーを表示する。このとき、画像が大きくて画面からはみ出した場合でも、見やすくなるように画像を縮小するなどの処理をしない。このほうが、位置計算を正確に行うことができるためである。この表示とともに、左右のウィンドウの中心にウィンドウの縦サイズの2/3程度の長さの直線(バーポインタ)を表示する(s114:図53)。バーポインタは、図53に示すように上端および下端にハンドル(小四角形)を有している。
【0123】
この状態で、スクロールバーを操作することにより、画像をウィンドウ内で上下左右にスクロールすることができ、一方の画像をスクロールしたとき他方の画像も同期して同じ方向に同じだけスクロールされるが(s115)、画像のスクロールにかかわらずバーポインタはウィンドウ内で同じ位置である(s116:図54参照)。
【0124】
画像が適当な位置にスクロールされると、利用者は、一方のウィンドウ上でバーポインタの上端のハンドルをマウスのドラッグで移動させる(s117)。この移動に合わせてバーポインタを伸縮表示する(s118)。なお、バーポインタの上端ハンドルの移動範囲はウィンドウの上半分に制限する。これは、バーポインタが短くなりすぎて自動合成処理が不正確になるのを防止するためである。そして、マウスのドラッグが解除されるとそのときのマウス位置に上端ハンドルの位置を決定し、この上端ハンドルの色または形状を変えて表示する(s119)。上記s117、s118、s119の処理を他方のウィンドウ上で同様に行う(s120:図55)。左右画像上における上端ハンドルの位置は、撮影されている同じ物体の同じ位置になるように指定される。
【0125】
バーコードポインタの上下頂点の2点は、指定する2点となるため丸い小さなリングにしてマウスでドラッグしやすい形状として位置決定後は丸い小さなリング内の色または形状が変わるようにする。
【0126】
次に、バーポインタの下端ハンドルを指定するために画像を下方向にスクロールした場合でも(s121)、下端ハンドルの位置はまだ決定されていないため、画像のスクロールにかかわらずウィンドウ上で固定されている(図56参照)。なお、上端ハンドルの画像上の位置は既に決定されているため、画像とともにスクロールしている。
【0127】
画像が適当な位置にスクロールされると、利用者は、一方のウィンドウ上でバーポインタの下端のハンドルをマウスのドラッグで移動させる(s122)。この移動に合わせてバーポインタを伸縮表示する(s123)。なお、バーポインタの下端ハンドルの移動範囲はウィンドウの下半分に制限する。これは、バーポインタが短くなりすぎて自動合成処理が不正確になるのを防止するためである。そして、マウスのドラッグが解除されるとそのときのマウス位置に下端ハンドルの位置を決定し、この下端ハンドルの色または形状を変えて表示する(s124)。上記s122、s123、s124の処理を他方のウィンドウ上で同様に行う(s125:図57)。左右画像上における下端ハンドルの位置は、撮影されている同じ物体の同じ位置になるように指定される。
【0128】
なお、上端ハンドル、下端ハンドルの位置決定がうまくいかなかった場合には、これをやり直すことも可能である。
【0129】
左右画像の上端ハンドル、下端ハンドルの位置が決定されると、左右の画像のバーポインタが重なるように両画像全体の伸縮・回転・上下左右の移動を行う(s126)。このとき、一方の画像を固定して、他方をこの一方の画像に合わせるように伸縮・回転・上下左右の移動を行うようにしてもよく、両画像の中間値をとるように伸縮・回転・上下左右の移動を行うようにしてもよい。
【0130】
上記処理で重ね合わされた左右画像をインタレース合成して表示し、利用者がその重なり具合を確認できるようにする(s127)。この表示状態で重なり具合に問題があればs115にもどって処理をやり直す。重なり具合が問題なければ、左端が重なっていない画像を左画像、右端が重なっていない画像を右画像としてファイル名を付け、左右画像を保存して(s128)、処理を終える。
【0131】
≪左右画像の表示ウィンドウの制御を同期させる実施形態≫
以下、ステレオ撮影された左右の画像をそれぞれ別々のウィンドウに表示したとき、そのウィンドウサイズやスクロール位置を1組のスクロールバーだけで同期して変えられるようにした実施形態について説明する。
【0132】
これにより、スレオスコープで立体鑑賞する際、サイズ、解像度が異なるディスプレイでも、2枚の立体視画像を画面いっぱいに表示させ、もし、画像が大きくて表示ウィンドウから読み出した場合でも、常に同じ部分が表示させるようにすることにより、迫力ある画像を楽しむことができるようになる。
【0133】
また、ステレオスコープ無しで裸眼のみでステレオ画像を鑑賞する際は、縦方向はステレオ鑑賞での制限はないが、横方向は、個人の能力によって鑑賞範囲が制限される。このため、横方向のみ左右のウィンドウを最適な距離で表示調整できるようにする必要がある。この実施形態では、ディスプレイの縦中心から左右の表示ウィンドウを同期をとって横方向に縮ませたり伸ばしたりできるようにすることにより、鑑賞者の能力に応じた表示範囲を容易に設定できるようにした。
【0134】
なお、従来は、2つのウィンドウを左右に並べて表示させることは可能であったが、画像が大きくてウィンドウからはみ出した場合、左右のウィンドウに表示されている画像を別々にスクロールして位置合わせする必要があり、操作が極めて面倒であり、左右画像の位置関係をスクロールしても同じにしておくことが困難であったため、位置が移動するごとに立体感が異なり、全体を同じ感じで鑑賞することが困難であった。また、ウィンドウの大きさを変える場合でも各ウィンドウを個々に縮めたり伸ばしたりする必要があり、このとき画像のスクロールも個別に行う必要があり、手間と根気が必要であった。
【0135】
以下図面を参照してこの実施形態のウィンドウ制御処理について説明する。図58および図59は立体視スコープ(3Dスコープ)用のウィンドウ制御処理を説明する図である。
図58のフローチャートにおいて、まずステレオの左右画像を読み込む(s131)。つぎに、ディスプレイの最大表示エリア(縦横ピクセル数)を算出し(s132)、これを左右に2分割して2つのウィンドウを表示し(s133)、各ウィンドウに、立体視鑑賞できるように算出済み位置関係で左右画像を表示する(s134:図59)。左右のウィンドウには、それぞれ左右スクロールバー、上下スクロールバーが表示されているが、一方のウィンドウ(たとえば左ウィンドウ)のスクロールバーを移動させるとこれに同期して他方のウィンドウ(たとえば右ウィンドウ)のスクロールバーも移動し、利用者が好みの位置を決定することができる(s135)。利用者は好みの位置を決定したのち立体視スコープ鑑賞する(s136)。
【0136】
図60および図61は裸眼による立体視用のウィンドウ制御処理を説明する図である。
図60のフローチャートにおいて、まずステレオの左右画像を読み込む(s141)。つぎに、ディスプレイの最大表示エリア(縦横ピクセル数)を算出し(s142)、ディスプレイを中心から左右に2分割して2つのウィンドウを表示し横方向のみウィンドウサイズを可変にする(s143)。なお、縦方向はディスプレイの表示可能最大サイズで固定する。各ウィンドウに、立体視鑑賞できるように算出済み位置関係で左右画像を表示する(s144:図61)。左右のウィンドウは横方向に伸縮可能であり、一方のウィンドウを伸縮させると他方のウィンドウも同期して同じサイズに伸縮される。なお、右側のウィンドウは右辺が左右に移動することによって伸縮し、左側のウィンドウは左辺が左右に移動することによって伸縮する。また、左右のウィンドウには、それぞれ左右スクロールバー、上下スクロールバーが表示されているが、一方のウィンドウ(たとえば左ウィンドウ)のスクロールバーを移動させるとこれに同期して他方のウィンドウ(たとえば右ウィンドウ)のスクロールバーも移動し、利用者が好みの位置を決定することができる(s145)。利用者は、好みのウィンドウサイズ、好みの位置を決定したのち裸眼で立体視鑑賞する(s146)。
【0137】
≪ステレオ画像の奥行き情報を表示する実施形態≫
人間の眼の左右視差を利用して立体視鑑賞できるように、一方の画像(左画像または右画像)に対する他方の画像(右画像または左画像)の画像を作成する際に、画面の縦横カーソルの位置とカーソルの長さに合わせて、その画像断面の奥行き具合を、リアルタイムに画像の表示ウィンドウの上端の帯枠内と左端の帯枠内でグラフ表示させる。
【0138】
図62のフローチャートおよび図63のディスプレイの表示例を参照して奥行き情報表示動作について説明する。図62のフローチャートにおいて、まず、ディスプレイにメインウィンドウ、奥行き表示ウィンドウ、奥行きポイント表示ウィンドウを表示する(s151)。メインウィンドウは合成されたステレオ画像を表示するウィンドウである。奥行き表示ウィンドウは、メインウィンドウの左辺,上辺に沿って2つ表示されるウィンドウであり、メインウィンドウに表示される十字カーソル(縦ラインカーソル、横ラインカーソル)上の画像の奥行きを表示するためのウィンドウである。また、奥行きポイント表示ウィンドウは、上記十字カーソルの交点の奥行きを奥行きバーおよび数値で表示するためのウィンドウである。
【0139】
ウィンドウを表示すると、メインウィンドウに疑似立体視画像を読み込み(s152)、メインウィンドウ上に縦ラインカーソル、横ラインカーソルからなるクロスラインカーソルを表示する(s153)。クロスラインカーソルの交点の奥行き値を計算し、これを奥行き表示ウィンドウの奥行きバーおよび数値で表示する(s154)。また、逆に奥行きバーまたは数値で指定ポイント(クロスラインカーソルの交点)の奥行き値を指定して、指定ポイントの奥行き値がそうなるように画像を修正することもできる。
【0140】
つぎに、縦ラインカーソルに沿って一連の奥行き情報を縦ラインの奥行き表示ウィンドウにグラフ表示する(s155)とともに、横ラインカーソルに沿って一連の奥行き情報を横ラインの奥行き表示ウィンドウにグラフ表示する(s156)。クロスラインカーソルはマウス操作によって任意の位置に移動させることができる(s157)。所望の奥行きになったところでファイルを保存する(s158)。これにより、疑似立体視の奥行き感を任意に最適に設定することができる。
【0141】
【発明の効果】
以上のようにこの発明によれば、左右の組画像であるステレオ画像を容易な操作で確実に撮影することができ、撮影後の左右の識別処理も容易になるという利点がある。
【0142】
また、ステレオ画像を用いて立体視するには種々の方式があるが、この発明によれば、選択された方式に合わせてステレオ画像を表示することができ、利用者が有する器具の種類や能力に合わせた立体視が可能になる。
【図面の簡単な説明】
【図1】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図2】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図3】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図4】ステレオ画像の左画像と右画像の撮影範囲を説明する図
【図5】ステレオのペア画像およびシリーズ画像に対して付されるマークの種類を説明する図
【図6】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図7】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図8】上記ステレオ画像撮影アダプタの他の実施形態を示す図
【図9】この発明の実施形態であるステレオ画像撮影用カメラを示す図
【図10】この発明の実施形態であるステレオ画像撮影用カメラを示す図
【図11】この発明の実施形態であるステレオ画像撮影用カメラを示す図
【図12】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図13】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図14】この発明の実施形態であるステレオ画像撮影アダプタを示す図
【図15】上記ステレオ画像撮影アダプタに設けられる同時シャッタアタッチメントを示す図
【図16】上記ステレオ画像撮影アダプタに設けられる同時シャッタアタッチメントを示す図
【図17】上記ステレオ画像撮影アダプタに設けられる同時シャッタアタッチメントを示す図
【図18】上記ステレオ画像撮影アダプタに設けられる同時シャッタアタッチメントを示す図
【図19】上記ステレオ画像撮影アダプタに設けられる同時シャッタアタッチメントを示す図
【図20】上記ステレオ画像撮影アダプタに設けられる同時シャッタアタッチメントを示す図
【図21】上記ステレオ画像撮影アダプタの構成部品を示す図
【図22】2台のデジタルカメラでシャッタ同期をとる方式を示す図
【図23】この発明の実施形態であるステレオ画像撮影用カメラを示す図
【図24】上記ステレオ画像撮影用カメラの使用状態を示す図
【図25】この発明の実施形態であるステレオ画像撮影用カメラを示す図
【図26】上記ステレオ画像撮影用カメラの使用状態を示す図
【図27】この発明の実施形態であるステレオ画像撮影用カメラを示す図
【図28】上記ステレオ画像撮影用カメラの使用状態を示す図
【図29】パノラマ撮影の方式を説明する図
【図30】この発明の実施形態であるステレオ画像処理装置のブロック図
【図31】同ステレオ画像処理装置の処理動作を示すフローチャート
【図32】同ステレオ画像処理装置の処理動作を示すフローチャート
【図33】同ステレオ画像処理装置の画像合成方式を説明する図
【図34】ステレオ画像の左右の画像が異なる場合の組み合わせ例を示す図
【図35】上記ステレオ画像処理装置のマークの消し込み処理を説明する図
【図36】立体視の種々の方式を説明する図
【図37】ステレオ画像表示システムの例を示す図
【図38】ステレオ画像処理システム他の構成例を示す図
【図39】ステレオ画像処理システム他の構成例を示す図
【図40】単眼カメラステレオアダプタの他の実施形態を示す図
【図41】単眼カメラステレオアダプタの他の実施形態を示す図
【図42】ステレオ画像の左右の画像の角度が異なる場合の回転方法を説明する図
【図43】ステレオ画像処理装置のファイル出力動作を示すフローチャート
【図44】ステレオ画像処理装置の印刷動作を示すフローチャート
【図45】ステレオ画像処理装置の液晶シャッタメガネの制御部のブロック図
【図46】ステレオ画像の左右の画像を手動で重ね合わせる手順を説明する図
【図47】インタレース合成の概念図
【図48】ステレオ画像の左右の画像を手動で重ね合わせる際のディスプレイの表示例を示す図
【図49】ステレオ画像の左右の画像を手動で重ね合わせる際のディスプレイの表示例を示す図
【図50】ステレオ画像の左右の画像を手動で重ね合わせる際のディスプレイの表示例を示す図
【図51】ステレオ画像の左右の画像を手動で重ね合わせる際のディスプレイの表示例を示す図
【図52】ステレオ画像の自動合成処理の手順を説明する図
【図53】ステレオ画像の自動合成処理の手順におけるディスプレイの表示例を示す図
【図54】ステレオ画像の自動合成処理の手順におけるディスプレイの表示例を示す図
【図55】ステレオ画像の自動合成処理の手順におけるディスプレイの表示例を示す図
【図56】ステレオ画像の自動合成処理の手順におけるディスプレイの表示例を示す図
【図57】ステレオ画像の自動合成処理の手順におけるディスプレイの表示例を示す図
【図58】立体視スコープモード時のウィンドウ制御手順を説明する図
【図59】立体視スコープモード時のウィンドウ表示例を示す図
【図60】裸眼立体視モード時のウィンドウ制御手順を説明する図
【図61】裸眼立体視モード時のウィンドウ表示例を示す図
【図62】疑似立体画像の奥行き情報のディスプレイ表示手順を説明する図
【図63】奥行き表示ウィンドウの表示例を示す図
【符号の説明】
1…パーソナルコンピュータ、1a…インタフェース、2…ディスプレイ、3…入力デバイス、4…画像入力機器、5…液晶シャッタメガネ、
10…ステレオ画像撮影アダプタ、11…I金具、12…L金具、14…キー、16…水準器、
20…ステレオ画像撮影アダプタ、21…スライドレール、22…カメラ台、23、24…エンドピース、
30…ステレオ画像撮影アダプタ、31…ステレオミラー、
36…左識別ボタン、38L,38R…(左右の)シャッタボタン、41…物体検出センサ、26…(赤外線リモコンの光を反射する)反射板、
50…同時シャッタアタッチメント、51…可動側機構部、52…固定側機構部、53…シャッタキュー、
71,72、81,82…左右のカメラ部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereo image capturing adapter for capturing a stereo image for pseudo-stereoscopic viewing, a stereo image capturing camera, and a stereo image processing apparatus that enables stereoscopic viewing using a stereo image.
[0002]
[Prior art]
In commercial transactions using the Internet, so-called e-commerce, it is very effective to stereoscopically view a product on the screen because the product cannot actually be picked up. Conventionally, various methods for pseudo-stereoscopic viewing using flat images and such images have been proposed. For example:
Autostereoscopic viewing that allows two users to see the right and left viewing angles side-by-side, and allows the user to view the right-view image with the right eye and the left-view image with the left eye.
Stereoscopic view using a 3D scope that juxtaposes two images viewed from the left and right viewing angles, and uses a mirror or the like to guide the right vision image to the right eye and the left vision image to the left vision
The image data viewed from the left and right viewing angles is converted into red and blue images by a predetermined calculation, and the user views the left and right lenses wearing blue and red glasses (red that is twice as dark as the blue). 2 color glasses stereoscopic
Liquid crystal glasses stereoscopic view that is displayed with liquid crystal glasses that opens and closes the field of view in synchronization with this display switching.
Each has advantages and disadvantages.
[0003]
Liquid crystal glasses can be viewed most stereoscopically, but liquid crystal glasses with liquid crystal shutters on the left and right are required, and a computer that displays images must also have a function to control this. Otherwise, this stereoscopic view is not possible. In addition, anyone can easily see stereoscopic vision with two-color glasses, but the color of the left and right lenses is a color with different complementary colors, so the long-time viewing is difficult and the color display is difficult to see. there were. The 3D scope can perform color stereoscopic viewing with a relatively simple system, but has a drawback that the field of view is narrower than glasses. In addition, autostereoscopic viewing is the simplest because it does not require an instrument, but only a small image can be seen, and not all people can see stereoscopically due to the large portion of the ability of the user.
[0004]
[Problems to be solved by the invention]
As described above, there are merits and demerits in a plurality of types of stereoscopic viewing methods. For example, when a stereoscopic image is disclosed through the Internet, it is impossible to know in advance how the terminal that accesses the stereoscopic image can view stereoscopically. There is a problem that the layout and the image display method cannot be determined.
[0005]
In addition, stereoscopic viewing requires images of left and right viewing angles, but these left and right images are taken at two points that are accurately horizontal and have the same angle of view and the same magnification under the conditions of accurate stereoscopic viewing. is there. However, it is difficult to realize this with a conventional camera that has been put into practical use, and it is possible to determine later which of the captured images is a stereo left and right image. It was sometimes difficult. In many cases, it is difficult to add a three-dimensional effect when shooting.
[0006]
An object of the present invention is to provide a stereo image capturing adapter capable of capturing an accurate stereo image, a stereo image capturing camera, and a stereo image processing apparatus capable of stereoscopic viewing by various methods.
[0007]
[Means for Solving the Problems]
The stereo image capturing adapter according to the present invention is an adapter attached to a camera, and includes a key for capturing a mark image at the left end or the right end of an image captured by the camera.
The stereo image shooting adapter of the present invention is A slide rail and a camera base that slides on the slide rail, the camera base being mounted with a camera in a direction perpendicular to the slide rail; When the camera base is moved to the left end of the slide rail, a key for capturing a mark image is provided at the left end of an image taken by a camera attached to the camera base.
The stereo image capturing adapter according to the present invention includes a key for capturing a mark image at a right end of an image photographed by a camera attached to the camera base when the camera base is moved to the right end of the slide rail. It is characterized by that.
[0008]
In the above-described invention, the key is constituted by, for example, a rod that projects into the lens (field of view) of the camera. By copying this to the left end or right end of the image, the user can easily determine whether the image is the left image or the right image of the stereo image, and automatic identification processing is also facilitated. Further, since the camera is slid left and right on the slide rail, a stereo image of the same height and the same direction can be reliably captured.
In the above invention, even if the left and right are reversed, the same configuration is obtained and the same effect can be obtained. Accordingly, the invention in which the left and right sides of the above invention are reversed is substantially the same as the above invention, and is included in the technical scope of the above invention.
[0012]
The stereo image shooting adapter of the present invention is A slide rail, a left camera base fixed on the slide rail, a right camera base that slides on the right slide rail of the left camera base, and two units attached to the left camera base and the right camera base Simultaneous shutter-on means for simultaneously turning on the shutters of the cameras of A key for capturing a mark image at the left end of an image taken by a camera attached to the left camera base; The It is characterized by that.
The stereo image capturing adapter according to the present invention further includes a key for capturing a mark image at the right end of an image captured by the camera attached to the camera base when the right camera base moves to the right end of the slide rail. It is characterized by that.
[0013]
In the above-described invention, the key is constituted by, for example, a rod that projects into the lens (field of view) of the camera. By copying this to the left end or right end of the image, the user can easily determine whether the image is the left image or the right image of the stereo image, and automatic identification processing is also facilitated. In addition, by sliding the right camera to the left and right on the slide rail, it is possible to shoot multiple images of the right image at different intervals from the left image, the same direction while adjusting the strength of the stereoscopic effect, A plurality of types of stereo images having the same height can be obtained.
In the above invention, even if the left and right are reversed, the same configuration is obtained and the same effect can be obtained. Accordingly, the invention in which the left and right sides of the above invention are reversed is substantially the same as the above invention, and is included in the technical scope of the above invention.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is an external view of a left image identification adapter according to an embodiment of the present invention. This left image identification adapter is used when shooting a stereo image. When shooting a left image shot from the viewpoint of the left eye, a key mark indicating that the image is a left image is copied to the image file. Is for. The stereo image is a combined image including the left image for the left eye and the right image for the right eye. The left image identification adapter 10 includes an I-shaped I bracket 11, an L-shaped L bracket 12, a screw 13 connecting the I bracket 11 and the L bracket 12, a key 14 for copying a mark image to the camera, and a key 14 and L A hinge metal fitting 15 that connects the metal fitting 12, this adapter, a bubble level 16 that detects the camera level, and the like are included. A long hole 11a is formed in the I metal fitting 11 in the longitudinal direction, and the screw 13 and a screw (not shown) to be screwed into a tripod screw hole of a camera (not shown) pass through the long hole 11a. . Since the long hole 11a is opened over substantially the entire length of the I metal fitting 11, the camera and the L metal fitting 12 can be fixed at any positions. Further, elongated holes 12c and 12d are also formed in the vertical portion 12a and the horizontal portion 12b of the L metal fitting 12, and the screws pass through the elongated holes 12d of the horizontal portion 12b. Since the long hole 12d is opened over almost the entire area of the horizontal portion 12b, the position where the L metal fitting 12 intersects the I metal fitting 11 is arbitrary. The hinge fitting 14 supports a key that is in the shape of an elongated bar, is fixed to the elongated hole 12c of the vertical portion 12a, and can swing 90 degrees. The L bracket 12 and the hinge can move the key 14 in front of the lens of the camera and can be removed from the front of the lens. In consideration of the size and balance of the camera, the user screws the camera and L-shaped bracket 12 to appropriate portions of the elongated hole 11a and adjusts the fixing position of the hinge 15 and the fixing position of the key 14 to adjust the key 14. Make sure that the tip of the camera is on the left edge of the camera lens. In the case of a digital camera or digital video camera equipped with a liquid crystal display, the position of the key can be confirmed from the image shown on the liquid crystal display.
[0019]
When a user uses a single camera to shoot a stereo grouped image for stereoscopic viewing, the left image and the right image are sequentially captured. When the left image is captured, the key 14 is placed in front of the lens. When the right image is taken, the key 14 is rotated with the hinge 15 as a viewpoint, and the tip of the key 14 is taken so that it does not touch the lens. As a result, a mark is imprinted on the left edge of the image as in the left image of FIG. 5D, and the left and right images can be easily identified.
[0020]
The left image identification adapter 10 may be used for handheld shooting or for shooting fixed on a tripod or the like. In addition, by attaching a camera to the left identification adapter 10 and fixing it to a tripod, and fixing another camera to another tripod and installing it on the right side of the camera, stereo photography can be performed simultaneously using two cameras. It is also possible to do.
[0021]
Next, FIG. 2 shows a slide type photographing adapter according to another embodiment of the present invention. This slide-type photographing adapter is capable of photographing left and right images by sliding a camera. In this figure, the slide type photographing adapter 20 includes a slide rail 21 installed at a right angle to the photographing direction, a camera base 22 on which the camera is fixed, and a slide rail 21 which is slidably fitted to the slide rail 21. Left and right end pieces 23 and 24 provided at both ends, and a fixing portion 25 for fixing the slide rail to a tripod. The end pieces 23 and 24 are fixed to both ends of the slide rail 21 so that the camera base 22 is not detached from the slide rail 21. An I bracket 11 (see FIG. 1) is mounted on the camera base 22 and the left end piece 23, and a camera or L bracket 12 can be mounted thereon. Further, the bubble level 16 is provided in the I metal fitting 11 provided on the end piece 23, and it can be determined whether or not the slide type photographing adapter is installed horizontally.
[0022]
The camera is attached to the elongated hole 11 a of the I bracket 11 on the camera base 22. Then, the left image is moved to the left end of the slide rail 21 to photograph the left image, and the right image is photographed by moving to the right by a predetermined length. The right image may be a single image or a plurality of images may be captured at different intervals from the left image capturing position.
[0023]
FIG. 3 shows an embodiment in which the left image identification key 14 is provided in the slide type photographing adapter of FIG. In the figure, an L metal fitting 12 is attached to an I metal fitting 11 attached on the left end piece 23 using a screw 13, and a key 14 is fixed to a vertical portion 12 a of the L metal fitting 12. By providing the key 14 so as to be placed on the lens of the camera at the position where the left image is to be photographed, a mark can be imprinted on the left end of the left image, and identification becomes easy.
[0024]
2 and 3, a combined image composed of one left image and one right image is called a pair image, and a distance from the viewpoint of the left image and the left image is determined. A group image composed of a plurality of right images taken by changing is called a series image. This is because if the distance between the viewpoint of the left image and the right image changes, the sense of distance and stereoscopic effect will change, so if you want to change the sense of distance and stereoscopic effect when stereoscopically viewed, take multiple images of the right image. Watch while switching this.
[0025]
In this case, as shown in FIG. 4A, a plurality of images may be taken with the optical axes being parallel (in this case, the line of sight always faces infinity), but FIG. As shown, the direction of the camera may be changed by directing the line of sight to a specific object. This may change the orientation of the camera by changing the camera mounting angle, but the camera base may be configured to be rotatable, and the camera orientation may be changed by rotating the camera base. . The rotatable camera base will be described later.
[0026]
Here, refer to FIG. 5 for the arrangement of image file groups of a single left image, a pair image composed of one right image, a single left image, and a series image composed of a plurality of right images. To explain. FIG. 2A shows an example of a general pair image arrangement, and FIG. 2B shows an example of a general series image arrangement. In such an image arrangement, it is necessary to compare and determine the contents because it is not known which is the segmented image separation or the left image. On the other hand, the start point of the left image and the group image can be obtained by imprinting a mark on the left image as in the pair images in FIGS. (D) and (I) and the series images in FIGS. (E) to (H). Can be easily determined. In this figure, the black image files (C), (E) to (H) are image files representing the division (end or start) of the series images. In the case of a camera (digital camera), the lens is masked and photographed. Can be created by doing. That is, when a series image has been taken, or before the series image is taken, a mask image is taken to create a black image file, so that the division of the series image can be easily determined. In addition, a mark is also imprinted on the right edge of the right images in FIGS. This was taken with the key 14 also provided on the right end piece 24 as shown in FIG. As a result, the left key image is imprinted on the left image, and the right key image is imprinted on the right image, which facilitates identification. In the case of series images, the keys are imprinted on the left image and the right-most right image, respectively, so that the beginning and end of the series are easy to understand.
[0027]
FIG. 6 shows an embodiment in which the slide type photographing adapter is provided with a right key 14 in addition to the sliding type photographing adapter shown in FIG. Since the right key 14 mounting mechanism is symmetrical with the left key mounting mechanism, description thereof is omitted.
[0028]
In the above-described embodiment, the adapter used when moving one camera to the right and shooting the left and right images as separate image files has been described. However, the stereo that captures the left and right images in one image file is shown next. An adapter and an adapter that attaches two cameras and simultaneously captures left and right image files will be described.
[0029]
FIG. 7 is a diagram illustrating a monocular camera stereo adapter that captures left and right images in one image file. This monocular camera stereo adapter 30 is configured to fix an L bracket 12 and a camera (not shown) on an I bracket 11 as in the adapter of FIG. A stereo mirror 31 is attached to the vertical portion 12a of the L metal fitting via an attachment metal fitting 32. The stereo mirror 30 is an optical machine that incorporates a mirror and a prism inside and separately forms left and right images in left and right areas obtained by dividing the image sensor into two equal parts. The left and right images are about 6 cm apart. An image file photographed using this monocular camera stereo adapter 30 is as shown in FIG. 5 (J), and one image becomes a stereo pair image. A bubble level 16 is provided at the rear end of the I metal fitting 11.
[0030]
FIG. 8 shows an example in which the mounting bracket for attaching the stereo mirror 31 to the vertical portion 12a in the monocular camera stereo adapter 30 is a hinge bracket 33. The stereo mirror 31 can be rotated up to 270 degrees around the hinge metal fitting 33, and the stereo mirror 31 can be rotated without removing the camera from the monocular camera stereo adapter 30 even during normal shooting without shooting a stereo image. Therefore, the normal mirror can be taken so that the stereo mirror 31 is not applied to the lens of the camera.
[0031]
40 and 41 are diagrams showing another embodiment of a monocular camera stereo adapter that captures left and right images in one image file. This monocular camera stereo adapter is directly attached to the camera using a fixing belt 94 and a fixing bracket 95. The fixing bracket 95 is fixed to the tripod hole of the camera and supports the main body 90 of the adapter with respect to the camera from below. The fixing belt 94 is wound around the inside of the main body by a spring, and the fixing belt 94 is fed out and locked to the fixing bracket 95 from above the camera.
[0032]
The main body 90 has a quadrangular pyramid shape, and its bottom surface is open, and a camera lens is inserted into the opening. Inside the main body 90, two internal mirrors 92R and 92L are provided. The two internal mirrors 92R and 92L are in contact with each other at the center of the lens to be inserted, and are provided toward the lens at an open angle of 90 degrees to the left and right. Each of the internal mirrors 92R and 92L is opposed to the lens at an angle of 45 degrees. External mirrors 91R and 91L are provided on both side surfaces of the main body, and are swingably supported by hinges provided on side portions on both sides of the bottom surface. The outer mirrors 91 </ b> R and 91 </ b> L are folded along the side surface of the main body 90 when being carried or stored. A hook for locking the mirror to the main body 90 is provided at the tip of the external mirrors 91R and 91L. In use, the external mirrors 91R and 91L are opened around the hinge. The angle fixed in the open state is an angle parallel to the left and right internal mirrors 92R and 92L. As a result, an image on the right side of the center of the camera is incident on the right half of the lens, and an image on the left side of the center of the camera is incident on the left half of the lens. Therefore, an image photographed by this camera is as shown in FIG. 5 (J), and one image becomes a left and right stereo image.
[0033]
FIG. 9 shows a digital camera with a left identification button. This camera includes a left identification button 36, and the left identification button 36 is pressed separately from the shutter button 38 when a left image is captured. When the shutter button 38 is pressed while the left identification button 36 is pressed, the left identification information is automatically added (recorded) to the image data captured at this time. Further, when the left identification button 36 is pressed, it is automatically notified that the left identification button 36 has been pressed by voice or a lamp in the finder 37. Furthermore, when the stereo mode is selected by the mode selection switch 39, if the left identification button 36 is not pressed, an automatic notification that the image is the right image is performed. As a result, user operation errors can be eliminated. Further, a lamp that is turned on when the left image has been shot is provided in the finder 37 so that it can be notified whether or not the left image has been shot in the stereo mode.
[0034]
In this way, various shooting modes can be set with the mode setting switch 39, and a stereo mode is provided therein, and camera settings suitable for shooting a stereo image, such as time setting, various shooting state settings, etc. are automatically performed. By setting a function or providing a semi-automatic warning function by voice, a lamp in the finder 37, etc., the user's operation can be further ensured. Further, by automatically adding identification information to that effect to image data captured in the stereo shooting mode, subsequent image processing is facilitated.
[0035]
When the camera is equipped with a liquid crystal display, the left image is displayed on the left half of the display at the same time as the left image is captured. Similarly, the right image is displayed on the right half of the display at the same time as the right image is captured. Thereby, it is possible to confirm left and right mistakes, mode differences, and the like, and it is possible to eliminate user operation errors. In addition, by displaying on the display at the same time on the left and right, so-called autostereoscopic viewing becomes possible, and there is an advantage that the photographing result can be confirmed immediately. In addition, the same figure (A) shows the type which provided the bubble level, the same figure (B) has shown the type which provided the electronic level sensor, and by providing the electronic level sensor or the bubble level in this way, Easily check the level when shooting.
[0036]
FIG. 10 is a diagram showing a digital camera equipped with left and right shutter buttons. This camera is equipped with left and right shutter buttons 38R and 38L, and the left shutter button 38L is turned on when taking a left image, and the right shutter button 38R is turned on when taking a right image. When the left shutter is pressed, left identification information indicating a left image is automatically added (recorded) to the image data captured at that time. Similarly, when the right shutter is pressed, right identification information indicating a right image is automatically added (recorded) to the image data captured at that time. If the left and right shutter buttons are turned on in duplicate, no shooting is performed, and this is automatically notified to correct the user's operation error.
[0037]
In addition, the camera can set various shooting modes with the mode setting switch 39, and a stereo mode is provided in the camera so that camera settings suitable for shooting a stereo image, such as time settings and various shooting state settings, are provided. Can be automatically set, or equipped with a function of semi-automatic warning by voice, a lamp in the finder 37, etc., the user's operation can be further ensured. In addition, the stereo shooting mode itself is automatically recorded as additional information.
[0038]
When the camera is equipped with a liquid crystal display, the left image is displayed on the left half of the display at the same time as the left image is captured. Similarly, the right image is displayed on the right half of the display at the same time as the right image is captured. Thereby, it is possible to confirm left and right mistakes, mode differences, and the like, and it is possible to eliminate user operation errors. In addition, by displaying on the display at the same time on the left and right, so-called autostereoscopic viewing becomes possible, and there is an advantage that the photographing result can be confirmed immediately. In addition, the same figure (A) shows the type which provided the bubble level, the same figure (B) has shown the type which provided the electronic level sensor, and by providing the electronic level sensor or the bubble level in this way, Easily check the level when shooting.
[0039]
FIG. 11 is a diagram showing a digital camera equipped with an infrared object detection sensor 41 on the right side of the housing. This camera is equipped with an infrared object detection sensor 41 on the right side of the camera housing. The user looks into the finder 37 with the right eye when photographing the right image, and looks into the finder 37 with the left eye when photographing the left image. Then, when looking through the finder 37 with the left eye, the face moves to the right relative to the camera and covers the object detection sensor 41 and turns on. Left identification information indicating that the image is a left image is added (recorded) to the image file captured when the object detection sensor 41 is turned on. On the contrary, when the object detection sensor 5 does not detect an object, right identification information indicating that the image is a right image is added (recorded) to the image file taken at that time.
[0040]
When the camera is tilted sideways and a vertically long image is taken, the sensor 41 is placed on the right side of the camera with the arm of the object detection sensor 41 raised as shown in FIG. . In this way, it is possible to detect whether the left or right eye is looking through the viewfinder, that is, whether the right image or the left image is being photographed, even if the camera is held differently.
[0041]
In addition, the camera can set various shooting modes with the mode setting switch 39, and a stereo mode is provided in the camera so that camera settings suitable for shooting a stereo image, such as time settings and various shooting state settings, are provided. Can be automatically set, or equipped with a function of semi-automatic warning by voice, a lamp in the finder 37, etc., the user's operation can be further ensured. In addition, the stereo shooting mode itself is automatically recorded as additional information.
[0042]
When the camera is equipped with a liquid crystal display, the left image is displayed on the left half of the display at the same time as the left image is captured. Similarly, the right image is displayed on the right half of the display at the same time as the right image is captured. Thereby, it is possible to confirm left and right mistakes, mode differences, and the like, and it is possible to eliminate user operation errors. In addition, by displaying on the display at the same time on the left and right, so-called autostereoscopic viewing becomes possible, and there is an advantage that the photographing result can be confirmed immediately. In addition, if an electronic horizontal sensor or a bubble level is provided, it is easy to check the level during shooting.
[0043]
Next, an adapter used when performing stereo shooting using two cameras will be described. FIG. 12 is a diagram showing a slide type imaging adapter that attaches two monocular cameras and simultaneously captures a stereo image. In this adapter, parts having the same configuration as that of the adapter shown in FIG.
[0044]
In this slide type photographing adapter, the left end piece is the left camera base 23, the left camera is fixedly attached thereto, and the right camera is attached to the camera base 22 slidable on the rail 21. Then, the shutters of both cameras are simultaneously pushed down with both hands, or both cameras are simultaneously driven using an infrared remote controller. When the infrared remote controller is used, the remote controller is operated from the rear, and thus the reflector 26 is attached in front of the fixed portion 25. The reflection plate 26 reflects infrared rays irradiated from the rear and enters the infrared light receiving portion of the camera. A slide stopper 27 is mounted on the rail 21 about 6 cm on the right side of the camera base 23. The slide stopper 27 is for restricting the right camera base 22 from being too close to the left camera base 23.
[0045]
FIG. 13 shows an example in which the left identification key 14 is provided in the slide type photographing adapter. In the figure, an L metal fitting 12 is attached to an I metal fitting 11 attached on the left camera base 23 using a screw 13, and a key 14 is fixed to a vertical portion 12 a of the L metal fitting 12. The attachment position of the L bracket 12 and the camera to the I bracket 11 may be determined as appropriate. By providing the key 14 on a lens of a camera that captures a left image attached to the left camera base 23, a mark can be imprinted on the left end portion of the left image, and identification becomes easy.
[0046]
FIG. 14 shows an example in which left and right identification keys 14 are provided on the slide type photographing adapter. The right identification key 14 is mounted on the right end piece 24 via the I bracket 11 and the L bracket 12 so that when the right camera base 22 moves to the right, the lens of the right camera is hooked on the tip of the key 14. It has become. As a result, the right image can be easily identified, and the right end image, that is, the end of the series can be easily determined when the series image is taken.
[0047]
FIG. 15A and FIG. 19 are diagrams in which a mechanical simultaneous shutter attachment 50 is provided in the slide type photographing adapter of FIG. The simultaneous shutter attachment 50 is configured as shown in FIG. 16, and after the shutter cue 53 is brought into contact with the shutter of the camera, the entire movable-side mechanism 51 is pushed down so that the shutters of both the left and right cameras are simultaneously opened. Can be pressed.
[0048]
In FIG. 16, a simultaneous shutter attachment 50 includes a fixed-side mechanism 52 that is attached and fixed to the fixed portion 25 of the slide type photographing adapter 20, and a movable-side mechanism 51 that is locked to the fixed-side mechanism so as to be movable up and down. It is made up of. The fixed-side mechanism portion 52 includes an arm 55 inserted into the fixed portion 25 and a locking portion 56 that incorporates a spring and locks the movable-side mechanism portion 51. The locking portion 56 is biased upward by the spring. The movable side mechanism 51 includes an inverted L-shaped column 60 that is locked to the locking unit 56, an arm 61 that is attached to the column 60 and to which a plurality of shutter cue fittings 62 are attached, and a pin-shaped shutter cue at the tip. The shutter cue fitting 62 having 53 is formed. The support column 60, the arm 61, and the shutter cue fitting 62 each have an elongated hole, and are appropriately positioned according to the shape and height of the camera and screwed together.
[0049]
A fixed-side mechanism 52 is attached in advance to the slide-type imaging adapter 20 shown in FIGS. Then, after the left and right cameras are attached to the left and right camera bases 22 and 23, the movable side mechanism unit 51 is covered from above, and the shutter cue 53 at the tip of the movable side mechanism unit 51 comes to the shutter position of the left and right cameras. Next, the connection position of each mechanical component is adjusted. Thereafter, when the user depresses the movable side mechanism unit 51, the shutter cue 53 at the front end depresses the shutters of the left and right cameras, and the left and right images are simultaneously captured.
[0050]
There is no problem as long as the left and right cameras are the same camera, but if the left camera and the right camera are different types of cameras, the shutter position and lens position may be different. In such a case, the lens height can be made the same by attaching a camera height adjustment attachment as shown in FIG. 17A to the camera base and mounting and fixing the camera thereon. When the shutter heights are different, the shutters of the left and right cameras are simultaneously pushed down by adjusting the height of the shutter cue fitting 62 having the shutter cue 53 with respect to the arm 61 as shown in FIG. To be able to.
[0051]
When the camera is tilted horizontally and fixed to shoot a vertically long image, a vertical camera attachment 65 as shown in FIG. 17C is attached to the camera bases 22 and 23 instead of the I bracket 11. The camera is fixed to the vertical camera attachment 65 in the horizontal direction. In that case, when the simultaneous shutter attachment is used, only the movable side mechanism portion 51 is used without using the fixed side mechanism portion 52. That is, as shown in FIGS. 18 and 20, the arm 61 can be moved left and right by inserting the support column 60 of the movable side mechanism unit 51 into the fixed unit 25 and loosening the connection part between the support column 60 and the arm 61. By moving 61 to the left, the protrusion on the side surface of the shutter cue 53 pushes down the shutter of the camera simultaneously.
[0052]
In addition, the external appearance of each component used for this slide-type imaging | photography adapter is shown in FIG. FIG. 3A is a view showing the slide stopper 27. This slide stopper is a stopper for restricting the camera base 22 slidable on the slide rail 21 on the slide rail 21, and is fixed to the rail 21 by fitting the slide rail 21 and tightening the front and rear screws. The FIG. 2B is an external view of the I bracket 11 that is the bottom plate of the camera. A screw that is screwed into a tripod screw of the camera is fitted in the long hole 11a. FIG. 2C shows a bubble level 16 provided at the rear end of the I metal fitting 11. FIG. 4D is a view showing a camera base 22 that can slide on the rail 21. The camera base 22 has a base portion on which the shoe portion that engages with the I bracket slides on the rail. It is possible to rotate with respect to. Using this, it is possible to shoot in directions other than perpendicular to the rail.
[0053]
The above-mentioned simultaneous shutter attachment 50 is a camera (digital camera (including a video camera)) capable of electronically releasing the shutter although it has mechanically realized simultaneous pressing of the shutter, and is provided with a synchronization terminal outside. In the case of using what is provided, two cameras can be installed side by side as shown in FIG. 22, and the shutter can be simultaneously released by synchronizing with a cable or infrared rays. In addition, when arrange | positioning 2 units | sets side by side, you may install side by side on a certain table | surface, and a user may have one unit in both hands.
[0054]
Here, the structure of the interlocking camera using infrared rays will be described.
[0055]
(1) An infrared receiving unit is incorporated on the left side of the camera body and an infrared emitting unit is incorporated on the right side.
(2) When two cameras of the above (1) are arranged side by side for stereo photography, the shutter can be released only with the camera located on the left side.
(3) When the left camera shutter is lightly pressed, infrared information instructing the state synchronization setting of the two cameras is transmitted from the left camera to the right camera. The right camera receives this information and both cameras are set to the same state.
(4) When the shutter of the left camera is further pushed in, information indicating that the shutter is to be released is transmitted from the left camera to the right camera, and the shutters of the two cameras are synchronized and the synchronized stereo is transmitted. An image is taken. In the case of a digital camera, information indicating the right image and the left image is described in the file name of the captured image.
[0056]
Even when two cameras are connected by a cable, it is possible to make the same interlock as described above.
[0057]
(1) Install the connector into the camera body.
(2) When two cameras of the above (1) are arranged side by side for stereo shooting, a connector is connected with a cable, and right and left settings are made for each camera.
(3) When the left camera shutter is lightly pressed, a signal instructing the state synchronization setting of the two cameras is transmitted from the left camera to the right camera. The right camera receives this signal and both cameras are set to the same state.
(4) When the shutter of the left camera is further pushed in, a signal to release the shutter is transmitted from the left camera to the right camera, and the shutters of the two cameras are cut synchronously to synchronize the stereo. An image is taken. In the case of a digital camera, information indicating the right image and the left image is described in the file name of the captured image.
[0058]
When a digital camera is used, the images taken by the two cameras are displayed on one viewfinder display so that the position of the image to be taken can be confirmed, and the two cameras Alignment of becomes easy.
[0059]
FIG. 23 and FIG. 24 show an example of a twin-lens camera capable of capturing a stereo image. This twin-lens camera 70 is one in which two left and right camera units 71 and 72 including a lens, an image sensor, a finder, and the like are incorporated in one housing. FIG. 23A is a front perspective view of the camera, and FIG. 23B is a rear perspective view of the camera. The right camera portion 71 and the left camera portion 72 are joined by a hinge 73 at the lower end portion, and can be opened as shown in FIG. The opening angle can be any angle between the fully closed state (0 degrees) in FIG. 23 and the fully opened state (180 degrees) in FIG. A lens, an image sensor, a finder, and the like of each camera unit are rotated in reverse by the opening angle within the housing regardless of the angle at which the camera unit is opened, and are always kept in an upright state. Then, the lens interval corresponding to the opening angle is stored as additional information in the photographed image file. Further, the left camera unit 72 can be rotated 270 degrees horizontally as shown in FIG.
[0060]
This camera is equipped with a strobe, digital / analog output connector, horizontal sensor, two shutters for closing and opening, and two tripods for closing and opening. A hole and a shooting mode switch are provided.
[0061]
Further, confirmation liquid crystal displays 76 and 77 are provided on the rear surfaces of the left and right casings, so that the left and right images corresponding to the shooting mode can be confirmed, and the captured image data is displayed for autostereoscopic display. It is possible to display on the screen. Further, an image output interface having a vertical refresh rate of 100 Hz or more and an interface for connecting liquid crystal shutter glasses synchronized therewith may be provided.
[0062]
This camera can set the following eight shooting modes by switching the shooting mode switch.
[0063]
Normal mode: Normal shooting mode using only one eye lens
Stereo simultaneous mode: A mode in which each of the left and right images is shot simultaneously in stereo
Simultaneous panorama mode: A mode in which each of the left and right images is shot simultaneously. In this case, the left and right images are automatically compared so that one lens can be moved to the left and right electrically. You may be able to determine the angle
Normal continuous shooting: A mode in which only one eye is shot and the same position is continuously shot every few seconds.
Stereo continuous shooting: A mode that uses two eyes to continuously shoot at the same position at high speed (suitable for stereo shooting on a moving object such as a normal car)
Panorama continuous shooting: A mode in which panoramic continuous shooting is performed at the same position every few seconds using two eyes (when riding on a very slow moving body, panoramic stereo shooting using the movement of the viewpoint by this movement) Suitable for)
Panorama 180: After taking a panorama using two eyes, the panoramic landscape of 180 degrees is taken by rotating the one lens case. A mechanism that automatically and electrically rotates one of the lenses may be used.
Panorama 270: After taking a panorama using two eyes, the one lens housing is rotated to take a panoramic landscape of 270 degrees. A mechanism that automatically and electrically rotates one of the lenses may be used.
[0064]
In addition, since the liquid crystal displays 76 and 77 are provided on the left and right camera unit back surfaces, the left image is displayed on the left half of the display simultaneously with the photographing of the left image. Similarly, the right image is displayed on the right half of the display at the same time as the right image is captured. Thereby, it is possible to confirm left and right mistakes, mode differences, and the like, and it is possible to eliminate user operation errors. Further, by displaying on the display simultaneously on the left and right, so-called autostereoscopic viewing becomes possible, and there is an advantage that confirmation of an image before photographing and confirmation of a photographing result can be performed immediately. Further, by providing level detection means such as an electronic level sensor and a bubble level, it is easy to check the level at the time of photographing.
[0065]
25 and 26 are diagrams showing another example of a twin-lens camera capable of capturing a stereo image. This twin-lens camera 80 includes a left camera unit in a main body 81 and a right camera unit in a separate body 82 connected by a bar 83 that can slide with respect to the main body. Each camera unit includes a lens, an image sensor, a finder, and the like. 25A is a perspective view of the front side of the camera, FIG. 25B is a perspective view of the back side of the camera, and FIG. 25C is a state in which the second stopper 83b at the end of the rod is accommodated. It is a partial perspective view of the front side which shows. In the state shown in FIG. 25, the lens distance between the left camera unit and the right camera unit is designed to be 6 cm, which is the distance between human eyes. When the rod 83 is slid to separate the separate body 82 from the main body 81 and stopped at a position where the first stopper 83a contacts the main body 81, the distance between the left and right camera parts is twice the distance between the eyes. (See FIG. 26A). Also, if the second stopper 83b, which is a thick part provided at the end of the rod, abuts against the wall inside the main body 81 and stops when it cannot be pulled out any more, the distance between the left and right camera parts is 3 times the distance between the eyes. Double (18 cm) (see FIG. 26B). In the state of FIG. 25 in which the separate body 82 is combined with the main body 81, the second stopper 83b protrudes from the side surface of the camera (see FIG. 25A), but this is bent as shown in FIG. Can be stored. Then, the lens interval corresponding to the length with which the rod 83 is drawn out in the photographed image file is stored as additional information. Further, the right camera section of the separate body 82 can be rotated 360 degrees horizontally as shown in FIG.
In general, when the distance between the left and right lenses is set to 1/20 to 1/50 of the distance from the subject, an appropriate stereoscopic effect can be obtained.
[0066]
This camera has a shutter, strobe, tripod hole, digital / analog output connector, horizontal sensor, and a shooting mode switch.
[0067]
Further, a confirmation liquid crystal display 83 is provided on the back surface of the main body 81 so that left and right images corresponding to the mode at the time of photographing can be confirmed, and photographed image data is displayed for autostereoscopic display. Etc. are possible. Thereby, it is possible to confirm left and right mistakes, mode differences, and the like, and it is possible to eliminate user operation errors. In addition, by enabling autostereoscopic viewing, there is an advantage that confirmation of an image before photographing and confirmation of a photographing result can be performed immediately. Further, an image output interface having a vertical refresh rate of 100 Hz or more and an interface for connecting liquid crystal shutter glasses synchronized therewith may be provided. Further, by providing level detection means such as an electronic level sensor and a bubble level, it is easy to check the level at the time of photographing.
[0068]
This camera can set the following eight shooting modes by switching the shooting mode switch.
[0069]
Normal mode: Normal shooting mode using only one eye lens
Stereo simultaneous mode: A mode in which each of the left and right images is shot simultaneously in stereo
Simultaneous panorama mode: A mode in which each of the left and right images is shot simultaneously. In this case, the left and right images are automatically compared so that one lens can be moved to the left and right electrically. The angle may be determined.
[0070]
Normal continuous shooting: A mode in which only one eye is shot and the same position is continuously shot every few seconds.
Stereo continuous shooting: A mode that uses two eyes to continuously shoot at the same position at high speed (suitable for stereo shooting on a moving object such as a normal car)
Panorama continuous shooting: A mode in which panoramic continuous shooting is performed at the same position every few seconds using two eyes (when riding on a very slow moving body, panoramic stereo shooting using the movement of the viewpoint by this movement) Suitable for)
Panorama 180: After taking a panorama using two eyes, the panoramic landscape of 180 degrees is taken by rotating the one lens case. A mechanism that automatically and electrically rotates one of the lenses may be used.
[0071]
Panorama 360: After panoramic photography using two eyes, the one lens housing is rotated to take a wide panoramic landscape of 360 degrees (see FIG. 29). A mechanism that automatically and electrically rotates one of the lenses may be used.
[0072]
One camera unit (the left camera unit in the figure) is rotated 360 degrees horizontally for panoramic and stereo photography.
[0073]
27 and 28 are diagrams showing a twin-lens camera capable of capturing still another stereo image. This twin-lens camera 80 'is provided with a two-stage square pipe 85 in place of the rod 83 of the twin-lens camera shown in FIGS. Description of the same configuration as the twin-lens camera in FIGS. 25 and 26 is omitted. FIG. 27A is a perspective view of the front side of the camera, and FIG. 27B is a perspective view of the back side of the camera. In the state shown in FIG. 25, the lens distance between the left camera unit and the right camera unit is designed to be 6 cm, which is the distance between human eyes. Then, as shown in FIG. 28A, when the square pipe 85 is pulled out by one stage, the distance between the left and right camera parts becomes twice the distance between both eyes (12 cm). Further, as shown in FIG. 28 (B), when the square pipe 85 is pulled out by two stages, the distance between the left and right camera parts becomes three times (18 cm) the distance between both eyes. The lens interval corresponding to the length from which is extracted is stored as additional information. Further, the right camera section of the separate body 82 can be rotated 360 degrees horizontally as shown in FIG.
In general, when the distance between the left and right lenses is set to 1/20 to 1/50 of the distance from the subject, an appropriate stereoscopic effect can be obtained.
[0074]
This camera includes a shutter, a strobe, a tripod hole, a digital / analog output connector, a horizontal sensor, and a shooting mode switch.
[0075]
Further, a confirmation liquid crystal display 83 is provided on the back surface of the main body 81 so that left and right images corresponding to the mode at the time of photographing can be confirmed, and photographed image data is displayed for autostereoscopic display. Etc. are possible. Further, an image output interface having a vertical refresh rate of 100 Hz or more and an interface for connecting liquid crystal shutter glasses synchronized therewith may be provided.
[0076]
This camera can set the following eight shooting modes by switching the shooting mode switch.
[0077]
Normal mode: Normal shooting mode using only one eye lens
Stereo simultaneous mode: A mode in which each of the left and right images is shot simultaneously in stereo
Simultaneous panorama mode: A mode in which each of the left and right images is shot simultaneously. In this case, the left and right images are automatically compared so that one lens can be moved to the left and right electrically. The angle may be determined.
[0078]
Normal continuous shooting: A mode in which only one eye is shot and the same position is continuously shot every few seconds.
Stereo continuous shooting: A mode that uses two eyes to continuously shoot at the same position at high speed (suitable for stereo shooting on a moving object such as a normal car)
Panorama continuous shooting: A mode in which panoramic continuous shooting is performed at the same position every few seconds using two eyes (when riding on a very slow moving body, panoramic stereo shooting using the movement of the viewpoint by this movement) Suitable for)
Panorama 180: After taking a panorama using two eyes, the panoramic landscape of 180 degrees is taken by rotating the one lens case. A mechanism that automatically and electrically rotates one of the lenses may be used.
[0079]
Panorama 360: After taking a panorama using two eyes, the one lens housing is rotated to take a 360-degree wide panoramic landscape. A mechanism that automatically and electrically rotates one of the lenses may be used.
[0080]
One camera unit (the left camera unit in the figure) is rotated 360 degrees horizontally for panorama and stereo photography (see FIG. 29).
[0081]
Further, a confirmation liquid crystal display 83 is provided on the back surface of the main body 81 so that left and right images corresponding to the mode at the time of photographing can be confirmed, and photographed image data is displayed for autostereoscopic display. Etc. are possible. Thereby, it is possible to confirm left and right mistakes, mode differences, and the like, and it is possible to eliminate user operation errors. In addition, by enabling autostereoscopic viewing, there is an advantage that confirmation of an image before photographing and confirmation of a photographing result can be performed immediately.
[0082]
Further, an image output interface having a vertical refresh rate of 100 Hz or more and an interface for connecting liquid crystal shutter glasses synchronized therewith may be provided. Further, by providing level detection means such as an electronic level sensor and a bubble level, it is easy to check the level at the time of photographing. Alternatively, left and right information captured by the left and right lenses may be recorded at the same time so that they can be used later for editing and viewing.
[0083]
<< Embodiment of stereoscopic image creation system >>
FIG. 30 is a schematic configuration diagram of a stereoscopic image creation / display system according to an embodiment of the present invention. This pseudo-stereoscopic system is a system that takes in a stereo image captured by the above-described camera and displays it stereoscopically. Note that the image to be captured is not limited to the image captured by the above-described camera, and an image read by a scanner or an image received via a network may be used.
[0084]
The stereoscopic image creation / display system includes a personal computer 1, a display 2, an input device 3, an image input device 4, and liquid crystal shutter glasses 5. The liquid crystal shutter glasses 5 may not be provided. The input device 3 includes a keyboard and a mouse, and the image input device 4 uses a digital camera (including a digital video camera) that captures a stereo image using an adapter. In addition, when a camera that takes a stereo image using the adapter is a silver salt camera, a film scanner that scans a developed film or a scanner that scans printed paper is used. The personal computer 1 captures an image from the image input device 4 in accordance with the user's operation of the input device 3. Then, a stereoscopic combined image is created by internal processing. Then, this is displayed on the display 2 in accordance with the operation of the input device 3 by the user.
[0085]
Hereinafter, the processing operation of the stereoscopic image creation / display system will be described.
31, 32, 43, and 44 are flowcharts showing the operation of the personal computer. In FIG. 31, image data is captured from the image input device in s1. Among them, which image is the left image and the image with the right viewing angle is identified, and a stereo group image composed of left and right images is extracted (s2).
[0086]
Hereinafter, extraction of a stereo group image will be described. As shown in FIGS. 5C to 5I, in the case where a plurality of image files are photographed with some kind of identification image, a combined image is extracted based on this identifier. Here, the group image is a left image, a pair image of each right image, or a series image composed of a single left image and a plurality of right images taken at different intervals. In FIG. 5C, the black image files at both ends of the continuous image file are image files that are intentionally masked to indicate the start and end of the series. If a black image file is found, it is determined that it is a series image break. In addition, the black image imprinted at the left end or the right end of the image files in FIGS. (D) to (I) is a mark image by the key 14 shown in FIG. The image file having the mark image at the left end is determined to be the left image, and the image file having the mark image at the right end is determined to be the right image or, in the case of a series image, the right end image.
[0087]
If it is possible to determine without opening the image file itself based on the file name or data attached to each image file, a stereo group image is extracted with the file name or data.
[0088]
Further, as shown in FIGS. 5A and 5B, when there is no mark in the image file and the group image cannot be determined by the file name or data, the group image is extracted based on the characteristics of the image itself. For this, for example, a method of taking a color histogram of an image and judging based on the similarity is used. If the histogram of the entire image is taken, the amount of processing becomes enormous. Therefore, a histogram of a predetermined number of lines in the vertical and horizontal directions of the image is taken and compared.
[0089]
If one image file as shown in FIG. 5J is obtained by dividing the image file into left and right images (s3), the image file is divided into left and right images (s4). In this way, a new file name for displaying that the left and right stereo images are displayed is assigned to the extracted and created left and right image data (s5).
[0090]
Then, the left and right stereo images are processed (autostereoscopic processing) so that the size and positional relationship can be viewed stereoscopically (s6). The procedure for this autostereoscopic processing is shown in FIGS. The three-dimensional process is basically a process of superimposing images so that the images at the shortest distance coincide on the left and right, as in the method of FIG. This is because a perspective when viewed stereoscopically is generated from the screen toward the back. When the left and right images are combined so that the distant views match, as in the method of FIG. 6A, a perspective appears in front of the screen when viewed stereoscopically, and the image appears to jump out of the screen. It becomes difficult. When images are combined in this way, the left and right images need to have the same magnification and the same angle (horizontal). For this reason, as shown in FIG. 34, when the condition of the right image R is different from the reference left image L, it is corrected according to the left image. Taking a histogram of the left and right images reveals differences in luminance, hue, and contrast on the left and right. When this is extremely different, natural stereoscopic viewing is impossible. Therefore, the right image is corrected accordingly. That is, image processing is performed so that luminance, hue, and contrast histograms substantially match. When the perspective (magnification), image size, inclination, left / right shift, and vertical / horizontal are different, the image file is corrected so that the images have the same magnification, the same size, the same angle, and the same direction. In this case, as shown in FIG. 42, by designating three common points on the left and right images, a stereo image can be created by automatically rotating, enlarging, and determining the left and right images. it can.
[0091]
When the mark image is imprinted in the image file combined in this way, the mark image is removed from the combined portion of the image as shown in FIG. Alternatively, as shown in FIG. 5B, unnecessary portions of the left and right images including the mark image may be cut out from the image file and stored.
[0092]
In FIG. 31, the stereo group image data processed so as to be stereoscopically viewable by the above processing is output in a method according to the user's request (s7 to s10). The output method includes display on a display (s8), output as an image file (s9), and print output on paper (s10).
[0093]
FIG. 32 is a flowchart for explaining the display operation of s8 in detail. First, the user selects a display mode (s13). As shown in FIG. 36, there are four display modes: an autostereoscopic mode, a 3D scope mode using a 3D scope, a two-color glasses mode using two-color glasses, and an interlaced 3D mode using liquid crystal shutter glasses. is there. It is determined which display mode is selected in s14. If the autostereoscopic mode is selected, the left and right images are arranged at a distance of 6 cm, which is the distance between the left and right eyes of the human (s15), and this is displayed (s16). The user views the left image with the left eye and the right image with the right eye to stereoscopically view a small image with his own ability. When the 3D scope mode is selected, an image is arranged in accordance with the interval of the objective mirror of the 3D scope (s17) and displayed (s18). The user stereoscopically views a large image by viewing this screen using a 3D scope that inputs separate images to the left and right eyes using a mirror. If the two-color glasses mode is selected, the left image is converted to red and the right image is converted to blue (s19). These images are combined and displayed so as to have the relationship shown in FIG. 33B (s20).
[0094]
On the other hand, when the interlaced 3D mode is selected, the left and right images are alternately displayed so as to have the positional relationship shown in FIG. 33B. That is, first, a left image is displayed (s21), and a left-eye on signal is output from the interface 1a (s22). This signal is transmitted to the liquid crystal shutter glasses 5. After waiting for 10 ms in this state (s23), the display is switched to the right image (s24), and the right eye on signal is output from the interface 1a (s25). Then, after waiting for 10 ms in this state (s26), the process returns to s21 to repeat this operation. Thereby, the display switching timing of the screen and the switching timing of the liquid crystal shutter are synchronized, and a large image can be naturally stereoscopically viewed. When liquid crystal shutter glasses are connected to the personal computer 1, the mode of the liquid crystal shutter glasses may be automatically selected.
[0095]
In order to prevent eye fatigue in each viewing mode, a warning such as an alarm sound may be issued at regular intervals. Alternatively, the stereoscopic display mode may be forcibly canceled in a certain time. Further, the viewing time of each mode may be recorded so that the usage time can be referred to.
[0096]
Note that when stereoscopic viewing is performed using liquid crystal shutter glasses or two-color glasses, in addition to the method using the display of the personal computer system shown in FIG. 30, the display attached to the digital camera as shown in FIG. It is possible to employ a method of displaying the image using a display method or a method of connecting a digital camera to a large display or a television and displaying on the large display or the television as shown in FIG. In this case, the digital camera performs extraction processing and composition processing of the group image.
[0097]
As a source of image data, as shown in FIG. 38, a digital camera, a memory card set in the digital camera, a network, a removable medium such as an MO, a floppy disk, a CD-ROM, an image scanner, or the like may be used. In addition, as shown in FIG. 39, various devices including a personal computer may be connected via a set top box.
[0098]
Further, since the liquid crystal shutter glasses have a low light transmittance, when the liquid crystal shutter glasses mode is selected, automatic processing for slightly increasing the luminance of the display may be performed. In addition, the screen may be automatically switched to a resolution or display timing that can exhibit a screen switching performance at 100 Hz or higher.
[0099]
Further, when a stereo image is displayed, the mouse pointer may be displayed along with the left and right images so as to be stereoscopically viewed together with the stereo image. That is, the left-eye pointer image and the right-eye pointer image are configured separately.
[0100]
It is also possible to obtain depth information of an object being photographed using a left-right shift of a stereo image. Then, it is possible to display a contour image using this depth information, or it is possible to display an image expressing the height by the color depth.
[0101]
FIG. 43 shows the detailed operation when the file output mode is selected as the output mode. First, the user selects a file output format (mode) (s30). Similar to display, there are four types of file output modes: autostereoscopic mode, 3D scope mode, two-color glasses mode, and interlaced 3D mode. It is determined which file output mode has been selected in s31. When the autostereoscopic mode is selected, the left and right images are arranged at a distance of 6 cm, which is the distance between the left and right eyes of a human, and a screen is constructed (s32), which is combined into one image file. And output (s33). Specifically, the file output includes storage to a hard disk, transmission to another terminal device via a network, and the like. When the 3D scope mode is selected, an image is arranged in accordance with the interval of the objective mirror of the 3D scope (s34), and this is output as one image file (s35). If the two-color glasses mode is selected, the left image is converted to red, and the right image is converted to blue (s36). These images are combined so as to have the relationship shown in FIG. 33B and output to a file (s37). On the other hand, when the interlaced 3D mode is selected, a file combining image switching sequence data and image data is created and output so as to perform the operations from s21 to s26 in FIG. If this file is reproduced, the image can be reproduced in the interlaced 3D mode.
[0102]
FIG. 44 shows the detailed operation when the print mode is selected as the output mode. First, the user selects a print format (mode) (s40). There are three printing modes: autostereoscopic mode, 3D scope mode, and two-color glasses mode. Since interlaced 3D display is not possible with printed materials, the mode does not exist. In step s41, it is determined which print mode has been selected. When the autostereoscopic mode is selected, the left and right images are arranged at a distance of 6 cm, which is the distance between the left and right eyes of the human (s42), and the screen is composed (s42). (S43). When the 3D scope mode is selected, an image is arranged in accordance with the distance between the objective mirrors of the 3D scope (s44), and this is printed on one sheet (s45). If the two-color glasses mode is selected, the left image is converted to red and the right image is converted to blue (s46). These images are combined so as to have the relationship shown in FIG. 33B and printed on one sheet (s47).
[0103]
In this embodiment, a personal computer is used as the image data processing apparatus, but a game machine or a set-top box can also be used.
[0104]
≪Mode of liquid crystal shutter glasses mode control≫
FIG. 45 shows an embodiment in which the operation mode of the liquid crystal shutter glasses 5 needs to be switched according to the mode of the image displayed on the display 2 and the like, which can be performed from the personal computer 1 side. The block diagram of FIG. 45 is a detailed view of the vicinity of the interface 1a of FIG. In the configuration of this figure, in addition to the dedicated control box for liquid crystal shutter glasses, the liquid crystal shutter glasses can be controlled from the keyboard or software of the personal computer 1.
[0105]
In the figure, a video card (VGA CARD) 110 is connected to the personal computer 1, and a monitor 111 and an LCD controller 113 are connected to the video card 110.
[0106]
Between the video card 110 and the monitor 111, in addition to a PGB line and a Sync line for transmitting a video signal, an SDA line for transmitting and receiving a control signal and an SCL line for transmitting a synchronization clock signal for the control signal are connected. ing. The LCD controller 113 is connected to the SDA, SCL, and Sync lines.
[0107]
The video card 110 transmits a signal for confirming the type of the monitor to the monitor 111 via the SDA line. On the other hand, the monitor 111 returns data indicating the type of monitor. This signal is also input to the LCD controller 113 via the buffer 114. The buffer 114 is a circuit for shaping a signal waveform.
[0108]
The LCD controller 113 is connected to an LCD driver 116 and an infrared signal generator 118 and a remote control box 115. One or more liquid crystal shutter glasses 117 are connected to the LCD driver 116. In addition, an infrared transmission unit (IR Transmitter) 119 is connected to the infrared signal generation unit (IR Generator) 118. The infrared signal is transmitted to wireless liquid crystal shutter glasses 120 controlled by infrared rays. The liquid crystal shutter glasses 120 control the opening and closing of the shutters of the right eye and the left eye based on the transmitted infrared signal.
[0109]
The remote control box 115 is provided with a button switch for the user to manually switch the operation mode. Examples of the button switches provided include a power on / off switch, an interlace / non-interlace mode switch, and a left / right switch.
[0110]
The LCD controller 113 not only switches the mode by a switch operation of the remote controller 115 but also switches the mode by the number of control signals output from the video card 110. A READ EDID signal is used as a control signal, and the mode is switched depending on how many times this signal is transmitted in 2 seconds. That is, since this signal is a signal for confirming the ID of the monitor 111, no matter how many times it is transmitted, the setting of the monitor 111 itself is not affected. Therefore, a command for the LCD controller is to transmit this continuously a plurality of times.
[0111]
When READ EDID is transmitted three times in 2 seconds, it becomes a turn-off command, and the LCD controller 113 stops switching the connected liquid crystal shutter glasses 117 (and 120). This makes it possible to limit the use of liquid crystal shutter glasses for a long time from the application. Also, when READ EDID is transmitted 4 times in 2 seconds, the interlaced even frame command is generated, and the liquid crystal shutter opening / closing timing is set to the mode for viewing the interlaced video in which the even line is the right image (odd line is the left image). Is done. When READEDID is transmitted 5 times in 2 seconds, the interlaced odd frame command is generated, and the liquid crystal shutter opening / closing timing is set to the mode for viewing the interlaced video in which the odd line is the right image (even line is the left image). The Here, the interlaced video is a composite video in which the right video and the left video are inserted every other line as shown in FIG. When such an image is output from the video card 110, the LCD controller 113 turns on / off the analog switch 112 for each line so that the odd frame displays only the odd line and the even frame displays only the even line. Thus, only the right image and the left image are alternately displayed for each frame, and the liquid crystal shutter glasses are alternately opened and closed for each frame.
[0112]
When READ EDID is transmitted 6 times in 2 seconds, it becomes a non-interlaced even frame command, and the liquid crystal shutter opening / closing timing is set to the mode for viewing non-interlaced video in which the even frame is the right image (odd frame is the left image). Is done. Also, when READ EDID is transmitted 7 times in 2 seconds, the non-interlaced odd frame command is generated, and the liquid crystal shutter opening / closing timing is set to the mode for viewing the noninterlaced video in which the odd frame is the right image (even frame is the left image). Is set. Here, the non-interlaced video is a mode in which a right (left) image and a left (right) image are alternately displayed frame by frame. When such an image is output from the video card 110, the LCD controller 113 always turns on the analog switch 112 and alternately opens and closes the liquid crystal shutter glasses for each frame.
[0113]
The conventional LCD controller does not have the above-described function, and the mode of the liquid crystal shutter glasses is switched only by the button switch of the remote controller 115. For this reason, switching with a PC keyboard or automatic control with software is not possible, and eyes may become tired or painful when viewing the stereoscopic view with the liquid crystal shutter open and closed for a long time. In some cases, however, the user has to turn it off manually, and if the liquid crystal glasses flicker, there is a possibility that the child may have a problem when seeing it incorrectly, which may lead to a PL problem. However, with the configuration of FIG. 45 and command control using SDA, the user can remotely control from a personal computer keyboard or the like without placing a box at hand, and in addition, can be automatically controlled from an application program. It is also possible to prevent usage. In addition, the PL problem can be solved. When a certain period of time elapses automatically, the function of the external hardware for stereoscopic viewing is turned off, or the viewing can be extended as desired by the user, and control can be freely performed.
[0114]
<< Embodiment of how to align left and right images >>
Hereinafter, a processing method that enables the user to efficiently perform the alignment of the stereo left and right images will be described. In this embodiment, the following operations of the user are realized. When manually superimposing two images on the screen, one image is fixed on the screen, and only a part of the other image (the area specified by the mouse etc.) is shifted in real time and superimposed on one image. After the preferred position is determined, the entire other image is moved and superimposed. In addition, even if two images overlap each other, both can be seen through, and a section designated by a mouse or the like is also seen through, so that the overlapping state can be judged visually and intuitively. .
[0115]
When two conventional images are manually overlapped, one image is fixed on the screen, and the other image is entirely shifted and overlapped in real time to determine a preferred position. For this reason, in the case of a large image, there is a drawback that the processing of image rewriting display becomes heavy, it becomes impossible to follow the user's operation, and the work efficiency is extremely reduced such as in the case of fine adjustment of the image shift, Since the entire image is shifted at the same time, there is a drawback that it is impossible to immediately determine which of the two images is shifted.
[0116]
The processing procedure of this embodiment (personal computer 1) will be described below with reference to the drawings.
[0117]
FIG. 46 is a diagram showing a process flow of the personal computer 1. First, an image composition display window is displayed (s101), and the left and right image file data are read into this window (s102). As shown in FIG. 47, the left and right image files are image data of a predetermined vertical size × horizontal size. As shown in FIG. 47, interlace synthesis processing (the left image is only odd lines, the right image is only even lines (left and right odd-even numbers) May be reversed)) is performed (s103). Thereby, it becomes one image from which both the left and right images can be seen through. Then, one of the left and right images is set as a fixed image, and the other is set as a movable image (s104). Then, the synthesized image is displayed on the display (s105). An example of this display is shown in FIG. As shown in the figure, the left and right images are displayed on the display so as to overlap each other. In this display, since the user designates a small area by dragging with a pointing device such as a mouse (hereinafter referred to as a mouse), a dividing line for the small area is displayed (s106). The user holds this area with the mouse and moves it to any optimum position. This is displayed interlaced at the moving position (s107: FIG. 49). Since the moved area is a small area, the interlaced display can be rewritten in real time. When the mouse is released (s108: FIG. 50), the whole moving image is moved to that position and displayed (s109: FIG. 51) assuming that the moving position is determined to be that position. If a save operation is performed in this state, the image file is saved (s110) and the operation is terminated. If the movement position is not optimal, the user performs the operation from s106 onward.
[0118]
As described above, dragging with the mouse and slightly shifting the small area immediately reveals intuitively which one of the overlapping images is dragged, and the characteristic image part as a small area. By selecting and superimposing the small areas while moving them to the optimal position, the optimal position can be efficiently searched. When the optimum position is found, if the mouse drag is released, the entire image moves to that position, so that it is possible to perform the move synthesis process to the optimum position with less burden on the interlace synthesis process.
[0119]
<< Embodiment of automatic synthesis processing of stereo image >>
In this embodiment, a process for automatically synthesizing two stereo-photographed images at an optimum position is proposed. In this process, the user searches for and designates a vertical line of a vertically long bar-like object or a vertically long object that occupies about half of the screen among the objects in the photographed image, thereby specifying the personal computer 1. Automatically synthesizes left and right images based on this rod-like object or vertical line. It is desirable that the rod-shaped object to be designated has both ends (whole) at substantially the same distance from the photographer. The user only needs to specify the top and bottom vertices of the rod-like object (vertical line) captured in the two left and right images, that is, four points. The personal computer 1 calculates the distance, angle, inclination, and position of two points at both ends of the rod-like object (vertical line) captured in the left and right images, and automatically matches the two stereo images by matching them. Do.
[0120]
It is also possible to automatically determine which is the left image and which is the right image based on the positional relationship between the two images after the automatic superposition. That is, it can be determined that the image protruding to the left from the range where both images overlap is the left image, and conversely, the image protruding to the right is the right image.
[0121]
Conventionally, two similar images captured in stereo are overlapped by one operation each of image rotation, enlargement / reduction, up / down / left / right movement, and left / right designation while simply comparing the amount images manually. I went there one by one and it was very inefficient.
[0122]
Hereinafter, the stereo image automatic synthesizing process will be described in detail with reference to the flowchart of FIG. First, a window divided into left and right is displayed using the entire display (s111). Stereo left and right images are read (s112), and the read left and right images are displayed in the left and right windows (s113). At this time, the upper left corner of the image is displayed in alignment with the upper left corner of the window. When the image size is larger than the window size, the vertical and horizontal scroll bars are displayed. At this time, even if the image is large and protrudes from the screen, processing such as reducing the image so as to be easily seen is not performed. This is because the position can be calculated accurately. Along with this display, a straight line (bar pointer) having a length of about 2/3 of the vertical size of the window is displayed at the center of the left and right windows (s114: FIG. 53). As shown in FIG. 53, the bar pointer has handles (small squares) at the upper end and the lower end.
[0123]
By operating the scroll bar in this state, the image can be scrolled up and down, left and right in the window. When one image is scrolled, the other image is also scrolled in the same direction by the same amount ( s115), the bar pointer is at the same position in the window regardless of the scrolling of the image (s116: see FIG. 54).
[0124]
When the image is scrolled to an appropriate position, the user moves the handle at the upper end of the bar pointer on one window by dragging the mouse (s117). The bar pointer is expanded and contracted in accordance with this movement (s118). The range of movement of the upper handle of the bar pointer is limited to the upper half of the window. This is to prevent the bar pointer from becoming too short and the automatic synthesis process from becoming inaccurate. When the drag of the mouse is released, the position of the upper end handle is determined at the current mouse position, and the color or shape of the upper end handle is changed and displayed (s119). The processes of s117, s118, and s119 are similarly performed on the other window (s120: FIG. 55). The position of the upper end handle on the left and right images is designated to be the same position of the same object being photographed.
[0125]
Since the two upper and lower vertices of the bar code pointer are the two points to be designated, a round small ring is formed so that it can be easily dragged with the mouse so that the color or shape in the round small ring changes after positioning.
[0126]
Next, even if the image is scrolled downward to specify the lower end handle of the bar pointer (s121), the position of the lower end handle has not yet been determined, so it is fixed on the window regardless of the image scrolling. (See FIG. 56). Since the position of the upper end handle on the image has already been determined, the image is scrolled together with the image.
[0127]
When the image is scrolled to an appropriate position, the user moves the handle at the lower end of the bar pointer on one window by dragging the mouse (s122). The bar pointer is expanded and contracted in accordance with this movement (s123). Note that the range of movement of the bottom handle of the bar pointer is limited to the lower half of the window. This is to prevent the bar pointer from becoming too short and the automatic synthesis process from becoming inaccurate. When the drag of the mouse is released, the position of the lower end handle is determined at the current mouse position, and the color or shape of the lower end handle is changed and displayed (s124). The processes of s122, s123, and s124 are similarly performed on the other window (s125: FIG. 57). The position of the lower end handle on the left and right images is designated to be the same position of the same object being photographed.
[0128]
If the positions of the upper end handle and the lower end handle are unsuccessful, this can be redone.
[0129]
When the positions of the upper end handle and the lower end handle of the left and right images are determined, the entire image is expanded / contracted / rotated / moved up / down / left / right so that the bar pointers of the left and right images overlap (s126). At this time, one image may be fixed, and the other may be expanded / contracted / rotated / moved up / down / left / right so that the other image fits to this one image. You may make it move up and down, right and left.
[0130]
The left and right images superimposed in the above process are interlaced and displayed, and the user can confirm the degree of overlap (s127). If there is a problem in the overlapping state in this display state, the process returns to s115 and the process is repeated. If there is no problem in overlapping, a file name is assigned to the left image as an image where the left ends do not overlap and an image where the right end does not overlap as a right image, the left and right images are saved (s128), and the processing is terminated.
[0131]
<< Embodiment for Synchronizing Control of Left and Right Image Display Windows >>
Hereinafter, an embodiment will be described in which when the left and right images taken in stereo are displayed in separate windows, the window size and scroll position can be changed synchronously with only one set of scroll bars.
[0132]
As a result, when viewing stereoscopically with a threoscope, even if the display is different in size and resolution, two stereoscopic images are displayed on the full screen, and even if the image is large and read from the display window, the same part is always displayed. By displaying the images, it is possible to enjoy powerful images.
[0133]
Further, when viewing a stereo image with only the naked eye without a stereoscope, the vertical direction is not limited by stereo viewing, but in the horizontal direction, the viewing range is limited by individual ability. For this reason, it is necessary to be able to adjust the display of the left and right windows at an optimum distance only in the horizontal direction. In this embodiment, the left and right display windows are synchronized from the vertical center of the display so that they can be shrunk or extended in the horizontal direction so that the display range according to the ability of the viewer can be easily set. did.
[0134]
In the past, it was possible to display two windows side by side, but if the image is large and protrudes from the window, the images displayed in the left and right windows are scrolled and aligned separately. Because it is necessary, operation is extremely troublesome, and it was difficult to keep the positional relationship of the left and right images the same even if scrolling, so the stereoscopic effect differs each time the position moves, and the whole is viewed with the same feeling It was difficult. Further, even when changing the size of the window, each window needs to be shrunk or expanded individually. At this time, it is necessary to scroll the image individually, which requires time and effort.
[0135]
The window control processing of this embodiment will be described below with reference to the drawings. 58 and 59 are diagrams for explaining a window control process for a stereoscopic scope (3D scope).
In the flowchart of FIG. 58, first, the left and right stereo images are read (s131). Next, the maximum display area (number of vertical and horizontal pixels) of the display is calculated (s132), and this is divided into right and left to display two windows (s133), and each window has been calculated so that stereoscopic viewing can be performed. The left and right images are displayed in a positional relationship (s134: FIG. 59). The left and right windows have left and right scroll bars and up and down scroll bars, respectively. When the scroll bar of one window (for example, the left window) is moved, the other window (for example, the right window) is synchronized. The scroll bar also moves, and the user can determine a preferred position (s135). After the user determines a preferred position, the user views the stereoscopic scope (s136).
[0136]
60 and 61 are diagrams for explaining a window control process for stereoscopic viewing with the naked eye.
In the flowchart of FIG. 60, first, a stereo left and right image is read (s141). Next, the maximum display area (number of vertical and horizontal pixels) of the display is calculated (s142), and the display is divided into two from the center to the left and right to display two windows, and the window size is made variable only in the horizontal direction (s143). The vertical direction is fixed at the maximum displayable size. In each window, left and right images are displayed in a calculated positional relationship so as to allow stereoscopic viewing (s144: FIG. 61). The left and right windows can be expanded and contracted in the horizontal direction. When one window is expanded and contracted, the other window is also expanded and contracted to the same size. The right window expands and contracts when the right side moves left and right, and the left window expands and contracts when the left side moves left and right. The left and right windows have left and right scroll bars and upper and lower scroll bars, respectively. When the scroll bar of one window (for example, the left window) is moved, the other window (for example, the right window) is synchronized. ) Also moves, and the user can determine a preferred position (s145). After determining the preferred window size and preferred position, the user views stereoscopically with the naked eye (s146).
[0137]
<< Embodiment for Displaying Depth Information of Stereo Image >>
When creating an image of the other image (right image or left image) for one image (left image or right image) so that stereoscopic viewing can be performed using the left and right parallax of the human eye, the vertical and horizontal cursors on the screen According to the position of the cursor and the length of the cursor, the depth of the image cross section is displayed in a graph in real time in the upper frame and the left frame of the image display window.
[0138]
The depth information display operation will be described with reference to the flowchart of FIG. 62 and the display example of the display of FIG. In the flowchart of FIG. 62, first, a main window, a depth display window, and a depth point display window are displayed on the display (s151). The main window is a window that displays the synthesized stereo image. The depth display window is a window that is displayed along the left side and the top side of the main window, and is used to display the depth of the image on the cross cursor (vertical line cursor, horizontal line cursor) displayed in the main window. It is a window. The depth point display window is a window for displaying the depth of the intersection of the cross cursors with a depth bar and a numerical value.
[0139]
When the window is displayed, a pseudo-stereoscopic image is read into the main window (s152), and a cross line cursor including a vertical line cursor and a horizontal line cursor is displayed on the main window (s153). The depth value of the intersection of the cross line cursor is calculated, and this is displayed by the depth bar and numerical value of the depth display window (s154). Conversely, the depth value of the designated point (intersection of the cross line cursor) can be designated by a depth bar or a numerical value, and the image can be corrected so that the depth value of the designated point is the same.
[0140]
Next, a series of depth information is displayed in a graph in the vertical line depth display window along the vertical line cursor (s155), and a series of depth information is displayed in a graph in the horizontal line depth display window along the horizontal line cursor. (S156). The cross line cursor can be moved to an arbitrary position by a mouse operation (s157). When the desired depth is reached, the file is saved (s158). As a result, the depth of pseudo-stereoscopic vision can be set arbitrarily and optimally.
[0141]
【The invention's effect】
As described above, according to the present invention, there is an advantage that a stereo image that is a left and right set image can be reliably shot with an easy operation, and the left and right identification processing after shooting is facilitated.
[0142]
In addition, there are various methods for stereoscopic viewing using a stereo image. According to the present invention, a stereo image can be displayed in accordance with the selected method. 3D viewing is possible.
[Brief description of the drawings]
FIG. 1 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 2 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 3 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining a shooting range of a left image and a right image of a stereo image
FIG. 5 is a diagram for explaining types of marks attached to stereo pair images and series images;
FIG. 6 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 7 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 8 is a diagram showing another embodiment of the stereo image capturing adapter.
FIG. 9 is a diagram showing a stereo image capturing camera according to an embodiment of the present invention;
FIG. 10 is a diagram showing a stereo image capturing camera according to an embodiment of the present invention;
FIG. 11 is a diagram showing a stereo image capturing camera according to an embodiment of the present invention;
FIG. 12 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 13 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 14 is a diagram showing a stereo image capturing adapter according to an embodiment of the present invention.
FIG. 15 is a diagram showing a simultaneous shutter attachment provided in the stereo image capturing adapter;
FIG. 16 is a diagram showing a simultaneous shutter attachment provided in the stereo image capturing adapter;
FIG. 17 is a diagram showing a simultaneous shutter attachment provided in the stereo image capturing adapter.
FIG. 18 is a diagram showing a simultaneous shutter attachment provided in the stereo image capturing adapter.
FIG. 19 is a diagram showing a simultaneous shutter attachment provided in the stereo image capturing adapter;
FIG. 20 is a diagram showing a simultaneous shutter attachment provided in the stereo image capturing adapter.
FIG. 21 is a diagram showing components of the stereo image capturing adapter.
FIG. 22 is a diagram illustrating a method of synchronizing shutters with two digital cameras.
FIG. 23 is a diagram showing a stereo image capturing camera according to an embodiment of the present invention;
FIG. 24 is a diagram illustrating a use state of the stereo image capturing camera.
FIG. 25 is a diagram showing a stereo image capturing camera according to an embodiment of the present invention;
FIG. 26 is a diagram showing a use state of the stereo image capturing camera.
FIG. 27 is a diagram showing a stereo image capturing camera according to an embodiment of the present invention;
FIG. 28 is a diagram illustrating a use state of the stereo image capturing camera.
FIG. 29 is a diagram for explaining a panorama shooting method;
FIG. 30 is a block diagram of a stereo image processing apparatus according to an embodiment of the present invention.
FIG. 31 is a flowchart showing the processing operation of the stereo image processing apparatus;
FIG. 32 is a flowchart showing the processing operation of the stereo image processing apparatus.
FIG. 33 is a diagram for explaining an image composition method of the stereo image processing apparatus;
FIG. 34 is a diagram illustrating a combination example when the left and right images of a stereo image are different from each other;
FIG. 35 is a diagram for explaining mark erase processing of the stereo image processing apparatus;
FIG. 36 is a diagram illustrating various methods of stereoscopic viewing
FIG. 37 is a diagram showing an example of a stereo image display system
FIG. 38 is a diagram illustrating another configuration example of the stereo image processing system.
FIG. 39 is a diagram illustrating another configuration example of the stereo image processing system.
FIG. 40 is a diagram showing another embodiment of a monocular camera stereo adapter;
FIG. 41 is a diagram showing another embodiment of a monocular camera stereo adapter;
FIG. 42 is a diagram illustrating a rotation method when the left and right images of a stereo image have different angles.
FIG. 43 is a flowchart showing a file output operation of the stereo image processing apparatus.
FIG. 44 is a flowchart showing a printing operation of the stereo image processing apparatus.
FIG. 45 is a block diagram of a control unit of the liquid crystal shutter glasses of the stereo image processing apparatus.
FIG. 46 is a diagram for explaining a procedure for manually superposing left and right images of a stereo image;
FIG. 47 is a conceptual diagram of interlace synthesis.
FIG. 48 is a diagram showing a display example of the display when the left and right images of the stereo image are manually superimposed
FIG. 49 is a diagram showing a display example of the display when the left and right images of the stereo image are manually superimposed.
FIG. 50 is a diagram showing a display example of the display when the left and right images of the stereo image are manually superimposed.
FIG. 51 is a diagram illustrating a display example of a display when manually overlaying left and right images of a stereo image
FIG. 52 is a diagram for explaining the procedure of stereo image automatic composition processing;
FIG. 53 is a diagram showing a display example of a display in the procedure of automatic stereo image synthesis processing;
FIG. 54 is a diagram showing a display example of a display in the procedure of automatic stereo image synthesis processing;
FIG. 55 is a diagram showing a display example of the display in the procedure of automatic stereo image synthesis processing;
FIG. 56 is a diagram showing a display example of a display in the procedure of automatic stereo image synthesis processing;
FIG. 57 is a diagram showing a display example of the display in the procedure of automatic stereo image synthesis processing;
FIG. 58 is a diagram for explaining a window control procedure in the stereoscopic scope mode;
FIG. 59 is a diagram showing a window display example in the stereoscopic scope mode
FIG. 60 is a diagram for explaining a window control procedure in the autostereoscopic mode.
FIG. 61 is a diagram showing a window display example in the autostereoscopic mode
FIG. 62 is a diagram for explaining a display display procedure of pseudo-stereoscopic image depth information;
FIG. 63 is a diagram showing a display example of a depth display window
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Personal computer, 1a ... Interface, 2 ... Display, 3 ... Input device, 4 ... Image input device, 5 ... Liquid crystal shutter glasses,
10 ... Stereo image capturing adapter, 11 ... I bracket, 12 ... L bracket, 14 ... key, 16 ... spirit level,
20 ... Stereo image capturing adapter, 21 ... Slide rail, 22 ... Camera stand, 23, 24 ... End piece,
30 ... Stereo image capture adapter, 31 ... Stereo mirror,
36 ... Left identification button, 38L, 38R ... (Left and right) shutter buttons, 41 ... Object detection sensor, 26 ... Reflector (reflecting light from infrared remote control),
50 ... Simultaneous shutter attachment, 51 ... Movable side mechanism, 52 ... Fixed side mechanism, 53 ... Shutter cue,
71, 72, 81, 82 ... Left and right camera units

Claims (5)

カメラに取り付けられるアダプタであって、カメラが撮影する画像の左端または右端にマーク画像を写し込むキーを備えたステレオ画像撮影アダプタ。  A stereo image capture adapter that is attached to the camera and has a key for capturing a mark image at the left or right end of the image captured by the camera. スライドレールおよび該スライドレール上を摺動するカメラ台を備え、前記カメラ台は前記スライドレールに対して直角の方向にカメラが取り付けられ、前記カメラ台がスライドレールの左端に移動したとき、該カメラ台に取り付けられたカメラが撮影する画像の左端にマーク画像を写し込むキーを備えたステレオ画像撮影アダプタ。  A slide rail and a camera base that slides on the slide rail, wherein the camera base is mounted in a direction perpendicular to the slide rail, and the camera base moves to the left end of the slide rail. Stereo image capture adapter with a key that captures the mark image at the left edge of the image captured by the camera attached to the base. 前記カメラ台がスライドレールの右端に移動したとき、該カメラ台に取り付けられたカメラが撮影する画像の右端にマーク画像を写し込むキーを備えた請求項2に記載のステレオ画像撮影アダプタ。  The stereo image capturing adapter according to claim 2, further comprising a key that captures a mark image at a right end of an image captured by a camera attached to the camera base when the camera base moves to the right end of the slide rail. スライドレールと、該スライドレール上に固定された左カメラ台と、該左カメラ台の右側のスライドレール上を摺動する右カメラ台と、該左カメラ台よび右カメラ台に取り付けられた2台のカメラのシャッタを同時にオンする同時シャッタオン手段と、を備え、前記左カメラ台に取り付けられたカメラが撮影する画像の左端にマーク画像を写し込むキーを備えたステレオ画像撮影アダプタ。  A slide rail, a left camera base fixed on the slide rail, a right camera base that slides on the right slide rail of the left camera base, and two units attached to the left camera base and the right camera base And a simultaneous shutter-on means for simultaneously turning on the shutter of the camera, and a stereo image photographing adapter comprising a key for capturing a mark image at the left end of an image photographed by the camera attached to the left camera base. 前記右カメラ台がスライドレールの右端に移動したとき、該カメラ台に取り付けられたカメラが撮影する画像の右端にマーク画像を写し込むキーを備えた請求項に記載のステレオ画像撮影アダプタ。The stereo image capturing adapter according to claim 4 , further comprising: a key that captures a mark image at a right end of an image captured by a camera attached to the camera base when the right camera base moves to the right end of the slide rail.
JP2000315715A 2000-10-16 2000-10-16 Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus Expired - Fee Related JP3667620B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000315715A JP3667620B2 (en) 2000-10-16 2000-10-16 Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000315715A JP3667620B2 (en) 2000-10-16 2000-10-16 Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004150324A Division JP3943098B2 (en) 2004-05-20 2004-05-20 Stereo camera

Publications (2)

Publication Number Publication Date
JP2002125246A JP2002125246A (en) 2002-04-26
JP3667620B2 true JP3667620B2 (en) 2005-07-06

Family

ID=18794772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000315715A Expired - Fee Related JP3667620B2 (en) 2000-10-16 2000-10-16 Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus

Country Status (1)

Country Link
JP (1) JP3667620B2 (en)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617024B2 (en) * 2001-05-14 2011-01-19 学校法人早稲田大学 3D video signal editing method
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP3989348B2 (en) 2002-09-27 2007-10-10 三洋電機株式会社 Multiple image transmission method and portable device with simultaneous multiple image shooting function
US20050169624A1 (en) * 2003-02-13 2005-08-04 Mission3D Llc Stereoscopic universal digital camera adapter
JP2004357156A (en) * 2003-05-30 2004-12-16 Sharp Corp Video reception apparatus and video playback apparatus
JP4529556B2 (en) * 2004-06-24 2010-08-25 パナソニック株式会社 Electronic device for generating stereoscopic image file, electronic device for generating three-dimensional image data, image file generation method, three-dimensional image data generation method, and file structure of image file
JP2006013760A (en) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd Electronic equipment for generating management file, electronic equipment for generating three dimensional image data, management file generating method, three dimensional image data generating method, and file structure of management file
JP2006014129A (en) * 2004-06-29 2006-01-12 Tide Design Inc Photograph printer for three-dimensional viewer, etc. and photograph printing data generation program for three-dimensional viewer
JP4260094B2 (en) * 2004-10-19 2009-04-30 富士フイルム株式会社 Stereo camera
JP4627689B2 (en) * 2005-06-21 2011-02-09 テトラジャパン株式会社 Aquarium lighting system
WO2007029686A1 (en) * 2005-09-07 2007-03-15 Sharp Kabushiki Kaisha 3d image recording/reproducing system
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
JP2009048181A (en) * 2007-07-25 2009-03-05 Fujifilm Corp Stereoscopic image photographing device
JP2009049854A (en) * 2007-08-22 2009-03-05 Fujifilm Corp Compound-eye photographing apparatus
JP4994154B2 (en) * 2007-08-24 2012-08-08 克己 中野 Stereo photo adapter
FR2923341B1 (en) * 2007-11-07 2010-04-23 Binocle CAMERA SUPPORT MODULE AND RELIEF VIEWING DEVICE.
JP5227037B2 (en) * 2008-01-10 2013-07-03 株式会社 ニコンビジョン Portable optical equipment
KR20100002032A (en) * 2008-06-24 2010-01-06 삼성전자주식회사 Image generating method, image processing method, and apparatus thereof
JP5265417B2 (en) * 2009-03-09 2013-08-14 オリンパスイメージング株式会社 Imaging apparatus and imaging control method
JP5477129B2 (en) * 2010-04-07 2014-04-23 ソニー株式会社 Video signal processing device, display device, display method, and program
KR100971730B1 (en) * 2010-04-15 2010-07-21 (주)에이직뱅크 Parallel axis stereoscopic camera
JP5540942B2 (en) 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 Processing equipment
JP5455876B2 (en) * 2010-11-26 2014-03-26 日立コンシューマエレクトロニクス株式会社 3D image processing device, 3D display device, and 3D image processing method
JP5010732B2 (en) 2010-12-28 2012-08-29 株式会社東芝 Stereoscopic image processing apparatus and stereoscopic image processing method
JP5709545B2 (en) * 2011-01-18 2015-04-30 キヤノン株式会社 Imaging device
JP2012220888A (en) * 2011-04-13 2012-11-12 Nikon Corp Imaging device
JP5808197B2 (en) * 2011-08-26 2015-11-10 日立マクセル株式会社 Video processing apparatus and video processing method
JP6111790B2 (en) * 2013-03-28 2017-04-12 富士通株式会社 Imaging assistance device, image generation system, and stereoscopic image generation method
CN103744256B (en) * 2013-10-21 2017-03-08 浙江理工大学 Realize the whirligig of 360 degree of adjustable video cameras
EP2919067B1 (en) * 2014-03-12 2017-10-18 Ram Srikanth Mirlay Multi-planar camera apparatus
JP2016103789A (en) * 2014-11-28 2016-06-02 株式会社Pfu Captured image data disclosure system
CN105657397B (en) * 2015-12-30 2018-03-30 深圳Tcl数字技术有限公司 3D video playbacks method of adjustment and system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS518234Y2 (en) * 1971-06-05 1976-03-04
JPH0225842A (en) * 1988-07-15 1990-01-29 Kokoro:Kk Three-dimensional photographing device
JPH0493837U (en) * 1991-01-09 1992-08-14
JPH11160815A (en) * 1997-11-28 1999-06-18 Ricoh Co Ltd Stereoscopic photographing device by two cameras
JPH11355624A (en) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd Photographing device

Also Published As

Publication number Publication date
JP2002125246A (en) 2002-04-26

Similar Documents

Publication Publication Date Title
JP3667620B2 (en) Stereo image capturing adapter, stereo image capturing camera, and stereo image processing apparatus
JP4863527B2 (en) Stereoscopic imaging device
JP5014979B2 (en) 3D information acquisition and display system for personal electronic devices
US7091931B2 (en) Method and system of stereoscopic image display for guiding a viewer&#39;s eye motion using a three-dimensional mouse
JP5214826B2 (en) Stereoscopic panorama image creation device, stereo panorama image creation method, stereo panorama image creation program, stereo panorama image playback device, stereo panorama image playback method, stereo panorama image playback program, and recording medium
JP2001142166A (en) 3d camera
JP4635477B2 (en) Image photographing apparatus, pseudo three-dimensional image generation method, and program
TWI450025B (en) A device that can simultaneous capture multi-view 3D images
JP3943098B2 (en) Stereo camera
JP2003348621A (en) Means for setting two-viewpoint camera
CN103329549B (en) Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method
WO2012124331A1 (en) Three-dimensional image pickup device
CN102081294A (en) Image pickup apparatus
JP2002218506A (en) Image pickup device
JP2004235926A (en) Photographing apparatus
JPH10322725A (en) Stereoscopic photographed image positioning device
JP4475201B2 (en) Stereoscopic image display device and stereoscopic image display device system
JPH09327042A (en) Video camera device for image pickup for three-dimension stereoscopic video signal converter and optical adaptor used for the video camera device
JP2011135252A (en) Stereoscopic video photographing camera adjustment assisting device
JPH08116555A (en) Stereoscopic still image pickup system
JP2006025340A (en) Wide angle imaging apparatus, imaging system, and control method thereof
CA2194630A1 (en) Viewing system for electronic 3-d animation and 3-d viewing mirror
JPH07264633A (en) Stereoscopic video camera
JP2006033395A (en) Image pickup device and stereoscopic image pickup system
CN2616928Y (en) Stereoscopic digital camera

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees