JP4072674B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4072674B2 JP4072674B2 JP2002261540A JP2002261540A JP4072674B2 JP 4072674 B2 JP4072674 B2 JP 4072674B2 JP 2002261540 A JP2002261540 A JP 2002261540A JP 2002261540 A JP2002261540 A JP 2002261540A JP 4072674 B2 JP4072674 B2 JP 4072674B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- pair
- stereoscopic
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00185—Image output
- H04N1/00201—Creation of a lenticular or stereo hardcopy image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、左眼用の画像と右眼用の画像を元にして立体視画像を生成する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
従来、人の左右の眼がそれぞれ取得する網膜像の空間的ずれ(両眼視差)を利用して、2次元の画像を立体的に視認させる方法(以下、立体視の方法と記述する)が数多く知られている。
【0003】
立体視の方法としては、特殊なメガネを利用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式等と、特殊なメガネを利用しないレンチキュラ方式等が知られている(いずれについても、例えば、非特許文献1参照)。
【0004】
アナグリフ方式は、例えば、左眼用の画像(以下、L画像と記述する)を赤色モノトーン画像に変換し、右眼用の画像(以下、R画像と記述する)を青色モノトーン画像に変換して、赤色モノトーン画像と青色モノトーン画像を重ね合わせる。そして、その画像を、左側に赤色フィルタ、右側に青色フィルタが配置されたメガネ(以下、赤青メガネと記述する)を用いて見る方法である。アナグリフ方式は、比較的容易で安価に実施できることが、画像全体がモノトーンとなってしまう。
【0005】
カラーアナグリフ方式は、アナグリフ方式の短所を補うものであり、L画像とR画像を重ね合わせたとき、それぞれの画像において対応する箇所がずれる部分(すなわち、視差が大きい部分)については、アナグリフ方式と同様に、例えば、L画像を赤色モノトーン画像に変換し、R画像を青色モノトーン画像に変換して重ね合わせる。それぞれの画像の対応する箇所がずれない部分(すなわち、視差が小さい部分)については、本来の色の状態で重ね合わせる。そして、その画像を、赤青メガネを用いて見る方法である。
【0006】
カラーアナグリフ方式では、画像全体のうち、視差が少ない部分については、本来の色を再現することができる。なお、カラーアナグリフ方式には、視差が少ない部分に用いる色の違いにより、複数のバリエーションが存在する。以下、視差が小さい部分に本来の色を用いる方式を、第1のカラーアナグリフ方式と記述する。また、視差が小さい部分に本来の色を用いない方式を、第2のカラーアナグリフ方式と記述する。
【0007】
偏光フィルタ方式は、例えば、垂直方向の直線偏光によって投影されたL画像と、水平方向の直線偏光によって投影されたR画像を重ね合わせる。そして、その画像を、左側に垂直方向の直線偏光フィルタ、右側に水平方向の直線偏光フィルタが配置された偏光フィルタメガネを用いて見る方法である。偏光フィルタ方式は、色の再現性がよく、解像度が高いことが長所であるが、偏光フィルタを利用することにより画像が暗くなってしまう短所がある。
【0008】
時分割立体テレビジョン方式は、テレビジョン受像機に、L画像とR画像を、フィールド周期毎に交互に表示するようにし、その映像を、テレビジョン受像機のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて見る方法である。時分割立体テレビジョン方式は、液晶シャッタメガネの開閉動作を高い精度で制御することが重要となる。
【0009】
レンチキュラ方式は、画面を縦方向のストライプ状の領域に区分し、各ストライプ上の領域に交互に、L画像とR画像を表示し、その映像を、レンチキュラスクリーンと称されるレンズで覆う方法である。
【0010】
ところで、上述したさまざまな立体視の方法を実現するためには、L画像とR画像を取得する必要がある。L画像とR画像を取得するためには、同一の被写体を、カメラの位置を人の両眼の間隔だけ移動して2回撮影する方法が最も容易である。
【0011】
これを容易に実現するために、立体視に利用できる2枚の画像を連続的に撮影することができる立体写真撮影モードを備えたカメラも存在する(例えば、特許文献1参照)。
【0012】
また、1回の撮影でL画像とR画像を取得する方法として、例えば、図1に示すように、ミラーなどから構成される光学アダプタ11を、カメラ1の撮影レンズ3の外側に取り付ける方法が知られている(例えば、特許文献2参照)。
【0013】
図2は、光学アダプタ11の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は、ミラー21によってミラー22に向けて反射され、ミラー22によって撮影レンズ3に向けて反射された後、撮影レンズ3によって集光される。単一の採光窓から入射される左眼用の光学像は、ミラー21,22によって反射されることなく、撮影レンズ3によって集光される。
【0014】
光学アダプタ11を介して入射された光学像は、図3に示すように、左眼用の領域および右眼用の領域からなる画像(以下、視差画像と記述する)として撮影される。この左眼用の領域がL画像として利用され、右眼用の領域がR画像として利用される。
【0015】
【非特許文献1】
泉武博監修、NHK放送技術研究所編「3次元映像の基礎」オーム出版、平成7年6月5日発行
【特許文献1】
特開2001−333327号公報
【特許文献2】
特開平11−46373号公報
【0016】
【発明が解決しようとする課題】
ところで、光学アダプタ11が装着された状態のカメラによって撮影された視差画像や、上述したような立体写真撮影モードを備えるカメラによって撮影された立体視用の画像対を、L画像およびR画像として用いるのではなく、通常の方法で撮影された複数の画像の中から、立体視のL画像およびR画像として用いることができる画像対を検出することができれば便利であるが、従来、そのような方法は確立されていない課題があった。
【0017】
本発明はこのような状況に鑑みてなされたものであり、複数の画像の中から、立体視のL画像およびR画像として用いることができる画像対を検出できるようにすることを目的とする。
【0018】
【課題を解決するための手段】
本発明の画像処理装置は、複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出手段と、複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出手段と、第1または第2の検出手段によって検出された画像対をユーザに提示する提示手段と、提示手段によって提示された画像対のうち、ユーザによって選択された画像対を構成する2枚の画像の一方を左眼用の画像とし、他方を右眼用の画像として、立体視画像を表示するための画像データを生成する生成手段とを含むことを特徴とする。
【0019】
本発明の画像処理装置は、第1または第2の検出手段によって検出された画像対を構成する2枚の画像の類似度を算出する算出手段をさらに含むことができる。
【0020】
前記提示手段は、類似度が閾値以上である画像対をユーザに提示するようにすることができる。
【0021】
本発明の画像処理装置は、複数の画像の中から画像対とするための2枚の画像を選択するユーザの操作を受け付ける受付手段をさらに含むことができる。
【0022】
本発明の画像処理装置は、画像対を構成する2枚の画像の画像データを対応付けて記録する記録手段をさらに含むことができる。
【0023】
本発明の画像処理方法は、複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出ステップと、複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出ステップと、第1または第2の検出ステップの処理で検出された画像対をユーザに提示する提示ステップと、提示ステップの処理で提示された画像対のうち、ユーザによって選択された画像対を構成する2枚の画像の一方を左眼用の画像とし、他方を右眼用の画像として、立体視画像を表示するための画像データを生成する生成ステップとを含むことを特徴とする。
【0024】
本発明の記録媒体のプログラムは、複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出ステップと、複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出ステップと、第1または第2の検出ステップの処理で検出された画像対をユーザに提示する提示ステップと、提示ステップの処理で提示された画像対のうち、ユーザによって選択された画像対を構成する2枚の画像の一方を左眼用の画像とし、他方を右眼用の画像として、立体視画像を表示するための画像データを生成する生成ステップとを含むことを特徴とする。
【0025】
本発明のプログラムは、複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出ステップと、複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出ステップと、第1または第2の検出ステップの処理で検出された画像対をユーザに提示する提示ステップと、提示ステップの処理で提示された画像対のうち、ユーザによって選択された画像対を構成する2枚の画像の一方を左眼用の画像とし、他方を右眼用の画像として、立体視画像を表示するための画像データを生成する生成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【0026】
本発明の画像処理装置および方法、並びにプログラムにおいては、連写モードで撮影された画像対または所定の時間内に連続して撮影された画像対のうち、ユーザによって選択された画像対を構成する2枚の画像の一方が左眼用の画像とされ、他方が右眼用の画像とされて立体視画像を表示するための画像データが生成される。
【0027】
【発明の実施の形態】
図4は、本発明を適用した立体視システムの構成例を示している。この立体視システムは、主に、立体視画像を生成するパーソナルコンピュータ(PC)31、表示された立体視画像を見るときにユーザが使用するフィルタメガネ41、およびパーソナルコンピュータ31の表示部57の表示面外側に配置するライン偏光43から構成される。
【0028】
パーソナルコンピュータ31は、図1に示されたように、光学アダプタ11が装着された状態のカメラ(ディジタルスチルカメラ)1によって撮影された視差画像、光学アダプタ11が装着されていない状態で撮影された画像などを取り込み、視差画像または連続的に撮影された2枚の画像からなる画像対を元にして立体視画像を生成して表示する。なお、ディジタルスチルカメラ1からパーソナルコンピュータ31に取り込まれる視差画像等の画像データには、撮影された日時、撮影された順序を示すシリアルなファイル番号、連写モードで撮影されたか否かを示す連写モードフラグなどの属性情報が付与されている。
【0029】
フィルタメガネ41は、パーソナルコンピュータ31に接続された支持棒42により、パーソナルコンピュータ31のキーボード付近の上方空間に位置するように支持されている。フィルタメガネ41の左側の枠には、垂直方向の直線偏光フィルタが配置されている。また、右側の枠には、水平方向の直線偏光フィルタが配置されている。
【0030】
パーソナルコンピュータ31の表示部57の表示面外側に配置するライン偏光板43は、水平方向の偶数ラインに垂直方向の直線偏光フィルタが、水平方向の奇数ラインに水平方向の直線偏光フィルタが配置されている。
【0031】
フィルタメガネ41、支持棒42、およびライン偏光板43は、例えば、図1の光学アダプタ11、並びに画像処理プログラム65(図10を参照して後述する)などとセットにされて販売される。
【0032】
次に、パーソナルコンピュータ31によって立体視画像が生成される過程の概要について、図5乃至図8を参照して説明する。
【0033】
図5は、光学アダプタ11が装着されたディジタルスチルカメラ1によって撮影された視差画像を示している。同図において、視差画像の右眼用の領域は、ミラーによって反射されているものであり、左眼用の領域は、ミラーによって反射されていないものであるとする。そこで、以下においては、視差画像の右眼用の領域をミラー画像、左眼用の領域をスルー画像と記述する。
【0034】
上述したように、ミラー画像は、スルー画像に比較して、画質(輝度、彩度、解像度等)が劣化している。特に、ミラー画像の周辺部(上辺部、下辺部、および左辺部)は、中心部に比較して輝度が低下している。また、ミラー画像は、本来、矩形である画像が台形に歪んだものとなる。そこで、始めにミラー画像の画質が補正され(詳細については、図14を参照して後述する)、画像の形状の歪みが補正される。次に、図6に示すように、ミラー画像およびスルー画像がそれぞれトリミングされて、R画像およびL画像が生成される。
【0035】
次に、図7に示すように、次式(1)に従って、L画像とR画像が合成されて、図8に示すような立体視画像が生成される。
【0036】
以上で、立体視画像が生成される過程の概要についての説明を終了する。生成された立体視画像は、表示部57に表示される。図9に示すように、ユーザは、表示部57に表示された立体視画像を、フィルタメガネ41およびライン偏光板43を介して見ることになる。したがって、ユーザの左眼は、立体視画像の偶数ライン、すなわち、1ライン置きのL画像を見ることになり、ユーザの右眼は、立体視画像の奇数ライン、すなわち、1ライン置きのR画像を見ることになる。よって、ユーザは、立体視画像を立体的に視認することが可能となる。
【0037】
次に、図10は、画像処理プログラム65を実行することにより、立体視画像を生成する処理等を実行するパーソナルコンピュータ31の構成例を示している。
【0038】
パーソナルコンピュータ31は、CPU(Central Processing Unit)51を内蔵している。CPU51には、バス54を介して、入出力インタフェース55が接続されている。バス54には、ROM(Read Only Memory)52およびRAM(Random Access Memory)53が接続されている。
【0039】
入出力インタフェース55には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる操作入力部56、GUI(Graphical User Interface)や生成される立体視画像等を表示するLCD(Liquid Crystal Display)等よりなる表示部57、各種のプログラムやデータを格納するハードディスクドライブなどよりなる記憶部58、およびインタネット等のネットワークを介してデータを通信する通信部59が接続されている。また、入出力インタフェース55には、磁気ディスク61、光ディスク62、光磁気ディスク63、および半導体メモリ64などの記録媒体に対してデータを読み書きするドライブ60が接続されている。
【0040】
CPU51は、ROM52に記憶されているプログラム、または磁気ディスク61乃至半導体メモリ64から読み出されて記憶部65に記憶され、記憶部65からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0041】
このパーソナルコンピュータに立体視画像を生成する処理等を実行させる画像処理プログラム65は、磁気ディスク61(フレキシブルディスクを含む)、光ディスク62(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク63(MD(Mini Disc)を含む)、もしくは半導体メモリ64に格納された状態でパーソナルコンピュータ31に供給され、ドライブ60によって読み出されて記憶部58に内蔵されるハードディスクドライブにインストールされている。記憶部58にインストールされている画像処理プログラム65は、操作入力部56に入力されるユーザからのコマンドに対応するCPU51の指令によって、記憶部58からRAM53にロードされて実行される。
【0042】
図11は、CPU51が画像処理プログラムを実行することによって実現される機能ブロックの構成例示している。
【0043】
GUIブロック71は、GUIに対するユーザの操作に対応して、画像管理部72乃至表示制御部76を制御する。画像管理ブロック72は、GUIブロック71からの制御に従い、ディジタルカメラ1から取り込まれて記憶部58等に記憶されている視差画像などの画像データを、画像処理プログラム65が取り扱うデータとして管理する。また、画像管理ブロック72は、視差画像に付加されている属性情報に、サムネイル画像(縮小画像)の画像データ、トリミングされる領域の位置を示す情報、画質が補正されるときの設定値を示す情報、上下方向の位置が調整されるときの調整値を示す情報等を追加する。
【0044】
画像取得ブロック73は、GUIブロック71からの制御に従い、画像管理ブロック72によって管理されている視差画像などの画像データを取得し、ベース画像選択ブロック74に出力する。ベース画像選択ブロック74は、ユーザの操作に対応するGUIブロック71からの制御に従い、画像処理ブロック73から入力される画像のうち、ユーザによって選択された視差画像または画像対を立体視画像生成ブロック75に出力する。また、ベース画像選択ブロック74は、ユーザの操作に対応するGUIブロック71からの制御に従い、画像処理ブロック73から入力される画像のうち、立体視画像の元とすることができる画像対を選択して、立体視画像生成ブロック75に出力する。
【0045】
立体視画像生成ブロック75は、GUIブロック71からの制御に従い、ベース画像選択ブロック74から入力される視差画像または画像対を元に、立体視画像を生成して表示制御ブロック76に出力する。表示制御ブロック76は、GUIブロック71からの制御に従い、GUIおよび生成される立体視画像の表示を制御する。
【0046】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について説明するが、その前に、画像処理プログラム65に対応するウィンドウと当該ウィンドウ上のGUIについて、図12および図13を参照して説明する。
【0047】
図12は、画像処理プログラム65が起動されたときに表示されるウィンドウ101の表示例を示している。ウィンドウ101には、処理の対象とする画像のサムネイルなどが表示されるメインエリア102、および「立体視」ボタン104乃至「エンド」ボタン107が設けられている。
【0048】
「画像取得」ボタン103は、立体視画像の元とする視差画像および画像対を選択するためのサムネイルをメインエリア102に表示させるときに押下される。「立体視画像」ボタン104は、選択された立体視画像(または画像対)を元にして立体視画像の生成を開始させるときに押下される。「LR置換」ボタン105は、立体視画像の元となるL画像とR画像を置換させるときに押下される。「印刷」ボタン106は、生成された立体視画像などをプリントアウトするときに押下される。「エンド」ボタン107は、画像処理プログラムを終了させるときに押下される。
【0049】
図13は、「画像取得」ボタン103が押下されたときのウィンドウ101の表示例を示している。メインエリア102には、ディジタルカメラ1から取り込まれた視差画像、通常の画像(連続的に撮影された画像対含む)などのサムネイル画像が表示される。メインエリア102の上側には、「視差画像選択」ボタン111、「画像対選択」ボタン112、および「画像対自動選択」ボタン113が設けられる。
【0050】
「視差画像選択」ボタン111は、メインエリア102に表示されているサムネイル画像のうち、視差画像に対応するものを選択するときに押下される。すなわち、ユーザは、「視差画像選択」ボタン111を押下した後、視差画像に対応するサムネイルを1つだけ選択することができる。
【0051】
「画像対選択」ボタン112は、メインエリア102に表示されているサムネイル画像のうち、立体視画像の元とする画像対に対応するものを選択するときに押下される。すなわち、ユーザは、「画像対選択」ボタン112を押下した後、画像対に対応するサムネイルを2つ選択することができる。
【0052】
「画像対自動選択」ボタン113は、メインエリア102に表示されているサムネイル画像のうち、立体視画像の元とする画像対を自動的に選択させるときに押下される。
【0053】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について、図14のフローチャートを参照して説明する。この立体視画像生成処理は、図13に示されたメインエリア102のサムネイルのうち、視差画像に対応するものがユーザによって選択された後、「立体視画像」ボタン104が押下されたときに開始される。
【0054】
ステップS1において、ベース画像選択ブロック74は、画像処理ブロック73から入力される画像データのうち、GUIブロック71からの制御に従い、ユーザが選択する視差画像の画像データを立体視画像生成ブロック75に出力する。
【0055】
ステップS2において、立体視画像生成ブロック75は、ミラー画像の周辺部の輝度を、実験結果に基づくルックアップテーブル(または関数)を用いて補正する。この補正に関する情報は、画像管理ブロック72に出力され、画像管理ブロック72により、視差画像の属性情報に追加される。
【0056】
ここで、実験とは、画像処理プログラム65の開発者側によって実施されたものである。具体的には、光学アダプタ11を装着した状態のディジタルカメラ1で画角の全体を占める白壁等を撮影し、得られた視差画像のうちのミラー画像について、中心部と周辺部の画素の輝度を比較する。そして、その比較結果に基づき、周辺部の画素の輝度が、中心部の画素の輝度と一致するように、例えば、周辺部の座標を入力とし、当該座標に対する補正値を出力するようなルックアップテーブル(関数でもよい)を生成する。または、周辺部の輝度を入力とし、当該輝度に対する補正値を出力するようなルックアップテーブルを生成する。そして、生成したルックアップテーブルを画像処理プログラム65に組み込むようにすればよい。画像処理プログラム65には、ディジタルカメラ1の機種に対応して複数のルックアップテーブルを組み込むようにしてもよい。
【0057】
なお、ステップS2において、スルー画像の輝度も修正するようにしてもよい。
【0058】
また、ステップS2において、立体視画像生成ブロック75は、台形に歪んでいるミラー画像の形状を補正する。なお、このミラー画像の形状の補正については、本出願人が特開2002−34054号として既に提案済であるので、その説明は省略する。
【0059】
ステップS3において、立体視画像生成ブロック75は、補正済のミラー画像とスルー画像との全体的な輝度を比較して、その比較結果に基づいて、ミラー画像の輝度を補正する。具体的には、ミラー画像とスルー画像のそれぞれにおいて、所定の複数(例えば、4点)のサンプリング点の輝度を加算し、ミラー画像における輝度の加算値と、スルー画像の輝度の加算値を比較して、その差がなくなるように、ミラー画像を補正する。この補正に関する情報も、画像管理ブロック72に出力され、画像管理ブロック72により、視差画像の属性情報に追加される。
【0060】
例えば、ミラー画像における4サンプリング点の輝度の加算値が350であり、スルー画像の4サンプリング点の輝度の加算値が500である場合、その差150をサンプリング点の数で除算した値(150/4)を、ミラー画像の全ての画素の輝度に加算する。
【0061】
また、ステップS3において、立体視画像生成ブロック75は、ミラー画像とスルー画像の全体的な彩度が一致するように、ミラー画像の色差を補正する。この補正に関する情報も、画像管理ブロック72に出力され、画像管理ブロック72により、視差画像の属性情報に追加される。
【0062】
ステップS4において、立体視画像生成ブロック75は、ミラー画像に対し、所定のエッジ強調処理を施して、画像の全体的なぼけを補正する。ステップS5において、立体視画像生成ブロック75は、ユーザの操作に対応するGUIブロック71からの制御に従い、ミラー画像とスルー画像をそれぞれトリミングして、それぞれを、L画像とR画像に設定する。このトリミング位置に関する情報は、画像管理ブロック72に出力され、画像管理ブロック72により、視差画像の属性情報に追加される。
【0063】
ステップS6において、立体視画像生成ブロック75は、ユーザの操作に対応するGUIブロック71からの制御に従い、L画像とR画像の上下方向の位置を調整する。なお、L画像とR画像の上下方向の位置を調整する過程の情報は、表示制御ブロック76に出力されて、その調整の様子がメインエリア102に表示される(詳細は図16のフローチャートを参照して後述する)。
【0064】
ステップS7において、立体視画像生成ブロック75は、ステップS6の処理で上下方向の位置が調整されたL画像およびR画像を、式(1)に従って合成し、立体視画像を生成する。生成された立体視画像は、メインエリア102に表示される。また、生成された立体視画像の画像データは、画像管理ブロック72により、元となった視差画像に対応付けて記憶される。
【0065】
なお、ユーザからの所定の操作により、生成された立体視画像を表示部57の全体を占めるように表示させることも可能である。以上で、立体視画像生成処理の説明を終了する。
【0066】
ところで、画像処理プログラム65によれば、2枚の画像からなる画像対を元にしても、立体視画像を生成することができる。この画像対は、図13に示された「画像対選択」ボタン112を押下して、メインエリア102に表示されているサムネイル画像のうちの2つを選択することにより、ユーザが任意に選択することができる。
【0067】
画像対が選択された後、「立体視画像」ボタン104が押下された場合、画像対の一方がL画像とされ、他方がR画像とされて、上述したステップS6以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック72により、元となった画像対に対応付けて記憶される。
【0068】
なお、立体視画像の元とする画像対を自動的に選択させることもできる。画像対を自動的に選択する処理について、図15のフローチャートを参照して説明する。この画像対自動選択処理は、図13に示された「画像対自動選択」113が押下されたときに開始される。また、この画像対自動選択処理は、画像処理ブロック73からベース画像選択ブロック74に入力される画像が1つずつ処理対象とされて実行される。
【0069】
ステップS11において、ベース画像選択ブロック74は、処理対象の画像が連写モードで撮影されたものであるか否かを、属性情報に含まれる連写フラグを参照して判定する。処理対象の画像が連写モードで撮影されたものではないと判定された場合、処理はステップS12に進む。
【0070】
ステップS12において、ベース画像選択ブロック74は、処理対象の画像と、1枚後に撮影された画像との撮影日時の差が所定の閾値(例えば、数秒)以内であるか否かを判定する。撮影日時の差が所定の閾値以内であると判定された場合、処理はステップS13に進む。
【0071】
ステップS13において、ベース画像選択ブロック74は、処理対象の画像と、1枚後に撮影された画像との類似度を算出し、類似度が所定の閾値以内であるか否かを判定する。ここで、2枚の画像の類似度としては、例えば、それぞれから所定の1ライン分の画素を抽出し、対応する画素同士の差分の総和を算出するようにする。
【0072】
処理対象の画像と1枚後に撮影された画像との類似度が所定の閾値以内であると判定された場合、処理対象の画像と1枚後に撮影された画像とは、同一の被写体を連続して撮影したものであると判断できるので、処理対象の画像と1枚後に撮影された画像とを画像対に設定する。
【0073】
画像対に設定された2枚の画像のサムネイルは、画像対に設定されたことをユーザに通知するために、メインエリア102において、例えば、単一の太枠で囲まれる。また、画像対の情報は、画像管理ブロック72に出力され、画像対のそれぞれの画像データの付加情報に、画像対の相手を示す情報(シリアル番号等)が追加される。あるいは、画像対をなす2つの画像データとそれぞれの属性情報を新たなフォルダを生成して記憶するようにしてもよい。
【0074】
なお、ステップS11において、処理対象の画像が連写モードで撮影されたものであると判定された場合、ステップS12はスキップされ、処理はステップS13に進む。
【0075】
ステップS12において、処理対象の画像と、1枚後に撮影された画像との撮影日時の差が所定の閾値以内ではないと判定された場合、この2枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。
【0076】
ステップS13において、処理対象の画像と、1枚後に撮影された画像との類似度が所定の閾値以内ではないと判定された場合にも、この2枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。以上で、画像対自動選択処理の説明を終了する。
【0077】
この画像対自動選択処理が、画像処理ブロック73からベース画像選択ブロック74に入力される全ての画像を処理対象として実行された後に、複数の画像対が設定されている場合、ユーザは設定された複数の画像対のうち、1つの画像対を選択することができる。画像対がユーザによって選択された後、「立体視画像」ボタン104が押下された場合、上述したステップS6以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック72により、元となった画像対に対応付けて記憶される。
【0078】
ただし、画像対を元にして立体視画像を生成した場合、画像対の一方をL画像とし、他方をR画像とする設定が適切ではなかった場合(逆であった場合)、立体的に視認することはできない。このとき、ユーザが「LR置換」ボタン105を押下すれば、L画像とR画像が置換されて、立体的に視認できる立体視画像が再生成される。
【0079】
また、「LR置換」ボタン105を押下して立体視画像を再生成させることは、表示された立体視画像に対して、ライン偏光板43が1ライン分だけ上下方向にずれて設置されている場合にも有効に作用する。
【0080】
次に、図14のステップS6の処理、すなわち、L画像とR画像の上下方向の位置を調整する処理の詳細について、図16のフローチャートおよび図17を参照して説明する。
【0081】
ステップS21において、立体視画像生成ブロック75は、ステップS6の処理で設定したL画像およびR画像のサムネイル画像を、画像管理ブロック72から取得する。ステップS22において、立体視画像生成ブロック75は、L画像のサムネイル画像とR画像のサムネイル画像の同じ座標の画素を50%ずつ加算して合成画像を生成する。
【0082】
このとき、ウィンドウ101の表示は、例えば、図17に示すようなものとなる。すなわち、メインエリア102には、L画像が表示されたL画像表示エリア121、R画像が表示されたR画像表示エリア122、および合成画像が表示された合成画像表示エリア123が設けられる。
【0083】
メインエリア102の上方には、L画像に対するR画像の相対的な位置を上方に移動させて合成画像を再生成させるときに操作させる「R画像上方移動」ボタン124、L画像に対するR画像の相対的な位置を下方に移動させ合成画像を再生成させるときに操作される「R画像下方移動」ボタン125、およびL画像に対するR画像の相対的な位置の調整が終了したとき操作される「位置調整終了」ボタン126が設けられる。
【0084】
図14に戻る。ステップS23において、GUIブロック71は、「R画像上方移動」ボタン124または「R画像下方移動」ボタン125が押下されたか否かを判定する。「R画像上方移動」ボタン124または「R画像下方移動」ボタン125が押下されたと判定された場合、処理はステップS24に進む。ステップS24において、立体視画像生成ブロック75は、ユーザの操作に従うGUIブロック71からの制御に基づき、L画像に対するR画像の相対的な位置を上方または下方に移動させて、合成画像を再生成する。
【0085】
このとき、合成画像表示エリア123の表示は、再生成された合成画像に更新される。なお、ステップS23において、「R画像上方移動」ボタン124および「R画像下方移動」ボタン125が押下されていない判定された場合、ステップS24はスキップされ、処理はステップS25に進む。
【0086】
ステップS25において、GUIブロック71は、「位置調整終了」ボタン126が押下されたか否かを判定する。「位置調整終了」ボタン126が押下されていないと判定された場合、ステップS23に戻り、それ以降の処理が繰り返される。
【0087】
従って、ユーザは、合成画像表示エリア123に表示される合成画像を見ながら、「R画像上方移動」ボタン124または「R画像下方移動」ボタン125を押下することにより、L画像とR画像の上下方向の位置を調整することができる。なお、再生成されて表示される合成画像は、データ量の少ない縮小された画像であるので、この再生成の処理は速やかに実行される。
【0088】
ステップS25において、「位置調整終了」ボタン126が押下されたと判定された場合、処理はステップS26に進む。ステップS26において、立体視画像生成ブロック75は、L画像とR画像の上下方向の位置の調整値を画像管理ブロック72に出力する。画像管理ブロック72は、この上下方向の位置の調整値を、視差画像の属性情報に追加する。なお、画像対がL画像とR画像とされている場合、この上下方向の位置の調整値は、画像対の両方の属性情報に追加される。この後、処理は、上述した図14のステップS7に戻ることとなる。
【0089】
以上で、L画像とR画像の上下方向の位置を調整する処理の説明を終了する。
【0090】
なお、上述した説明においては、「R画像上方移動」ボタン124または「R画像下方移動」ボタン125を押下することにより、L画像に対するR画像の相対的な位置を上方または下方に移動させるようにしたが、例えば、合成画像表示エリア123に表示されている合成画像を、マウス(操作入力部56)を用いて、上方または下方にドラッグアンドドロップすることにより、L画像に対するR画像の相対的な位置を上方または下方に移動させるようにしてもよい。
【0091】
次に、図18は、立体視画像が生成されたときのウィンドウ101の表示例を示している。メインエリア102には、生成された立体視画像が表示される。メインエリア102の上側には、メインエリア102の表示を、立体視画像から、立体視画像の元となったL画像およびR画像を用いて従来の立体視の方法によって立体的に視認することができる画像に変換させるときに押下される「アナグリフ」ボタン131乃至「液晶シャッタメガネ」135が設けられている。また、メインエリア102の左側には、生成された立体視画像に任意の文字、記号などを書き込むときに押下される「テキスト入力」ボタン136が追加して設けられている。
【0092】
「アナグリフ」ボタン131は、立体視画像の元となったL画像およびR画像を用いてアナグリフ方式の画像(以下、アナグリフ画像と記述する)を生成させるときに押下される。「カラーアナグリフ1」ボタン132は、立体視画像の元となったL画像およびR画像を用いて第1のカラーアナグリフ方式の画像(以下、第1のカラーアナグリフ画像と記述する)を生成させるときに押下される。「カラーアナグリフ2」ボタン133は、立体視画像の元となったL画像およびR画像を用いて第2のカラーアナグリフ方式の画像(以下、第2のカラーアナグリフ画像と記述する)を生成させるときに押下される。これらの場合、ユーザは、赤青メガネを用いて画像を見る必要がある。
【0093】
「レンチキュラ」ボタン134は、立体視画像の元となったL画像およびR画像を用いてレンチキュラ方式の画像(以下、第1のレンチキュラ画像と記述する)を生成させるときに押下される。この場合、ユーザは、レンチキュラスクリーンを介して画像を見る必要がある。
【0094】
「液晶シャッタメガネ」ボタン135は、立体視画像の元となったL画像およびR画像を時分割立体テレビジョン方式で表示させるときに押下される。この場合、ユーザは、表示部57のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて画像を見る必要がある。
【0095】
次に、メインエリア102に表示されている立体視画像を、ユーザの操作に対応して変換する処理について、図19のフローチャートを参照して説明する。
【0096】
この立体視画像変換処理は、立体視画像が生成され、図18に示されたようなウィンドウ101が表示されたときに開始される。
【0097】
ステップS31において、GUIブロック71は、「LR置換」ボタン105が押下されたか否かを判定する。「LR置換」ボタン105が押下されたと判定された場合、処理はステップS32に進む。ステップS32において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、現在生成されている立体視画像の元となったL画像とR画像を置換して、立体視画像を再生成する。表示制御ブロック76は、再生成された立体視画像を、メインエリア102に表示させる。この後、処理はステップS43に進む。
【0098】
ステップS31において、「LR置換」ボタン105が押下されていないと判定された場合、処理はステップS33に進む。ステップS33において、GUIブロック71は、「アナグリフ」ボタン131が押下されたか否かを判定する。「アナグリフ」ボタン131が押下されたと判定された場合、処理はステップS34に進む。ステップS34において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、現在生成されている立体視画像の元となったL画像とR画像を用い、アナグリフ画像を生成する。表示制御ブロック76は、生成されたアナグリフ画像をメインエリア102に表示させる。この後、処理はステップS45に進む。
【0099】
ステップS33において、「アナグリフ」ボタン131が押下されていないと判定された場合、処理はステップS35に進む。ステップS35において、GUIブロック71は、「カラーアナグリフ1」ボタン132が押下されたか否かを判定する。「カラーアナグリフ1」ボタン132が押下されたと判定された場合、処理はステップS36に進む。ステップS36において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、現在生成されている立体視画像の元となったL画像とR画像を用い、第1のカラーアナグリフ画像を生成する。表示制御ブロック76は、生成された第1のカラーアナグリフ画像をメインエリア102に表示させる。この後、処理はステップS45に進む。
【0100】
ステップS35において、「カラーアナグリフ1」ボタン132が押下されていないと判定された場合、処理はステップS37に進む。ステップS37において、GUIブロック71は、「カラーアナグリフ2」ボタン133が押下されたか否かを判定する。「カラーアナグリフ2」ボタン133が押下されたと判定された場合、処理はステップS38に進む。ステップS38において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、現在生成されている立体視画像の元となったL画像とR画像を用い、第2のカラーアナグリフ画像を生成する。表示制御ブロック76は、生成された第2のカラーアナグリフ画像をメインエリア102に表示させる。この後、処理はステップS45に進む。
【0101】
ステップS37において、「カラーアナグリフ2」ボタン133が押下されていないと判定された場合、処理はステップS39に進む。ステップS39において、GUIブロック71は、「レンチキュラ」ボタン134が押下されたか否かを判定する。「レンチキュラ」ボタン134が押下されたと判定された場合、処理はステップS40に進む。ステップS40において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、現在生成されている立体視画像の元となったL画像とR画像を用い、レンチキュラ画像を生成する。表示制御ブロック76は、生成されたレンチキュラ画像をメインエリア102に表示させる。この後、処理はステップS45に進む。
【0102】
ステップS39において、「レンチキュラ」ボタン134が押下されていないと判定された場合、処理はステップS41に進む。ステップS41において、GUIブロック71は、「液晶シャッタメガネ」ボタン135が押下されたか否かを判定する。「液晶シャッタメガネ」ボタン135が押下されたと判定された場合、処理はステップS42に進む。ステップS42において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、現在生成されている立体視画像の元となったL画像とR画像を表示制御ブロック76に供給する。表示制御ブロック76は、GUIブロック71からの制御に従い、L画像とR画像を、表示部57のフィールド周期に同期して交互にメインエリア102に表示させる。この後、処理はステップS43に進む。
【0103】
ステップS43において、GUIブロック71は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップS44に進む。ステップS44において、GUIブロック71は、「エンド」ボタン107が押下されたか否かを判定する。「エンド」ボタン107が押下されたと判定された場合、立体視画像変換処理は終了され、さらに、実行されている画像処理プログラム65も終了される。
【0104】
ステップS44において、「エンド」ボタン107が押下されてないと判定された場合、ステップS31に戻り、それ以降の処理が繰り返される。
【0105】
ステップS34,S36,S38、またはS40の処理の後に実行されるステップS45において、GUIブロック71は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップS46に進む。ステップS46において、GUIブロック71は、「印刷」ボタン106が押下されたか否かを判定する。「印刷」ボタン106が押下されたと判定された場合、処理はステップS47に進む。ステップS47において、表示制御ブロック76は、GUIブロック71からの制御に従い、メインエリア102に表示されているアナグリフ画像、第1のカラーアナグリフ画像、第2のアナグリフ画像、またはレンチキュラ画像の画像データをプリンタ(不図示)に出力して印刷させる。
【0106】
印刷されたアナグリフ画像、第1のカラーアナグリフ画像、または第2のアナグリフ画像は、赤青メガネを用いることにより、立体的に視認することができる。印刷されたレンチキュラ画像は、レンチキュラパネルを介することにより、立体的に視認することができる。以上で、立体視画像変換処理の説明を終了する。
【0107】
次に、図20は、「テキスト入力」ボタン136が押下されたときのウィンドウ101の表示例を示している。メインエリア102の上側には、メインエリア102に表示されている立体視画像に重畳して、任意の文字、記号等を表示させるためのテキスト入力エリア141が設けられている。テキスト入力エリア141に入力される文字等は、立体的に視認されるように立体視画像に重畳される。ユーザは、マウス(操作入力部56)を用いてドラッグアンドドロップすることにより、テキスト入力エリア141を任意の位置に移動することができる。
【0108】
メインエリア102の上側には、テキスト入力エリア141に入力された文字等の立体視したときの遠近感を近づけるときに押下される「近く」ボタン142、およびテキスト入力エリア141に入力される文字等の立体視したときの遠近感を遠ざけるときに押下される「遠く」ボタン143が設けられている。
【0109】
ここで、テキスト入力処理について、図21のフローチャートを参照して説明する。このテキスト入力処理は、「テキスト入力」ボタン136が押下されたときに開始される。
【0110】
ステップS51において、表示制御ブロック76は、メインエリア141に表示されている立体視画像に重畳して、テキスト入力エリア141を表示する。ユーザがテキスト入力エリア141に任意の文字等を入力すると、立体視画像生成ブロック75は、入力された文字等が所定の遠近感で立体的に視認されるように、立体視画像に文字等を重畳する。
【0111】
ステップS52において、GUIブロック71は、「近く」ボタン142が押下されたか否かを判定する。「近く」ボタン142が押下されたと判定された場合、処理はステップS53に進む。ステップS53において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、入力された文字等の遠近感がより近くで立体的に視認されるように、立体視画像に文字等を重畳する。なお、ステップS52において、「近く」ボタン142が押下されていないと判定された場合、ステップS53の処理はスキップされる。
【0112】
ステップS54において、GUIブロック71は、「遠く」ボタン143が押下されたか否かを判定する。「遠く」ボタン143が押下されたと判定された場合、処理はステップS55に進む。ステップS55において、立体視画像生成ブロック75は、GUIブロック71からの制御に従い、入力された文字等の遠近感がより遠くで立体的に視認されるように、立体視画像等に文字等を重畳する。なお、ステップS54において、「遠く」ボタン143が押下されていないと判定された場合、ステップS55の処理はスキップされる。
【0113】
ステップS56において、GUIブロック71は、「テキスト入力」ボタン13642が再び押下されたか否かを判定する。「テキスト入力」ボタン136が再び押下されていないと判定された場合、ステップS52に戻り、それ以降の処理が繰り返される。
【0114】
ステップS56において、「テキスト入力」ボタン13642が再び押下されたと判定された場合、処理はステップS57に進む。ステップS57において、立体視画像生成ブロック75は、入力された文字等のテキスト情報、文字等の立体視画像上の座標情報、文字等の立体視における遠近の情報を画像管理ブロック72に出力する。画像管理ブロック72は、立体視画像の画像データに対応付けて記録する。以上で、テキスト入力処理の説明を終了する。
【0115】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0116】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0117】
【発明の効果】
以上のように、本発明によれば、複数の画像の中から、立体視のL画像およびR画像として用いることができる画像対を検出することが可能となる。
【図面の簡単な説明】
【図1】光学アダプタをカメラに取り付けた状態を示す図である。
【図2】図1の光学アダプタの構成例を示す図である。
【図3】光学アダプタ取り付けた状態のカメラによって撮影される視差画像を示す図である。
【図4】本発明を適用した立体視システムの構成例を示す図である。
【図5】ミラー画像とスルー画像から構成される視差画像を示す図である。
【図6】ミラー画像とスルー画像からトリミングされるL画像とR画像を示す図である。
【図7】L画像とR画像を合成して立体視画像生成する処理を説明するための図である。
【図8】立体視画像を示す図である。
【図9】立体視画像を立体的に視認する概要を説明するための図である。
【図10】図4のパーソナルコンピュータの構成例を示すブロック図である。
【図11】図10のCPUが画像処理プログラムを実行すること実現する機能ブロックの構成例を示す図である。
【図12】画像処理プログラムに対応するウィンドウの表示例を示す図である。
【図13】図12の「画像取得」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図14】立体視画像生成処理を説明するフローチャートである。
【図15】画像対自動選択処理を説明するフローチャートである。
【図16】L画像とR画像の上下方向の位置調整処理を説明するフローチャートである。
【図17】L画像とR画像の上下方向の位置調整処理におけるウィンドウの表示例を示す図である。
【図18】立体視画像が生成されたときのウィンドウの表示例を示す図である。
【図19】立体視画像変換処理を説明するフローチャートである。
【図20】図18の「テキスト入力」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図21】テキスト入力処理を説明するフローチャートである。
【符号の説明】
1 ディジタルスチルカメラ, 11 光学アダプタ, 31 パーソナルコンピュータ, 41 フィルタメガネ, 43 ライン偏光板, 51 CPU,61 磁気ディスク, 62 光ディスク, 63 光磁気ディスク, 64半導体メモリ, 65 画像処理プログラム, 71 GUIブロック, 72画像管理ブロック, 73 画像取得ブロック, 74 ベース画像選択ブロック, 75 立体視画像生成ブロック, 76 表示制御ブロック
Claims (8)
- 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成する画像処理装置において、
複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出手段と、
複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出手段と、
前記第1または第2の検出手段によって検出された前記画像対をユーザに提示する提示手段と、
前記提示手段によって提示された前記画像対のうち、ユーザによって選択された前記画像対を構成する2枚の画像の一方を前記左眼用の画像とし、他方を前記右眼用の画像として、前記立体視画像を表示するための画像データを生成する生成手段と
を含むことを特徴とする画像処理装置。 - 前記第1または第2の検出手段によって検出された前記画像対を構成する2枚の画像の類似度を算出する算出手段を
さらに含むことを特徴とする請求項1に記載の画像処理装置。 - 前記提示手段は、前記類似度が閾値以上である前記画像対をユーザに提示する
ことを特徴とする請求項2に記載の画像処理装置。 - 複数の画像の中から前記画像対とするための2枚の画像を選択するユーザの操作を受け付ける受付手段を
さらに含むことを特徴とする請求項1に記載の画像処理装置。 - 前記画像対を構成する2枚の画像の画像データを対応付けて記録する記録手段を
さらに含むことを特徴とする請求項1に記載の画像処理装置。 - 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成する画像処理装置の画像処理方法において、
複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出ステップと、
複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出ステップと、
前記第1または第2の検出ステップの処理で検出された前記画像対をユーザに提示する提示ステップと、
前記提示ステップの処理で提示された前記画像対のうち、ユーザによって選択された前記画像対を構成する2枚の画像の一方を前記左眼用の画像とし、他方を前記右眼用の画像として、前記立体視画像を表示するための画像データを生成する生成ステップと
を含むことを特徴とする画像処理方法。 - 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成するプログラムであって、
複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出ステップと、
複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出ステップと、
前記第1または第2の検出ステップの処理で検出された前記画像対をユーザに提示する提示ステップと、
前記提示ステップの処理で提示された前記画像対のうち、ユーザによって選択された前記画像対を構成する2枚の画像の一方を前記左眼用の画像とし、他方を前記右眼用の画像として、前記立体視画像を表示するための画像データを生成する生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成するコンピュータに、
複数の画像のうち、連写モードで撮影された画像対を検出する第1の検出ステップと、
複数の画像のうち、所定の時間内に連続して撮影された画像対を検出する第2の検出ステップと、
前記第1または第2の検出ステップの処理で検出された前記画像対をユーザに提示する提示ステップと、
前記提示ステップの処理で提示された前記画像対のうち、ユーザによって選択された前記画像対を構成する2枚の画像の一方を前記左眼用の画像とし、他方を前記右眼用の画像として、前記立体視画像を表示するための画像データを生成する生成ステップと
を含む処理を実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002261540A JP4072674B2 (ja) | 2002-09-06 | 2002-09-06 | 画像処理装置および方法、記録媒体、並びにプログラム |
CNB031593305A CN1312508C (zh) | 2002-09-06 | 2003-09-04 | 图像处理设备及其图像处理方法 |
US10/656,828 US7349006B2 (en) | 2002-09-06 | 2003-09-05 | Image processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002261540A JP4072674B2 (ja) | 2002-09-06 | 2002-09-06 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004104330A JP2004104330A (ja) | 2004-04-02 |
JP4072674B2 true JP4072674B2 (ja) | 2008-04-09 |
Family
ID=32261886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002261540A Expired - Fee Related JP4072674B2 (ja) | 2002-09-06 | 2002-09-06 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7349006B2 (ja) |
JP (1) | JP4072674B2 (ja) |
CN (1) | CN1312508C (ja) |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7594246B1 (en) | 2001-08-29 | 2009-09-22 | Vulcan Ventures, Inc. | System and method for focused navigation within a user interface |
US20030046693A1 (en) * | 2001-08-29 | 2003-03-06 | Digeo, Inc. | System and method for focused navigation within an interactive television user interface |
US20030046694A1 (en) * | 2001-08-29 | 2003-03-06 | Digeo, Inc. | System and method for displaying option representations with multiple levels of specificity |
US8099680B1 (en) | 2002-03-12 | 2012-01-17 | Arris Group, Inc. | System and method of contextual pre-tuning |
WO2004107763A1 (ja) * | 2003-05-28 | 2004-12-09 | Sanyo Electric Co., Ltd. | 立体映像表示装置及びプログラム |
FR2873214B1 (fr) * | 2004-07-13 | 2008-10-10 | Canon Res Ct France S A S Soc | Procede et dispositif d'obtention d'un signal stereoscopique |
KR100709728B1 (ko) * | 2006-01-20 | 2007-04-19 | (주)마스터이미지 | 입체영상용 디스플레이 패널 접합 장치 및 방법 |
KR100716142B1 (ko) * | 2006-09-04 | 2007-05-11 | 주식회사 이시티 | 스테레오스코픽 영상 데이터의 전송 방법 |
WO2008100229A1 (en) * | 2007-02-13 | 2008-08-21 | National University Of Singapore | An imaging device and method |
US20080226281A1 (en) * | 2007-03-13 | 2008-09-18 | Real D | Business system for three-dimensional snapshots |
JP2009246625A (ja) * | 2008-03-31 | 2009-10-22 | Fujifilm Corp | 立体表示装置及び立体表示方法並びにプログラム |
US9380284B2 (en) * | 2008-04-03 | 2016-06-28 | Nlt Technologies, Ltd. | Image processing method, image processing device and recording medium |
US8405708B2 (en) * | 2008-06-06 | 2013-03-26 | Reald Inc. | Blur enhancement of stereoscopic images |
USD624952S1 (en) | 2008-10-20 | 2010-10-05 | X6D Ltd. | 3D glasses |
USD666663S1 (en) | 2008-10-20 | 2012-09-04 | X6D Limited | 3D glasses |
USD603445S1 (en) | 2009-03-13 | 2009-11-03 | X6D Limited | 3D glasses |
USRE45394E1 (en) | 2008-10-20 | 2015-03-03 | X6D Limited | 3D glasses |
US8542326B2 (en) | 2008-11-17 | 2013-09-24 | X6D Limited | 3D shutter glasses for use with LCD displays |
CA2684513A1 (en) * | 2008-11-17 | 2010-05-17 | X6D Limited | Improved performance 3d glasses |
US20100245999A1 (en) * | 2009-03-30 | 2010-09-30 | Carlow Richard A | Cart For 3D Glasses |
JP5789518B2 (ja) | 2009-02-17 | 2015-10-07 | サムスン エレクトロニクス カンパニー リミテッド | グラフィック画面処理方法及び装置 |
KR101659576B1 (ko) | 2009-02-17 | 2016-09-30 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
WO2010099495A2 (en) * | 2009-02-27 | 2010-09-02 | Laurence James Claydon | Systems, apparatus and methods for subtitling for stereoscopic content |
USD646451S1 (en) | 2009-03-30 | 2011-10-04 | X6D Limited | Cart for 3D glasses |
JP5266126B2 (ja) * | 2009-03-31 | 2013-08-21 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
WO2010122775A1 (ja) * | 2009-04-21 | 2010-10-28 | パナソニック株式会社 | 映像処理装置及び映像処理方法 |
USD650956S1 (en) | 2009-05-13 | 2011-12-20 | X6D Limited | Cart for 3D glasses |
USD672804S1 (en) | 2009-05-13 | 2012-12-18 | X6D Limited | 3D glasses |
EP2439934A4 (en) | 2009-06-05 | 2014-07-02 | Lg Electronics Inc | IMAGE DISPLAY DEVICE AND METHOD OF OPERATING IT |
JP5293463B2 (ja) * | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8436893B2 (en) * | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
KR20110018261A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
WO2011056803A2 (en) * | 2009-11-06 | 2011-05-12 | Sony Corporation Of America | Stereoscopic overlay offset creation and editing |
USD671590S1 (en) | 2010-09-10 | 2012-11-27 | X6D Limited | 3D glasses |
USD692941S1 (en) | 2009-11-16 | 2013-11-05 | X6D Limited | 3D glasses |
USD669522S1 (en) | 2010-08-27 | 2012-10-23 | X6D Limited | 3D glasses |
US20110126160A1 (en) * | 2009-11-23 | 2011-05-26 | Samsung Electronics Co., Ltd. | Method of providing 3d image and 3d display apparatus using the same |
KR101634768B1 (ko) * | 2009-11-23 | 2016-06-30 | 삼성전자주식회사 | 디스플레이 장치 및 3d 영상 제공 방법 |
JP2011147067A (ja) * | 2010-01-18 | 2011-07-28 | Sony Corp | 画像処理装置及び方法、並びにプログラム |
USD662965S1 (en) | 2010-02-04 | 2012-07-03 | X6D Limited | 3D glasses |
JP2013520924A (ja) * | 2010-02-24 | 2013-06-06 | トムソン ライセンシング | 立体映像用の字幕付け |
JPWO2011108310A1 (ja) * | 2010-03-02 | 2013-06-24 | キヤノン株式会社 | 立体映像制御装置(3Dimagecontrolapparatus)及び方法 |
EP2418857A1 (en) * | 2010-08-12 | 2012-02-15 | Thomson Licensing | Stereoscopic menu control |
USD664183S1 (en) | 2010-08-27 | 2012-07-24 | X6D Limited | 3D glasses |
WO2012061549A2 (en) | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
KR20120079934A (ko) * | 2011-01-06 | 2012-07-16 | 삼성전자주식회사 | 표시 장치 및 이를 포함하는 표시 시스템 |
US8908020B2 (en) * | 2011-03-18 | 2014-12-09 | Eastman Kodac Company | Dynamic anaglyph design apparatus |
JP5325255B2 (ja) * | 2011-03-31 | 2013-10-23 | 富士フイルム株式会社 | 立体画像表示装置、立体画像表示方法および立体画像表示プログラム |
WO2012137454A1 (ja) | 2011-04-01 | 2012-10-11 | パナソニック株式会社 | 立体映像出力装置及び立体映像出力方法 |
US20130033713A1 (en) * | 2011-08-02 | 2013-02-07 | Samsung Electronics Co., Ltd | Apparatus and method of forming image, terminal and method of print control, and computer-readable medium |
KR20130031065A (ko) * | 2011-09-20 | 2013-03-28 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법 |
US9330477B2 (en) | 2011-09-22 | 2016-05-03 | Digital Surgicals Pte. Ltd. | Surgical stereo vision systems and methods for microsurgery |
US9766441B2 (en) | 2011-09-22 | 2017-09-19 | Digital Surgicals Pte. Ltd. | Surgical stereo vision systems and methods for microsurgery |
US8693055B2 (en) * | 2012-02-23 | 2014-04-08 | Eastman Kodak Company | Printed dynamic anaglyph image method |
USD711959S1 (en) | 2012-08-10 | 2014-08-26 | X6D Limited | Glasses for amblyopia treatment |
CN103841311A (zh) * | 2012-11-20 | 2014-06-04 | 广州三星通信技术研究有限公司 | 生成3d图像的方法及便携式终端 |
US9503705B2 (en) * | 2013-12-12 | 2016-11-22 | Lenovo (Singapore) Pte. Ltd. | Stereoscopic image generation |
US9507241B1 (en) | 2015-11-17 | 2016-11-29 | Lenovo (Singapore) Pte, Ltd. | Adjustable camera field of view |
US10354573B2 (en) * | 2017-07-25 | 2019-07-16 | Lenovo (Singapore) Pte Ltd | Screen color calibration |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1245890A (en) | 1982-12-27 | 1988-12-06 | G.B. Kirby Meacham | System of projecting three-dimensional images |
JPS6381416A (ja) | 1986-09-26 | 1988-04-12 | Toshio Masukane | 3dビデオシステムの方法 |
US6556236B1 (en) * | 1992-11-16 | 2003-04-29 | Reveo, Inc. | Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments |
CN1077381A (zh) * | 1993-01-03 | 1993-10-20 | 黄世龙 | 儿童营养口服液及其制备方法 |
US5510831A (en) * | 1994-02-10 | 1996-04-23 | Vision Iii Imaging, Inc. | Autostereoscopic imaging apparatus and method using suit scanning of parallax images |
JPH1146373A (ja) | 1997-07-29 | 1999-02-16 | Sony Corp | 立体映像取り込み装置 |
JPH11355624A (ja) | 1998-06-05 | 1999-12-24 | Fuji Photo Film Co Ltd | 撮影装置 |
DE69921240T2 (de) * | 1998-07-09 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur Herstellung eines Stereoskopischen Bildes |
CN1169020C (zh) * | 1999-06-22 | 2004-09-29 | 俞泽辰 | 三维立体影像摄影和放映装置 |
JP2001012927A (ja) | 1999-06-29 | 2001-01-19 | Fuji Photo Film Co Ltd | 視差画像入力装置及び撮像装置 |
US6657655B1 (en) * | 1999-09-30 | 2003-12-02 | Canon Kabushiki Kaisha | Stereoscopic-image display apparatus |
JP2001119620A (ja) | 1999-10-21 | 2001-04-27 | Minolta Co Ltd | 3次元情報入力カメラ |
US6980690B1 (en) * | 2000-01-20 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing apparatus |
JP4620271B2 (ja) | 2000-03-14 | 2011-01-26 | 富士フイルム株式会社 | 画像処理方法 |
JP2002082307A (ja) | 2000-06-21 | 2002-03-22 | Sony Corp | 立体画像認識装置および立体画像表示方法 |
JP4759789B2 (ja) * | 2000-07-14 | 2011-08-31 | ソニー株式会社 | 画像処理システム |
JP4282920B2 (ja) | 2000-08-25 | 2009-06-24 | 富士フイルム株式会社 | 視差画像撮像装置及び視差画像処理装置 |
JP4618469B2 (ja) | 2000-12-27 | 2011-01-26 | ソニー株式会社 | 画像分離装置 |
AU2003248781A1 (en) * | 2002-07-02 | 2004-01-23 | Xm Corporation | Visual media |
-
2002
- 2002-09-06 JP JP2002261540A patent/JP4072674B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-04 CN CNB031593305A patent/CN1312508C/zh not_active Expired - Fee Related
- 2003-09-05 US US10/656,828 patent/US7349006B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN1490643A (zh) | 2004-04-21 |
US20040125447A1 (en) | 2004-07-01 |
CN1312508C (zh) | 2007-04-25 |
US7349006B2 (en) | 2008-03-25 |
JP2004104330A (ja) | 2004-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4072674B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5544047B2 (ja) | 画像処理装置、方法及びプログラム並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 | |
US8791989B2 (en) | Image processing apparatus, image processing method, recording method, and recording medium | |
US20120154547A1 (en) | Imaging device, control method thereof, and program | |
JP5266126B2 (ja) | 画像表示装置および方法並びにプログラム | |
CN102959974B (zh) | 立体图像再现装置、其视差调整方法及摄影装置 | |
US20130113875A1 (en) | Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
US20130162764A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP5425305B2 (ja) | 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム | |
JPH1127703A (ja) | 表示装置及びその制御方法 | |
CN102972036B (zh) | 重放装置、复眼摄像装置、重放方法及程序 | |
KR20150003576A (ko) | 삼차원 영상 생성 또는 재생을 위한 장치 및 방법 | |
CN102656892B (zh) | 立体图像显示控制设备及其操作控制方法 | |
JP4129786B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US9369699B2 (en) | Stereoscopic image display device, stereoscopic imaging device, and methods | |
CN103339948B (zh) | 3d视频再现装置、3d成像装置和3d视频再现方法 | |
CN103329549B (zh) | 立体视频处理器、立体成像装置和立体视频处理方法 | |
JP2012257105A (ja) | 立体画像取得装置 | |
JP4165158B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4200718B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4200717B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
JP4129787B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4668602B2 (ja) | 立体視画像生成装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110201 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120201 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140201 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |