JP4737573B2 - ３次元画像出力装置及び方法 - Google Patents

３次元画像出力装置及び方法 Download PDF

Info

Publication number
JP4737573B2
JP4737573B2 JP2009274451A JP2009274451A JP4737573B2 JP 4737573 B2 JP4737573 B2 JP 4737573B2 JP 2009274451 A JP2009274451 A JP 2009274451A JP 2009274451 A JP2009274451 A JP 2009274451A JP 4737573 B2 JP4737573 B2 JP 4737573B2
Authority
JP
Japan
Prior art keywords
parallax
parallax amount
amount
image
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009274451A
Other languages
English (en)
Other versions
JP2010206774A (ja
Inventor
敏 中村
幹夫 渡辺
宏一 矢作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2009274451A priority Critical patent/JP4737573B2/ja
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to BRPI1008665A priority patent/BRPI1008665A2/pt
Priority to EP10738482.8A priority patent/EP2394439B1/en
Priority to CN201080006879.0A priority patent/CN102308590B/zh
Priority to PCT/JP2010/051311 priority patent/WO2010090150A1/en
Priority to KR1020117018250A priority patent/KR101141091B1/ko
Priority to US13/147,932 priority patent/US8120606B2/en
Publication of JP2010206774A publication Critical patent/JP2010206774A/ja
Application granted granted Critical
Publication of JP4737573B2 publication Critical patent/JP4737573B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Or Creating Images (AREA)
  • Liquid Crystal Display Device Control (AREA)

Description

本発明は３次元画像出力装置及び方法に係り、特に３次元画像表示デバイスにより良好な３次元画像（立体画像）を表示させる技術に関する。
従来、使用する立体表示デバイスに応じて立体画像を構成する視点画像の視点位置を自動的に調整し、観察時のクロストークを少なくして自然な立体画像として表示できるようにした立体画像生成方法が提案されている（特許文献１）。
この特許文献１に記載の立体画像生成方法は、立体表示デバイスに関するデバイス情報からその立体表示デバイスに対応した複数の視点を決定し、この決定した複数の視点と複数の第１の視点画像の視差に関する視差情報とから、前記第１の視点画像を前記複数の視点に対応する複数の第２の視差画像に変換するようにしている。
また、３次元映像を種々の立体表示デバイスに表示する際に、立体表示デバイスのサイズが大きい場合又は解像度が低くなる場合に、視差量が拡大されるため、立体視できなくなるという問題を解決するために、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させることにより視差量を変更するようにした立体映像再生装置が提案されている（特許文献２）。
特開２００６−１１５１９８号公報 特開２００５−７３０４９号公報
しかしながら、特許文献１に記載の立体画像生成方法は、使用する立体表示デバイスのサイズ等の情報により仮想視点を決め、その仮想視点から恰も撮影されたような視差画像を生成するため、観察時のクロストークを少なくすることができ、立体画像として表示させることができるが、被写体の遠近に関係なく一律に視差画像を生成するため、元の複数の視点画像によっては立体感の乏しい立体画像になったり、立体感が強調されすぎた立体画像になるおそれがあり、必ずしも好ましい立体感が得られる立体画像を生成することができない。
また、特許文献２に記載の立体映像再生装置は、特許文献１に記載の発明と同様に、より好ましい立体感のある立体映像を再生することができず、更に、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させるため、立体表示デバイスの表示画面全体を有効に利用することができないという問題がある。
即ち、特許文献１、２に記載の発明は、使用する立体表示デバイスに関わらず、立体画像として視認できるように立体画像を生成するものであり、より好ましい立体感が得られる立体画像を生成するための工夫はなされていない。
本発明はこのような事情に鑑みてなされたもので、前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、より好ましい立体感のある視差画像を出力することができる３次元画像出力装置及び方法を提供することを目的とする。
前記目的を達成するために請求項１に係る３次元画像出力装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、前記取得した各特徴点の視差量を調整する視差量調整手段であって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整手段と、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、前記生成した視差画像を含む複数の視差画像を出力する視差画像出力手段と、を備え、前記視差量調整手段は、視差量と該視差量を調整する視差調整パラメータとの入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルを有し、立体表示に使用される表示部のサイズ、又は視距離に応じて前記複数の変換テーブルから１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する視差調整パラメータを読み出し、この読み出した視差調整パラメータに基づいて前記視差量に対して重み付けの異なる調整を行うことを特徴としている。
請求項２に係る３次元画像出力装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、前記取得した各特徴点の視差量を調整する視差量調整手段であって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整手段と、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、前記生成した視差画像を含む複数の視差画像を出力する視差画像出力手段と、を備え、前記視差量調整手段は、視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルを有し、立体表示に使用される表示部のサイズ、又は視距離に応じて前記複数の変換テーブルから１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する調整後の視差量を読み出すことを特徴としている。
請求項１に係る発明によれば、特許文献１に記載の発明のように仮想視点を決めることにより被写体の遠近に関係なく一律に視差量を調整する場合に比べて視差量の調整の自由度が高く、前景や背景に対して視差量の調整を自由に行うこと（視差の強弱を自由につけること）ができ、より好ましい立体感のある視差画像を生成出力することができる。
前記視差情報取得手段は、複数の組の特徴点の座標値を、複数の視点画像が格納された３次元画像ファイルの属性情報から読み取ることにより取得するようにしてもよいし、複数の視差画像からそれぞれ対応する特徴点を抽出することより取得するようにしてもよい。
請求項３に示すように請求項１又は２に記載の３次元画像出力装置において、前記視差量調整手段は、前記視差情報取得手段により取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴としている。
尚、視差量に応じて重み付けの異なる視差量の調整を、上記のように３種類以上に分類した分類別（段階的）に行う場合に限らず、連続的に行ってもよい。
請求項４に示すように請求項１から３のいずれかに記載の３次元画像出力装置において、前記変換テーブルは、調整後の視差量が予め設定された最大視差量を越えないように入出力関係が制限されていることを特徴としている。これは、視差をつけ過ぎると、立体視しにくくなるからである。
請求項５に示すように請求項１から４のいずれかに記載の３次元画像出力装置において、立体表示に使用される表示部に関する情報のうち、少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得手段を更に備え、前記視差量調整手段は、前記表示部情報取得手段により取得された表示部情報に基づいて該表示情報に対応する視差量の調整を行うことを特徴としている。
請求項６に示すように請求項５に記載の３次元画像出力装置において、前記表示部情報取得手段は、前記表示部が立体表示デバイス又は立体表示プリントを示す表示部の種類に対応する表示部情報を取得することを特徴としている。
これによれば、立体表示に使用される表示部の種類に応じてその表示部の立体表示の特性にあった視差画像の生成が可能になる。
請求項７に係る３次元画像出力方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、前記取得した各特徴点の視差量を調整する視差量調整ステップであって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整ステップと、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、前記生成した視差画像を含む複数の視差画像を出力する視差画像出力ステップと、を含み、前記視差量調整ステップは、視差量と該視差量を調整する視差調整パラメータとの入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルのうちから立体表示に使用される表示部のサイズ、又は視距離に応じて１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する視差調整パラメータを読み出し、この読み出した視差調整パラメータに基づいて前記視差量に対して重み付けの異なる調整を行うことを特徴としている。
請求項８に係る３次元画像出力方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、前記取得した各特徴点の視差量を調整する視差量調整ステップであって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整ステップと、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、前記生成した視差画像を含む複数の視差画像を出力する視差画像出力ステップと、を含み、前記視差量調整ステップは、視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルのうちから立体表示に使用される表示部のサイズ、又は視距離に応じて１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する調整後の視差量を読み出すことを特徴としている。
請求項９に示すように請求項７又は８に記載の３次元画像出力方法において、前記視差量調整ステップは、前記視差情報取得ステップにより取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴としている。
請求項１０に示すように請求項９に記載の３次元画像出力方法において、立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得ステップを更に含み、前記視差量調整ステップは、前記近くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行う第１の視差量調整ステップ、及び前記近くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行う第２の視差量調整ステップを含む複数の視差量調整ステップのうち、前記取得した表示部情報に基づいて前記複数の視差量調整ステップのうちのいずれか１つの視差量調整ステップを選択し、該選択した視差量調整ステップにて視差量を調整することを特徴としている。
これによれば、立体表示に使用される表示部の種類に応じてその表示部の立体表示の特性にあった視差画像の生成が可能になる。
本発明によれば、被写体の遠近により生じる前景や背景の複数の視差画像間における視差量を、その視差量に応じて重み付して調整したため、前景や背景の視差に所望の強弱をつけた視差画像を生成することができ、より好ましい立体感のある視差画像を出力することができる。
図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。 図２は図１に示した３次元画像出力装置の内部構成を示すブロック図である。 図３は画像内の特徴点の例を示す図である。 図４は複数の撮像部と視点番号の付与例を示す図である。 図５は各視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値の例を示す図である。 図６は仮想視点位置と視差調整パラメータΔｔとの関係を示す図である。 図７は視差調整パラメータΔｔの例を示すグラフである。 図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラの内部構成を示すブロック図である。 図９は３Ｄ画像用の３Ｄ画像ファイルのデータ構造を示す図である。 図１０は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの例を示す図である。 図１１は各視点の代表視差量の例を示す図表である。 図１２は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの他の例を示す図である。 図１３は視差調整パラメータΔｘの一例を示すグラフである。 図１４は各特徴点の視差量と視差調整パラメータΔｘとの関係を示す図表である。 図１５は視差調整パラメータΔｐの一例を示すグラフである。 図１６は視差量の変換テーブルの一例を示すグラフである。 図１７は視差量の変換テーブルの他の例を示すグラフである。 図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。 図１９は視差調整パラメータΔｘの他の例を示すグラフである。 図２０は視差調整パラメータΔｘの更に他の例を示すグラフである。
以下、添付図面に従って本発明に係る３次元画像出力装置及び方法の実施の形態について説明する。
［３次元画像出力装置の第１実施形態］
図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
図１に示すように、この３次元画像出力装置（３Ｄ画像出力装置）１０は、カラーの３次元液晶ディスプレイ（以下、「３Ｄ ＬＣＤ」という）１２を搭載したデジタルフォトフレームであり、前面には電源スイッチ、通常表示・スライドショー等を選択する操作部１４が設けられ、側面にはメモリカードスロット１６が設けられている。
図２は上記３Ｄ画像出力装置１０の内部構成を示すブロック図である。
図２に示すように３Ｄ画像出力装置１０は、上記３Ｄ ＬＣＤ１２、操作部１４の他に、中央処理装置（ＣＰＵ）２０、ワークメモリ２２、カードインターフェース（カードＩ／Ｆ）２４、表示コントローラ２６、バッファメモリ２８、ＥＥＰＲＯＭ３０、及び電源部３２を備えている。
３Ｄ ＬＣＤ１２は、複数の視差画像（右目用画像、左目用画像）をレンチキュラレンズやパララックスバリア等によりそれぞれ所定の指向性をもった指向性画像を表示するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。
ＣＰＵ２０は、操作部１４からの入力に基づき所定の制御プログラムに従って３Ｄ画像出力装置１０全体の動作を統括制御する制御手段として機能する。尚、ＣＰＵ２０による制御内容については後述する。
ワークメモリ２２は、ＣＰＵ２０の演算作業用領域及び画像データの一時記憶領域を含んでいる。
カードＩ／Ｆ２４は、デジタルカメラの記録メディアであるメモリカード３４がメモリカードスロット１６に装着されると、メモリカード３４と電気的に接続され、メモリカード３４との間でデータ（画像データ）の送受信を行うための装置である。
表示コントローラ２６は、表示用の画像データ専用の一時記憶領域であるバッファメモリ２８から３Ｄ表示用の画像データ（複数の画像データ）を繰り返し読み出し、３Ｄ ＬＣＤ１２での３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像を表示させる。
電源部３２は、図示しないバッテリ又は商用電源からの電力を制御して、３Ｄ画像出力装置１０各部に動作電力を供給する。
［３Ｄ画像出力装置１０の作用］
操作部１４の電源スイッチがオンされ、再生モードとしてスライドショー再生が設定されている場合には、ＣＰＵ２０は、メモリカードスロット１６に装着されているメモリカード３４からカードＩ／Ｆ２４を介してファイル番号順に画像ファイルを所定のインターバルで読み出す。尚、この画像ファイルは、１つのファイルに複数の視差画像が格納された３Ｄ表示用の３Ｄ画像ファイルであるが、この３Ｄ画像ファイルのデータ構造の詳細は後述する。
ＣＰＵ２０は、読み出した３Ｄ画像ファイルから複数の視差画像と、複数の視差画像上で特徴が一致する複数の組の特徴点の座標値と、複数の組の特徴点の座標値の差分である視差量を取得する。尚、３Ｄ画像ファイルの付属情報中に、上記複数の組の特徴点の座標値等が含まれていない場合には、複数の視差画像を解析して各特徴点の座標値を取得する。
ここで、特徴点は、図３に示すように視差画像内で一意に特定できる特徴のある特徴点ｌ，ｍであり、他の視差画像との間で同じ特徴点ｌ，ｍを特定できるものである。
図５に示すように、４視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値はそれぞれ異なる値をとり、図５に示す例では、特徴点ｌは、視点番号が大きくなるにしたがって（図４に示すように視点位置が左側に移動する程）、ｘ座標値が小さくなり、特徴点ｍは、視点番号が大きくなるにしたがってｘ座標値が大きくなっている。
これは、特徴点ｌを含む被写体は、各撮像部の光軸が交差する位置よりも遠い位置にある遠景であり、特徴点ｍを含む被写体は、各撮像部の光軸が交差する位置よりも近い位置にある前景であることに基づく。
上記特徴点の検出は、従来から様々な手法が提案されており、例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などを用いることができ、また、近年の顔検出技術を特徴点の検出に適用することができる。
また、視差画像中の特徴点は、複数の視差画像間でその特徴が一意に特定できる全ての点をとることが望ましい。
複数の視差画像間で特徴が一致する特徴点の検出に、ブロックマッチング法を適用する場合には、複数の視差画像のうちの１つの画像（例えば、左画像）から任意の画素を基準に切り出した所定のブロックサイズのブロックと、複数の視差画像のうちの他の視差画像（例えば、右画像）のブロックとの一致度を評価し、ブロック間の一致度が最大となるときの右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。
ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。
このＳＳＤブロックマッチング法では、両画像のブロック内の各画素f(i,j)，g(i,j)について、次式の演算を行う。
Figure 0004737573
上記［数１］式の演算を、右画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。
そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間のずれ量及びずれ方向を示す視差（左右の画像が水平状態で撮影されている場合には、ずれ方向は正負で表すことができる）を求める。
＜視差量の調整の第１実施例＞
次に、本発明に係る視差量の調整方法の第１実施例について説明する。
ＣＰＵ２０は、取得した各組の特徴点の視差量を調整するが、その視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う。
いま、図６に示すように２枚の視差画像（右目用画像Ｒ、左目用画像Ｌ）の視点間の距離をＳとすると、仮想視点（左目用画像Ｌの視点からｔの距離にある視点）で撮影された点線で示す画像（仮想視点画像）上の任意の特徴点の視差量d'(x,y)は、次式により表すことができる。
Figure 0004737573
ここで、d(x,y)は、上記任意の特徴点の右目用画像Ｒ、左目用画像Ｌ間の視差量である。
特許文献１に記載の発明は、上記のように仮想視点の位置を決定し、その仮想視点位置での視差量d'(x,y)を求めることで、視差量d(x,y)の調整を行っている。
これに対し、本発明の実施例では、仮想視点位置での任意の特徴点の視差量d'(x,y)を、次式により算出することにより視差量の調整を行うようにしている。
Figure 0004737573
ここで、Δｔは、仮想視点の位置を調整する視差調整パラメータであり、図７のグラフ(1),(2),(3)に示すように、特徴点の視差量の関数である。この視差調整パラメータΔｔにより上記仮想視点の位置は一点鎖線で示すように調整される。
上記［数３］式の意味するところでは、仮想視点の位置を更に視差調整パラメータΔｔにより調整し、例えば、視差調整パラメータΔｔによりｔが大きくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて大きくなり、逆に視差調整パラメータΔｔによりｔが小さくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて小さくなる。
また、図７のグラフ(1),(2)に示す視差調整パラメータΔｔは、視差量が大きい（前景に近い）程、正方向に大きな値をとり、視差量が負方向に大きい（背景に近い）程、負方向に大きな値をとる傾向を示しており、図７のグラフ(3)に示す視差調整パラメータΔｔは、上記グラフ(1),(2)とは逆に、視差量が正方向に大きい程、負方向に大きな値をとり、視差量が負方向に大きい程、正方向に大きな値をとる傾向を示している。
ＣＰＵ２０は、３Ｄ ＬＣＤ１２の少なくともサイズ情報を含む表示部情報に応じて上記グラフ(1),(2),(3)のうちにいずれかのグラフに対応する変換テーブルを、ＥＥＰＲＯＭ３０から読み出し、視差画像中の各特徴点ごとに、その特徴点の視差量に対応する視差調整パラメータΔｔを読み出し、上記［数３］式により視差量d'(x,y)を算出する。尚、仮想視点の位置は、特許文献１に記載の発明と同様に視点画像サイズ、視点画像間の視差に関する視差情報、及び立体表示デバイスのサイズ等の情報により決定することができる。
いま、右目用の視差画像を基準画像とし、左目用の視差画像から視差調整後の視差画像を生成する場合には、左目用の視差画像の各特徴点の基準画像に対する視差量と、この視差量を上記［数３］式により調整した視差量とに基づいて左目用の視差画像の各特徴点の座標値が、前記調整後の視差量をもつ座標値となるように左目用の視差画像を幾何変形される。この幾何変形は、射影変換パラメータを使用した射影変換、アフィン変換パラメータを使用したアフィン変換、ヘルマート変換パラメータを使用したヘルマート変換等によって行うことができる。
ＣＰＵ２０により生成された左目用の視差画像は、右目用の視差画像（基準画像）とともにバッファメモリ２８に出力され、ここに一時記憶される。
表示コントローラ２６は、バッファメモリ２８から２枚の視差画像（右目用画像と左目用画像）を読み出し、３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像（左右の視差画像）を表示させる。
尚、この実施の形態の３Ｄ画像出力装置１０は、３Ｄ ＬＣＤ１２を搭載したデジタルフォトフレームであるが、本発明はこれに限らず、種々の画面サイズを有する立体表示デバイス、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の種類の異なる立体表示デバイス、立体表示プリントを生成するプリンタ等に視差画像を出力する３Ｄ画像出力装置にも適用できる。この場合、立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得し、その表示部情報に基づいて視差量を調整することが好ましい。
例えば、表示サイズが小さい立体表示デバイスの場合には、図７のグラフ(1),(2)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える立体画像（迫力のある立体感のある立体画像）の表示が可能になる。
一方、表示サイズが大きい立体表示デバイスの場合には、図７のグラフ(3)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、前景の飛び出し量を抑制し、背景の奥行き感を強調した立体画像（ソフトな立体感のある立体画像）の表示が可能になる。
［３次元画像出力装置の第２実施形態］
図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラ１００の内部構成を示すブロック図である。
図８に示すように、デジタルカメラ１００は、２つの撮影部１１２Ｒ及び１１２Ｌを備えた複眼カメラである。尚、撮影部１１２は、２つ以上であってもよい。
デジタルカメラ１００は、複数の撮影部１１２Ｒ及び１１２Ｌによって撮影した複数の画像からなる３Ｄ画像を１つの３Ｄ表示用の３Ｄ画像ファイルとして記録することができる。
メインＣＰＵ１１４（以下、「ＣＰＵ１１４」という）は、操作部１１６からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１００全体の動作を統括制御する。
ＣＰＵ１１４には、システムバス１２２を介してＲＯＭ１２４、ＥＥＰＲＯＭ１２６及びワークメモリ１２８が接続されている。ＲＯＭ１２４には、ＣＰＵ１１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ１２６には、ユーザ設定情報等のデジタルカメラ１００の動作に関する各種設定情報等が格納される。ワークメモリ１２８は、ＣＰＵ１１４の演算作業用領域及び画像データの一時記憶領域を含んでいる。
操作部１１６は、ユーザが各種の操作入力を行うための手段であり、電源／モードスイッチ、モードダイヤル、レリーズスイッチ、十字キー、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタンを含んでいる。操作用表示部１１８は、操作部１１６からの操作入力の結果を表示するための手段であり、例えば、液晶パネル又は発光ダイオード（ＬＥＤ）を含んでいる。
電源／モードスイッチは、デジタルカメラ１００の電源のオン／オフの切り替え、及びデジタルカメラ１００の動作モード（再生モード及び撮影モード）の切り替え手段である。電源／モードスイッチがオンになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が開始され、デジタルカメラ１００の各種の動作が開始される。また、電源／モードスイッチがオフになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が停止される。
モードダイヤルは、デジタルカメラ１００の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２Ｄの静止画を撮影する２Ｄ静止画撮影モード、２Ｄの動画を撮影する２Ｄ動画撮影モード、３Ｄの静止画を撮影する３Ｄ静止画撮影モード及び３Ｄの動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、２Ｄ画像を撮影するための２Ｄモードであることを示すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、３Ｄ画像を撮影するための３Ｄモードであることを示すフラグが設定される。ＣＰＵ１１４は、撮影モード管理フラグ１３０を参照して、撮影モードの設定を判別する。
レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズスイッチが半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われ、レリーズスイッチが全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズスイッチが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。尚、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けるようにしてもよい。
３Ｄ ＬＣＤ１５０は、図１に示した３Ｄ画像出力装置１０の３Ｄ ＬＣＤ１２と同様の３Ｄ画像表示器であり、撮影した２Ｄ画像又は３Ｄ画像を表示するための画像表示部として機能するとともに、各種設定時にＧＵＩとして機能する。また、３Ｄ ＬＣＤ１５０は、撮影モード時に画角を確認するための電子ファインダとして機能する。
縦／横撮り検出回路１３２は、例えば、デジタルカメラ１００の向きを検出するためのセンサを含んでおり、デジタルカメラ１００の向きの検出結果をＣＰＵ１１４に入力する。ＣＰＵ１１４は、デジタルカメラ１００が向きの場合に、縦撮りと横撮りの切り替えを行う。
次に、デジタルカメラ１００の撮影機能について説明する。尚、図８では、各撮影部１１２Ｒ及び１１２Ｌ内の各部にそれぞれ符号Ｒ及びＬを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｒ及びＬを省略して説明する。
撮影レンズ１６０は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＲ及びＬＬ）に沿って前後に移動する。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御してズーミングを行い、測光・測距ＣＰＵ１８０を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御してフォーカシングを行う。また、ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して絞りアクチュエータの駆動を制御することにより、絞りの開口量（絞り値）を制御し、撮像素子１６２への入射光量を制御する。
ＣＰＵ１１４は、３Ｄモード時に複数の画像を撮影する場合に、各撮影部１１２Ｒ及び１１２Ｌの撮影レンズ１６０Ｒ及び１６０Ｌを同期させて駆動する。即ち、撮影レンズ１６０Ｒ及び１６０Ｌは、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
フラッシュ発光部１７６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部１７８は、フラッシュ発光部１７６を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０にフラッシュ発光指令を送信して、メインコンデンサの充電制御、フラッシュ発光部１７６の放電（発光）のタイミング及び放電時間の制御等を行う。尚、フラッシュ発光部１７６としては、発光ダイオードを用いてもよい。
撮影部１１２は、被写体に光を照射するための距離用発光素子１８６（例えば、発光ダイオード）と、上記距離用発光素子１８６により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子１８４とを備えている。
測光・測距ＣＰＵ１８０は、ＣＰＵ１１４からの指令に基づいて、所定のタイミングで距離用発光素子１８６を発光させるとともに、距離用撮像素子１８４を制御して測距用画像を撮影させる。
距離用撮像素子１８４によって撮影された測距用画像は、Ａ／Ｄ変換器１９６によりデジタルデータに変換されて、距離情報処理回路１９８に入力される。
距離情報処理回路１９８は、距離用撮像素子１８４から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１１２Ｒ及び１１２Ｌによって撮影された被写体とデジタルカメラ１００との間の距離（被写体距離）を算出する。距離情報処理回路１９８によって算出された被写体距離は、距離情報記憶回路１０３に記録される。
尚、被写体距離の算出方法としては、距離用発光素子１８６が発光してから、距離用発光素子１８６によって照射された光が被写体によって反射され、距離用撮像素子１８４に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。
また、撮影部１１２は、間隔／輻輳角駆動回路１８８及び間隔／輻輳角検出回路１９０を備えている。
間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌは、それぞれ撮影部１１２Ｒ及び１１２Ｌを駆動する。ＣＰＵ１１４は、間隔／輻輳角制御回路１９２を介して間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌを動作させて、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を調整する。
間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ１１４は、間隔／輻輳角制御回路９２を介して間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌを動作させて、電波を相互に送受信させることにより、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を測定する。撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路１０２に記憶される。
撮像素子１６２は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子１６２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影レンズ１６０によって撮像素子６２の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１４の指令に従ってＴＧ１６４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子１６２から順次読み出される。撮像素子１６２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。
尚、撮像素子１６２としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。
アナログ信号処理部１６６は、撮像素子１６２から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子１６２から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部１６６によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部１６６から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１６８によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）１７０に入力される。
デジタル信号処理部１７２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ１７０に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部１７２によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。
ライブビュー画像（スルー画）を３Ｄ ＬＣＤ１５０に表示する場合、デジタル信号処理部１７２において生成されたＹ／Ｃ信号がバッファメモリ１４４に順次供給される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、３Ｄ ＬＣＤ１５０にスルー画が表示される。
ここで、カメラのモードが撮影モードであり、２Ｄモードの場合には、所定の１つの撮影部（例えば、１１２Ｒ）により記録用の画像が撮影される。２Ｄモード時に、撮影部１１２Ｒによって撮影された画像は、圧縮・伸張処理部１７４Ｒによって圧縮される。この圧縮画像データは、メモリコントローラ１３４及びカードＩ／Ｆ１３８を介して、所定形式の画像ファイルとしてメモリカード３４に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。
また、カメラのモードが撮影モードであり、３Ｄモード時には、撮影部１１２Ｒ及び１１２Ｌによって同期して画像が撮影される。尚、３Ｄモード時には、ＡＦ処理及びＡＥ処理は、撮影部１１２Ｒ及び１１２Ｌのいずれか一方によって取得された画像信号に基づいて行われる。３Ｄモード時に、各撮影部１１２Ｒ及び１１２Ｌによって撮影された２視点の画像は、それぞれ圧縮・伸張処理部１７４Ｒ及び１７４Ｌによって圧縮され、１つの３Ｄ画像ファイルに格納されてメモリカード３４に記録される。また、３Ｄ画像ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影レンズ１６０Ｒ及び１６０Ｌの間隔及び輻輳角に関する情報等が格納される。
一方、カメラの動作モードが再生モード時には、メモリカード３４に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、圧縮・伸張処理部１７４によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ１４４に入力される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、メモリカード３４に記録されている画像ファイルの画像が３Ｄ ＬＣＤ１５０に表示される。
ここで、メモリカード３４から読み出された画像ファイルが３Ｄ画像ファイルの場合には、前述した３Ｄ画像出力装置１０と同様に、視差量を調整した視差画像が生成され、調整後の視差画像を含む２枚の視差画像が３Ｄ ＬＣＤ１５０に表示される。
［３Ｄ画像ファイルのデータ構造］
図９はデジタルカメラ１００によりメモリカード３４に記録される３Ｄ表示用の３Ｄ画像ファイルのデータ構造の一例を示す図である。
図９に示すように３Ｄ画像ファイルＦは、Exif規格のファイルフォーマットを利用し、複数の画像を一体化して記録するファイル形式を採っており、視点画像(1)（先頭画像）Ａ１、視点画像(2)Ａ２，視点画像(2)Ａ２、…、視点画像(n)Ａｎが連結されて構成されている。
各視点画像の領域は、各視点画像の開始位置を示すＳＯＩ（Start of Image）と終了位置を示すＥＯＩ（End of Image）とにより区分されており、ＳＯＩの次に視点画像のExif付属情報が記録されるAPP1マーカセグメントと、多視点付属情報が記録されるAPP2マーカセグメントが設けられ、その次に視点画像が記録される。
尚、APP1マーカセグメントには、Ｅｘｉｆ識別情報、ＴＩＦＦヘッダ、ＩＦＤ（Image file directory）領域（ＩＦＤ０領域（0th IFD）及びＩＦＤ１領域（1st IFD））が設けられている。ＩＦＤ１領域（1st IFD）には、視点画像から生成されたサムネイル画像が格納される。また、APP2マーカセグメントには、個別情報ＩＦＤが含まれる。
個別情報ＩＦＤには、視点画像の枚数、視点画像番号、輻輳角、基線長等が含まれるが、この実施の形態では、図１０に示すように、基準視点番号のタグ値と前景代表視差量、背景代表視差量のタグ値が更に記録される。
前景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の前景の視差を代表する値であり、ＡＦ合焦時の視差、最近接位置視差、顔認識位置中心の視差などを表す値を使用することができる。
背景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の背景の視差を代表する値であり、例えば、視差量が最も小さい値（負値を含む）を表す値を使用することができる。
尚、図１０に示した前景代表視差量、背景代表視差量の数値の例は、視差画像の左右方向の視差量に相当する画素数（負は視差方向が逆）を示している。また、視差画像の左右方向の画素数は１０００画素である。
図１１は図４に示した４視点の場合の各視点の代表視差量（前景代表視差量、背景代表視差量）の例を示す図表である。
また、図１２に示すように、３Ｄ画像ファイルの個別情報ＩＦＤには、視点画像内の各特徴点１、２、３、…、ｋの座標値が更に記録されている。
尚、各視差画像間の特徴点の抽出、前景代表視差量、背景代表視差量の算出等は、デジタルカメラ１００により行われ、３Ｄ画像ファイルの作成時に視差画像の付属情報として記録される。
＜視差量の調整の第２実施例＞
図１３は視差量を調整する視差調整パラメータΔｘの一例を示すグラフである。
図７に示した第１実施例の視差調整パラメータΔｔは、仮想視点位置を調整するパラメータであるが、図１３のグラフ(1),(2)に示す視差調整パラメータΔｘは、視差量に加算されることにより該視差量を調整するパラメータである。
いま、図１４に示すように視差画像からｎ個の特徴点が抽出され、各特徴点別に視差量が求められている場合、その視差量に基づいて図１３のグラフ(1)に対応する変換テーブルから対応する視差調整パラメータΔｘを読み出す。図１３のグラフ(1)によれば、視差調整パラメータΔｘは、視差量が正方向に大きい（前景に近い）程、及び視差量が負方向に大きい（背景に近い）程、正方向に大きな値をとるようになっている。
上記視差量に対応する視差調整パラメータΔｘを各特徴点別の視差量に加算することにより、視差量を調整することができる。
図１３のグラフ(1)に示した視差調整パラメータΔｘによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）を小さくする重み付け調整が行われることになる。
そして、上記のように視差量が調整された特徴点をもつように視差画像を幾何変形させた視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
尚、図１３のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｘによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
＜視差量の調整の第３実施例＞
図１５は視差量を調整する視差調整パラメータΔｐの一例を示すグラフである。
図１５のグラフ(1),(2)に示す視差調整パラメータΔｐは、視差量に乗算されることにより該視差量を調整するパラメータであり、グラフ(1)によれば、視差調整パラメータΔｐは、視差量が大きい（前景に近い）程、１よりも大きな値をとり、視差量が負方向に大きい（背景に近い）程、１よりも小さい値をとるようになっている。
上記視差量に対応する視差調整パラメータΔｐを各特徴点別の視差量に乗算することにより、視差量を調整することができる。
図１５のグラフ(1)に示した視差調整パラメータΔｐによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする重み付け調整が行われることになり、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
一方、図１５のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｐによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
＜視差量の調整の第４実施例＞
図１５は入力する視差量を所望の視差量に変換して出力する変換テーブルの一例を示す
グラフである。
図１６のグラフ(1),(2)に示す変換テーブルは、入力画像の各特徴点の視差量を、その視差量の大きさに応じて適宜の視差量に変換する変換テーブルであり、グラフ(1)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする変換が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする変換が行われることになる。
一方、図１６のグラフ(2)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより小さくする変換が行われ、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより大きくする変換が行われることになる。
＜視差量の調整の第５実施例＞
図１７は入力する視差量を所望の視差量に変換して出力する変換テーブルの他の例を示すグラフである。
図１７に示す変換テーブルは、プリント用紙（表示部）に視差画像を印刷する際に使用される変換テーブルであり、入力画像上の最大の視差量(max)がプリント用紙上で３mmの視差量となり、入力画像上の負方向の最大の視差量(min)がプリント用紙上で−８mmの視差量となるように変換する。
例えば、入力する視差画像の各特徴点の視差量のうちの最大値（前景代表値）及び負方向の最大値（背景代表値）を求め、これらの前景代表値及び背景代表値により各特徴点の視差量を正規化し（例えば前景代表値が１、背景代表値が−１となるように正規化し）、この正規化した視差量を、図１７に示す変換テーブルによりプリント用紙上での視差量に変換する。
上記のように視差量が調整された視差画像が印画されたプリント用紙の表面には、レンチキュラーシートが貼付され、これにより立体視が可能な写真プリントになる。
立体視が可能な写真プリントでは、そのプリント上の各視差画像の最大の視差量(max)が３mm、負方向の最大の視差量(min)が−８mmのときに、より好ましい立体画像を視認することができることが実験により確認されている。
［表示デバイスにより視差量を調整する実施例］
図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
まず、複数の視差画像を読み込み（ステップＳ１０）、各視差画像における特徴点（対応点）の視差量を取得する（ステップＳ１２）。尚、図１２に示したように３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれている場合には、その座標値から視差量を演算することができ、一方、３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれていない場合には、各視差画像から特徴点の抽出を行い、視点の座標値を取得して視差量を算出する。
次に、表示デバイスの情報を取得する（ステップＳ１４）。この表示デバイスの情報の取得は、本発明に係る３Ｄ画像出力装置を表示デバイスに接続することにより、表示デバイス側から自動的に表示デバイスの情報を取得してもよいし、マニュアルで表示デバイスの情報を入力してもよい。
続いて、取得した表示デバイスの情報からデバイスの種別（ディスプレイ、プリンタ）を判別し（ステップＳ１６）、更にディスプレイと判別されると、ディスプレイの画面サイズが、所定のサイズ（水平方向の長さが６５mm）以上か否かを判別する（ステップＳ１８）。尚、６５mmは、人の左右の目の間隔である。
ここで、デバイス種別がディスプレイで、その画面サイズが６５mm以上と判別されると、視差量を変換する変換テーブルとして大画面用テーブルが選択され（ステップＳ２０）、画面サイズが６５mm未満と判別されると、変換テーブルとして大画面用テーブルが選択され（ステップＳ２２）。
一方、デバイス種別がプリンタと判別されると、変換テーブルとして印刷用テーブルが選択され（ステップＳ２４）。
例えば、上記大画面用テーブルとしては、図１６のグラフ(2)に示した変換テーブルを適用し、小画面用テーブルとしては、図１６のグラフ(1)に示した変換テーブルを適用することが考えられる。
これによれば、大画面の表示ディスプレイの場合には、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になり、観察者の疲労感を軽減させることができる。また、小画面の表示ディスプレイの場合には、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
一方、印刷用テーブルとしては、図１７に示した変換テーブルを使用する。これによれば、より好ましい立体視が可能な写真プリントを印刷することができる。尚、この実施の形態では、デバイス種別がプリンタの場合には、更にプリントサイズにより変換テーブルを切り替えていない。これは、図１７に示した変換テーブルによれば、写真プリントのプリントサイズに関わらず、好ましい立体視が可能な写真プリントが得られることが確認されているからである。
上記のようにして変換テーブルが選択されると、選択された変換テーブルにより入力する各視差量を変換し、その変換後（視差調整後）の各特徴点の視差量に対応する視差画像を生成する（ステップＳ２６）。このようにして生成した各視差画像を３Ｄの表示デバイスに出力し、３Ｄ画像の立体視を可能にする（ステップＳ２８）。
＜視差量の調整の第６実施例＞
図１９は視差量を調整する視差調整パラメータΔｘの他の例を示すグラフである。
図１９のグラフ(1)-1は、グラフ(1)(図１３のグラフ(1)に相当)を視差量の正方向にシフトしたグラフであり、図１９のグラフ(1)-2は、グラフ(1)を視差量の負方向にシフトしたグラフである。
従って、グラフ(1)-1に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が低減されるとともに、背景の奥行き感も低減された視差画像が生成される。
一方、グラフ(1)-2に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が強調されるとともに、背景の奥行き感も強調された視差画像が生成される。
また、上記グラフ(1)-1,(1),(1)-2に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、大画面、中画面、及び小画面に応じて、それぞれグラフ(1)-1,(1),及び(1)-2に示す視差調整パラメータΔｘを適用することが考えられる。
また、３Ｄディスプレイの画面サイズに限らず、視距離に応じて上記グラフ(1)-1,(1),及び(1)-2を選択するようにしてもよく、視距離が近いときはグラフ(1)-1,遠いときはグラフ(1)-2を選択することが考えられる。尚、視距離は、３Ｄディスプレイ又はその近傍に配設した測距手段により自動的に取得してもよいし、マニュアルで視距離を入力するようにしてもよい。
＜視差量の調整の第７実施例＞
図２０は視差量を調整する視差調整パラメータΔｘの更に他の例を示すグラフである。
図２０のグラフ(1)-3,(1)-4に示す視差調整パラメータΔｘは、視差が正方向に一定以上大きくなる場合には、その視差を強調しないように制限されている。
即ち、図２０のグラフ(1)-3,(1)-4に示す入出力関係を示す変換テーブルでは、変換後の視差量が、予め設定された最大視差量を越えないように制限されている。これは、視差をつけすぎると、３Ｄとして視認できなくなるからである。
また、図２０のグラフ(1)-3, (1)-4に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、小画面、大画面に応じて、それぞれグラフ(1)-3,及び(1)-4に示す視差調整パラメータΔｘを適用することが考えられる。
尚、図１９及び図２０に示した第６実施例及び第７実施例は、図１３のグラフ(1)に示す視差調整パラメータの変形例であるが、図１３のグラフ(2)に示す視差調整パラメータ、図１５に示した視差調整パラメータΔｐ、及び図１６に示した視差量の変換テーブルを変形させる場合にも適用できる。
［その他］
この実施の形態の３Ｄ画像出力装置（デジタルフォトフレーム、デジタルカメラ）は、３Ｄディスプレイが一体化されたものであるが、これに限らず、本発明は、表示デバイスを備えていない装置（例えば、パソコン本体）にも適用できる。また、本発明に係る３Ｄ画像出力装置は、ハードウエアで実現してもよいし、パソコン本体にインストールするソフトウエアで実現するようにしてもよい。
３Ｄディスプレイは、実施の形態の３Ｄ ＬＣＤに限らず、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の他の３Ｄディスプレイでもよい。
更に、本発明は上述した実施形態に限定されず、被写体の遠近に関係なく、視差量の調整を自由に行うことができるものであればよく、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０…３次元画像出力装置（３Ｄ画像出力装置）、１２、１５０…３次元液晶ディスプレイ（３Ｄ ＬＣＤ）、２０、１１４…中央処理装置（ＣＰＵ）、２２、１２８…ワークメモリ、２６、１４２…表示コントローラ、２８、１３６…バッファメモリ、３０、１２６…ＥＥＰＲＯＭ

Claims (10)

  1. 複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、
    前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、
    前記取得した各特徴点の視差量を調整する視差量調整手段であって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整手段と、
    前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、
    前記生成した視差画像を含む複数の視差画像を出力する視差画像出力手段と、を備え、
    前記視差量調整手段は、視差量と該視差量を調整する視差調整パラメータとの入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルを有し、立体表示に使用される表示部のサイズ、又は視距離に応じて前記複数の変換テーブルから１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する視差調整パラメータを読み出し、この読み出した視差調整パラメータに基づいて前記視差量に対して重み付けの異なる調整を行うことを特徴とする３次元画像出力装置。
  2. 複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、
    前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、
    前記取得した各特徴点の視差量を調整する視差量調整手段であって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整手段と、
    前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、
    前記生成した視差画像を含む複数の視差画像を出力する視差画像出力手段と、を備え、
    前記視差量調整手段は、視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルを有し、立体表示に使用される表示部のサイズ、又は視距離に応じて前記複数の変換テーブルから１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する調整後の視差量を読み出すことを特徴とする３次元画像出力装置。
  3. 前記視差量調整手段は、前記視差情報取得手段により取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴とする請求項１又は２に記載の３次元画像出力装置。
  4. 前記変換テーブルは、調整後の視差量が予め設定された最大視差量を越えないように入出力関係が制限されていることを特徴とする請求項１から３のいずれかに記載の３次元画像出力装置。
  5. 立体表示に使用される表示部に関する情報のうち、少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得手段を更に備え、
    前記視差量調整手段は、前記表示部情報取得手段により取得された表示部情報に基づいて該表示情報に対応する視差量の調整を行うことを特徴とする請求項１から４のいずれかに記載の３次元画像出力装置。
  6. 前記表示部情報取得手段は、前記表示部が立体表示デバイス又は立体表示プリントを示す表示部の種類に対応する表示部情報を取得することを特徴とする請求項５に記載の３次元画像出力装置。
  7. 複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、
    前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、
    前記取得した各特徴点の視差量を調整する視差量調整ステップであって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整ステップと、
    前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、
    前記生成した視差画像を含む複数の視差画像を出力する視差画像出力ステップと、を含み、
    前記視差量調整ステップは、視差量と該視差量を調整する視差調整パラメータとの入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルのうちから立体表示に使用される表示部のサイズ、又は視距離に応じて１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する視差調整パラメータを読み出し、この読み出した視差調整パラメータに基づいて前記視差量に対して重み付けの異なる調整を行うことを特徴とする３次元画像出力方法。
  8. 複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、
    前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、
    前記取得した各特徴点の視差量を調整する視差量調整ステップであって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整ステップと、
    前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、
    前記生成した視差画像を含む複数の視差画像を出力する視差画像出力ステップと、を含み、
    前記視差量調整ステップは、視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルであって、入出力関係が異なる複数の変換テーブルのうちから立体表示に使用される表示部のサイズ、又は視距離に応じて１つの変換テーブルを選択し、前記選択した変換テーブルから前記取得した各特徴点の視差量に対応する調整後の視差量を読み出すことを特徴とする３次元画像出力方法。
  9. 前記視差量調整ステップは、前記視差情報取得ステップにより取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴とする請求項７又は８に記載の３次元画像出力方法。
  10. 立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得ステップを更に含み、
    前記視差量調整ステップは、前記近くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行う第１の視差量調整ステップ、及び前記近くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行う第２の視差量調整ステップを含む複数の視差量調整ステップのうち、前記取得した表示部情報に基づいて前記複数の視差量調整ステップのうちのいずれか１つの視差量調整ステップを選択し、該選択した視差量調整ステップにて視差量を調整することを特徴とする請求項９に記載の３次元画像出力方法。
JP2009274451A 2009-02-05 2009-12-02 ３次元画像出力装置及び方法 Expired - Fee Related JP4737573B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2009274451A JP4737573B2 (ja) 2009-02-05 2009-12-02 ３次元画像出力装置及び方法
EP10738482.8A EP2394439B1 (en) 2009-02-05 2010-01-26 Three-dimensional image output device and three-dimensional image output method
CN201080006879.0A CN102308590B (zh) 2009-02-05 2010-01-26 三维图像输出装置和三维图像输出方法
PCT/JP2010/051311 WO2010090150A1 (en) 2009-02-05 2010-01-26 Three-dimensional image output device and three-dimensional image output method
BRPI1008665A BRPI1008665A2 (pt) 2009-02-05 2010-01-26 dispositivo de saída de imagem tridimensional e método de saída de imagem tridimensional
KR1020117018250A KR101141091B1 (ko) 2009-02-05 2010-01-26 3 차원 화상 출력 장치 및 방법
US13/147,932 US8120606B2 (en) 2009-02-05 2010-01-26 Three-dimensional image output device and three-dimensional image output method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009025261 2009-02-05
JP2009025261 2009-02-05
JP2009274451A JP4737573B2 (ja) 2009-02-05 2009-12-02 ３次元画像出力装置及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011101713A Division JP2011211717A (ja) 2009-02-05 2011-04-28 ３次元画像出力装置及び方法

Publications (2)

Publication Number Publication Date
JP2010206774A JP2010206774A (ja) 2010-09-16
JP4737573B2 true JP4737573B2 (ja) 2011-08-03

Family

ID=42542044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009274451A Expired - Fee Related JP4737573B2 (ja) 2009-02-05 2009-12-02 ３次元画像出力装置及び方法

Country Status (7)

Country Link
US (1) US8120606B2 (ja)
EP (1) EP2394439B1 (ja)
JP (1) JP4737573B2 (ja)
KR (1) KR101141091B1 (ja)
CN (1) CN102308590B (ja)
BR (1) BRPI1008665A2 (ja)
WO (1) WO2010090150A1 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055411B1 (ko) * 2010-03-12 2011-08-09 이상원 입체 영상 생성 방법 및 그 장치
JP5467993B2 (ja) * 2010-03-30 2014-04-09 富士フイルム株式会社 画像処理装置、複眼デジタルカメラ、及びプログラム
JP5488212B2 (ja) * 2010-06-04 2014-05-14 三菱電機株式会社 画像処理装置、画像処理方法および画像表示装置
JP2012034341A (ja) * 2010-06-30 2012-02-16 Sanyo Electric Co Ltd 表示装置
JP5140210B2 (ja) * 2010-08-31 2013-02-06 パナソニック株式会社 撮影装置および画像処理方法
JP5633259B2 (ja) * 2010-09-06 2014-12-03 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP5395273B2 (ja) 2010-09-08 2014-01-22 パナソニック株式会社 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
JP5723721B2 (ja) * 2010-09-28 2015-05-27 富士フイルム株式会社 立体画像編集装置および立体画像編集方法
JP2012080294A (ja) * 2010-09-30 2012-04-19 Toshiba Corp 電子機器、映像処理方法、及びプログラム
US9542975B2 (en) 2010-10-25 2017-01-10 Sony Interactive Entertainment Inc. Centralized database for 3-D and other information in videos
JP5942195B2 (ja) * 2010-10-27 2016-06-29 パナソニックＩｐマネジメント株式会社 ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
WO2012060182A1 (ja) * 2010-11-05 2012-05-10 富士フイルム株式会社 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
US8836772B2 (en) * 2010-11-17 2014-09-16 Sony Computer Entertainment, Inc. 3D shutter glasses with frame rate detector
JP5522018B2 (ja) * 2010-12-15 2014-06-18 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20120067879A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 삼차원 영상 표시 장치 및 그 표시 방법
JP5638941B2 (ja) * 2010-12-28 2014-12-10 オリンパスイメージング株式会社 撮像装置および撮像プログラム
US9113074B2 (en) 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
US9420263B2 (en) 2010-12-28 2016-08-16 Konica Minolta, Inc. Information processor and information processing method
KR101852811B1 (ko) 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
WO2012095899A1 (ja) * 2011-01-14 2012-07-19 パナソニック株式会社 ３次元映像処理装置、方法、およびプログラム
US9602799B2 (en) 2011-01-14 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Device, method, and computer program for three-dimensional video processing
WO2012108099A1 (ja) * 2011-02-09 2012-08-16 富士フイルム株式会社 撮像装置および撮像方法
JP5625979B2 (ja) * 2011-02-10 2014-11-19 ソニー株式会社 表示装置および表示方法ならびに表示制御装置
WO2012131752A1 (ja) * 2011-03-25 2012-10-04 パナソニック株式会社 奥行き情報更新装置、立体映像生成装置および奥行き情報更新方法
JPWO2012132424A1 (ja) * 2011-03-31 2014-07-24 パナソニック株式会社 立体視映像の奥行きを変更することができる映像処理装置、システム、映像処理方法、映像処理プログラム
CN103493484B (zh) 2011-03-31 2015-09-02 富士胶片株式会社 成像装置和成像方法
JP5133472B2 (ja) 2011-04-01 2013-01-30 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
JP5765418B2 (ja) 2011-05-06 2015-08-19 富士通株式会社 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP5226887B2 (ja) * 2011-06-09 2013-07-03 株式会社東芝 画像処理システム及び方法
KR101803571B1 (ko) * 2011-06-17 2017-11-30 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
WO2013042440A1 (ja) * 2011-09-21 2013-03-28 富士フイルム株式会社 画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置
US20140240472A1 (en) * 2011-10-11 2014-08-28 Panasonic Corporation 3d subtitle process device and 3d subtitle process method
US9363498B2 (en) * 2011-11-11 2016-06-07 Texas Instruments Incorporated Method, system and computer program product for adjusting a convergence plane of a stereoscopic image
JP5840114B2 (ja) * 2011-11-30 2016-01-06 三菱電機株式会社 仮想画像を生成する方法
JP2013157726A (ja) * 2012-01-27 2013-08-15 Canon Inc 撮像装置および撮像装置の制御方法
US20140055579A1 (en) * 2012-03-02 2014-02-27 Panasonic Corporation Parallax adjustment device, three-dimensional image generation device, and method of adjusting parallax amount
JP5963483B2 (ja) * 2012-03-12 2016-08-03 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP5993937B2 (ja) 2012-03-30 2016-09-14 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN102685369B (zh) * 2012-04-23 2016-09-07 Tcl集团股份有限公司 消除左右眼图像重影的方法、重影消除器及3d播放器
CN102681183B (zh) * 2012-05-25 2015-01-07 合肥鼎臣光电科技有限责任公司 基于透镜阵列的双向三维成像和裸眼三维显示系统
JP2012249295A (ja) * 2012-06-05 2012-12-13 Toshiba Corp 映像処理装置
JP5950701B2 (ja) * 2012-06-11 2016-07-13 任天堂株式会社 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
KR101235878B1 (ko) * 2012-06-15 2013-02-21 박만금 네비게이션용 모니터와 그와 다른 사양을 가진 네비게이션용 모니터를 지원하는 네비게이션 본체 간의 인터페이스 장치
US9087406B2 (en) 2012-08-01 2015-07-21 Dreamworks Animation Llc Automated stereoscopic computer-animation techniques for determining scaled stereo parameters
CN102819400A (zh) * 2012-08-14 2012-12-12 北京小米科技有限责任公司 一种移动终端的桌面系统及界面交互方法、装置
WO2014064946A1 (ja) * 2012-10-26 2014-05-01 株式会社ニコン 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
TWI547142B (zh) 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的３ｄ顯示器適配
JP2014230251A (ja) * 2013-05-27 2014-12-08 ソニー株式会社 画像処理装置、および画像処理方法
US9019576B2 (en) * 2013-06-21 2015-04-28 3Shape A/S Scanning apparatus with patterned probe light
JP6166374B2 (ja) * 2013-08-06 2017-07-19 株式会社ソニー・インタラクティブエンタテインメント ３次元画像生成装置、３次元画像生成方法、プログラム及び情報記憶媒体
CN104574331B (zh) * 2013-10-22 2019-03-08 中兴通讯股份有限公司 一种数据处理方法、装置、计算机存储介质及用户终端
JP6986721B2 (ja) * 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
CN103945204B (zh) * 2014-04-01 2016-03-23 青岛海信电器股份有限公司 一种图像信号处理方法及装置
CN104333747B (zh) * 2014-11-28 2017-01-18 广东欧珀移动通信有限公司 一种立体拍照方法和立体拍照设备
US9591247B2 (en) 2014-12-22 2017-03-07 Google Inc. Image sensor having an extended dynamic range upper limit
JP6701023B2 (ja) * 2016-07-29 2020-05-27 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
CN108024051B (zh) * 2016-11-04 2021-05-04 宁波舜宇光电信息有限公司 距离参数计算方法，双摄像头模组和电子设备
JP6333921B2 (ja) * 2016-11-09 2018-05-30 ファナック株式会社 撮像装置及び撮像方法
CN106648109A (zh) * 2016-12-30 2017-05-10 南京大学 一种基于三视角变换的真实场景实时虚拟漫游系统
US10607388B2 (en) 2018-02-07 2020-03-31 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Display control method, display control device, storage medium and terminal of autostereoscopic three-dimensional (3D) image
CN108307186B (zh) * 2018-02-07 2020-02-14 深圳市华星光电半导体显示技术有限公司 裸眼3d图像的显示控制方法、装置、存储介质及终端
JP7140517B2 (ja) 2018-03-09 2022-09-21 キヤノン株式会社 生成装置、生成装置が行う生成方法、及びプログラム
JP7218105B2 (ja) * 2018-06-20 2023-02-06 キヤノン株式会社 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
CN109951642B (zh) * 2019-03-27 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置、电子设备、存储介质
CN110290365B (zh) * 2019-07-12 2021-02-02 广东技术师范大学天河学院 一种边缘融合方法
CN114269218B (zh) * 2019-08-29 2026-01-02 奥林巴斯株式会社 图像处理方法、控制装置和内窥镜系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
JP2001141417A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 視差量補正装置
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
KR100812905B1 (ko) * 2002-03-27 2008-03-11 산요덴키가부시키가이샤 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JPWO2004082297A1 (ja) 2003-03-11 2006-06-15 富田　誠次郎 立体映像表示装置
JPWO2004084560A1 (ja) 2003-03-20 2006-06-29 富田　誠次郎 立体映像撮影表示システム
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP3996551B2 (ja) * 2003-05-30 2007-10-24 株式会社ソフィア 遊技機
JP2005073049A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP4440066B2 (ja) * 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
KR100667810B1 (ko) 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법

Also Published As

Publication number Publication date
BRPI1008665A2 (pt) 2016-03-08
EP2394439A4 (en) 2012-09-12
EP2394439B1 (en) 2014-10-22
WO2010090150A1 (en) 2010-08-12
KR20110096095A (ko) 2011-08-26
JP2010206774A (ja) 2010-09-16
US20110292045A1 (en) 2011-12-01
CN102308590A (zh) 2012-01-04
KR101141091B1 (ko) 2012-05-03
EP2394439A1 (en) 2011-12-14
US8120606B2 (en) 2012-02-21
CN102308590B (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
JP4737573B2 (ja) ３次元画像出力装置及び方法
CN102860019B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
JP5449537B2 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
US20110012995A1 (en) Stereoscopic image recording apparatus and method, stereoscopic image outputting apparatus and method, and stereoscopic image recording outputting system
US20130113892A1 (en) Three-dimensional image display device, three-dimensional image display method and recording medium
JP4661824B2 (ja) 画像処理装置、方法およびプログラム
JP4763827B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
CN102860017B (zh) 立体摄像装置及其制造方法
JP4815470B2 (ja) 画像表示装置及び画像表示方法
US20130162764A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP5231771B2 (ja) 立体画像撮影装置
JP4529556B2 (ja) 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造
JP2011097451A (ja) ３次元画像表示装置及び方法
JP2011211717A (ja) ３次元画像出力装置及び方法
JP5001960B2 (ja) ３次元画像表示装置及び方法
JP5310638B2 (ja) 電子機器、プリンタ、画像ファイル生成方法、画像データ読み出し方法
CN104054333A (zh) 图像处理装置、方法以及程序及其记录介质
JP2012028871A (ja) 立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラム
JP4632060B2 (ja) 画像記録装置、方法およびプログラム
JP2011109268A (ja) ３次元画像表示装置及び方法
JP2011082757A (ja) 表示モード判定装置及び方法、並びに撮像装置及び方法
JP4995966B2 (ja) 画像処理装置、方法およびプログラム
JP5307189B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP2011259405A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100908

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

R150 Certificate of patent or registration of utility model

Ref document number: 4737573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees