JP5861114B2 - 画像処理装置、及び画像処理方法 - Google Patents

画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
JP5861114B2
JP5861114B2 JP2013542801A JP2013542801A JP5861114B2 JP 5861114 B2 JP5861114 B2 JP 5861114B2 JP 2013542801 A JP2013542801 A JP 2013542801A JP 2013542801 A JP2013542801 A JP 2013542801A JP 5861114 B2 JP5861114 B2 JP 5861114B2
Authority
JP
Japan
Prior art keywords
image
eye
recognition
stereoscopic
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013542801A
Other languages
English (en)
Other versions
JPWO2013069171A1 (ja
Inventor
圭一 問山
圭一 問山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013542801A priority Critical patent/JP5861114B2/ja
Publication of JPWO2013069171A1 publication Critical patent/JPWO2013069171A1/ja
Application granted granted Critical
Publication of JP5861114B2 publication Critical patent/JP5861114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は画像処理装置及び画像処理方法に関する。より詳しくは、立体感が欠落してしまった画像の立体感を補うことが可能な画像処理装置及び画像処理方法に関する。
従来から、視聴者の右目と左目に視差を持たせた異なる画像を提示することにより、視聴者が画像を立体視可能な立体画像表示装置が知られている（例えば、特許文献１参照）。
図３９は、従来の立体画像表示機の構成を示す斜視図である。
受像管２６０１は、シャドーマスク形カラー受像管である。偏光板２６０２は、偏光方向が互いに直行する二種の領域を横方向にストライプ上に交互に配置した偏光板であり、受像管２６０１の画面に取り付けられる。なお、図３９には偏光板２６０２を受像管２６０１から分離して示してある。
図４０は、受像管２６０１の画面部分を模式的に示す拡大部分断面図である。
受像管２７０１は、図３９での受像管２６０１の詳細を記したものである。偏光板２７０２は、図３９での偏光板２６０２の詳細を記したものである。
電子ビーム２７０５は、シャドーマスク２７０３を通過し受像管２６０１に塗られた蛍光体２７０４に衝突して蛍光体２７０４を発光させる。蛍光体２７０４からの光は、偏光板２７０２を通り、偏光となって出射される。
偏光板２７０２は、図４０に示すように、Ｖ（垂直）偏光波のみを通すＡ領域とＨ（水平）偏光波のみを通すＢ領域とに細分されている。例えば、右目で見るべき画像をＶ偏光波、左目で見るべき画像をＨ偏光波とする。すなわち、受像管２７０１の画面を見るための眼鏡の右目の部分にＶ偏光波を通す偏光フィルタを設け、左目の部分にＨ偏光波を通す偏光フィルタを設けておく。
立体画像の撮像には、左目及び右目に対応する撮像部を有する立体カメラを使用する。立体画像を受像管２７０１により再生する場合、Ａ領域には、右目に対応する立体カメラの画像（右目用画像）が映写され、Ｂ領域には、左目に対応する立体カメラの画像（左目用画像）が映写されるように画像信号を切り替えて映写する。
図４１は２つの立体カメラが撮影した右目用画像及び左目用画像の例を示す図である。
左目用画像２８０１は、左目に相当する位置における立体カメラの画像であり、右目用画像２８０２は右目に相当する位置における立体カメラの画像である。図４１で示される左目用画像２８０１と、及び右目用画像２８０２とは視差を有する。
図４２は、図４１に目盛りを加えた図である。
目盛り２９０３は、１から２１までの番号が振られた左目用画像２８０１用の目盛りである。目盛り２９０４は、目盛り２９０３同様に１から２１までの番号が振られた右目用画像２８０２用の目盛りである。
図４２において、左目用画像２８０１の目盛り４の位置には、右目用画像２８０２の目盛り５の位置が対応する。同様に、左目用画像２８０１の目盛り１６の位置には、右目用画像２８０２の目盛り１７の位置が対応する。つまり、右目用画像２８０２と、左目用画像２８０１とは、左右方向に視差を有する。視聴者は、右目用画像２８０２を、右目で視聴し、左目用画像２８０１と左目で視聴することにより、画像を立体視することができる。
特開昭６３−２８１９３号公報
上述のように、視聴者が画像を立体視するためには、左右の画像に視差が必要である。しかしながら、例えば、画像の特定の領域のディテールが失われた場合、当該特定の領域では、画像の立体感が損なわれてしまう。
そこで本発明は、立体画像内のディテールが失われた領域の立体感を補うことができる画像処理装置を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、立体画像の立体感を補う画像処理装置であって、立体画像を構成する左目用画像及び右目用画像を取得する取得部と、前記立体画像の表す奥行に基づいて生成された仮想的な立体構造物に、模様を貼り付けることによって前記立体画像に対応した認識画像を生成する認識画像生成部と、前記立体画像の視差に応じて、前記認識画像から前記認識画像を立体視するための右目用認識画像と左目用認識画像とを生成する左右認識画像生成部と、前記取得部が取得した前記右目用画像に前記右目用認識画像を合成し、前記取得部が取得した前記左目用画像に前記左目用認識画像を合成する画像合成部とを備えることを特徴とする。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によれば、立体画像を構成する左目用画像及び右目用画像のそれぞれに認識用画像を合成することによって、立体画像内のディテールが失われた領域の立体感を補うことができる。
図１は、図４１の画像の右上の部分に強い光があたった為白とびしてしまった画像例を示す図である。 図２は、本発明の実施の形態１に係る画像処理装置のブロック図である。 図３は、本実施の形態１に係る右目用画像を示す図である。 図４は、本実施の形態１に係る左目用画像を示す図である。 図５は、白とびがない状態の右目用画像を示す図である。 図６は、白とびがない状態の左目用画像を示す図である。 図７は、奥行き情報を視覚的に表現した場合の一例を示す図である。 図８は、奥行き情報を用い、立体メッシュ生成部が生成した立体メッシュの例を示す図である。 図９は、奥行き情報を１０ピクセル×１０ピクセルのグレースケールで表現した図である。 図１０は、図９の各ピクセルの中心を頂点とした場合に、各頂点を示す図である。 図１１は、立体メッシュ生成部が生成した立体メッシュの斜視図である。 図１２は、認識パターン貼り付け部で立体メッシュに貼り付ける元認識パターンの例を示す図である。 図１３は、図１１の立体メッシュを展開した展開図である。 図１４は、規則的な認識パターンの最小単位を表す図である。 図１５は、認識パターンの最小単位を図１３の展開図上に隙間なく並べた図である。 図１６は、認識パターンを転写した結果を示す図である。 図１７は、図１２の認識パターンを立体メッシュに貼り付けた結果を示す図である。 図１８は、右目用認識画像の例を示す図である。 図１９は、左目用認識画像の例を示す図である。 図２０は、右目用画像に右目用認識画像を合成した場合の画像を示す図である。 図２１は、左目用画像に左目用認識画像を合成した場合の画像を示す図である。 図２２は、画像処理装置の動作のフローチャートである。 図２３は、立体感を補う必要がある部分に段階的に認識画像を合成した場合の画像を示す図である。 図２４は、立体感を補う必要がある部分に段階的に認識画像を合成した場合の画像を示す図である。 図２５は、白とびしていない右目用画像において被写体にぼかし効果をかけた画像を示す図である。 図２６は、白とびしていない左目用画像において被写体にぼかし効果をかけた画像を示す図である。 図２７は、図２５の右目用画像に図１８の右目用認識画像を合成した画像を示す図である。 図２８は、図２６の左目用画像に図１９の左目用認識画像を合成した画像を示す図である。 図２９は、立体メッシュを右目用画像及び左目用画像より生成する場合の画像処理装置のブロック図である。 図３０は、図２０の中央付近の模様にａ、ｂ、ｃの印をうった図である。 図３１は、図２１の中央付近の模様にｄ、ｅ、ｆの印をうった図である。 図３２は、白色ノイズを用いた認識パターンから生成した右目用認識画像を示す図である。 図３３は、白色ノイズを用いた認識パターンから生成した左目用認識画像を示す図である。 図３４は、図３の右目用画像に図３２の右目用認識画像を合成した画像を示す図である。 図３５は、図４の左目用画像に図３３の左目用認識画像を合成した画像を示す図である。 図３６は、実施の形態４に係る画像処理装置のブロック図である。 図３７は、本発明の一態様に係る画像処理装置の適用例を示す図である。 図３８は、本発明の一態様に係る画像処理装置の別の適用例を示す図である。 図３９は、従来の立体画像表示機の構成を示す斜視図である。 図４０は、受像管の画面部分を模式的に示す拡大部分断面図である。 図４１は、２つの立体カメラが撮影した右目用画像及び左目用画像の例を示す図である。 図４２は、図４１に目盛りを加えた図である。
（本発明の基礎となった知見）
背景技術で説明したように、視聴者が画像を立体視するためには、左右の画像に視差が必要である。本発明者は、例えば、画像の特定の領域のディテールが失われた場合、当該特定の領域では、画像の立体感が損なわれてしまうという課題を見出した。
図１は、図４１の画像例の右上の部分に強い光があたった為白とびしてしまった画像例を示す図である。
図１示されるように、例えば、被写体に強い光が当たったために、画像内の特定の領域が均一に白色となってしまう白とび現象では、当該特定の領域におけるディテールが失われる。したがって、図１に示されるような立体画像においては、立体感が損なわれてしまう。
画像に含まれる被写体に当たる光の光量が少なく、画像内の特定の領域が均一に黒色となってしまう黒つぶれ現象についても同様である。
これは、上記白とび現象及び黒つぶれ現象では、特定の領域において画像のディテールが失われた結果、左目用画像及び右目用画像が略同一となり、左目用画像と右目用画像との視差が殆ど生じないからである。
なお、立体感が損なわれる場合は、上記白とび現象等だけではない。映画などのコンテンツ制作時においても、製作者が行う画像表現によって立体画像の立体感は損われる場合がある。
例えば、明暗を調整する、コントラストを増減する、モザイクをかけるなどの処理を意図的に立体画像に加えた場合、このような処理をされた立体画像内の領域では、ディテールが失われる場合がある。
また、例えば、画像製作上の表現として、故意にコントラストを低くして暗所のシーンを撮像するような場合があるが、このような画像では、上述した理由により立体感が損なわれやすい。
ゲームやＣＡＤなどに代表されるコンピュータにより生成された画像においても同様である。このような画像では、処理を簡便にする目的、または意図的な表現により、画像内の被写体表面に傷、凹凸などがない場合がある。このような場合も、右目用画像と左目用画像とにおいて当該被写体の特徴に差が出にくいため、立体感が損なわれやすい。
以上のような画像表現は、２Ｄの画像において画像の臨場感等を向上する目的で用いられていた手法であるが、これらをそのまま立体画像に適用した場合、立体画像の最大の特徴である立体感が損なわれてしまう場合がある。
さらに、監視カメラや暗視カメラなどの分野では、コントラストを抑えたまま、立体感を向上させた画像が好適である。しかしながら、従来の技術では、上述したように、コントラストを抑えた画像では、立体感も乏しくなってしまう。
そこで、上記の課題を解決するために、本発明の一態様に係る画像処理装置は、立体画像の立体感を補う画像処理装置であって、立体画像を構成する左目用画像及び右目用画像を取得する取得部と、前記立体画像の表す奥行に基づいて生成された仮想的な立体構造物に、模様を貼り付けることによって前記立体画像に対応した認識画像を生成する認識画像生成部と、前記立体画像の視差に応じて、前記認識画像から前記認識画像を立体視するための右目用認識画像と左目用認識画像とを生成する左右認識画像生成部と、前記取得部が取得した前記右目用画像に前記右目用認識画像を合成し、前記取得部が取得した前記左目用画像に前記左目用認識画像を合成する画像合成部とを備えることを特徴とする。
これにより、元の画像をそのまま用い、元の画像の立体感を補うことができる。
また、前記画像処理装置は、前記右目用画像及び前記左目用画像内における、立体感を補う必要がある領域である合成領域を検出する検出部を備え、前記画像合成部は、前記合成領域が検出された場合、前記右目用画像に前記右目用認識画像を合成し、前記左目用画像に前記左目用認識画像を合成してもよい。
また、前記画像合成部は、前記検出部が前記合成領域を検出した場合、前記右目用画像の前記合成領域に前記右目用認識画像の当該合成領域に対応する領域を合成し、前記左目用画像の前記合成領域に前記左目用認識画像のうち当該合成領域に対応する領域を合成してもよい。
また、前記検出部は、前記右目用画像及び前記左目用画像内において輝度値が所定の閾値未満、または輝度値が所定の閾値を超えた領域を前記合成領域として検出するであってもよい。
また、前記検出部は、前記右目用画像及び前記左目用画像内においてコントラスト値が所定の値よりも低い領域を前記合成領域として検出してもよい。
このように、検出部を設け、立体感を補う必要がある領域を検出して認識画像を合成することで、元の画像の雰囲気の改変を最小に抑えて立体感を補うことが可能となる。
また、前記模様は、規則性のない模様であってもよい。
このように、規則性のない模様を用いて認識画像を生成することにより、視聴者の個人差によらず、適切に立体画像の立体感を補うことができる。
また、前記模様は、規則性のある模様であってもよい。
このように、規則性のある模様は、生成することが容易であり、認識画像を生成する負荷を軽減することができる。
また、前記画像処理装置は、前記左目用画像及び前記右目用画像が撮影された位置を表す視点位置情報を取得する視点位置取得部を備え、前記左右認識画像生成部は、前記視点位置情報に基づく前記立体画像の視差に応じて前記認識画像から右目用認識画像と左目用認識画像とを生成してもよい。
また、前記視点位置情報には、前記左目用画像及び前記右目用画像を撮影した撮像部の前記左目用画像及び前記右目用画像の撮影時における焦点位置を表すピント位置情報、または前記撮像部の前記左目用画像及び前記右目用画像の撮影時における絞り値を表す絞り値情報が含まれてもよい。
これにより、元の右目用画像及び左目用画像と同等のボケ感を右目用認識画像及び左目用認識画像にも付加することが可能となる。したがって、画像処理装置は、元の画像の雰囲気を改変することなく、より自然に立体感を補うことができる。
また、前記画像処理装置は、前記立体画像の奥行を表す奥行情報を取得する奥行情報取得部を備え、前記認識画像生成部は、前記奥行情報に基づいて前記認識画像を生成するであってもよい。
また、前記認識画像生成部は、前記取得部が取得した前記右目用画像及び前記左目用画像から前記立体画像の奥行を表す奥行情報を算出し、前記奥行情報に基づいて前記認識画像を生成してもよい。
また、本発明の一態様に係る画像処理方法は、立体画像の立体感を補う画像処理方法であって、立体画像を構成する左目用画像及び右目用画像を取得する取得ステップと、前記立体画像の表す奥行に基づいて生成された仮想的な立体構造物に、模様を貼り付けることによって前記立体画像に対応した認識画像を生成する認識画像生成ステップと、前記立体画像の視差に応じて、前記認識画像から右目用認識画像と左目用認識画像とを生成する左右認識画像生成ステップと、前記取得ステップにおいて取得した前記右目用画像に前記右目用認識画像を合成し、前記取得ステップにおいて取得した前記左目用画像に前記左目用認識画像を合成する画像合成ステップとを含むことを特徴とする。
つまり、本発明は、画像処理方法としても実現可能である。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、上記のような立体画像内のディテールが失われた領域の立体感を補うことができる画像処理装置について、図面を参照しながら説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
図２は、本発明の実施の形態１に係る画像処理装置の構成図である。
画像処理装置１０１は、取得部１０４と、奥行情報取得部１０２と、視点位置取得部１０３と、認識画像生成部１０５と、左右認識画像生成部１０８と、画像合成部１０９とを備える。
認識画像生成部１０５は、立体メッシュ生成部１０６と認識パターン貼り付け部１０７とからなる。
取得部１０４は、立体画像を構成する画像である右目用画像と左目用画像とを取得し、画像合成部へ出力する。取得部１０４は、本実施の形態では、図示しない撮像部によって画像を撮影することで、左目用画像及び右目用画像を取得する。すなわち、画像処理装置１０１は、ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）等に適用することができる。
なお、取得部１０４は、放送波または通信ネットワークを通じて画像を取得してもよい。放送波の具体例は特に限定されない。例えば、取得部１０４は、アナログ放送、地上波デジタル放送、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）放送、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）放送から画像を取得する。
すなわち、画像処理装置１０１は、テレビジョン受像装置等に適用することができる。
また、取得部１０４は、記録媒体から画像を読み出してもよい。記録媒体の具体例は特に限定されない。例えば、取得部１０４は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等から画像を取得する。
すなわち、画像処理装置１０１は、Ｂｌｕ−Ｒａｙレコーダ等に適用することができる。
取得部１０４が取得する右目用画像と、左目用画像は、それぞれ画像処理装置１０１が立体感を補おうとする立体画像を構成する右目用画像及び左目用画像である。
図３は、実施の形態１に係る右目用画像を示す図であり、図４は、実施の形態１に係る左目用画像を示す図である。
図３及び図４に示されるように、画像内の正四角錐台の右上部分は、白とびしており、ディテールが失われている。これにより、これら二枚の画像（右目用画像及び左目用画像）で構成される立体画像においては、立体画像内の正四角錘台の右上部分の立体感が失われ、この部分は、穴が開いているように見えてしまう。
図５は、白とびがない状態の右目用画像を示す図であり、図６は、白とびがない状態の左目用画像を示す図である。
理想的には、図５及び図６を立体視した場合のように、正四角錐台の形状がはっきりと立体視できる立体画像が望ましい。しかしながら、図３及び図４で示されるように、画像撮影時の光源の写りこみなどによって、画像に白とびが発生してしまうことが多い。
奥行情報取得部１０２は、立体画像の奥行を表す奥行情報を取得し、取得した奥行情報を立体メッシュ生成部へ出力する。
奥行情報とは、画像を構成する各画素のそれぞれに対応した当該画素における画像内での奥行きを表す一次元情報である。
奥行情報取得部１０２は、具体的には、超音波などを被写体に放射し、反射波の到達時間を測定して奥行情報を求める。また、奥行情報取得部１０２は、赤外線グリッドを被写体に照射し、その位置を測定することで奥行情報を求めてもよい。また、奥行情報取得部１０２は被写体に対してマトリクス状に複数配置された専用の撮像素子から画像を取得して、それぞれの画像の奥行情報を求めてもよい。
奥行情報の表現方法には複数のものが考えられる。単純には、奥行情報は、二次元の座標データ（画素の位置）と、当該座標データに対応する一次元の奥行きデータの対からなる三次元データである。
また、奥行情報をより視覚的に表現することも可能である。
図７は、奥行情報を視覚的に表現した場合の一例を示す図である。
図７では、画像を構成する各画素の奥行きをグレースケールで表現した例である。
図７において、画像内で手前にある被写体に対応する画素は、より明るい色で表示され、画像内で奥側にある被写体に対応する画素は、より暗い色で表示される。つまり、例えば、図７に示された奥行き情報を持つ画像は、平面上に配置された正四角錐台を被写体として撮影した画像であると推定される。
なお、本実施の形態では、奥行情報は、後述する視点位置情報で表される２つの視点位置の中点を基点として測定されている。
視点位置取得部１０３は、左目用画像及び右目用画像が撮影された位置を表す視点位置情報を取得し、左右認識画像生成部へ出力する。
視点位置情報とは、立体画像を構成する右目用画像を撮像した視点位置と、立体画像を構成する左目用画像を撮像した視点位置とを表す情報である。
本実施の形態では、視点位置情報は、撮像部の有する２つの撮像素子間の距離が５０ｍｍ、焦点距離３５ｍｍ、各撮像素子は３．６度ほど内側に向いていることを示す情報である。
立体メッシュ生成部１０６は、入力された奥行情報を用いて立体メッシュを生成し、認識パターン貼り付け部１０７に出力する。立体メッシュは、立体画像の表す奥行に基づいて生成された仮想的な立体構造物である。
図８は、奥行情報を用い、立体メッシュ生成部が生成した立体メッシュの例を示す図である。すなわち、図７の奥行き情報を立体メッシュに変換したものが図８である。
図８に示されるように、立体メッシュは、三次元の頂点位置データとそれらを結ぶ線分、線分にかこまれた面から成り立つ。
図９〜図１１を用いて、より具体的に立体メッシュ生成部１０６が奥行情報から立体メッシュを生成する方法について説明する。
図９は、説明の簡略化のために奥行情報を１０ピクセル×１０ピクセルのグレースケールで表現した模式図である。
図９では、１マスが１ピクセルを表し、図７と同様に、各ピクセルの明暗が奥行きに対応している。つまり、図９では、ピクセルが明るければ手前方向に、暗ければ奥側に頂点が配置されることを示す。つまり、図９のような奥行情報を持つ画像は、中心部が四角く盛り上がった正四角錐台を撮影した画像であると読み取れる。
図１０は、図９の各ピクセルの中心を頂点とした場合に、各頂点を示す図である。なお、説明の便宜上、各頂点の明暗を図８の各ピクセルと同じ明暗で表している。
立体メッシュ生成部１０６は、これらの頂点を各頂点の明暗、つまり、奥行情報に基づいて遠奥行方向（画像と垂直な方向）に平行移動させて立体メッシュを生成する。
図１１は、立体メッシュ生成部１０６が生成した立体メッシュの斜視図である。
上述のように、立体メッシュ生成部１０６は、奥行情報に基づいて奥行方向に平行移動させた各頂点を、図１１のように直線で囲まれる各面が三角形となるように直線で結ぶ。これにより、図１１に示すような立体メッシュが得られる。
なお、上記の説明では、立体メッシュ生成部１０６は、ピクセルを表す各頂点を直線で結び、直線で囲まれた各面が三角形となるような立体メッシュを生成したが、立体メッシュの生成方法は、これに限定されない。例えば、立体メッシュ生成部１０６は、各頂点を曲線で結んだり、各面が三角形以外の形状になるように各頂点を直線で結んでもよい。
認識パターン貼り付け部１０７は、あらかじめ定められた模様、または認識パターン貼り付け部１０７が生成した模様である認識パターンを立体メッシュに貼り付ける。
図１２は、認識パターン貼り付け部１０７が立体メッシュに貼り付ける認識パターンの例を示す図である。実施の形態１では、図１２に示されるように、同一形状の円形が互いに隣接して並んだ規則的なパターンを用いる。
このように、規則的なパターンを用いることで、認識パターンの立体メッシュへの貼り付け処理の負荷を軽減することができる。
認識パターンは、全く輝度や色の変化のない無模様でなければ、上記同一形状の円形が互いに隣接して並んだパターンでなくとも同様の効果が得られる。認識パターンに好適な模様は、特別な意味やメッセージを想起させない模様、例えば、無機質な連続模様である。これにより、視聴者は、後述する認識パターンを合成した左目用画像及び右目用画像を立体視する際に、当該認識パターンを合成した左目用画像及び右目用画像の視差をより明確に認識することができる。
また、例えば、認識パターンは、不規則な模様であってもよい。認識パターンが不規則な模様である場合、視聴者は、後述する認識パターンを合成した左目用画像及び右目用画像を立体視する際に、当該認識パターンを合成した左目用画像及び右目用画像の視差をさらに明確に認識することができる。
次に、認識パターン貼り付け部１０７が認識パターンを立体メッシュに貼り付ける過程についてより具体的に説明する。
まず、認識パターン貼り付け部１０７は、立体メッシュ生成部１０６が生成した立体メッシュを展開した展開図上に、認識パターンの最小単位を隙間なく並べる。
図１３は、図１１の立体メッシュを展開した展開図である。
図１４は、規則的な認識パターンの最小単位を表す図である。なお、図１４の認識パターンの最小単位において、円形状の周りの四角は、認識パターンの最小単位の境界を示すものであり、実際の認識パターンの最小単位は円形状の模様のみである。
図１５は、認識パターンの最小単位を、図１３の展開図上に隙間なく並べた図である。
次に、認識パターン貼り付け部１０７は、隙間なく並べた複数の最小単位で構成される認識パターンのうち、立体メッシュを展開した展開図上に存在しない部分を削除し、続いて、認識パターン貼り付け部１０７は、展開図上の認識パターンを、展開図に転写する。
図１６は、認識パターンを立体メッシュに転写した結果を示す図である。
最後に、認識パターン貼り付け部１０７は、認識パターンを転写した立体メッシュの展開図を、図１１のように元の立体メッシュ状に組み立てる。
以上説明したように、認識パターン貼り付け部１０７は、立体メッシュに認識パターンを貼り付ける。立体メッシュに貼り付けられた認識パターンを所定の視点から見た場合の画像が、認識画像である。認識画像は、左目用画像及び右目用画像を立体視した場合の立体画像に対応した、模様を表す画像である。つまり、認識画像は、認識パターン（模様）に立体画像の奥行情報が反映された画像である。
図１７は、図８の立体メッシュに図１２の認識パターンを貼り付けた場合の認識画像を表す図である。図１７は、上述の視点位置情報で表される２つの視点位置の中点から、図８の立体メッシュに貼り付けられた図１２の認識パターンを撮影した場合の認識画像である。認識画像は、つまり、立体メッシュによって認識パターンに画像の奥行情報が反映された画像である。
左右認識画像生成部１０８は、認識パターンが貼り付けられた立体メッシュと視点位置情報を用い、右目用画像に合成される右目用認識画像と、左目用画像に合成される左目用認識画像とを生成する。右目用認識画像は、右目用画像の奥行を表す模様を有する画像であり、右目用画像に合成される画像である。左目用認識画像は、左目用画像の奥行を表す模様を有する画像であり、左目用画像に合成される画像である。
図１８は、右目用認識画像の例を示す図である。
図１９は、左目用認識画像の例を示す図である。
具体的には、左右認識画像生成部１０８は、視点位置情報が表す、右目用画像が撮影された時の位置、向き、焦点距離が設定された仮想的な撮像部が、立体メッシュに貼り付けられた認識パターンを撮影した場合の画像を右目用認識画像として生成する。同様に、左右認識画像生成部１０８は、視点位置情報が表す左目用画像が撮影された時の位置、向き、焦点距離が設定された仮想的な撮像部が、立体メッシュに貼り付けられた認識パターンを撮影した場合の画像を左目用画像生成する。
なお、以上に述べた立体メッシュの生成処理、認識画像の生成処理（認識パターンの貼り付け処理）、及び右目用認識画像及び左目用認識画像を生成する処理は、例えば、一般的に知られている市販の３ＤＣＡＤソフトに用いられるアルゴリズムを適用することで実現できる。
なお、図１７、図１８、及び図１９に示される認識画像において、線図以外の部分は、画像のデータがないことを意味する。つまり後述する画像合成部によって合成されるのは、線図の部分（模様がある部分）だけである。
左右認識画像生成部１０８は、生成した右目用認識画像及び左目用認識画像を画像合成部１０９に出力する。
画像合成部１０９は、右目用画像に右目用認識画像を合成し、左目用画像に左目用認識画像を合成する。
図２０は、右目用画像に右目用認識画像を合成した場合の画像を示す図である。
図２１は、左目用画像に左目用認識画像を合成した場合の画像を示す図である。
画像合成部１０９は、本実施の形態では、画像に白とびがある場合の例であるため、画像と当該画像に対応する認識画像とを重ね合わせたときの各画素の輝度値を比較し、輝度値が低いほうの画像の輝度値を合成後の画像における当該画素における輝度値とすることで画像を合成する。
例えば、画像合成部１０９は、右目（左目）用画像と右目（左目）用認識画像とを重ね合わせたときの各画素の輝度値を比較し、当該画素の輝度値が右目（左目）用画像のほうが低い場合は、合成後の右目用画像の当該画素の輝度値は、右目（左目）用画像の輝度値とする。
なお、上述の説明で、線図以外の部分は、画像のデータがないことを意味すると説明したが、上記のように画像に白とびがある場合において、輝度値の比較によって合成を行う場合、線図以外の部分は、最大輝度（白）として取り扱ってもよい。
反対に、画像に黒つぶれがある場合、画像合成部１０９は、右目（左目）用画像と右目（左目）用認識画像とを重ね合わせたときの各画素の輝度値を比較し、当該画素の輝度値が右目（左目）用認識画像のほうが高い場合は、合成後の右目用画像の当該画素の輝度値は、右目（左目）用認識画像の輝度値とする。
なお、上述の説明で、線図以外の部分は、画像のデータがないことを意味すると説明したが、上記のように画像に黒つぶれがある場合において、輝度値の比較によって合成を行う場合、線図以外の部分は、最小輝度（黒）として取り扱ってもよい。
なお、画像の合成方法は上記に限定されない。合成後の画像において、視聴者が認識パターンを認識できる合成方法であればよい。
また、右目（左目）用画像と右目（左目）用認識画像との画像のサイズが異なる場合は、同じサイズになるようにいずれかの画像を縮小拡大する。
また、画像に黒つぶれがある場合、画像合成部１０９は、画像と当該画像に対応する認識画像とを重ね合わせたときの各画素の輝度値を比較し、輝度値が高いほうの画像の輝度値を合成後の画像における当該画素における輝度値とすることで画像を合成する。
なお、認識画像の模様がある部分（線図で表されている部分）の色を白と黒の中間色であるグレーに設定することで、黒つぶれと白つぶれの両方に対応することも可能である。
また、認識画像の模様がある部分（線図で表されている部分）の色を当該認識画像が合成される画像のうち、認識画像の周辺部分の輝度値に応じて、認識画像の輝度や色を反転するような構成も可能である。
図２０及び図２１で図示される認識画像が合成された後の左目用画像及び右目用画像は、立体画像を再生可能な表示装置へ出力される。
図２０及び図２１を上記表示装置などで立体視することにより、視聴者は、認識画像が合成される前の右目用画像（図３）と左目用画像（図４）とを立体視した場合に欠けていた正四角錐台の右上部分の立体感が補われていることがわかる。
以上説明した、実施の形態１の画像処理装置１０１の動作について、フローチャートを用いて説明する。
図２２は、画像処理装置１０１の動作のフローチャートである。
まず、取得部１０４は、立体画像を取得する（Ｓ２２０１）。
次に、立体メッシュに貼り付けられた認識パターン（認識画像）を生成する（Ｓ２２０２）。
続いて、画像処理装置１０１は、そのような認識画像を仮想的なの撮像部によって撮影したとした場合の画像である認識画像を生成する。画像処理装置１０１は、視点位置情報に基づいて右目用画像に対応する右目用認識画像と、左目用画像に対応する左目用認識画像とを生成する（Ｓ２２０３）。
最後に、生成した認識画像を対応する左目用画像または右目用画像に合成する（Ｓ２２０４）。
これにより、認識画像が合成された後の左目用画像または右目用画像では、認識画像が合成される前の左目用画像または右目用画像のディテールが欠けた部分において、視聴者が視差を認識することが出来る。つまり、画像処理装置１０１は、立体画像の立体感を補うことができる。
なお、画像処理装置１０１は、取得部１０４が取得した画像において、白とび部分など、画像処理装置１０１の画像処理（立体感を補う処理）が必要な部分（合成領域）を検出する検出部を備えてもよい。合成領域は、換言すれば、画像内のディテールの欠けた部分である。
この場合、検出部が合成領域を検出した場合のみ、図２２のフローチャートで示される、立体感を補う処理を行ってもよい。つまり、画像合成部は、合成領域が検出された場合のみ、右目用画像に右目用認識画像を合成し、左目用画像に左目用認識画像を合成する。
検出部は、例えば、画素の輝度値の閾値をあらかじめ決めておき、輝度値が閾値以上である画素に対応する画像内の明るい領域を、立体感を補う必要がある合成領域として検出する。画像内の明るい領域は、白とび、またはコントラストが低い領域、すなわち立体感の乏しい領域と判断できるからである。
同様に、検出部は、例えば、画素の輝度値の閾値をあらかじめ決めておき、輝度値が閾値未満である画素に対応する画像内の暗い領域を、立体感を補う必要がある合成領域として検出する。画像内の暗い領域は、黒つぶれ、またはコントラストが低い領域、すなわち立体感の乏しい領域と判断できるからである。
また、検出部は、右目用画像及び左目用画像内のコントラストの分布を算出し、コントラストが低い領域について立体感を補う必要がある合成領域として検出してもよい。コントラストが低い領域は、例えば、画像を複数のブロックに分け、各ブロックにおける周波数成分の分布を求めることによって検出可能である。具体的には、各ブロックの周波数成分の分布を演算し、低周波に分布が偏っているブロックは、高周波に分布が偏っているブロックに比べ、コントラストが低いブロックとして検出することが可能である。コントラストが低い領域は、コントラストが高い領域に比べ、視聴者が立体感を得にくく、すなわち立体感の乏しい領域と判断できる。
なお、画像内において上記検出部によって検出された立体感を補う必要がある合成領域のみに認識画像を合成してもよい。
また、検出部の検出結果に応じて、画像合成部１０９は、認識画像の知覚されやすさを変更してもよい。例えば、上述のように検出部が画像のコントラストによって合成領域を検出する場合、コントラストが低い領域においては、認識画像が視聴者に知覚されやすいように立体感を補う処理を行い、コントラストが高い領域においては、認識画像が視聴者に知覚されにくいように立体感を補う処理を行う、または処理を行わないといった制御を行ってもよい。
これにより、画像処理装置１０１は、より自然に立体画像の立体感を補うことが可能となる。
また、立体感を補う必要がある合成領域では認識画像が視聴者に知覚されやすく、合成領域以外の領域では認識画像が視聴者に知覚されにくいように認識画像を合成してもよい。
具体的には、合成された後の画像において、合成領域では、認識画像と、元の画像との色相の差が小さくなるように認識画像の輝度を変更して合成してもよい。また、反対に、合成領域以外の領域では、認識画像と、元の画像との色相の差が大きくなるように認識画像の輝度を変更して合成してもよい。
また、合成領域のうち、合成領域以外の領域と近い領域ほど、認識画像が視聴者に知覚されにくいように合成処理を行ってもよい。
具体的には、合成された後の画像において、合成領域のうち、合成領域以外の領域に近い領域ほど、認識画像の輝度を低くしてもよい。また、合成された後の画像において、合成領域以外の領域に近い領域ほど、認識画像と、元の画像との色相の差が小さくなるように認識画像の輝度を変更して合成してもよい。
また、検出部は、上述した白とび、黒つぶれ、コントラスト分布のような、立体感を補う必要性を示す指標を複合的に多値化して合成領域を検出してもよい。このようにすると、認識画像の合成量（視聴者への知覚されやすさ）を当該指標の量に応じて段階的に可変させることができる。結果として、元の画像の雰囲気の改変を最小に抑えて立体感を補うことが可能となる。
図２３は、立体感を補う必要がある部分に段階的に認識画像を合成した右目用画像を示す図である。
図２４は、立体感を補う必要がある部分に段階的に認識画像を合成した左目用画像を示す図である。
図２３、及び図２４は、上述のように、画像内の、立体感を補う必要がある領域から補う必要がない領域にかけて認識画像の合成量（知覚されやすさ）を段階的に可変させているため、認識パターン画像の合成量が段階的に変化していることがわかる。
このように、検出部を設け、立体感を補う必要がある領域を検出して認識画像を合成することで、元の画像の雰囲気の改変を最小に抑えて立体感を補うことが可能となる。
以上、実施の形態１では、図３及び図４に示されるように、取得部１０４が取得する右目用画像と左目用画像とのディティールは、撮像部によって撮影される時に欠けてしまったものとして説明した。しかしながら、本発明の適用は、このようにあらかじめ欠けてしまった部分の立体感を補うことに限られず、画像のポストプロダクション工程において事後的に発生するディテールの欠落にも同様に適用できる。このような例として、画像にぼかし効果をかけた場合について説明する。
図２５は、図５に示されるような白とびしていない右目用画像において、被写体（正四角錐台の部分）にぼかし効果をかけた画像を示す図である。
同様に、図２６は、図６に示されるような白とびしていない左目用画像おいて被写体にぼかし効果をかけた画像を示す図である。
図２５及び図２６の二枚の画像を立体視すると、被写体である正四角錐台の立体感が著しく欠けていることがわかる。
このような画像においても、画像合成部１０９が認識画像を合成することにより、画像処理装置１０１は、被写体である正四角錐台の立体感を補い、立体感を復元することができる。
図２７は、図２５の右目用画像に図１８の右目用認識画像を合成した画像を示す図である。
図２８は、図２６の左目用画像に図１９の左目用認識画像を合成した画像を示す図である。
図２７及び図２８の二枚の画像を立体視すると、正四角錐台の立体感が補われ、立体画像の立体感が復元されていることがわかる。
なお、実施の形態１では取得部１０４が取得する右目用画像及び左目用画像は、現実に存在する被写体を撮像部で撮影した画像であるとして説明したが、取得部１０４が取得する立体画像は、ゲームやＣＡＤ等のコンピュータにより描画された立体画像であってもよい。
上記のような、コンピュータ等により描画された立体画像は、描画されている物体の表面が滑らかになるように処理していることが多いため、コンピュータ等により描画された立体画像は、立体視された場合に立体感が乏しい場合が多い。コンピュータが立体画像を生成する際に、物体の表面を意図的に不均一にするなどの処理により、ある程度立体感を付加することは可能である。しかしながら、このような処理は負荷が重いため、このような処理により、コンピュータの描画性能が著しく低下してしまうという欠点がある。
また、上述のように、コンピュータにより生成された画像であって、仮想光源などにより物体に黒つぶれや白とびがある画像に関しては、物体の表面を不均一にしても立体感を補うことはできない。しかし、このようなコンピュータにより生成された画像であっても、画像処理装置１０１を用いることにより、立体感を補うことが可能である。
また、立体感を補う必要がある領域を検出し、その領域にのみ認識画像を合成する処理の負荷は、常に意図的に立体物の表面を不均一にする処理よりも、処理の負荷が軽い。このため、画像処理装置１０１によって立体感を補うことによって、コンピュータの描画性能の低下を抑えることができる。
なお、上記のようなゲーム用に生成された画像やＣＡＤによって生成された画像は、奥行情報として、あらかじめ立体メッシュにそのまま適用可能な情報を有する場合がある。このような場合、認識パターン貼り付け部１０７は、立体メッシュにそのまま適用可能な情報を用いて、より精度の高い認識画像を生成することが可能である。この場合、奥行情報取得部１０２は省略可能である。
なお、立体メッシュ生成部１０６は、右目用画像及び左目用画像から奥行情報を生成してもよい。つまり、奥行情報取得部１０２は、必ずしも必須の構成要素ではなく、省略可能である。
また、左右認識画像生成部１０８は、視点位置情報の代わりに、右目用画像と左目用画像との視差を用いて右目用認識画像及び左目用認識画像を生成してもよい。つまり、視点位置取得部１０３は、必ずしも必須の構成要素ではなく、省略可能である。
図２９は、奥行情報取得部１０２及び視点位置取得部１０３を省略した場合の画像処理装置１０１のブロック図である。
図２９において、立体メッシュ生成部１０６は、奥行情報の代わりに、右目用画像及び左目用画像を用い、右目用画像と左目用画像との相関関係から奥行情報を算出する。また、立体メッシュ生成部１０６は、当該奥行き情報を用いて立体メッシュを生成し、生成した立体メッシュを認識パターン貼り付け部１０７に出力する。画像のディテールの欠けた部分については、画像に含まれる色のヒューステリクス、周辺画素の輝度、または上記相関関係から画像を補間して、奥行情報を算出してもよい。なお、上記の奥行情報の算出（生成）処理は、別途奥行情報生成部を設け、奥行情報生成部の処理として実現されてもよい。
また、左右認識画像生成部１０８は、視点位置情報の代わりに、右目用画像と左目用画像とを用い、右目用画像と左目用画像との視差の相関関係から右目用認識画像及び左目用認識画像を生成する。具体的には、例えば、右目用画像と左目用画像とに含まれる被写体のエッジを検出し、検出したエッジ上の複数の点について、右目用画像及び左目用画像において対応する点同士の水平方向の位置の差を求めることにより視差の相関関係を求めることができる。また、左右認識画像生成部１０８は、生成した右目用認識画像及び左目用認識画像を画像合成部１０９に、出力する。
以上説明したように、実施の形態１に係る画像処理装置１０１は、奥行情報を表す立体メッシュに規則的な模様を有する認識パターンを貼り付けることで立体画像の奥行情報をパターン化した認識画像を生成する。続いて、左目用画像及び右目用画像にそれぞれ対応する左目用認識画像及び右目用認識画像を生成し、対応する画像同士を合成することで、左目用画像と、右目用画像とに相違点が生成される。これにより、視聴者は、左目用画像と、右目用画像との視差を明確に認識することができ、立体画像の立体感を補うことができる。
（実施の形態２）
以下、実施の形態２に係る画像処理装置１０１ついて説明する。
実施の形態１では、認識パターンとして規則的な模様を用いたが、実施の形態２では、認識パターンとして不規則な模様を用いることで、立体画像の立体感を補う例について説明する。なお、実施の形態２において、特に断りのない限り、新たに説明をしない構成、動作については、実施の形態１と同様であるものとする。
実施の形態１では、図１２のような規則的な認識パターンを用いて立体感を補うと、元々の立体画像の雰囲気の改変が顕著な場合がある。
また、規則的な認識パターンを用いて立体感を補うときには、立体感が十分に補われない場合もある。
図３０は、図２０の中央付近の模様にａ、ｂ、ｃの印をつけたものである。
図３１は、図２１の中央付近の模様にｄ、ｅ、ｆの印をつけたものである。
図３０におけるａの列の模様は、図３１におけるｄの列の模様と対応する。同様に、図３０におけるｂの列の模様は、図３１におけるｅの列の模様と対応し、図３０におけるｃの列の模様は、図３１におけるｆの列の模様と対応する。
ところが、認識パターンにおいて、水平方向に同じ模様が繰り返される場合、視聴者は、錯覚により、対応しない模様同士を対応するものとして知覚してしまうことがある。
例えば、視聴者は、ａの列の模様をｅの列の模様と対応するものとして知覚し、ｂの列の模様をｆの列の模様と対応するものとして知覚してしまう可能性がある。
このような場合、水平方向は、視差が生じる方向であるため、視聴者は、錯覚により本来補われるべき視差とは異なる視差を知覚し、適切に立体感が補われない。なお、上記のような視聴者が感じる錯覚には、個人差があるため、規則的な認識パターンが必ず問題となるわけではない。
そこで、実施の形態２では、認識画像生成部１０５（左右認識画像生成部１０８）は、規則性が少ないランダムな認識パターンを用いる。規則性のない認識パターンの一例として、白色ノイズより生成した規則性の少ない認識パターンを用いた例について説明する。
図３２は、白色ノイズを用いた認識パターンから生成した右目用認識画像を示す図である。
図３３は、白色ノイズを用いた認識パターンから生成した左目用認識画像を示す図である。
これらの右目用認識画像及び左目用認識画像は、実施の形態１で説明した図８で示される立体メッシュに、白色ノイズより生成した規則性の少ない認識パターンを貼り付けることで生成可能である。なお、このような、白色ノイズによる規則性の少ない認識パターンは、認識パターンを構成する各ピクセルの階調を乱数によりランダムに設定することにより生成される。
図３４は、図３の右目用画像に図３２の右目用認識画像を合成した画像を示す図である。
図３５は、図４の左目用画像に図３３の左目用認識画像を合成した画像を示す図である。
図３４及び図３５の二枚の画像を立体視すると、正四角錐台の立体感が補われていることがわかる。図３４及び図３５では、実施の形態１にて説明した規則性のある認識パターンを用いた場合に比べ、視聴者が本来補われるべき視差とは異なる視差を知覚してしまうことが少なくなる。つまり、立体画像の立体感がより適切に補われる。また、元々の右目用画像及び左目用画像の雰囲気の改変が少ないという効果もある。
このように、実施の形態２に係る画像処理装置１０１では、認識画像生成部１０５（左右認識画像生成部１０８）は、認識パターンに規則性の少ないランダムな模様を使用して認識画像を生成する。これにより、画像処理装置１０１は、視聴者の個人差によらず、適切に立体画像の立体感を補うことができる。
（実施の形態３）
以下、実施の形態３に係る画像処理装置１０１について説明する。なお、実施の形態３において、特に断りのない限り、新たに説明をしない構成、動作については、実施の形態１と同様であるものとする。
通常、撮像素子で撮影した画像には、撮像素子の焦点位置（ピント）の合った領域と、ピントの少しずれた領域がある。視聴者は、画像内のピントの合った領域については画像を明確に（鮮明に）知覚し、画像内のピントのずれた領域については画像がボケたように（不鮮明に）知覚する。
しかしながら、認識画像については、上記ピントによる画像のボケ感が付加されないため、画像処理装置１０１は、立体感を補うと同時に、画像内のピントのずれた領域を認識画像によって鮮明に表示してしまうことがある。
同様に、通常、撮像素子で撮影した画像には、撮像素子の絞りの設定によって画像全体が明るく鮮明な場合と、画像全体が暗く不鮮明な場合がある。視聴者は、画像内の明るい領域については、画像を鮮明に知覚し、画像内のピントのずれた領域については画像がボケたように（不鮮明に）知覚する。しかしながら、認識画像については、画像の明るさは考慮されないため、画像全体が暗く不鮮明な場合に、当該画像に合成される認識画像のみが鮮明に表示されてしまうことがある。
特に、被写界深度が浅い画像などでは、上記のような画像のボケた部分について画像処理装置１０１が立体感を補った結果、画像を鮮明に表示してしまい、元の画像の雰囲気が改変されてしまう傾向にある。
そこで、実施の形態３においては、左右認識画像生成部１０８は、視点位置情報として実施の形態１で右目用画像及び左目用画像を撮影した撮像部（撮像素子）の位置、向き、焦点距離、に加えて、右目用画像及び左目用画像を撮影した撮像素子のピント位置情報、及び絞り値情報を視点位置情報として設定する。
ピント位置情報は、撮像素子が右目用画像及び左目用画像を撮影したときの焦点位置を表す。つまり、ピント位置情報により、左右認識画像生成部１０８は、右目用画像及び左目用画像において、ピントの合った領域と、ピントの合っていないボケた領域とを区別し、これらを右目認識画像及び左目用認識画像に反映することができる。
また、絞り値情報は、撮像素子が右目用画像及び左目用画像の撮影したときの絞り値を表す情報である。絞り値は、撮像素子（撮像部）の光学系において撮影時の光量を調整するための値であり、例えば、撮像素子のレンズの大きさに対し絞りの大きさを示すｆ値などで表される。これにより、左右認識画像生成部１０８は、右目用画像及び左目用画像の明るさに応じて、右目認識画像及び左目用認識画像の明るさを設定することができる。
以上、実施の形態３では、視点位置情報として、さらに右目用画像及び左目用画像を撮影した撮像素子のピント位置情報、及び絞り値情報を視点位置情報として用いる。
これにより、元の右目用画像及び左目用画像と同等のボケ感を右目用認識画像及び左目用認識画像にも付加することが可能となる。したがって、画像処理装置１０１は、元の画像の雰囲気を改変することなく、より自然に立体感を補うことができる。
（実施の形態４）
以下、実施の形態４に係る画像処理装置１０１について説明する。なお、実施の形態４において、特に断りのない限り、新たに説明をしない構成、動作については、実施の形態１と同様であるものとする。
実施の形態１、２、及び３において、画像合成部が画像と認識画像との合成を行う際に、画像の奥行きと、認識画像の奥行きとがずれてしまう可能性がある。例えば、奥行情報に誤差がある場合などである。このような場合、認識画像のみが画像から浮いて見えてしまう、または画像内の被写体の輪郭が２重に見えてしまう可能性がある。
そこで、立体メッシュ生成部１０６及び左右認識画像生成部１０８に、取得部１０４が取得した右目用画像及び左目用画像を入力してもよい。これにより、画像処理装置１０１は、さらに精度よく立体画像の立体感を補うことができる。
図３６は、実施の形態４に係る画像処理装置１０１のブロック図である。
まず、立体メッシュ生成部１０６が右目用画像及び左目用画像を用いて精度の高い立体メッシュを生成する処理について説明する。
立体メッシュ生成部１０６は、立体メッシュの各頂点を、入力される右目用画像及び左目用画像内の被写体に一致するように調整する。具体的には、まず、立体メッシュ生成部１０６は、入力される右目用画像と左目用画像とにそれぞれハイパスフィルタをかけることで、画像内の被写体のエッジ部分を抽出する。ハイパスフィルタは、例えば、ラプラシアンフィルタが用いられる。ラプラシアンフィルタは、画像の各画素の輝度の変化量が極端に大きいエッジ部分、つまり画像内の高周波領域を抽出するフィルタである。
次に、立体メッシュ生成部１０６は、画像のエッジ部分と立体メッシュの頂点のエッジ部分とを比較する。エッジ同士に差がある場合は、立体メッシュの頂点を差が縮まるように調整する。
このとき、立体メッシュの頂点数が少なく、正確な調整が困難な場合は、立体メッシュ生成部１０６は、立体メッシュの該当する部分を分割し、頂点数を増やす。その後、立体メッシュ生成部１０６は、増えた頂点を用いて、再度立体メッシュの頂点を調整する。
調整完了後、認識パターン貼り付け部１０７は、調整された立体メッシュに認識パターンを貼り付ける。右目用認識画像と左目用認識画像とを生成し、画像合成部１０９に出力する。左右認識画像生成部１０８は、立体メッシュに貼り付けられた認識パターン（認識画像）から右目用認識画像及び左目用認識画像を生成する。
これにより、画像と、立体メッシュとの誤差が軽減され、画像合成部１０９おいてさらに精度の高い合成が可能となる。
次に、左右認識画像生成部１０８が、右目用画像及び左目用画像を用いて精度の高い右目用認識画像及び左目用認識画像を生成する処理について説明する。
また、左右認識画像生成部１０８は、入力される右目用画像及び左目用画像を用いて、視点位置情報の調整を行う。
具体的には、まず、左右認識画像生成部１０８は、入力される右目用画像と左目用画像とにそれぞれハイパスフィルタをかけ、画像内の被写体のエッジ部分を抽出する。
また、左右認識画像生成部１０８は、いったん生成した右目用認識画像と、左目用認識画像とに対してもそれぞれにハイパスフィルタをかける。そして、左右認識画像生成部１０８は、右目用画像のエッジ部分と右目用認識画像のエッジ部分とを比較しエッジ部分同士の差が最小となるように右目用認識画像を調整する。具体的には、実施の形態１で説明した立体メッシュに貼り付けられた認識パターンを撮影した仮想的な撮像部の位置及び向きを調整する。同様に、左右認識画像生成部１０８は、左目用画像のエッジ部分と左目用認識画像のエッジ部分とを比較しエッジ部分同士の差が最小となるように左目用認識画像を調整する。
調整完了後、左右認識画像生成部１０８は、調整された右目用認識画像と左目用認識画像とを生成し、画像合成部１０９に出力する。
これにより、画像と、認識画像との誤差が軽減され、画像合成部１０９おいてさらに精度の高い合成が可能となる。
なお、実施の形態４では、画像内のエッジ部分を検出することで、立体メッシュ生成部１０６は、立体メッシュと、右目用画像及び左目用画像とを整合させ、左右認識画像生成部１０８は、左目用画像認識画像及び右目用認識画像と、右目用画像及び左目用画像とを整合させた。しかしながら、立体メッシュ並びに左目用画像認識画像及び右目用認識画像と右目用画像及び左目用画像とを整合させる方法は、画像のエッジ部分の検出する方法に限定されない。左目用画像及び右目用画像の特徴量を検出し、これに対応するように、立体メッシュ並びに左目用画像認識画像及び右目用認識画像の調整を行うことができればよい。
（変形例）
本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上、本発明の一態様に係る画像処理装置の実施の形態、及びその変形例について説明した。
本発明の一態様に係る画像処理装置１０１は、まず、奥行情報を表す立体メッシュに規則的な模様を有する認識パターンを貼り付けることで立体画像の奥行情報をパターン化した認識画像を生成する。続いて、左目用画像及び右目用画像にそれぞれ対応する左目用認識画像及び右目用認識画像を生成し、対応する画像同士を合成することで、左目用画像と、右目用画像とに相違点が生成される。
これにより、視聴者は、左目用画像と、右目用画像との視差を明確に認識することができ、立体画像の立体感を補うことができる。
また、本発明の一態様に係る画像処理装置１０１は、例えば、図３７の（ａ）に示されるＤＳＣや、図３７の（ｂ）に示されるデジタルビデオカメラとして実現される。
また、例えば、本発明の一態様に係る画像処理装置１０１は、図３８に示されるテレビ７００として実現される。この場合、取得部１０４は、テレビ放送や、図３８に示されるＢｌｕ−Ｒａｙプレーヤ７１０、及びセットトップボックス７２０から画像を取得する。
また、画像処理装置１０１は、Ｂｌｕ−Ｒａｙプレーヤ７１０として実現されてもよい。この場合、取得部１０４は、挿入されたＢｌｕ−Ｒａｙディスクから画像を取得する。なお、画像の取得先は、Ｂｌｕ−Ｒａｙディスクに限定されない。取得部１０４は、ＤＶＤ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のあらゆる記録媒体から画像を取得することができる。
さらに、画像処理装置１０１は、セットトップボックス７２０として実現されてもよい。この場合、取得部１０４は、画像をケーブルテレビ放送等から取得する。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、立体画像の立体感を補う画像処理方法であって、立体画像を構成する左目用画像及び右目用画像を取得する取得ステップと、前記立体画像の表す奥行に基づいて生成された仮想的な立体構造物に、模様を貼り付けることによって前記立体画像に対応した認識画像を生成する認識画像生成ステップと、前記立体画像の視差に応じて、前記認識画像から右目用認識画像と左目用認識画像とを生成する左右認識画像生成ステップと、前記取得ステップにおいて取得した前記右目用画像に前記右目用認識画像を合成し、前記取得ステップにおいて取得した前記左目用画像に前記左目用認識画像を合成する画像合成ステップとを含む画像処理方法を実行させる。
なお、本発明は、これらの実施の形態またはその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態またはその変形例に施したもの、あるいは異なる実施の形態またはその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
本発明に係る画像処理装置は、立体感が欠落してしまった画像の立体感を補うことが可能であり、デジタルカメラ、テレビ受信機、映像編集機、ゲーム機、立体画像生成機、またはＣＡＤ等として有用である。
１０１ 画像処理装置
１０２ 奥行情報取得部
１０３ 視点位置取得部
１０４ 取得部
１０５ 認識画像生成部
１０６ 立体メッシュ生成部
１０７ 認識パターン貼り付け部
１０８ 左右認識画像生成部
１０９ 画像合成部
７００ テレビ
７１０ Ｂｌｕ−Ｒａｙプレーヤ
７２０ セットトップボックス
２６０１ 受像管
２６０２ 偏光板
２７０１ 受像管
２７０２ 偏光板
２７０３ シャドーマスク
２７０４ 蛍光体
２７０５ 電子ビーム
２８０１ 左目用画像
２８０２ 右目用画像

Claims (12)

  1. 立体画像の立体感を補う画像処理装置であって、
    立体画像を構成する左目用画像及び右目用画像を取得する取得部と、
    前記立体画像の表す奥行に基づいて生成された仮想的な立体構造物に、模様を貼り付けることによって前記立体画像に対応した認識画像を生成する認識画像生成部と、
    前記立体画像の視差に応じて、前記認識画像から前記認識画像を立体視するための右目用認識画像と左目用認識画像とを生成する左右認識画像生成部と、
    前記取得部が取得した前記右目用画像に前記右目用認識画像を合成し、前記取得部が取得した前記左目用画像に前記左目用認識画像を合成する画像合成部とを備える
    画像処理装置。
  2. 前記画像処理装置は、前記右目用画像及び前記左目用画像内における、立体感を補う必要がある領域である合成領域を検出する検出部を備え、
    前記画像合成部は、前記合成領域が検出された場合、前記右目用画像に前記右目用認識画像を合成し、前記左目用画像に前記左目用認識画像を合成する
    請求項１に記載の画像処理装置。
  3. 前記画像合成部は、前記検出部が前記合成領域を検出した場合、前記右目用画像の前記合成領域に前記右目用認識画像の当該合成領域に対応する領域を合成し、前記左目用画像の前記合成領域に前記左目用認識画像のうち当該合成領域に対応する領域を合成する
    請求項２に記載の画像処理装置。
  4. 前記検出部は、前記右目用画像及び前記左目用画像内において輝度値が所定の閾値未満、または輝度値が所定の閾値を超えた領域を前記合成領域として検出する
    請求項２または３に記載の画像処理装置。
  5. 前記検出部は、前記右目用画像及び前記左目用画像内においてコントラスト値が所定の値よりも低い領域を前記合成領域として検出する
    請求項２または３に記載の画像処理装置。
  6. 前記模様は、規則性のない模様である
    請求項１〜５のいずれか１項に記載の画像処理装置。
  7. 前記模様は、規則性のある模様である
    請求項１〜６のいずれか１項に記載の画像処理装置。
  8. 前記画像処理装置は、前記左目用画像及び前記右目用画像が撮影された位置を表す視点位置情報を取得する視点位置取得部を備え、
    前記左右認識画像生成部は、前記視点位置情報に基づく前記立体画像の視差に応じて前記認識画像から右目用認識画像と左目用認識画像とを生成する
    請求項１〜７のいずれか１項に記載の画像処理装置。
  9. 前記視点位置情報には、前記左目用画像及び前記右目用画像を撮影した撮像部の前記左目用画像及び前記右目用画像の撮影時における焦点位置を表すピント位置情報、または前記撮像部の前記左目用画像及び前記右目用画像の撮影時における絞り値を表す絞り値情報が含まれる
    請求項１〜８のいずれか１項に記載の画像処理装置。
  10. 前記画像処理装置は、前記立体画像の奥行を表す奥行情報を取得する奥行情報取得部を備え、
    前記認識画像生成部は、前記奥行情報に基づいて前記認識画像を生成する
    請求項１〜９のいずれか１項に記載の画像処理装置。
  11. 前記認識画像生成部は、前記取得部が取得した前記右目用画像及び前記左目用画像から前記立体画像の奥行を表す奥行情報を算出し、前記奥行情報に基づいて前記認識画像を生成する
    請求項１〜９のいずれか１項に記載の画像処理装置。
  12. 立体画像の立体感を補う画像処理方法であって、
    立体画像を構成する左目用画像及び右目用画像を取得する取得ステップと、
    前記立体画像の表す奥行に基づいて生成された仮想的な立体構造物に、模様を貼り付けることによって前記立体画像に対応した認識画像を生成する認識画像生成ステップと、
    前記立体画像の視差に応じて、前記認識画像から右目用認識画像と左目用認識画像とを生成する左右認識画像生成ステップと、
    前記取得ステップにおいて取得した前記右目用画像に前記右目用認識画像を合成し、前記取得ステップにおいて取得した前記左目用画像に前記左目用認識画像を合成する画像合成ステップとを含む
    画像処理方法。
JP2013542801A 2011-11-08 2012-03-27 画像処理装置、及び画像処理方法 Active JP5861114B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013542801A JP5861114B2 (ja) 2011-11-08 2012-03-27 画像処理装置、及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011244225 2011-11-08
JP2011244225 2011-11-08
JP2013542801A JP5861114B2 (ja) 2011-11-08 2012-03-27 画像処理装置、及び画像処理方法
PCT/JP2012/002098 WO2013069171A1 (ja) 2011-11-08 2012-03-27 画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2013069171A1 JPWO2013069171A1 (ja) 2015-04-02
JP5861114B2 true JP5861114B2 (ja) 2016-02-16

Family

ID=48288906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542801A Active JP5861114B2 (ja) 2011-11-08 2012-03-27 画像処理装置、及び画像処理方法

Country Status (3)

Country Link
US (1) US9576402B2 (ja)
JP (1) JP5861114B2 (ja)
WO (1) WO2013069171A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6611588B2 (ja) * 2015-12-17 2019-11-27 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
JP7030562B2 (ja) * 2018-02-28 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11410387B1 (en) * 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
WO2022254771A1 (ja) * 2021-06-02 2022-12-08 ソニーグループ株式会社 信号処理回路、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6328193A (ja) 1986-07-21 1988-02-05 Nec Corp 立体テレビ受像機
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP3527489B2 (ja) * 2001-08-03 2004-05-17 株式会社ソニー・コンピュータエンタテインメント 描画処理方法及び装置、描画処理プログラムを記録した記録媒体、描画処理プログラム
JP3626144B2 (ja) * 2002-03-01 2005-03-02 株式会社セルシス 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
WO2007148219A2 (en) * 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
US20130286010A1 (en) * 2011-01-30 2013-10-31 Nokia Corporation Method, Apparatus and Computer Program Product for Three-Dimensional Stereo Display

Also Published As

Publication number Publication date
WO2013069171A1 (ja) 2013-05-16
JPWO2013069171A1 (ja) 2015-04-02
US9576402B2 (en) 2017-02-21
US20140306951A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
ES2676055T3 (es) Receptor de imagen eficaz para múltiples vistas
JP6021541B2 (ja) 画像処理装置及び方法
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US8928734B2 (en) Method and system for free-view relighting of dynamic scene based on photometric stereo
US9031356B2 (en) Applying perceptually correct 3D film noise
JP5320524B1 (ja) ステレオ撮影装置
US20150085073A1 (en) Quality metric for processing 3d video
JP6002043B2 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JP2014103689A (ja) 立体映像エラー改善方法及び装置
JP2013527646A5 (ja)
JP6195076B2 (ja) 別視点画像生成装置および別視点画像生成方法
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
JP5303692B1 (ja) 立体画像処理装置及び立体画像処理方法
JP5861114B2 (ja) 画像処理装置、及び画像処理方法
JP5820985B2 (ja) 立体画像処理装置および立体画像処理方法
JP2010152521A (ja) 画像立体化処理装置及び方法
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
WO2012098608A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
Frick et al. Generation of 3d-tv ldv-content with time-of-flight camera
CN115244570A (zh) 合并分离像素数据以获得更深景深
KR101080988B1 (ko) 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체
Jung et al. Improved depth perception of single-view images
KR20150126640A (ko) 유도된 ３ｄ 디스플레이 적응
TWI502960B (zh) 二維轉三維轉換裝置及其方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150821

R151 Written notification of patent or utility model registration

Ref document number: 5861114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151