JP4875762B2 - 画像処理装置、画像表示装置および画像撮像装置 - Google Patents

画像処理装置、画像表示装置および画像撮像装置 Download PDF

Info

Publication number
JP4875762B2
JP4875762B2 JP2010120216A JP2010120216A JP4875762B2 JP 4875762 B2 JP4875762 B2 JP 4875762B2 JP 2010120216 A JP2010120216 A JP 2010120216A JP 2010120216 A JP2010120216 A JP 2010120216A JP 4875762 B2 JP4875762 B2 JP 4875762B2
Authority
JP
Japan
Prior art keywords
parallax
image
subject
processing apparatus
main subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010120216A
Other languages
English (en)
Other versions
JP2011250059A (ja
Inventor
奈保 澁久
圭 徳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010120216A priority Critical patent/JP4875762B2/ja
Priority to US13/696,774 priority patent/US8831338B2/en
Priority to CN201180025916.7A priority patent/CN102939764B/zh
Priority to PCT/JP2011/061821 priority patent/WO2011148921A1/ja
Publication of JP2011250059A publication Critical patent/JP2011250059A/ja
Application granted granted Critical
Publication of JP4875762B2 publication Critical patent/JP4875762B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は立体画像を生成する画像処理装置、当該画像処理装置を備えた画像表示装置、および、当該画像処理装置を備えた画像撮像装置に関する。
左眼用と右眼用の2台のカメラを並べて同時に同一の被写体(以下、同一被写体と略記する)を撮影し、2台のカメラが生成する2つの画像データ(以下、画像と略記する)に対して各種画像処理を実行し、立体画像(ステレオ画像とも言う)を生成する装置が提案されている(特許文献1参照)。
前記2つの画像を重ねた際に生じる画像間のずれを視差と呼ぶ。この視差はカメラと被写体までの距離によって変化する。
例えば、カメラの光軸が平行になるように2台のカメラを直線上に配置し、同一被写体を撮影する場合を想定する。このとき、被写体が遠方にあると、当該被写体の視差はほぼ0になる。そして、カメラと被写体との距離が短くなるにつれて、当該被写体の視差が大きくなる。従って、視差が大きい被写体を含む2つの画像に基づき立体画像を生成し、表示出力すると、前記被写体の飛び出し量が大きくなり(近づいて見える)、立体感が強調される。
しかし、視差をある程度以上に大きくすると、左目で知覚する画像と右目で知覚する画像とが融合せず、二重像が見えてしまい、立体視ができなくなる(融合限界)。さらに、過度の視差による二重像は、視覚疲労の原因となることが知られている。そこで、立体画像を快適に視聴するためには、画像表示時における被写体の奥行き(飛びだし、引っ込み)範囲を制限する必要がある。なお、この制限については、非特許文献1に開示されている。
また、過度の視差による二重像を生じさせることなく立体画像を生成する技術が、例えば前述した特許文献1に開示されている。特許文献1に開示されている技術は、立体画像が観察者の立体視可能な範囲内に表示されるように、奥行き範囲を非線形に制御することで観察者が立体視しやすい画像を生成するものである。
特開2005−91508号公報
3Dコンソーシアム 3DC安全ガイドライン URL: http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidelineJ_200812.pdf
ところで、立体感を強調したい主要被写体が、撮影可能な最大視差と最小視差との中間付近の視差を有していない場合には、主要被写体の立体感が十分に得られないという課題がある。この課題について、図16、図17を用いて具体的に説明する。
図16は、主要被写体1600、主要被写体1601、背景1602を模式的に示した図であり、図示しないカメラからの距離は主要被写体1600が最も近く、主要被写体1601、背景1602の順に遠くなるとする。
前述したように、直線上に配置された2台のカメラを用いて主要被写体1600、1601、背景1602を撮影した画像に対して各種画像処理を実行し、立体画像を生成し、立体画像表示装置(以下、表示装置と略記する)に表示出力する。
カメラからの距離は主要被写体1600、1601、背景1602の順に遠くなるので、主要被写体1600の視差がγ、主要被写体1601の視差がβであるとすると、γ>βとなる。なお、主要被写体1600の視差γ、主要被写体1601の視差βは、撮影可能な最大視差、最小視差との中間付近の視差ではないとする。背景1602は、カメラから最も遠くに位置するので、背景1602の視差αは最も小さい。
図17は、図16に示した主要被写体1600、1601、背景1602を撮影した画像に対して各種画像処理を実行することにより生成された立体画像を表示装置の表示パネルPに表示した場合に、当該立体画像が視聴者によって知覚される状態を模式的に示す図である。なお、表示パネルPの“あ”は表示パネルの位置を示している。
主要被写体1600は位置1700付近に知覚され、主要被写体1601は位置1701付近に知覚され、背景1602は位置1702付近に知覚される。
このように、図16に示した主要被写体1600、1601、背景1602の立体画像を表示パネルPに表示すると、主要被写体1600、1601が背景1602付近に引っ込んでいるように観察者により知覚されてしまう。その結果、被写体の立体感を十分に得ることができず、立体画像としての立体感が弱まって知覚されてしまう。
特に、主要被写体の視差が背景または前景の視差と略一致すると、主要被写体の立体感が大きく損なわれる。
本発明の目的は、上記課題を解決し、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、立体画像中の任意部分の立体感を簡単に調整する画像処理装置を提供することにある。
第1の技術手段は、1視点からの撮影画像と前記撮影画像に対応する視差画像入力され、前記視差画像の視差が第1所定値以下または第2所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、前記視差画像の所定範囲外の視差を飽和させる視差補正部と、前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置である。
第2の技術手段は、第1の技術手段において、前記撮影画像は同一被写体を2つの視点位置から撮影した2つの撮影画像のうちの1つであり、前記視差画像は、前記2つの撮影画像から算出された視差画像であることを特徴とする。
第3の技術手段は、第1または第2の技術手段において、前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする。
の技術手段は、第1から第のいずれかの技術手段において、前記所定値は、0、または、0を基準に所定の範囲内にある値であることを特徴とする。
第5の技術手段は第1から第4のいずれかの技術手段において、前記視差画像の所定範囲は、最小値が前記第1所定値以下でかつ最大値が前記第2所定値以上であることを特徴とする。
の技術手段は第1から第のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像表示装置である。
の技術手段は第1から第のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像撮像装置である。
本発明の画像処理装置によれば、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、視差変換によって立体画像中の任意部分の立体感を簡単に調整することができ、簡単に主要被写体の立体感を強調したり、奥行き感を変更することができる。
第1実施例で説明する画像処理装置の機能ブロック図である。 視差画像について説明する図である。 視差を正規化する視差補正式のグラフである。 視差をクリップする視差補正式のグラフである。 観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。 視差を0、正負の値に増減させた被写体を表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。 正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。 クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。 クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。 視聴者によって視差変換後の立体画像が知覚される状態を模式的に示す図である。 第2実施例で説明する画像処理装置の機能ブロック図である。 視差の拡大例を示すグラフである 正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。 第3実施例で説明する画像処理装置の機能ブロック図である。 視差をクリップする視差補正式のグラフである。 主要被写体、背景を模式的に示した図である。 視聴者によって立体画像が知覚される状態を模式的に示す図である。
(実施例1)
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
図1は、実施例1で説明する、本発明の画像処理装置100の機能ブロック図である。
画像処理装置100は、視差補正部101、主要被写体決定部102、視差変換部103、画像生成部104から構成され、1視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成するものである。
外部装置(図示しない)などから入力された視差画像は、視差補正部101に入力される。外部装置などから入力された撮影画像は、主要被写体決定部102、画像生成部104に入力される。
視差補正部101は、入力された視差画像の視差を所定の範囲で補正し、補正後の視差が格納された視差画像を視差変換部103に出力する。なお、視差画像については、後述する。
主要被写体決定部102は、入力された撮影画像の主要被写体を決定し、主要被写体の位置情報を視差変換部103に出力する。
視差変換部103は、主要被写体決定部102から入力される主要被写体の位置情報に基づき、視差補正部101から入力される視差画像から、前記主要被写体の画像に対応する視差(補正後)を抽出する。そして抽出した視差を所定の変換式に基づき変換し、変換後の視差が格納された視差画像を画像生成部104に出力する。すなわち、主要被写体決定部102で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換する。前記所定値は、前記主要被写体を立体表示装置に表示したときに、前記主要被写体が表示画面上付近に表示される値である。具体的には、例えば0、または、0を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
その結果、主要被写体の立体感が強調されるように視差が変換される。
画像生成部104は、入力された視差画像と撮影画像に基づいて、左眼用の画像(左画像)と、右眼用の画像(右画像)を生成し、表示装置(図示しない)に出力する。
すなわち、画像生成部104は、視差変換部103が変換した視差による視差画像と、撮影画像に基づいて立体画像を生成する。
以下に、各機能ブロックの内容について詳細に説明する。まず、視差補正部101に入力される視差画像について図2を用いて説明する。
図2(A)は、被写体201をカメラ202、203で撮影している状態を模式的に示した図である。カメラ202、203の光軸(点線)は平行であり、カメラ202、203は直線上に配置されている。
図2(B)は、左側のカメラ202によって撮影された被写体201の撮影画像(以下、左画像と記す)204、右側のカメラ203によって撮影された被写体201の撮影画像(以下、右画像と記す)205を模式的に示した図である。
図2(C)は、左画像204に右画像205を重ね合わせた画像を模式的に示し、図2(D)は、視差画像206を示す。
図2(C)に示すように、右画像205の被写体201(四角形の点線)は、左画像204の被写体201(四角形の実線)に対して左側にX画素分ずれている。前記X画素が、2つの撮影画像(左画像204、右画像205)おける同一被写体201のずれを示す視差である。
視差画像とは、同一被写体を2つの視点位置から撮影した2つの撮影画像における同一被写体のずれを示す視差を被写体の画素と対応して画素毎に格納した画像を意味する。前述の例では、左画像204の被写体に対応して視差画像の画素毎に当該被写体の視差が格納されている。
図2(D)では、視差画像206の画素206aに被写体201の視差Xが格納されている状態を模式的に示している。
視差画像206の他の画素206bにも、画素206bに対応する左画像204の被写体の視差が格納されている。
なお、視差の単位は画素でもよいし距離でもよい。
視差補正部101は、過度の視差を抑制するため、視差画像の視差の補正を行う。この視差の補正は後に述べる周知の方法で補正できる。
視差補正方法には、代表的な2つの方法がある。1つは視差を正規化する方法、もう1つは視差をクリップする方法である。視差を正規化すると、視差が飽和せずに、全体の奥行き関係が保存され、視差をクリップすると、立体視可能な範囲内の視差を持つ被写体の奥行き量は保持される特徴がある。
正規化する方法により視差補正を実行する例を図3に、クリップする方法により視差補正を実行する例を図4に示す。
図3は、視差を正規化する視差補正式のグラフを示し、前記視差補正式は、(式1)で表される。
Figure 0004875762
図4は、視差をクリップする視差補正式のグラフを示し、前記視差補正式は、(式2)〜(式4)で表される。
Figure 0004875762
Figure 0004875762
Figure 0004875762
横軸は入力視差Din、縦軸は出力視差Doutを示す。入力視差とは、視差補正部101に入力される視差画像の視差(補正前の視差)を意味し、出力視差とは、視差補正部101から出力される視差画像の視差(補正後の視差)を意味する。また、式中のdinは入力視差Dinに対応し、式中のdoutは出力視差Doutに対応する。
in_minは入力視差画像の最小視差、Din_maxは入力視差画像の最大視差である。
out_minは立体視可能な視差の最小値、Dout_maxは立体視可能な視差の最大値であり、融合限界の視差に対応する。
線300は視差補正を行う前の入力視差と出力視差の関係を表し、視差補正前では、入力視差と出力視差は同値である。線301は視差補正前の入力視差Dinと視差補正後の出力視差Doutの関係を表す。
図3の方法では、Din_max(入力視差の最大値)をDout_max(立体視可能な視差の最大値)に割り当て、Din_min(入力視差の最小値)をDout_min(立体視可能な視差の最小値)に割り当てることで、視差を飽和させずに全体の奥行き関係を保ちながら立体視可能な範囲に視差を補正している。
図4の方法では、Dout_max(立体視可能な視差の最大値)以上の入力視差をDout_maxにする補正を行い、Dout_min(立体視可能な視差の最小値)以下の入力視差をDout_minにする補正を行う。このように、立体視不可能な視差を立体視可能な視差に飽和させることで、奥行き量を保ちながら立体視可能な範囲に視差を補正している。
前記した立体視可能な両眼視差の範囲は、表示装置の画面サイズと観察者の視聴距離に依存し、非特許文献1には、立体視可能な両眼視差の範囲(融合限界)は最大2度程度、快適に立体画像を視聴できる両眼視差の範囲は1度以下であると記載されている。
立体画像を表示する表示装置の画面サイズと、画面サイズに応じた標準視聴距離に基づき、Dout_minおよびDout_maxを決定する場合、非特許文献1の基準を用いると、例えば、40インチHD(1920×1080)解像度のときは表示装置(表示パネル)の位置を基準にして−130画素が最小視差、130画素が最大視差となる。
視差補正部101により補正された視差が格納された視差画像は、視差変換部103に出力される。
主要被写体決定部102は、入力される撮影画像の被写体の中から主要被写体を決定し、主要被写体の位置情報、例えば、主要被写体の画素位置を示す座標情報を視差変換部103に出力する。主要被写体の決定は周知の方法で実現できる。例えば、撮影画像の中から焦点が合っている被写体を選択し、当該被写体を主要被写体と決定する方法や、撮影画像に対してパターン認識処理を実行することにより抽出された被写体を主要被写体と決定する方法、ユーザ自らが主要被写体を決定する方法がある。他にも、顔認識技術を使って特定人物を主要被写体と決定してもよい。
視差変換部103は、主要被写体決定部102で決定された主要被写体の画像に対応する視差が所定値となるように変換する。具体的には、前記被写体の立体感が強調されるように視差を変換する。図2の例では、被写体201が主要被写体とすると、被写体201の視差Xが主要被写体の画像に対応する視差(変換対象の視差)である。
ここで、視差を0、正負の値に増減させた被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図5、図6を用いて説明する。
図5は、観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。奥行き量とは飛び出し量と引っ込み量のことであり、飛び出し量とは実際の表示位置よりも観察者の方へ近づいて見える量で、引っ込み量とは実際の表示位置よりも観察者から遠ざかって見える量のことである。
すなわち、ある被写体を表示装置に表示させたとき、その被写体の視差が正の値に大きくなるほど飛び出して見え、負の値に大きくなるほど引っ込んで見える。また、視差が0の被写体は、左右画像にずれが生じないので表示装置に表示しても、知覚される位置は表示画面上であり、2Dで知覚される奥行き位置に違いは生じない。そのため、視差が0の画像を表示装置で表示しても観察者には奥行きがあるようには知覚されず、実際の表示位置と同じ位置に2D表示されているように知覚される。この視差が0の被写体を表示装置に表示させることを、被写体が表示画面上に表示されているという。この視差0、または、0を基準に所定の範囲内にある値が、前記所定値に該当する。
図6は、視差を0、正負の値に増減させた被写体を表示装置に表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。
図6に示す被写体Aの手前側面の視差をDin(入力視差)とする。ここで、視差Dinの値を0に変換、すなわち、変換後の視差を0(以下、変換後の視差をDoutと記す)にして、視差が0の被写体Aを表示装置Pに表示すると、被写体Aは、観察者によって、表示装置Pの画像表示面である位置600付近に知覚される。
また、Doutを正の値にすると被写体Aは位置601のように画像表示面の手前側に飛び出すように知覚される。Doutを負の値にすると被写体Aは位置602のように画像表示面の奥側に引っ込んで知覚される。
前記視差の変換は、例えば、図7、8に示す視差変換式によって実行することができる。
図7は、図3に示した、正規化することにより補正した視差に視差変換を実行する視差変換式のグラフを示し、図8は、クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフを示す。
図7の視差変換式は、(式5)、(式6)で表される。
Figure 0004875762
Figure 0004875762
図8の視差変換式は、(式7)〜(式10)で表される。
Figure 0004875762
Figure 0004875762
Figure 0004875762
Figure 0004875762
ここで、入力視差Dinは視差変換前の視差を示し、Din_maxは視差変換前の最大視差、Din_minは視差変換前の最小視差を示す。
出力視差Doutは視差変換後の視差を示し、Dout_maxは視差変換後の最大視差、Dout_minは視差変換後の最小視差を示す。
線302は視差変換前の入力視差Dinと視差変換後の出力視差Doutの関係を表す。Din0、Dout0については任意の値とすることができる。
また、式中のdinは視差変換前の入力視差Dinに対応し、式中のdoutは視差変換後の出力視差Doutに対応する。
ここで、図7、図8のグラフについて、図6を参照しながら説明する。
図7のグラフによれば、入力視差は減らされ、図8のグラフによれば、入力視差は増やされる。
図6で説明した被写体Aが位置600付近に知覚されている状態において、図7のグラフに示した視差変換式を用いて被写体Aの視差を減らして負の値に変換すると、被写体Aは、位置602のように画像表示面の奥側に引っ込んで知覚される。
図6で説明した被写体Aが位置600付近に知覚されている状態において、図8のグラフに示した変換式を用いて被写体Aの視差を増やして正の値に変換すると、被写体Aは、位置601のように画像表示面の手前側に飛び出すように知覚される。
図7、図8に示したように、Din0を境に、Din0よりも小さい視差の範囲と、Din0よりも大きい視差の範囲とで変換式を変えている。すなわち、主要被写体から背景までの奥行き量を大きくしたり、小さくしたりすることが可能であり、簡単に立体感を強調することができる。
以下に、図16に示した主要被写体の視差を例えば、図8で説明した視差変換式を用いて変換し、視差変換後の主要被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図9、図10を用いて説明する。図9の視差変換式は、図8の視差変換式と同じ変換式である。
図16の主要被写体1600の視差γは、図9に示す視差変換式により、視差γ’に増やされる。また、図16の主要被写体1601の視差βは、図9に示す視差変換式により、視差β’に増やされる。
図10は、視差変換後の立体画像が知覚される状態を模式的に示す図である。
視差を増やすことにより、主要被写体1600は位置1000付近に知覚され、主要被写体1601は位置1001付近に知覚されるようになる。このようにすることで、奥行き量を拡大することができ、立体感が強調される。
図17と比べると、視差を増やすことにより、背景1602の位置と、主要被写体1600、1601との位置の違いがはっきりと知覚されるようになる。その結果、立体感が強調された画像表示が可能になる。
このように主要被写体の視差を変換することで、主要被写体と当該主要被写体の周辺部との立体感を強調できる。主要被写体に厚みがある場合は、主要被写体の最大視差と最小視差の平均値を主要被写体の視差とする。また、主要被写体が複数ある場合は、複数の主要被写体の最大視差と最小視差の平均値を、各主要被写体の視差とする。このようにすることにより、主要被写体の厚みを考慮して、主要被写体の視差(表示位置)を変換することができるため好適である。また、視差の平均値は領域の面積を考慮して算出する方が、被写体の重心を考慮して表示位置を変換することができるため好適である。
前述したように、視差変換部103は、視差補正部101から入力される視差画像の中から、主要被写体決定部102が決定した主要被写体の視差(補正後)を画素毎に抽出し、この抽出した画素毎の視差を、図7または図8に示した所定の変換式に基づき変換し、変換後の視差を当該主要被写体の画素毎に格納する。そして、変換後の視差が格納されている視差画像を画像生成部104に出力する。
画像生成部104は、外部装置などから入力された撮影画像と視差変換部103から入力された視差画像に基づき、立体画像を生成する。
ここで、立体画像生成方法を以下に述べる。撮影画像をI、視差画像をD、出力画像をOとする。画像中の座標(x、y)における画素値をI(x、y)とD(x、y)で表す。(式11)を用いて撮影画像Iから出力画像Oへ視差分水平移動した画像を作成する。
Figure 0004875762
このとき、画素が重なった場合は視差の大きな画素(カメラに近い場所にある被写体)を用い、画素が埋まらなかった場合は上下左右の画素を用いて補間する。撮影画像Iを左画像、出力画像Oを右画像として出力する。
以上の構成により、主要被写体と前景または背景との視差の値が小さくても、視差を変換することで、主要被写体と前景または背景との視差の差を大きくすることができる。
その結果、主要被写体と前景または背景との奥行き量を変換し、観察者が立体視可能な範囲内で立体感を強調した画像を生成することができる。
本実施例では、視差補正部101、視差変換部103において、線形変換を用いて視差の補正、変換を行ったが、非線形変換を用いても同様の効果を得ることができる。
本実施例では、Din0とDout0という入力視差と出力視差の1組を用いたが、2組以上を用いて視差の変換を行っても、同様の効果を得ることができる。
(実施例2)
以下、本発明の実施例2について図面を参照して詳細に説明する。ただし、実施例1と同様の機能を有する部分については同一の符合を付している。
図11は、実施例2で説明する、本発明の画像処理装置1100の機能ブロック図である。
画像処理装置1100は、図1で説明した画像処理装置100に、視差算出部1101を追加したもので、同一被写体を2つの視点位置から撮影した2つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成するものである。
同一被写体を少なくとも2つの視点位置から撮影した2つの撮影画像は、視差算出部1101に入力される。また、2つの撮影画像の何れか1つが、主要被写体決定部102、画像生成部104に入力される。2つの撮影画像の1つの撮影画像は、被写体に向かって左側のカメラが撮影した撮影画像であり、これを左画像と呼ぶ。もう1つの撮影画像は、被写体に向かって右側のカメラで撮影した撮影画像であり、これを右画像と呼ぶ。
左画像、右画像は、視差算出部1101に入力され、左画像は、主要被写体決定部102、画像生成部104に入力される。
視差算出部1101は、左画像と右画像に基づき、視差を算出する。そして、算出した視差に基づき、実施例1で説明した視差画像を生成する。視差の算出には、周知の技術を用いることができ、例えばブロックマッチング法を用いることができる。ブロックマッチング法は、適切に定めたブロック単位で左右画像間の照合を行い、画像間で最も類似するブロックを対応するブロックとし、視差の算出を行う方法である。
視差算出部1101は、生成した視差画像を視差補正部101に出力する。
視差補正部101は、実施例1で説明したように、視差算出部1101から入力される視差画像の視差を所定の範囲で補正する。すなわち、視差算出部1101で算出した視差を所定の範囲で補正する。
この補正時に、左画像を撮影したカメラと右画像を撮影したカメラの間隔(基線長)を超えるような視差調整を行うことも可能である。立体画像を撮影する際、基線長は65mmに設定されることが多い。これは、人間の目の幅が約65mmだからである。
しかしながら、カメラの設置位置の関係上、基線長65mm以下での撮影を余儀なくされることもある。同じ被写体を同じ構図で撮影した場合、基線長が短くなるにつれて視差が減少するため、奥行き感が減少してしまう。視差補正部101は、入力視差の最小値と最大値を拡大する補正をすることで、この奥行き感の減少を防ぐ。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。
図12は、視差の拡大例を示すグラフである。図中の横軸縦軸などは、図3と同じなので説明を省略する。短い基線長で撮影された左右画像に基づき生成された視差画像の視差は、線300である。例えば、Din_max(視差画像の最大視差)が100、Dout_max(立体視可能な視差の最大値)が200であったとする。視差補正前の値では、視差100の範囲でしか表示できない。そこで、前述した(式1)を用いることで、線300で示す視差を線301で示す視差に補正する。
(式1)を用いて視差を補正すると、Din_maxはDout_maxに補正される。視差補正後の値では、表示装置における出力視差の最大値まで表示可能となる。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。さらに、表示装置の奥行き量に合わせて立体感の強調を行うこともできる。
視差補正部101は、補正後の視差が格納された視差画像を、視差変換部103に出力する。
視差変換部103は、前述のようにして、主要被写体の視差を、図7に対応する図13に示す視差変換により変換し、変換後の視差が格納された視差画像を画像生成部104に出力する。図13の視差変換には、前述した(式5)、(式6)を用いる。
すなわち、主要被写体決定部102で決定された主要被写体に対応する視差が所定値となるように視差算出部1101で算出した視差(視差算出部1101が作成した視差画像の視差)を変換する。前記所定値は、例えば0であり、または、0を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
画像生成部104は、外部装置などから入力された左画像と視差変換部103から入力された視差画像に基づき、立体画像を生成する。立体画像の生成は、実施例1で説明したので省略する。
以上の構成により、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、短い基線長で撮影された左右画像に基づき生成した視差画像の視差を補正することにより、あたかも長い基線長で撮影されたかのような画像を生成することができる。これは、内視鏡カメラや小型の機器に内蔵されたカメラの左右画像など、基線長を長くできない状況で撮影された左右画像に基づき立体画像を生成し、被写体の立体感を強調する場合に特に有効である。
(実施例3)
以下、本発明の実施例3について図面を参照して詳細に説明する。ただし、実施例1と同様の機能を有する部分については同一の符合を付している。
図14は、実施例3で説明する、本発明の画像処理装置1400の機能ブロック図である。
図14の画像処理装置1400は、図1で説明した画像処理装置100にぼかし処理部1401を追加したものである。
外部装置などから入力された視差画像は、視差補正部101およびぼかし処理部1401に入力される。外部装置などから入力された撮影画像は、主要被写体決定部102およびぼかし処理部1401に入力される。
ぼかし処理部1401は、入力された視差画像と撮影画像に基づき、視差が第1所定値以下または第2所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行する。そして、ぼかし処理を実行した撮影画像を画像生成部104に出力する。なお、第1所定値<第2所定値である。このとき、ぼかし処理部1401は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
図2の例では、被写体201の視差Xが第1所定値以下または第2所定値以上の場合、ぼかし処理部1401は、被写体201に対応する撮影画像の画素値に対してぼかし処理を実行する。
図15を用いて第1所定値、第2所定値について説明する。図15は、図4のグラフに対応するグラフである。第1所定値以下とは、符号1500で示す視差の範囲であり、第2所定値以上とは、符号1501で示す範囲である。
ぼかし処理部1401が、第1所定値以下(符号1500で示す範囲)の視差の被写体、すなわち、Dout_min(立体視可能な視差の最小値)以下の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が小さい(被写体がカメラ位置から遠ざかる)ほど、前記被写体のぼかし量を大きくする。
この処理により、立体視可能な視差の範囲よりも引っ込んで知覚される領域がぼかされた画像が生成される。このぼかし処理が施された画像は、実際に撮影したときよりも、被写界深度を浅くしたように表示される。被写界深度を浅くした画像は、被写体とカメラとの距離に応じて背景がぼかされているので奥行き感を感じやすくなる。
ぼかし処理部1401が、第2所定値以上(符号1501で示す範囲)の視差の被写体、すなわち、Dout_max(立体視可能な視差の最大値)以上の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が大きい(被写体がカメラ位置に近づく)ほど、前記被写体のぼかし量を大きくする。
この処理により、立体視困難な範囲をぼかすことができるので、見やすい立体画像を得ることができる。さらに、第1所定値以下の視差の被写体、および、第2所定値以上の視差の被写体を同時にぼかした場合、立体視可能な範囲の誘目性が高まった立体画像を得ることができる。
なお、ぼかし処理は周知の方法で実現することができる。代表的なぼかし処理の方法として、平滑化フィルタやガウシアンフィルタなどがある。平滑化フィルタは、注目画素周辺の画素値を用いて、画素値を平均し、処理後の画像の画素値とする手法である。ぼかし対象となる被写体の注目画素に対して、3×3の8近傍の画素値を用いて平均したり、5×5の24近傍の画素値を用いて平均したりできる。平均に用いる周辺画素値を増やすと、処理後の画素値のぼかし量が大きくなる。
すなわち、第1所定値以下(Dout_min以下)の視差の被写体をぼかし対象とした場合は、視差とぼかし量を反比例させ、第2所定値以上(Dout_max以上)の視差の被写体をぼかし対象とした場合は、視差とぼかし量を比例させる。
すなわち、ぼかし処理部1401は、撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
このぼかし処理を施すことで、立体視困難な範囲に含まれる視差がクリップされた場合でも、奥行き関係を保持することができる。そして、撮影画像の画素ごとに視差に応じてぼかし処理を行うので、視差に応じて各画素のぼけの大きさが異なり、均一なぼかしではなくカメラで撮影した画像と同様のぼかし効果が得られる。
ぼかし処理部1401は、ぼかし処理実行後の撮影画像を画像生成部104に出力する。
また、視差補正部101は、図4で説明したように、視差をクリップする方法で補正し、補正後の視差が格納された視差画像を、視差変換部103に出力する。視差変換部103は、前述のようにして、主要被写体の視差を変換し、変換後の視差が格納された視差画像を画像生成部104に出力する。
画像生成部104は、ぼかし処理部1401から入力された撮影画像と視差変換部103から入力された視差画像に基づき、立体画像を生成する。
以上の構成により、視差変換を行うことで、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、視差補正実行前の視差画像に基づいて撮影画像にぼかし処理を施すことにより、視差が飽和している範囲でもぼかし量が一定になることなく、立体感の強調された立体画像を生成することができる。
本発明の画像処理装置によれば、立体視可能な範囲内で被写体と背景(あるいは前景)との立体(奥行)感を強調させた立体映像を簡易に生成することができる。
以上説明した実施例は、画像処理装置に搭載される集積回路/チップセットにも適用される。
本発明の画像処理装置は、立体画像の表示が可能な画像表示装置に適用することができる。本発明の画像処理装置を備えることにより、立体感が強調された画像表示が可能となる。表示面の大きさや解像度が異なる様々な画像表示装置に本発明の画像処理装置を適用することも可能である。
また、立体画像の撮影が可能な画像撮像装置にも適用することが可能で、立体画像の撮影結果をプレビューしながら撮影することが可能となるため好適である。
100,1100,1400…画像処理装置、101…視差補正部、102…主要被写体決定部、103…視差変換部、104…画像生成部、1101…視差算出部、1401…ぼかし処理部、201…被写体、202,203…カメラ、204…左画像、205…右画像、206…視差画像、206a,206b…画素。

Claims (7)

  1. 1視点からの撮影画像と前記撮影画像に対応する視差画像入力され、
    前記視差画像の視差が第1所定値以下または第2所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、
    前記視差画像の所定範囲外の視差を飽和させる視差補正部と、
    前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、
    前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置。
  2. 前記撮影画像は同一被写体を2つの視点位置から撮影した2つの撮影画像のうちの1つであり、前記視差画像は、前記2つの撮影画像から算出された視差画像であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記所定値は、0、または、0を基準に所定の範囲内にある値であることを特徴とする請求項1から3のいずれかに記載の画像処理装置。
  5. 前記視差画像の所定範囲は、最小値が前記第1所定値以下でかつ最大値が前記第2所定値以上であることを特徴とする請求項1から4のいずれかに記載の画像処理装置。
  6. 請求項1からのいずれか1項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
  7. 請求項1からのいずれか1項に記載の画像処理装置を備えたことを特徴とする画像撮像装置。
JP2010120216A 2010-05-26 2010-05-26 画像処理装置、画像表示装置および画像撮像装置 Expired - Fee Related JP4875762B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010120216A JP4875762B2 (ja) 2010-05-26 2010-05-26 画像処理装置、画像表示装置および画像撮像装置
US13/696,774 US8831338B2 (en) 2010-05-26 2011-05-24 Image processor, image display apparatus, and image taking apparatus
CN201180025916.7A CN102939764B (zh) 2010-05-26 2011-05-24 图像处理器、图像显示装置和图像拍摄装置
PCT/JP2011/061821 WO2011148921A1 (ja) 2010-05-26 2011-05-24 画像処理装置、画像表示装置および画像撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010120216A JP4875762B2 (ja) 2010-05-26 2010-05-26 画像処理装置、画像表示装置および画像撮像装置

Publications (2)

Publication Number Publication Date
JP2011250059A JP2011250059A (ja) 2011-12-08
JP4875762B2 true JP4875762B2 (ja) 2012-02-15

Family

ID=45003911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010120216A Expired - Fee Related JP4875762B2 (ja) 2010-05-26 2010-05-26 画像処理装置、画像表示装置および画像撮像装置

Country Status (4)

Country Link
US (1) US8831338B2 (ja)
JP (1) JP4875762B2 (ja)
CN (1) CN102939764B (ja)
WO (1) WO2011148921A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US9338426B2 (en) 2010-10-27 2016-05-10 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP5838775B2 (ja) * 2011-12-14 2016-01-06 コニカミノルタ株式会社 画像処理方法、画像処理システムおよび画像処理プログラム
JP6017144B2 (ja) * 2012-02-06 2016-10-26 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置および方法、プログラム、並びに記録媒体
JP5572647B2 (ja) 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP2013219421A (ja) * 2012-04-04 2013-10-24 Seiko Epson Corp 画像処理装置および画像処理方法
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Nltテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US20150181204A1 (en) * 2012-07-18 2015-06-25 Sony Corporation Image processing apparatus, image processing method, and image display device
JP5745183B2 (ja) * 2012-07-30 2015-07-08 オリンパス株式会社 撮像装置及び撮像方法
JP5949314B2 (ja) * 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 視差マップ生成装置および視差マップ生成装置用のプログラム
US9317958B2 (en) * 2013-03-07 2016-04-19 Mediatek Inc. Auto-convergence system with active learning and related method and machine-readable medium thereof
TWI547142B (zh) 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的3d顯示器適配
JP2014220704A (ja) * 2013-05-09 2014-11-20 ソニー株式会社 画像処理装置および画像処理方法
JP6313569B2 (ja) * 2013-11-07 2018-04-18 日本放送協会 立体映像生成装置、そのプログラム及び立体映像表示装置
JP5893808B2 (ja) * 2014-01-24 2016-03-23 オリンパス株式会社 立体内視鏡画像処理装置
JP6415179B2 (ja) * 2014-08-20 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
KR102290301B1 (ko) * 2015-05-06 2021-08-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN105100772B (zh) * 2015-07-16 2017-03-15 深圳市华星光电技术有限公司 一种三维图像处理方法及装置
US10602116B2 (en) * 2015-08-03 2020-03-24 Sony Corporation Information processing apparatus, information processing method, and program for performing display control
US10609354B2 (en) 2016-02-12 2020-03-31 Sony Corporation Medical image processing device, system, method, and program
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
KR20220107831A (ko) 2021-01-26 2022-08-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3182009B2 (ja) * 1992-12-24 2001-07-03 日本電信電話株式会社 両眼立体視装置
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の2次元映像を3次元映像に変換する装置
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
CN101282492B (zh) * 2008-05-23 2010-07-21 清华大学 三维影像显示深度调整方法
WO2009149413A1 (en) * 2008-06-06 2009-12-10 Real D Blur enhancement of stereoscopic images
CN101393497A (zh) * 2008-10-30 2009-03-25 上海交通大学 基于双目立体视觉的多点触摸方法

Also Published As

Publication number Publication date
US20130051660A1 (en) 2013-02-28
WO2011148921A1 (ja) 2011-12-01
CN102939764B (zh) 2015-04-15
CN102939764A (zh) 2013-02-20
JP2011250059A (ja) 2011-12-08
US8831338B2 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
JP4875762B2 (ja) 画像処理装置、画像表示装置および画像撮像装置
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US20130294683A1 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, and program
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
US9948848B2 (en) Imaging device with depth of field adjustment
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
Jung et al. Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort
JP5178876B2 (ja) 立体映像表示装置及び立体映像表示方法
US20130208088A1 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
US20130342530A1 (en) Image processing apparatus and image processing method
JP5175910B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20180232945A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
TWI589150B (zh) 3d自動對焦顯示方法及其系統
JP6113411B2 (ja) 画像処理装置
JP6170725B2 (ja) 画像処理装置、及びプログラム
JP2013078101A5 (ja) 画像処理装置
WO2014038476A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
JP2012109725A (ja) 立体映像処理装置および立体映像処理方法
JP5838775B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
US20160165207A1 (en) Electronic device, method, and computer program product
JP5601375B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4875762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees