JPWO2011114564A1 - 立体画像表示装置およびその制御方法 - Google Patents
立体画像表示装置およびその制御方法 Download PDFInfo
- Publication number
- JPWO2011114564A1 JPWO2011114564A1 JP2012505441A JP2012505441A JPWO2011114564A1 JP WO2011114564 A1 JPWO2011114564 A1 JP WO2011114564A1 JP 2012505441 A JP2012505441 A JP 2012505441A JP 2012505441 A JP2012505441 A JP 2012505441A JP WO2011114564 A1 JPWO2011114564 A1 JP WO2011114564A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- template
- viewed
- dominant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Abstract
左目用画像と右目用画像との指定位置を検出する。利き目が入力され，観賞者による位置指定があると，指定された位置の座標位置が左目用画像と右目用画像とのそれぞれにおいて算出される。利き目用画像からテンプレート画像が検出され，検出されたテンプレート画像と同じ画像が非利き目用画像から検出される。テンプレート画像とマッチング画像とのそれぞれの位置が指定された位置となる。利き目用画像から検出されたテンプレート画像と，非利き目用画像から検出された画像との距離差が視差となる。指定位置の視差調整が行われる。
Description
この発明は，立体画像表示装置およびその制御方法に関する。
立体画像は，ユーザの左目で観賞する左目用画像とユーザの右目で観賞する右目用画像とから構成されている。左目用画像と右目用画像とは左右にずれがあり，そのずれにより立体的に見える。立体画像に含まれる，ある画像部分の視差を調整する場合には，その画像部分が指定される。指定された画像部分の視差が調整される（特開平１０−１０５７３５号公報）。また，カーソルを用いて立体画像を指定する場合に，利き目を考慮するものもある（特開２００４−３６２２１８号公報）。
しかしながら，ユーザが立体画像に含まれる画像部分を指定した場合に，立体画像を構成する左目用画像および右目用画像のそれぞれにおける位置を正確に検出することは考えられていない。
しかしながら，ユーザが立体画像に含まれる画像部分を指定した場合に，立体画像を構成する左目用画像および右目用画像のそれぞれにおける位置を正確に検出することは考えられていない。
この発明は，立体画像に含まれる画像部分を指定した場合に，左目用画像および右目用画像のそれぞれにおける位置を正確に検出することを目的とする。
第１の発明は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置において，ユーザの利き目を設定する利き目設定装置（利き目設定手段），視差を調整する部分が表示されている上記表示画面の位置を指定する位置指定装置（位置指定手段），左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出するテンプレート画像検出装置（テンプレート画像検出手段），および左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像（完全に同一の画像でなくとも，もっとも近い画像など，ほぼ同一と見なせる画像であればよい。また，テンプレートの画像に対応していると考えられる画像などでもよい。）であるマッチング画像の位置を検出するテンプレート・マッチング装置（テンプレート・マッチング手段）を備えていることを特徴とする。
第１の発明は，上記立体画像表示装置制御方法も提供している。すなわち，この方法は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置の制御方法において，ユーザの利き目を設定し，視差を調整する部分が表示されている上記表示画面の位置を指定し，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出し，左目用画像または右目用画像のうち設定された利き目と異なる目で観賞する画像において，検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出するものである。
第１の発明によると，ユーザの利き目が設定され，かつ視差を調整する部分が表示されている表示画面の位置が指定される。立体画像を構成する画像部分を指定する場合，左目用画像または右目用画像のうち，利き目で見る画像の画像部分を指定していることが多いと考えられる。このために，ユーザが指定した位置から，利き目で観賞する画像での対応する画像部分がテンプレート画像として検出され，利き目と異なる目で観賞する画像からテンプレート画像と同じ画像であるマッチング画像の位置が検出される。検出されたテンプレート画像の位置と検出されたマッチング画像の位置とが，利き目画像上での指定位置と非利き目画像上での指定位置となる。テンプレート画像とマッチング画像とが検出されると，たとえば，テンプレート画像とマッチング画像との距離によって表される視差が調整される。ユーザが指定した位置に対応する左目用画像および右目用画像のそれぞれの位置が検出され，かつその視差を比較的正確に調整できる。
上記テンプレート画像検出装置は，たとえば，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置を中心とした所定の大きさのテンプレート画像候補領域内の画像のエッジ成分量が所定のしきい値以上かどうかを判定するエッジ成分量判定装置（エッジ成分量判定手段），上記エッジ成分量判定装置によってエッジ成分量が所定のしきい値以上ではないと判定されたことに応じて，上記テンプレート画像候補領域の大きさを拡大する拡大装置（拡大手段），上記拡大装置によって拡大されたテンプレート画像候補領域内の画像のエッジ成分量が所定のしきい値以上かどうかを判定するように上記エッジ成分量判定装置を制御する制御装置（制御手段），および上記エッジ成分量判定装置によってエッジ成分量が所定のしきい値以上と判定されたことに応じてテンプレート画像候補領域内の画像をテンプレート画像と決定するテンプレート画像決定装置（テンプレート画像決定手段）を備えている。
ユーザの左目の視線と右目の視線との交差点が表示画面よりも手前にあるか奥にあるかを検出する交差点位置検出装置（交差点位置検出手段）をさらに備えてもよい。この場合，上記テンプレート・マッチング装置は，たとえば，上記交差点位置検出装置によって，上記交差点が表示画面よりも手前にあると判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも利き目側の方向において上記異なる目で観賞する画像から上記マッチング画像を検出し，上記交差点位置検出装置によって上記交差点が表示画面よりも奥にあると判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも非利き目側方向において，上記異なる目で観賞する画像から上記マッチング画像の位置を検出するものである。
上記表示画面上にタッチ・パネルが形成されている場合には，上記位置指定装置は，たとえば，上記タッチ・パネルにおいてタッチされた位置の圧力が所定の基準値以上かどうかを判定する圧力判定装置（圧力判定手段）を備える。また，上記テンプレート・マッチング装置は，上記圧力判定装置によって圧力が所定の基準値以上判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも利き目側方向において，上記異なる目で観賞する画像から上記マッチング画像を検出し，上記圧力判定装置によって圧力が所定の基準値未満と判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも非利き目側方向において上記異なる目で観賞する画像から上記マッチング画像の位置を検出するものである。
上記テンプレート画像検出装置は，たとえば，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分近傍の特徴点を検出するものであり，上記テンプレート・マッチング装置は，たとえば，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出された特徴点に対応する特徴点を検出するものである。
第２の発明は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置において，ユーザの利き目を設定する利き目設定装置（利き目設定手段），視差を調整する部分が表示されている上記表示画面の位置を指定する位置指定装置（位置指定手段），左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する指定位置座標を検出する指定位置座標検出装置（指定位置座標検出手段），上記指定位置座標検出装置によって検出された指定位置座標から所定範囲内の位置および左目用画像と右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において上記所定範囲内の位置に対応する位置の両方の位置を表すデータがメモリに記憶されているかどうかを判定する対応位置座標存否判定装置（対応位置座標存否判定手段），上記対応位置座標存否判定装置によって，上記両方の位置を表すデータが上記メモリに記憶されていると判定されたことに応じて，上記両方の位置を表すデータが上記メモリから読み出す読出装置（読出手段），上記対応位置座標存否判定装置によって上記両方の位置を表すデータの少なくとも一方が上記メモリに記憶されていないと判定されたことに応じて，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出するテンプレート画像検出装置（テンプレート画像検出手段），左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出するテンプレート・マッチング装置（テンプレート・マッチング手段），および上記テンプレート画像検出装置によって検出され，かつ利き目で観賞する画像に含まれるテンプレート画像の位置を表すデータと上記テンプレート・マッチング装置によって検出され，かつ利き目と異なる目で観賞する画像に含まれるマッチング画像の位置を表すデータとを上記メモリに記憶する記憶制御装置（記憶制御手段）を備えていることを特徴とする。
第２の発明は，上記立体画像表示装置に適した制御方法も提供している。すなわち，この方法は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置の制御方法において，ユーザの利き目を設定し，視差を調整する部分が表示されている上記表示画面の位置を指定し，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する指定位置座標を検出し，検出された指定位置座標から所定範囲内の位置および左目用画像と右目用画像のうち設定された利き目と異なる目で観賞する画像において上記所定範囲内の位置に対応する位置の両方の位置を表すデータがメモリに記憶されているかどうかを判定し，上記両方の位置を表すデータが上記メモリに記憶されていると判定されたことに応じて，上記両方の位置を表すデータを上記メモリから読み出し，上記両方の位置を表すデータの少なくとも一方が上記メモリに記憶されていないと判定されたことに応じて，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出し，左目用画像または右目用画像のうち設定された利き目と異なる目で観賞する画像において，検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出し，検出され，かつ利き目で観賞する画像に含まれるテンプレート画像の位置を表すデータと検出され，かつ利き目と異なる目で観賞する画像に含まれるマッチング画像の位置を表すデータとを上記メモリに記憶するものである。
第２の発明によると，上述のように立体画像を構成する画像部分が指定されると，利き目画像（左目用画像または右目用画像）において指定された位置近傍の位置およびその位置に対応する非利き目画像の位置がメモリに記憶されているかどうかが確認される。指定された位置近傍の位置およびその近傍の位置に対応する位置がメモリに記憶されていると，メモリに記憶されている左目用画像における位置と右目用画像における位置とが読み出される。指定された位置近傍の位置およびその近傍の位置に対応する位置の両方の位置がメモリに記憶されていないと，上述のようにテンプレート画像の検出，マッチング画像の位置の検出が行われ，検出されたテンプレート画像とマッチング画像とのずれにもとづいて視差調整が行われる。メモリに記憶されている位置を利用できる場合には比較的迅速に視差調整を行うことができる。
第１の発明は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置において，ユーザの利き目を設定する利き目設定装置（利き目設定手段），視差を調整する部分が表示されている上記表示画面の位置を指定する位置指定装置（位置指定手段），左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出するテンプレート画像検出装置（テンプレート画像検出手段），および左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像（完全に同一の画像でなくとも，もっとも近い画像など，ほぼ同一と見なせる画像であればよい。また，テンプレートの画像に対応していると考えられる画像などでもよい。）であるマッチング画像の位置を検出するテンプレート・マッチング装置（テンプレート・マッチング手段）を備えていることを特徴とする。
第１の発明は，上記立体画像表示装置制御方法も提供している。すなわち，この方法は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置の制御方法において，ユーザの利き目を設定し，視差を調整する部分が表示されている上記表示画面の位置を指定し，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出し，左目用画像または右目用画像のうち設定された利き目と異なる目で観賞する画像において，検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出するものである。
第１の発明によると，ユーザの利き目が設定され，かつ視差を調整する部分が表示されている表示画面の位置が指定される。立体画像を構成する画像部分を指定する場合，左目用画像または右目用画像のうち，利き目で見る画像の画像部分を指定していることが多いと考えられる。このために，ユーザが指定した位置から，利き目で観賞する画像での対応する画像部分がテンプレート画像として検出され，利き目と異なる目で観賞する画像からテンプレート画像と同じ画像であるマッチング画像の位置が検出される。検出されたテンプレート画像の位置と検出されたマッチング画像の位置とが，利き目画像上での指定位置と非利き目画像上での指定位置となる。テンプレート画像とマッチング画像とが検出されると，たとえば，テンプレート画像とマッチング画像との距離によって表される視差が調整される。ユーザが指定した位置に対応する左目用画像および右目用画像のそれぞれの位置が検出され，かつその視差を比較的正確に調整できる。
上記テンプレート画像検出装置は，たとえば，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置を中心とした所定の大きさのテンプレート画像候補領域内の画像のエッジ成分量が所定のしきい値以上かどうかを判定するエッジ成分量判定装置（エッジ成分量判定手段），上記エッジ成分量判定装置によってエッジ成分量が所定のしきい値以上ではないと判定されたことに応じて，上記テンプレート画像候補領域の大きさを拡大する拡大装置（拡大手段），上記拡大装置によって拡大されたテンプレート画像候補領域内の画像のエッジ成分量が所定のしきい値以上かどうかを判定するように上記エッジ成分量判定装置を制御する制御装置（制御手段），および上記エッジ成分量判定装置によってエッジ成分量が所定のしきい値以上と判定されたことに応じてテンプレート画像候補領域内の画像をテンプレート画像と決定するテンプレート画像決定装置（テンプレート画像決定手段）を備えている。
ユーザの左目の視線と右目の視線との交差点が表示画面よりも手前にあるか奥にあるかを検出する交差点位置検出装置（交差点位置検出手段）をさらに備えてもよい。この場合，上記テンプレート・マッチング装置は，たとえば，上記交差点位置検出装置によって，上記交差点が表示画面よりも手前にあると判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも利き目側の方向において上記異なる目で観賞する画像から上記マッチング画像を検出し，上記交差点位置検出装置によって上記交差点が表示画面よりも奥にあると判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも非利き目側方向において，上記異なる目で観賞する画像から上記マッチング画像の位置を検出するものである。
上記表示画面上にタッチ・パネルが形成されている場合には，上記位置指定装置は，たとえば，上記タッチ・パネルにおいてタッチされた位置の圧力が所定の基準値以上かどうかを判定する圧力判定装置（圧力判定手段）を備える。また，上記テンプレート・マッチング装置は，上記圧力判定装置によって圧力が所定の基準値以上判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも利き目側方向において，上記異なる目で観賞する画像から上記マッチング画像を検出し，上記圧力判定装置によって圧力が所定の基準値未満と判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも非利き目側方向において上記異なる目で観賞する画像から上記マッチング画像の位置を検出するものである。
上記テンプレート画像検出装置は，たとえば，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分近傍の特徴点を検出するものであり，上記テンプレート・マッチング装置は，たとえば，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出された特徴点に対応する特徴点を検出するものである。
第２の発明は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置において，ユーザの利き目を設定する利き目設定装置（利き目設定手段），視差を調整する部分が表示されている上記表示画面の位置を指定する位置指定装置（位置指定手段），左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する指定位置座標を検出する指定位置座標検出装置（指定位置座標検出手段），上記指定位置座標検出装置によって検出された指定位置座標から所定範囲内の位置および左目用画像と右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において上記所定範囲内の位置に対応する位置の両方の位置を表すデータがメモリに記憶されているかどうかを判定する対応位置座標存否判定装置（対応位置座標存否判定手段），上記対応位置座標存否判定装置によって，上記両方の位置を表すデータが上記メモリに記憶されていると判定されたことに応じて，上記両方の位置を表すデータが上記メモリから読み出す読出装置（読出手段），上記対応位置座標存否判定装置によって上記両方の位置を表すデータの少なくとも一方が上記メモリに記憶されていないと判定されたことに応じて，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出するテンプレート画像検出装置（テンプレート画像検出手段），左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出するテンプレート・マッチング装置（テンプレート・マッチング手段），および上記テンプレート画像検出装置によって検出され，かつ利き目で観賞する画像に含まれるテンプレート画像の位置を表すデータと上記テンプレート・マッチング装置によって検出され，かつ利き目と異なる目で観賞する画像に含まれるマッチング画像の位置を表すデータとを上記メモリに記憶する記憶制御装置（記憶制御手段）を備えていることを特徴とする。
第２の発明は，上記立体画像表示装置に適した制御方法も提供している。すなわち，この方法は，ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置の制御方法において，ユーザの利き目を設定し，視差を調整する部分が表示されている上記表示画面の位置を指定し，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する指定位置座標を検出し，検出された指定位置座標から所定範囲内の位置および左目用画像と右目用画像のうち設定された利き目と異なる目で観賞する画像において上記所定範囲内の位置に対応する位置の両方の位置を表すデータがメモリに記憶されているかどうかを判定し，上記両方の位置を表すデータが上記メモリに記憶されていると判定されたことに応じて，上記両方の位置を表すデータを上記メモリから読み出し，上記両方の位置を表すデータの少なくとも一方が上記メモリに記憶されていないと判定されたことに応じて，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出し，左目用画像または右目用画像のうち設定された利き目と異なる目で観賞する画像において，検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出し，検出され，かつ利き目で観賞する画像に含まれるテンプレート画像の位置を表すデータと検出され，かつ利き目と異なる目で観賞する画像に含まれるマッチング画像の位置を表すデータとを上記メモリに記憶するものである。
第２の発明によると，上述のように立体画像を構成する画像部分が指定されると，利き目画像（左目用画像または右目用画像）において指定された位置近傍の位置およびその位置に対応する非利き目画像の位置がメモリに記憶されているかどうかが確認される。指定された位置近傍の位置およびその近傍の位置に対応する位置がメモリに記憶されていると，メモリに記憶されている左目用画像における位置と右目用画像における位置とが読み出される。指定された位置近傍の位置およびその近傍の位置に対応する位置の両方の位置がメモリに記憶されていないと，上述のようにテンプレート画像の検出，マッチング画像の位置の検出が行われ，検出されたテンプレート画像とマッチング画像とのずれにもとづいて視差調整が行われる。メモリに記憶されている位置を利用できる場合には比較的迅速に視差調整を行うことができる。
第１図は，立体画像表示装置の電気的構成を示すブロック図である。
第２図は，立体画像表示装置の処理手順を示すフローチャートである。
第３図は，立体画像表示装置の外観である。
第４図は，右目用画像の一例である。
第５図は，左目用画像の一例である。
第６図は，テンプレート設定装置の電気的構成を示すブロック図である。
第７図は，テンプレート画像検出処理手順を示すフローチャートである。
第８図は，立体画像表示装置の電気的構成を示すブロック図である。
第９図は，ユーザが指定した画像部分，表示画面，右目用画像および左目用画像との関係を示している。
第１０図は，ユーザが指定した画像部分，表示画面，右目用画像および左目用画像との関係を示している。
第１１図は，立体画像表示装置の処理手順を示すフローチャートである。
第１２図は，立体画像表示装置の電気的構成を示すブロック図である。
第１３図は，立体画像表示装置の処理手順を示すフローチャートである。
第１４図は，立体画像表示装置の処理手順を示すフローチャートである。
第１５図は，立体画像表示装置の電気的構成を示すブロック図である。
第１６図は，右目用画像の一例である。
第１７図は，左目用画像の一例である。
第１８図は，立体画像表示装置の処理手順を示すフローチャートである。
第１９図は，立体画像表示装置の電気的構成を示すブロック図である。
第２０図は，履歴情報テーブルの一例である。
第２１図は，立体画像表示装置の処理手順を示すフローチャートである。
第２２図は，立体画像表示装置の処理手順を示すフローチャートである。
第２図は，立体画像表示装置の処理手順を示すフローチャートである。
第３図は，立体画像表示装置の外観である。
第４図は，右目用画像の一例である。
第５図は，左目用画像の一例である。
第６図は，テンプレート設定装置の電気的構成を示すブロック図である。
第７図は，テンプレート画像検出処理手順を示すフローチャートである。
第８図は，立体画像表示装置の電気的構成を示すブロック図である。
第９図は，ユーザが指定した画像部分，表示画面，右目用画像および左目用画像との関係を示している。
第１０図は，ユーザが指定した画像部分，表示画面，右目用画像および左目用画像との関係を示している。
第１１図は，立体画像表示装置の処理手順を示すフローチャートである。
第１２図は，立体画像表示装置の電気的構成を示すブロック図である。
第１３図は，立体画像表示装置の処理手順を示すフローチャートである。
第１４図は，立体画像表示装置の処理手順を示すフローチャートである。
第１５図は，立体画像表示装置の電気的構成を示すブロック図である。
第１６図は，右目用画像の一例である。
第１７図は，左目用画像の一例である。
第１８図は，立体画像表示装置の処理手順を示すフローチャートである。
第１９図は，立体画像表示装置の電気的構成を示すブロック図である。
第２０図は，履歴情報テーブルの一例である。
第２１図は，立体画像表示装置の処理手順を示すフローチャートである。
第２２図は，立体画像表示装置の処理手順を示すフローチャートである。
第１図は，この発明の実施例を示すもので，立体画像表示装置の電気的構成を示すブロック図である。
立体画像表示装置は，観賞者の右目で見る右目用画像と観賞者の左目で見る左目用画像とを立体表示装置７の表示画面上に表示することにより，観賞者に立体的な画像を見せるものである。この実施例においては，立体表示装置７の表示画面に表示されている被写体像のうち，観賞者が指定した位置に対応する右目用画像の位置と左目用画像における位置とを正確に測定するものである。
まず，利き目情報入力装置１から観賞者（ユーザ，オペレータ）の利き目が入力される。利き目情報入力装置１は，利き目が左目または右目であることを示す指令を出力する利き目情報入力ボタンであってもよいし，立体表示装置７の表示画面上に利き目情報を入力するメニューを表示し，そのメニューから設定するようにしてもよい。利き目情報入力装置１から出力された観賞者の利き目を表すデータは，セレクタ２に入力する。
左目用の画像を表す左目用画像データおよび右目用の画像を表す右目用画像データは，いずれもセレクタ２および視差調整装置６に入力する。左目用画像データまたは右目用画像データのうち，利き目情報入力装置１から入力された利き目情報にもとづいて利き目で見る画像データ（利き目画像データ）がテンプレート設定装置４に入力し，利き目と異なる目で見る画像データ（非利き目画像データ）がマッチング装置５に入力するように，セレクタ２が切り換えられる。
左目用画像データおよび右目用画像データは視差調整装置６を介して立体表示装置７に与えられる。立体表示装置７の表示画面には，左目用画像と右目用画像とが表示されて観賞者には立体的な画像が見える。
立体的な画像のうち，視差調整をしたい部分（必ずしも視差調整でなくともよい）が観賞者によって位置入力装置３を用いて指定される。立体表示装置７の表示画面上にタッチ・パネルが形成されていれば，そのタッチ・パネル上をタッチすることにより位置指定される。タッチ・パネルが形成されていない場合には，たとえば，マウス操作に応じて移動するカーソルを表示画面上に表示し，マウスによるクリック動作により位置を指定できる。
位置入力装置３から出力される指定位置を表すデータは，テンプレート設定装置４に入力する。テンプレート設定装置４において，利き目画像のうち，観賞者に指定された位置近傍に存在する画像部分がテンプレート画像として設定される。設定されたテンプレート画像を表すデータおよびそのテンプレート画像の利き目画像上における位置（たとえば，テンプレート画像の中心位置，重心位置など）を表すデータがテンプレート設定装置４からマッチング装置５に入力する。利き目画像上におけるテンプレート画像の位置を表すデータは，マッチング装置５を単に通過して視差調整装置６に入力する。
マッチング装置５においては，入力した非利き目画像データとテンプレート画像データとから，非利き目画像のうち，テンプレート画像と同じ画像部分（マッチング画像）の位置が検出される。すると，非利き目画像上におけるテンプレート画像と同じ画像部分の位置を表すデータがマッチング装置５から視差調整装置６に与えられる。
テンプレート画像と同じ画像を検出するマッチング処理は，次のようにして行うことができる。右目用画像上の点ｐ（ｘ，ｙ）と左目用画像上の点ｑ（ｕ，ｖ）との相関性を判断するもっとも基本的な基準は点ｐ，ｑのそれぞれを中心とするウインドウ内における残差の絶対値和である。この残差の絶対値和は式１によって表される。
式１においてｉとｊとは，（ｘ，ｙ），（ｕ，ｖ）のそれぞれを原点としたときのウインドウ内の画素位置を表している。また，Ｐ（ｘ，ｙ），Ｑ（ｕ，ｖ）は，それぞれ右目用画像上の画素（ｘ，ｙ）の輝度値，左目用画像上の画素（ｘ，ｙ）の輝度値を表している。式１の値Ｒ（ｕ，ｖ）が小さいほど，ｐ（ｘ，ｙ）とｑ（ｕ，ｖ）との相関値が高いといえる。利き目が右目であるとして，右目用画像から点ｐ（ｘ，ｙ）を中心としたテンプレート画像が抽出されたものとすると，左目用画像上においてｐ（ｘ，ｙ）と同一水平線上にある各画素ｑ（ｕ，ｖ）で式１の値を算出していき，それらの画素のうち，もっとも値が最小となる点を点ｐ（ｘ，ｙ）と一致する点とする。こうして，右目用画像上のテンプレート画像に対応する左目用画像の画像部分が正確に検出される。
視差調整装置６には，利き目画像上におけるテンプレート画像の位置を表すデータと非利き目画像上におけるテンプレート画像と同じ画像（マッチング画像）の位置を表すデータとが入力するので，左目用画像と右目用画像との視差を比較的正確に調整できる。視差が調整された左目用画像を表す画像データと右目用画像を表す画像データとが立体表示装置７に与えられる。すると，視差が調整された左目用画像と右目用画像とが立体表示装置７に表示され，観賞者は立体画像を観賞できるようになる。たとえば，指定された画像部分の視差を０にしたり，飛び出し度合いを強調することにより，指定された画像部分のを立体視しやすくしたり，立体感を強調したりできる。
第２図は，立体表示システムの処理手順を示すフローチャートである。
上述したように，観賞者の利き目が入力される（ステップ１１）。つづいて，観賞者による立体画像に対する位置指定があったかどうかが確認される（ステップ１２）。
第３図は，立体表示システムの概観を示している。
上述したように，立体表示システムに左目用画像データおよび右目用画像データが与えられると，立体表示装置の表示画面２１には左目用画像と右目用画像とが表示されることにより，立体的な画像が観賞できる。この立体的な画像のうち，視差調整をしたい画像部分２２が観賞者の指ｕによってタッチされる。タッチされたことにより，位置指定があったと見なされ，そのタッチ位置が指定位置２３となる。表示画面２１にはタッチ・パネル（図示略）が形成されており，タッチ位置が検出できるのはいうまでもない。もっとも，タッチ・パネルが無くとも，マウスを利用した位置指定でもよい。
第２図に戻って，指定位置が利き目画像（左目用画像上または右目用画像）上の座標位置に変換される（ステップ１３）。
第４図は，右目用画像の一例である。
設定された利き目が右目であったものとする。利き目が右目の場合，利き目用の画像を見て観賞者（ユーザ，オペレータ）は位置を指定していると考えられる。そのために，観賞者は，右目用画像３０において，その右目用画像３０に含まれる画像部分３１に含まれる位置３２を指定したものと考えられる。表示画面２１における指定位置２３の位置座標は，右目用画像３０をそのまま表示画面２１に表示した場合の位置３２の座標に対応する。
第５図は，左目用画像の一例である。
利き目が右目の場合，立体画像で指定した位置２３は，左目用画像４０を表示画面２１に表示した場合の位置とは異なる。たとえば，立体画像で指定した位置２３に対応する位置４２は，立体画像の指定した画像部分２２を構成する画像部分４１よりも左側となる。
このように，利き目用の画像であれば，指定した位置と画像上の位置とが一致するが，非利き目用の画像では指定した位置と画像上の位置とがずれることとなる。
第２図に戻って，利き目画像からテンプレート画像が検出される（ステップ１４）。
第４図を参照して，上述したように，立体画像２１において指定した位置２３に対応する位置３１から所定範囲内の矩形領域３３（矩形領域でなくともよい）がテンプレート画像領域３３とされる。そのテンプレート画像領域３３の中からエッジ検出処理などを用いてテンプレート画像３１が検出される。もっとも，テンプレート画像領域３３内の画像そのものをテンプレート画像として用いてもよい。
再び第２図に戻って，利き目画像からテンプレート画像３１が検出されると，非利き目画像４０からテンプレート画像３１と同じ画像を検出するマッチング処理が行われる（ステップ１５）。
第５図を参照して，この実施例においては，上述したように，立体画像２１における指定位置２３に対応する非利き目画像４０における位置４２を中心とした左右のサーチ範囲５０にテンプレート画像３１と同じ画像が含まれているかどうかのマッチング処理が行われる。右目用画像３０と左目用画像４０とを用いて立体画像を構成する場合には，それらの右目用画像３０と左目用画像４０とは上下方向のずれはなく，左右方向にのみずれが生じていると考えられるからである。このマッチング処理により，左目用画像４０からテンプレート画像３１と同じ画像部分（マッチング画像）４１が検出される。右目用画像３０における指定位置と左目用画像４０における指定位置とが検出されることとなる。
右目用画像３０から検出されたテンプレート画像３１と，左目用画像４０から検出されたテンプレート画像３１と同じ画像４１との位置ずれ量が視差を表していることとなる。この位置ずれ量は，上述したよう画像３１の中心と画像４１の中心とを測定してもよいし，画像３１の重心と画像４１の重心とを測定してもよい。
第２図に戻って，視差が算出されることにより，算出された視差の調整が行われる（ステップ１６）。指定した位置２３の部分の視差調整が行われることにより，立体画像において観賞者が指定した位置２３の画像部分２２が奥または手前にあるように見えるようになる。
上述した実施例は，利き目が右目の場合であったが，利き目が左目でも同様にして視差調整ができる。
第６図および第７図は，利き目画像からテンプレート画像を検出する処理についてのものである。この処理においては，上述したテンプレート領域内の画像が所定のしきい値以上をもつようなものがテンプレート画像とされる。
第６図は，テンプレート設定装置４の電気的構成を示すブロック図である。
利き目画像を表す画像データおよび指定された位置を表すデータがテンプレート切出し装置６１に入力する。指定された位置を中心として所定の矩形領域がテンプレート候補領域とされる。そのテンプレート候補領域に含まれる画像を表す画像データが分散値計算装置６２に入力する。分散値計算装置６２において，入力した画像データの輝度値の分散値ＶＡＲが式２にもとづいて計算される。但し，ｐ（ｘ，ｙ）はテンプレート候補領域内の各画素の輝度値であり，ｍはテンプレート候補領域内の全画素の平均輝度値，Ｎはテンプレート候補領域内の全画素数である。
分散の大小はテンプレート候補領域内のテクスチャの多少に対応しており，分散値が大きければテンプレート候補領域内にテクスチャが多く含まれており，分散値が小さければテンプレート候補領域内は平坦部である可能性が高く，テンプレート画像を用いたマッチング処理において誤検出が生じる可能性が高い。もっとも，分散値を利用する以外にもテンプレート候補領域内の画素ごとにハイパス・フィルタ，バンドパス・フィルタを利用してテンプレート候補領域内の画像の高周波数信号を抽出し，高周波数信号量を利用することもできる。さらに，テンプレート候補領域内のエッジ成分量を検出し，そのエッジ成分量が基準値以上となるテンプレート候補領域をテンプレート領域と決定するようにしてもよい。
分散値計算装置６２において計算された分散値を表すデータはテンプレート決定装置６３に入力する。
テンプレート決定装置６３に入力したデータによって表される分散値が所定のしきい値未満であると，テンプレート決定装置６３からテンプレート候補領域のサイズ拡大指令が出力され，テンプレート・サイズ設定装置６４に入力する。テンプレート・サイズ設定装置６４において，テンプレート候補領域のサイズが拡大するようにテンプレート切出し装置６１が制御される。テンプレート切出し装置６１において，サイズが拡大したテンプレート候補領域が設定され，そのテンプレート候補領域内の画像を表す画像データが上述のように分散値計算装置６２に入力する。上述したのと同様に分散値計算装置６２において分散値が計算される。分散値が所定のしきい値を超えるまでテンプレート候補領域のサイズが拡大されて上述の処理が繰り返される。もっとも，たとえば，画像の水平幅の２０％を一辺とする矩形を最大サイズと決定しておき，その最大サイズを越えない範囲でテンプレート候補領域のサイズ拡大処理を繰返すようにしてもよい。
テンプレート決定装置６３に入力したデータによって表される分散値が所定のしきい値以上であれば，そのときの矩形領域がテンプレート領域と決定し，決定したテンプレート領域内の画像がテンプレート画像として決定する。決定したテンプレート領域を表すデータがテンプレート出力装置６５に与えられる。
テンプレート出力装置６５には，テンプレート切出し装置６１から，利き目画像から切り出されたテンプレート画像を表す画像データも与えられる。テンプレート決定装置６３において決定したテンプレート領域内の画像を表す画像データがテンプレート切出し装置６１から与えられると，その画像データがテンプレート出力装置６５からテンプレート画像データとして出力される。テンプレート画像データは，上述のようにマッチング装置５に入力する。
第７図は，テンプレート画像検出処理手順（第２図ステップ１４の処理手順）を示すフローチャートである。
上述のように，テンプレート候補領域のサイズが初期化される（ステップ７１）。たとえば，画像横幅の１０％に相当する長さを一辺の長さとする正方形のサイズが初期化されたサイズとなる。利き目画像からテンプレート候補領域内の画像が抽出される（ステップ７２）。テンプレート候補領域内から抽出された画像の分散値が算出される（ステップ７３）。算出された分散値が所定のしきい値以上でなければ（ステップ７４でＮＯ），上述のようにテンプレート候補領域のサイズが拡大されて（ステップ７５），再びステップ７２から７４の処理が繰り返される。
算出された分散値が所定のしきい値以上となると（ステップ７４でＹＥＳ），テンプレート候補領域がテンプレート領域と決定し，その領域内の画像がテンプレート画像として決定する（ステップ７６）。
第８図から第１３図は，他の実施例を示している。この実施例では，観賞者の視線方向を検出し，非利き目画像においてテンプレート画像と同じ画像を検出するサーチ範囲を，その視線方向に応じて決定するものである。
第８図は，立体表示システムの電気的構成を示すブロック図である。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
立体表示システムには，視線検出装置８０が含まれている。視線検出装置８０には，撮像装置８１が含まれている。この撮像装置８１によって，観賞者の左目および右目が撮像される。左目を撮像することにより得られた画像データおよび右目を撮像することにより得られた画像データは信号処理装置８２に入力する。信号処理装置８２において，所定の画像処理が行われ視線推定装置８３に入力する。視線推定装置８３において，左目用画像から左目の虹彩が検出され，右目用画像から右目の虹彩が検出される。検出された虹彩にもとづいて観賞者の視線方向が検出される。視線方向を表すデータはサーチ範囲設定装置８４に入力する。視線方向の検出方法については，「視線計測のためのＬＭｅｄＳを用いた虹彩検出法」（「画像の認識・理解シンポジウム（ＭＩＲＵ２００４）」２００４年７月）などを利用することもできる。
視線方向にもとづいてサーチ範囲設定装置８４においてテンプレート画像のマッチング処理を行うサーチ範囲が決定される。決定されたサーチ範囲を表すデータはサーチ範囲決定装置８４からマッチング装置５に入力する。決定されたサーチ範囲で非利き目画像の中からテンプレート画像と同じ画像を検出するマッチング処理が行われる。
第９図および第１０図は，観賞者の視線方向，観賞者が見ている立体画像の画像部分，立体画像を構成する右目用画像および左目用画像の関係を示している。
第９図は，観賞者が，立体画像のうち立体表示装置の表示画面２１よりも前に見える画像部分９５を見ているときの状態を示している。
表示画面２１の手前に見える立体画像を構成する画像部分（交差点）９５を観賞者の左目１０１および右目１０２によって見ている場合には，その画像部分９５を構成する右目用画像９１の画像部分９２と左目用画像９３の画像部分９４との位置関係は，右目用画像９１を構成する画像部分９２は左目用画像９３を構成する画像部分９４よりも左側にある。
第１０図は，観賞者が立体画像のうち，立体表示装置の表示画面２１よりも奥に見える画像部分１１５を見ているときの状態を示している。
表示画面２１の奥に見える立体画像を構成する画像部分（交差点）１１５を観賞者の左目１０１および右目１０２によって見ている場合には，その画像部分１１５を構成する右目用画像１１１の画像部分１１２と左目用画像１１３の画像部分１１４との位置関係は，立体表示装置の表示画面２１よりも手前に見える画像を見ている場合とは逆に，右目用画像１１１を構成する画像部分１１２は左目用画像１１３を構成する画像部分１１４よりも右側にある。
第９図に示すように，表示画面２１よりも手前の画像部分９５を見ていることが視線検出により分かれば，利き目が右目の場合には，画像部分９５を指定したときには右目用画像９１の画像部分９２を指定していると考えられ，その画像部分９５に対応する左目用画像９３を構成する画像部分９４は右目用画像９１の画像部分９２よりも右側にあるので，非利き目画像である左目用画像９３におけるサーチ範囲は指定された位置よりも右側とすればよいことが分かる。（視差ｄ１）
第１０図に示すように，表示画面２１よりも奥の画像部分１１５を見ていることが視線検出により分かれば，利き目が右目の場合には，画像部分１１５を指定したときには右目用画像１１１の画像部分１１２を指定していると考えられ，その画像部分１１５に対応する左目用画像１１３を構成する画像部分１１４は右目用画像１１１の画像部分１１２よりも左側にあるので，非利き目画像である左目用画像１１３におけるサーチ範囲は指定された位置よりも左側とすればよいことが分かる。（視差ｄ２）
上述の例では，利き目を右目としたが，利き目が左目でも同様に視線方向（観賞者が見ている立体画像の画像部分（交差点）が表示画面２１よりも手前か奥か）からサーチ範囲を限定できるのは理解できよう。
第１１図は，立体表示システムの処理手順を示すフローチャートである。この図において，第２図に示す処理と同一の処理については同一符号を付して説明を省略する。
上述のように，観賞者の視線方向が検出される（ステップ１２１）。検出された視線方向にもとづいて視線の交差点が表示画面よりも手前か奥かが確認される（ステップ１２２）。上述のように，観賞者が見ている画像部分が表示画面よりも手前であれば，視線の交差点は表示画面よりも手前であり，観賞者が見ている画像部分が表示画面よりも奥であれば，視線の交差点は表示画面よりも奥となる。
視線の交差点が表示画面よりも手前であれば（ステップ１２２でＹＥＳ），テンプレート画像と同じ画像を検出するマッチング処理のサーチ範囲が非利き目方向側に設定される（ステップ１２３）。たとえば，利き目が右目であれば非利き目側方向は左側であり，利き目が左目であれば非利き目側方向は右側である。視線の交差点が表示画面よりも奥であれば（ステップ１２２でＮＯ），マッチング処理のサーチ範囲は利き目方向側に設定される（ステップ１２４）。
第１２図から第１４図は，他の実施例を示している。
第１２図は，立体画像表示装置の電気的構成を示すブロック図である。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
この実施例では，立体表示画面上にタッチ・パネル（図示略）が形成されている。このタッチ・パネル上を位置指定のために押したときの圧力を検出するために，立体表示システムには，押圧検知装置１３１が設けられている。
タッチ・パネル上を位置指定のために押す場合，第９図に示すように，表示画面２１の手前に見える画像部分９５を押そうとするときには，押す力が基準値よりも小さくなると考えられるので，押した時の圧力は小さくなる。これに対して，第１０図に示すように，表示画面２１の奥に見える画像部分を押そうとするときには，押す力が基準値よりも大きくなると考えられるので，押した時の圧力は大きくなる。基準値は，視差をもたない立体画像の画像部分が表示画面上に表示された場合に鑑賞者がタッチしたときの押圧力である。このように，視差をもたない画像部分を表示して，その画像部分がタッチされたときの押圧力が基準値となる。好ましくは，視差を持たない立体画像部分が表示画面上に表示された場合に鑑賞者がタッチしたときの押圧力の検出を複数回行い，その平均値，最頻値，メディアン値を基準値とする。
押圧検知装置１３１において検知された圧力が所定の基準値以上の場合には観賞者が押そうとしている画像部分は表示画面２１の奥にあると考えられる。そのために，サーチ範囲設定装置１３２は，マッチング処理のためのサーチ範囲は上述のように非利き目方向側に設定する。押圧検知装置１３１において検知された圧力が所定の基準値未満の場合には観賞者が押そうとしている画像部分は表示画面２１の手前にあると考えられる。そのために，サーチ範囲設定装置１３２は，マッチング処理のためのサーチ範囲は上述のように利き目方向側に設定する。
第１３図および第１４図は，立体表示システムの処理手順を示すフローチャートである。これらの図において，第２図に示す処理と同一処理については同一符号を付して説明を省略する。
観賞者によるタッチ動作があると（ステップ１４１でＹＥＳ），そのタッチ位置における左目用画像および右目用画像のそれぞれの座標位置が算出される（ステップ１４２）。つづいて，タッチの際の押圧力Ｐが検出される（ステップ１４３）。
押圧力Ｐが基準値以上であれば（ステップ１４４でＹＥＳ），マッチング処理のサーチ範囲が非利き目方向側に設定される（ステップ１２３）。押圧力が基準値未満であれば（ステップ１４４でＮＯ），マッチング処理のサーチ範囲が利き目方向側に設定される（ステップ１２４）。非利き目画像においてマッチング処理が行われ（ステップ１５），タッチ位置の視差調整が行われる（ステップ１４５）。タッチ動作の処理が終了するまでステップ１４１からの処理が繰り返される（ステップ１４６）。
第１５図から第１８図は，他の実施例を示している。
上述した実施例では，利き目画像からテンプレート画像を検出し，検出されたテンプレート画像と同じ画像が非利き目画像から検出するマッチング処理が行われているが，この実施例では，利き目画像から特徴点を検出し，非利き目画像から特徴点に対応する点である対応特徴点を検出するものである。検出された特徴点と対応特徴点との距離差とから視差調整が行われる。特徴点は，複数の方向に強い信号勾配をもつ点（画素）であり，たとえば，Ｈａｒｒｉｓの手法，Ｓｈｉ−Ｔｏｍａｓｉの手法を用いて抽出できる。特徴点（ｘｉ，ｙｉ）に対応する対応特徴点（Ｘｉ，Ｙｉ）の検出方法は，たとえば，Ｌｕｃａｓ−Ｋａｎａｄｅ法がある。特徴点における視差ｄは，ｄ＝Ｘｉ−ｘｉで算出できる。特徴点が複数ある場合には，右目用画像上で指定位置ｘｔ１に存在する画像部分に対応する左目用画像上での被写体位置ｘｔ２は式３により算出される。
ｘｔ２＝Σｄｉ／Ｎ＋ｘｔ１ ‥‥式３
但し，Ｎは特徴点の数，Σｄｉは各特徴点のもつ視差の総和である。式３においては，複数の特徴点の視差を平均しているが，メディアン値にする，指定位置にもっとも近い特徴点の視差を用いるなどでもよい。
第１５図は，立体表示システムの電気的構成を示すブロック図である。この図において，第２図に示すものと同一物については同一符号を付して説明を省略する。
利き目画像を表す画像データおよび位置入力装置３から出力される指定位置を表すデータが特徴点抽出装置１５１に入力する。
第１６図は，右目用画像（右目用画像が利き目画像であるとする）の一例である。
右目用画像１６０において，指定された位置に対応する位置が位置１６２であるとする。その位置１６２から所定範囲が特徴点抽出領域１６３とされる。この特徴点抽出領域１６３内に存在する画像１６１の特徴点１６４が検出される。
第１６図に示すように，利き目画像から検出された特徴点の情報が特徴点抽出装置１５１から対応点検出装置１５２に与えられる。対応点検出装置１５２には，特徴点情報のほかにセレクタ２から利き目用画像データおよび非利き目用画像データが与えられる。対応点検出装置１５２において，利き目用画像データおよび非利き目用画像データにもとづいて対応特徴点が検出される。
第１７図は，左目用画像の一例である。
左目用画像１７０において上述したように右目用画像１６０における指定位置１６２を含む画像１６１に対応する画像１７１のまわりの対応特徴点１７４が検出される。
第１８図は，立体表示システムの処理手順を示すフローチャートである。この図において，第２図に示す処理と同一の処理については同一符号を付して説明を省略する。
上述のように，利き目画像上に特徴点抽出領域が設定される（ステップ１８１）。設定された特徴点抽出領域内の画像から特徴点が抽出される（ステップ１８２）。非利き目画像から対応特徴点が検出される（ステップ１８３）。検出された特徴点と対応特徴点とのずれから被写体のずれが検出される（ステップ１８４）。検出されたずれにもとづいて視差調整が行われる（ステップ１６）。
第１９図から第２２図は，さらに他の実施例を示している。右目用画像における指定位置と，その指定位置に対応する左目用画像における対応位置（または左目用画像における指定位置と，その指定位置に対応する右目用画像における対応位置）と，の対応関係を履歴テーブルに記憶しておき，指定された位置近傍の対応関係が履歴テーブルに記憶されている場合には，その記憶されている対応関係を利用するものである。
第１９図は，立体画像表示装置の電気的構成を示すブロック図である。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
マッチング装置５からは，入力された指定位置と検出された対応位置とのそれぞれの情報が出力され履歴記憶装置１９１に入力する。履歴記憶装置１９１に記憶されている情報は履歴比較装置１９２に入力する。位置入力装置３から出力される指定位置情報は履歴比較装置１９２にも入力する。履歴比較装置１９２において，履歴記憶装置１９１にすでに記憶されている指定位置の対応関係に近い位置が指定された場合には，テンプレート画像の検出処理が行われることなく履歴記憶装置１９１に記憶されている位置情報が利用される。
第２０図は，履歴テーブルの一例である。
履歴番号ごとに右画像上の位置と，その右画像上の位置に対応する左画像上の位置とが記憶されている。右画像が指定された場合には，右画像上における指定位置が右画像上の位置として記憶され，右画像上における指定位置に対応する左画像上の対応位置が左画像上の位置として記憶される。逆に左画像が指定された場合には，左画像上における指定位置が左画像上の位置として記憶され，左画像上における指定位置に対応する右画像上の対応位置が右画像上の位置として記憶される。このような履歴テーブルが画像ごとに生成されて，記憶されている。
第２１図および第２２図は，立体表示システムの処理手順を示すフローチャートである。これらの図において，第２図に示す処理と同一の処理については同一符号を付して説明を省略する。
入力された指定位置の座標位置が検出されると，利き目画像上における指定位置であって，その指定位置から所定の半径ｒ内に履歴テーブルに指定位置が記憶されているかどうかが確認される（ステップ２０２）。
記憶されていると（ステップ２０２でＹＥＳ），履歴情報テーブルから対応する位置が読み取られる（ステップ２０３）。また，指定された位置から所定の半径ｒ内に記憶されている位置についても読み取られる。このように履歴情報テーブルから，右画像上の位置と左画像上の位置とが読み取られる。たとえば，右画像上において指定された位置の座標が（３００，１１０）であるとし，その指定された位置から半径ｒ（たとえば，２０画素）内に右画像上の位置が記憶されているかどうかが判定される。たとえば，履歴番号３で指定される右画像上の位置（３１０，１００）があるから，履歴情報テーブルからは，履歴番号３で指定される座標（３１０，１００）（右画像上の位置）と座標（３１０，１００）（左画像上の位置）とが読み取られることとなる。読み取られた座標を利用して，視差調整が行われる（ステップ１６）。
指定位置から所定の半径ｒ内に履歴テーブルに指定位置が記憶されていないと（ステップ２０２でＮＯ），上述のように，テンプレート画像を検出し，検出されたテンプレート画像とのマッチング処理が行われる（ステップ１４，１５）。検出された指定位置と対応位置とのそれぞれの座標の対応関係が履歴情報として履歴情報テーブルに格納される（ステップ２０４）。
立体画像表示装置は，観賞者の右目で見る右目用画像と観賞者の左目で見る左目用画像とを立体表示装置７の表示画面上に表示することにより，観賞者に立体的な画像を見せるものである。この実施例においては，立体表示装置７の表示画面に表示されている被写体像のうち，観賞者が指定した位置に対応する右目用画像の位置と左目用画像における位置とを正確に測定するものである。
まず，利き目情報入力装置１から観賞者（ユーザ，オペレータ）の利き目が入力される。利き目情報入力装置１は，利き目が左目または右目であることを示す指令を出力する利き目情報入力ボタンであってもよいし，立体表示装置７の表示画面上に利き目情報を入力するメニューを表示し，そのメニューから設定するようにしてもよい。利き目情報入力装置１から出力された観賞者の利き目を表すデータは，セレクタ２に入力する。
左目用の画像を表す左目用画像データおよび右目用の画像を表す右目用画像データは，いずれもセレクタ２および視差調整装置６に入力する。左目用画像データまたは右目用画像データのうち，利き目情報入力装置１から入力された利き目情報にもとづいて利き目で見る画像データ（利き目画像データ）がテンプレート設定装置４に入力し，利き目と異なる目で見る画像データ（非利き目画像データ）がマッチング装置５に入力するように，セレクタ２が切り換えられる。
左目用画像データおよび右目用画像データは視差調整装置６を介して立体表示装置７に与えられる。立体表示装置７の表示画面には，左目用画像と右目用画像とが表示されて観賞者には立体的な画像が見える。
立体的な画像のうち，視差調整をしたい部分（必ずしも視差調整でなくともよい）が観賞者によって位置入力装置３を用いて指定される。立体表示装置７の表示画面上にタッチ・パネルが形成されていれば，そのタッチ・パネル上をタッチすることにより位置指定される。タッチ・パネルが形成されていない場合には，たとえば，マウス操作に応じて移動するカーソルを表示画面上に表示し，マウスによるクリック動作により位置を指定できる。
位置入力装置３から出力される指定位置を表すデータは，テンプレート設定装置４に入力する。テンプレート設定装置４において，利き目画像のうち，観賞者に指定された位置近傍に存在する画像部分がテンプレート画像として設定される。設定されたテンプレート画像を表すデータおよびそのテンプレート画像の利き目画像上における位置（たとえば，テンプレート画像の中心位置，重心位置など）を表すデータがテンプレート設定装置４からマッチング装置５に入力する。利き目画像上におけるテンプレート画像の位置を表すデータは，マッチング装置５を単に通過して視差調整装置６に入力する。
マッチング装置５においては，入力した非利き目画像データとテンプレート画像データとから，非利き目画像のうち，テンプレート画像と同じ画像部分（マッチング画像）の位置が検出される。すると，非利き目画像上におけるテンプレート画像と同じ画像部分の位置を表すデータがマッチング装置５から視差調整装置６に与えられる。
テンプレート画像と同じ画像を検出するマッチング処理は，次のようにして行うことができる。右目用画像上の点ｐ（ｘ，ｙ）と左目用画像上の点ｑ（ｕ，ｖ）との相関性を判断するもっとも基本的な基準は点ｐ，ｑのそれぞれを中心とするウインドウ内における残差の絶対値和である。この残差の絶対値和は式１によって表される。
視差調整装置６には，利き目画像上におけるテンプレート画像の位置を表すデータと非利き目画像上におけるテンプレート画像と同じ画像（マッチング画像）の位置を表すデータとが入力するので，左目用画像と右目用画像との視差を比較的正確に調整できる。視差が調整された左目用画像を表す画像データと右目用画像を表す画像データとが立体表示装置７に与えられる。すると，視差が調整された左目用画像と右目用画像とが立体表示装置７に表示され，観賞者は立体画像を観賞できるようになる。たとえば，指定された画像部分の視差を０にしたり，飛び出し度合いを強調することにより，指定された画像部分のを立体視しやすくしたり，立体感を強調したりできる。
第２図は，立体表示システムの処理手順を示すフローチャートである。
上述したように，観賞者の利き目が入力される（ステップ１１）。つづいて，観賞者による立体画像に対する位置指定があったかどうかが確認される（ステップ１２）。
第３図は，立体表示システムの概観を示している。
上述したように，立体表示システムに左目用画像データおよび右目用画像データが与えられると，立体表示装置の表示画面２１には左目用画像と右目用画像とが表示されることにより，立体的な画像が観賞できる。この立体的な画像のうち，視差調整をしたい画像部分２２が観賞者の指ｕによってタッチされる。タッチされたことにより，位置指定があったと見なされ，そのタッチ位置が指定位置２３となる。表示画面２１にはタッチ・パネル（図示略）が形成されており，タッチ位置が検出できるのはいうまでもない。もっとも，タッチ・パネルが無くとも，マウスを利用した位置指定でもよい。
第２図に戻って，指定位置が利き目画像（左目用画像上または右目用画像）上の座標位置に変換される（ステップ１３）。
第４図は，右目用画像の一例である。
設定された利き目が右目であったものとする。利き目が右目の場合，利き目用の画像を見て観賞者（ユーザ，オペレータ）は位置を指定していると考えられる。そのために，観賞者は，右目用画像３０において，その右目用画像３０に含まれる画像部分３１に含まれる位置３２を指定したものと考えられる。表示画面２１における指定位置２３の位置座標は，右目用画像３０をそのまま表示画面２１に表示した場合の位置３２の座標に対応する。
第５図は，左目用画像の一例である。
利き目が右目の場合，立体画像で指定した位置２３は，左目用画像４０を表示画面２１に表示した場合の位置とは異なる。たとえば，立体画像で指定した位置２３に対応する位置４２は，立体画像の指定した画像部分２２を構成する画像部分４１よりも左側となる。
このように，利き目用の画像であれば，指定した位置と画像上の位置とが一致するが，非利き目用の画像では指定した位置と画像上の位置とがずれることとなる。
第２図に戻って，利き目画像からテンプレート画像が検出される（ステップ１４）。
第４図を参照して，上述したように，立体画像２１において指定した位置２３に対応する位置３１から所定範囲内の矩形領域３３（矩形領域でなくともよい）がテンプレート画像領域３３とされる。そのテンプレート画像領域３３の中からエッジ検出処理などを用いてテンプレート画像３１が検出される。もっとも，テンプレート画像領域３３内の画像そのものをテンプレート画像として用いてもよい。
再び第２図に戻って，利き目画像からテンプレート画像３１が検出されると，非利き目画像４０からテンプレート画像３１と同じ画像を検出するマッチング処理が行われる（ステップ１５）。
第５図を参照して，この実施例においては，上述したように，立体画像２１における指定位置２３に対応する非利き目画像４０における位置４２を中心とした左右のサーチ範囲５０にテンプレート画像３１と同じ画像が含まれているかどうかのマッチング処理が行われる。右目用画像３０と左目用画像４０とを用いて立体画像を構成する場合には，それらの右目用画像３０と左目用画像４０とは上下方向のずれはなく，左右方向にのみずれが生じていると考えられるからである。このマッチング処理により，左目用画像４０からテンプレート画像３１と同じ画像部分（マッチング画像）４１が検出される。右目用画像３０における指定位置と左目用画像４０における指定位置とが検出されることとなる。
右目用画像３０から検出されたテンプレート画像３１と，左目用画像４０から検出されたテンプレート画像３１と同じ画像４１との位置ずれ量が視差を表していることとなる。この位置ずれ量は，上述したよう画像３１の中心と画像４１の中心とを測定してもよいし，画像３１の重心と画像４１の重心とを測定してもよい。
第２図に戻って，視差が算出されることにより，算出された視差の調整が行われる（ステップ１６）。指定した位置２３の部分の視差調整が行われることにより，立体画像において観賞者が指定した位置２３の画像部分２２が奥または手前にあるように見えるようになる。
上述した実施例は，利き目が右目の場合であったが，利き目が左目でも同様にして視差調整ができる。
第６図および第７図は，利き目画像からテンプレート画像を検出する処理についてのものである。この処理においては，上述したテンプレート領域内の画像が所定のしきい値以上をもつようなものがテンプレート画像とされる。
第６図は，テンプレート設定装置４の電気的構成を示すブロック図である。
利き目画像を表す画像データおよび指定された位置を表すデータがテンプレート切出し装置６１に入力する。指定された位置を中心として所定の矩形領域がテンプレート候補領域とされる。そのテンプレート候補領域に含まれる画像を表す画像データが分散値計算装置６２に入力する。分散値計算装置６２において，入力した画像データの輝度値の分散値ＶＡＲが式２にもとづいて計算される。但し，ｐ（ｘ，ｙ）はテンプレート候補領域内の各画素の輝度値であり，ｍはテンプレート候補領域内の全画素の平均輝度値，Ｎはテンプレート候補領域内の全画素数である。
分散値計算装置６２において計算された分散値を表すデータはテンプレート決定装置６３に入力する。
テンプレート決定装置６３に入力したデータによって表される分散値が所定のしきい値未満であると，テンプレート決定装置６３からテンプレート候補領域のサイズ拡大指令が出力され，テンプレート・サイズ設定装置６４に入力する。テンプレート・サイズ設定装置６４において，テンプレート候補領域のサイズが拡大するようにテンプレート切出し装置６１が制御される。テンプレート切出し装置６１において，サイズが拡大したテンプレート候補領域が設定され，そのテンプレート候補領域内の画像を表す画像データが上述のように分散値計算装置６２に入力する。上述したのと同様に分散値計算装置６２において分散値が計算される。分散値が所定のしきい値を超えるまでテンプレート候補領域のサイズが拡大されて上述の処理が繰り返される。もっとも，たとえば，画像の水平幅の２０％を一辺とする矩形を最大サイズと決定しておき，その最大サイズを越えない範囲でテンプレート候補領域のサイズ拡大処理を繰返すようにしてもよい。
テンプレート決定装置６３に入力したデータによって表される分散値が所定のしきい値以上であれば，そのときの矩形領域がテンプレート領域と決定し，決定したテンプレート領域内の画像がテンプレート画像として決定する。決定したテンプレート領域を表すデータがテンプレート出力装置６５に与えられる。
テンプレート出力装置６５には，テンプレート切出し装置６１から，利き目画像から切り出されたテンプレート画像を表す画像データも与えられる。テンプレート決定装置６３において決定したテンプレート領域内の画像を表す画像データがテンプレート切出し装置６１から与えられると，その画像データがテンプレート出力装置６５からテンプレート画像データとして出力される。テンプレート画像データは，上述のようにマッチング装置５に入力する。
第７図は，テンプレート画像検出処理手順（第２図ステップ１４の処理手順）を示すフローチャートである。
上述のように，テンプレート候補領域のサイズが初期化される（ステップ７１）。たとえば，画像横幅の１０％に相当する長さを一辺の長さとする正方形のサイズが初期化されたサイズとなる。利き目画像からテンプレート候補領域内の画像が抽出される（ステップ７２）。テンプレート候補領域内から抽出された画像の分散値が算出される（ステップ７３）。算出された分散値が所定のしきい値以上でなければ（ステップ７４でＮＯ），上述のようにテンプレート候補領域のサイズが拡大されて（ステップ７５），再びステップ７２から７４の処理が繰り返される。
算出された分散値が所定のしきい値以上となると（ステップ７４でＹＥＳ），テンプレート候補領域がテンプレート領域と決定し，その領域内の画像がテンプレート画像として決定する（ステップ７６）。
第８図から第１３図は，他の実施例を示している。この実施例では，観賞者の視線方向を検出し，非利き目画像においてテンプレート画像と同じ画像を検出するサーチ範囲を，その視線方向に応じて決定するものである。
第８図は，立体表示システムの電気的構成を示すブロック図である。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
立体表示システムには，視線検出装置８０が含まれている。視線検出装置８０には，撮像装置８１が含まれている。この撮像装置８１によって，観賞者の左目および右目が撮像される。左目を撮像することにより得られた画像データおよび右目を撮像することにより得られた画像データは信号処理装置８２に入力する。信号処理装置８２において，所定の画像処理が行われ視線推定装置８３に入力する。視線推定装置８３において，左目用画像から左目の虹彩が検出され，右目用画像から右目の虹彩が検出される。検出された虹彩にもとづいて観賞者の視線方向が検出される。視線方向を表すデータはサーチ範囲設定装置８４に入力する。視線方向の検出方法については，「視線計測のためのＬＭｅｄＳを用いた虹彩検出法」（「画像の認識・理解シンポジウム（ＭＩＲＵ２００４）」２００４年７月）などを利用することもできる。
視線方向にもとづいてサーチ範囲設定装置８４においてテンプレート画像のマッチング処理を行うサーチ範囲が決定される。決定されたサーチ範囲を表すデータはサーチ範囲決定装置８４からマッチング装置５に入力する。決定されたサーチ範囲で非利き目画像の中からテンプレート画像と同じ画像を検出するマッチング処理が行われる。
第９図および第１０図は，観賞者の視線方向，観賞者が見ている立体画像の画像部分，立体画像を構成する右目用画像および左目用画像の関係を示している。
第９図は，観賞者が，立体画像のうち立体表示装置の表示画面２１よりも前に見える画像部分９５を見ているときの状態を示している。
表示画面２１の手前に見える立体画像を構成する画像部分（交差点）９５を観賞者の左目１０１および右目１０２によって見ている場合には，その画像部分９５を構成する右目用画像９１の画像部分９２と左目用画像９３の画像部分９４との位置関係は，右目用画像９１を構成する画像部分９２は左目用画像９３を構成する画像部分９４よりも左側にある。
第１０図は，観賞者が立体画像のうち，立体表示装置の表示画面２１よりも奥に見える画像部分１１５を見ているときの状態を示している。
表示画面２１の奥に見える立体画像を構成する画像部分（交差点）１１５を観賞者の左目１０１および右目１０２によって見ている場合には，その画像部分１１５を構成する右目用画像１１１の画像部分１１２と左目用画像１１３の画像部分１１４との位置関係は，立体表示装置の表示画面２１よりも手前に見える画像を見ている場合とは逆に，右目用画像１１１を構成する画像部分１１２は左目用画像１１３を構成する画像部分１１４よりも右側にある。
第９図に示すように，表示画面２１よりも手前の画像部分９５を見ていることが視線検出により分かれば，利き目が右目の場合には，画像部分９５を指定したときには右目用画像９１の画像部分９２を指定していると考えられ，その画像部分９５に対応する左目用画像９３を構成する画像部分９４は右目用画像９１の画像部分９２よりも右側にあるので，非利き目画像である左目用画像９３におけるサーチ範囲は指定された位置よりも右側とすればよいことが分かる。（視差ｄ１）
第１０図に示すように，表示画面２１よりも奥の画像部分１１５を見ていることが視線検出により分かれば，利き目が右目の場合には，画像部分１１５を指定したときには右目用画像１１１の画像部分１１２を指定していると考えられ，その画像部分１１５に対応する左目用画像１１３を構成する画像部分１１４は右目用画像１１１の画像部分１１２よりも左側にあるので，非利き目画像である左目用画像１１３におけるサーチ範囲は指定された位置よりも左側とすればよいことが分かる。（視差ｄ２）
上述の例では，利き目を右目としたが，利き目が左目でも同様に視線方向（観賞者が見ている立体画像の画像部分（交差点）が表示画面２１よりも手前か奥か）からサーチ範囲を限定できるのは理解できよう。
第１１図は，立体表示システムの処理手順を示すフローチャートである。この図において，第２図に示す処理と同一の処理については同一符号を付して説明を省略する。
上述のように，観賞者の視線方向が検出される（ステップ１２１）。検出された視線方向にもとづいて視線の交差点が表示画面よりも手前か奥かが確認される（ステップ１２２）。上述のように，観賞者が見ている画像部分が表示画面よりも手前であれば，視線の交差点は表示画面よりも手前であり，観賞者が見ている画像部分が表示画面よりも奥であれば，視線の交差点は表示画面よりも奥となる。
視線の交差点が表示画面よりも手前であれば（ステップ１２２でＹＥＳ），テンプレート画像と同じ画像を検出するマッチング処理のサーチ範囲が非利き目方向側に設定される（ステップ１２３）。たとえば，利き目が右目であれば非利き目側方向は左側であり，利き目が左目であれば非利き目側方向は右側である。視線の交差点が表示画面よりも奥であれば（ステップ１２２でＮＯ），マッチング処理のサーチ範囲は利き目方向側に設定される（ステップ１２４）。
第１２図から第１４図は，他の実施例を示している。
第１２図は，立体画像表示装置の電気的構成を示すブロック図である。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
この実施例では，立体表示画面上にタッチ・パネル（図示略）が形成されている。このタッチ・パネル上を位置指定のために押したときの圧力を検出するために，立体表示システムには，押圧検知装置１３１が設けられている。
タッチ・パネル上を位置指定のために押す場合，第９図に示すように，表示画面２１の手前に見える画像部分９５を押そうとするときには，押す力が基準値よりも小さくなると考えられるので，押した時の圧力は小さくなる。これに対して，第１０図に示すように，表示画面２１の奥に見える画像部分を押そうとするときには，押す力が基準値よりも大きくなると考えられるので，押した時の圧力は大きくなる。基準値は，視差をもたない立体画像の画像部分が表示画面上に表示された場合に鑑賞者がタッチしたときの押圧力である。このように，視差をもたない画像部分を表示して，その画像部分がタッチされたときの押圧力が基準値となる。好ましくは，視差を持たない立体画像部分が表示画面上に表示された場合に鑑賞者がタッチしたときの押圧力の検出を複数回行い，その平均値，最頻値，メディアン値を基準値とする。
押圧検知装置１３１において検知された圧力が所定の基準値以上の場合には観賞者が押そうとしている画像部分は表示画面２１の奥にあると考えられる。そのために，サーチ範囲設定装置１３２は，マッチング処理のためのサーチ範囲は上述のように非利き目方向側に設定する。押圧検知装置１３１において検知された圧力が所定の基準値未満の場合には観賞者が押そうとしている画像部分は表示画面２１の手前にあると考えられる。そのために，サーチ範囲設定装置１３２は，マッチング処理のためのサーチ範囲は上述のように利き目方向側に設定する。
第１３図および第１４図は，立体表示システムの処理手順を示すフローチャートである。これらの図において，第２図に示す処理と同一処理については同一符号を付して説明を省略する。
観賞者によるタッチ動作があると（ステップ１４１でＹＥＳ），そのタッチ位置における左目用画像および右目用画像のそれぞれの座標位置が算出される（ステップ１４２）。つづいて，タッチの際の押圧力Ｐが検出される（ステップ１４３）。
押圧力Ｐが基準値以上であれば（ステップ１４４でＹＥＳ），マッチング処理のサーチ範囲が非利き目方向側に設定される（ステップ１２３）。押圧力が基準値未満であれば（ステップ１４４でＮＯ），マッチング処理のサーチ範囲が利き目方向側に設定される（ステップ１２４）。非利き目画像においてマッチング処理が行われ（ステップ１５），タッチ位置の視差調整が行われる（ステップ１４５）。タッチ動作の処理が終了するまでステップ１４１からの処理が繰り返される（ステップ１４６）。
第１５図から第１８図は，他の実施例を示している。
上述した実施例では，利き目画像からテンプレート画像を検出し，検出されたテンプレート画像と同じ画像が非利き目画像から検出するマッチング処理が行われているが，この実施例では，利き目画像から特徴点を検出し，非利き目画像から特徴点に対応する点である対応特徴点を検出するものである。検出された特徴点と対応特徴点との距離差とから視差調整が行われる。特徴点は，複数の方向に強い信号勾配をもつ点（画素）であり，たとえば，Ｈａｒｒｉｓの手法，Ｓｈｉ−Ｔｏｍａｓｉの手法を用いて抽出できる。特徴点（ｘｉ，ｙｉ）に対応する対応特徴点（Ｘｉ，Ｙｉ）の検出方法は，たとえば，Ｌｕｃａｓ−Ｋａｎａｄｅ法がある。特徴点における視差ｄは，ｄ＝Ｘｉ−ｘｉで算出できる。特徴点が複数ある場合には，右目用画像上で指定位置ｘｔ１に存在する画像部分に対応する左目用画像上での被写体位置ｘｔ２は式３により算出される。
ｘｔ２＝Σｄｉ／Ｎ＋ｘｔ１ ‥‥式３
但し，Ｎは特徴点の数，Σｄｉは各特徴点のもつ視差の総和である。式３においては，複数の特徴点の視差を平均しているが，メディアン値にする，指定位置にもっとも近い特徴点の視差を用いるなどでもよい。
第１５図は，立体表示システムの電気的構成を示すブロック図である。この図において，第２図に示すものと同一物については同一符号を付して説明を省略する。
利き目画像を表す画像データおよび位置入力装置３から出力される指定位置を表すデータが特徴点抽出装置１５１に入力する。
第１６図は，右目用画像（右目用画像が利き目画像であるとする）の一例である。
右目用画像１６０において，指定された位置に対応する位置が位置１６２であるとする。その位置１６２から所定範囲が特徴点抽出領域１６３とされる。この特徴点抽出領域１６３内に存在する画像１６１の特徴点１６４が検出される。
第１６図に示すように，利き目画像から検出された特徴点の情報が特徴点抽出装置１５１から対応点検出装置１５２に与えられる。対応点検出装置１５２には，特徴点情報のほかにセレクタ２から利き目用画像データおよび非利き目用画像データが与えられる。対応点検出装置１５２において，利き目用画像データおよび非利き目用画像データにもとづいて対応特徴点が検出される。
第１７図は，左目用画像の一例である。
左目用画像１７０において上述したように右目用画像１６０における指定位置１６２を含む画像１６１に対応する画像１７１のまわりの対応特徴点１７４が検出される。
第１８図は，立体表示システムの処理手順を示すフローチャートである。この図において，第２図に示す処理と同一の処理については同一符号を付して説明を省略する。
上述のように，利き目画像上に特徴点抽出領域が設定される（ステップ１８１）。設定された特徴点抽出領域内の画像から特徴点が抽出される（ステップ１８２）。非利き目画像から対応特徴点が検出される（ステップ１８３）。検出された特徴点と対応特徴点とのずれから被写体のずれが検出される（ステップ１８４）。検出されたずれにもとづいて視差調整が行われる（ステップ１６）。
第１９図から第２２図は，さらに他の実施例を示している。右目用画像における指定位置と，その指定位置に対応する左目用画像における対応位置（または左目用画像における指定位置と，その指定位置に対応する右目用画像における対応位置）と，の対応関係を履歴テーブルに記憶しておき，指定された位置近傍の対応関係が履歴テーブルに記憶されている場合には，その記憶されている対応関係を利用するものである。
第１９図は，立体画像表示装置の電気的構成を示すブロック図である。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
マッチング装置５からは，入力された指定位置と検出された対応位置とのそれぞれの情報が出力され履歴記憶装置１９１に入力する。履歴記憶装置１９１に記憶されている情報は履歴比較装置１９２に入力する。位置入力装置３から出力される指定位置情報は履歴比較装置１９２にも入力する。履歴比較装置１９２において，履歴記憶装置１９１にすでに記憶されている指定位置の対応関係に近い位置が指定された場合には，テンプレート画像の検出処理が行われることなく履歴記憶装置１９１に記憶されている位置情報が利用される。
第２０図は，履歴テーブルの一例である。
履歴番号ごとに右画像上の位置と，その右画像上の位置に対応する左画像上の位置とが記憶されている。右画像が指定された場合には，右画像上における指定位置が右画像上の位置として記憶され，右画像上における指定位置に対応する左画像上の対応位置が左画像上の位置として記憶される。逆に左画像が指定された場合には，左画像上における指定位置が左画像上の位置として記憶され，左画像上における指定位置に対応する右画像上の対応位置が右画像上の位置として記憶される。このような履歴テーブルが画像ごとに生成されて，記憶されている。
第２１図および第２２図は，立体表示システムの処理手順を示すフローチャートである。これらの図において，第２図に示す処理と同一の処理については同一符号を付して説明を省略する。
入力された指定位置の座標位置が検出されると，利き目画像上における指定位置であって，その指定位置から所定の半径ｒ内に履歴テーブルに指定位置が記憶されているかどうかが確認される（ステップ２０２）。
記憶されていると（ステップ２０２でＹＥＳ），履歴情報テーブルから対応する位置が読み取られる（ステップ２０３）。また，指定された位置から所定の半径ｒ内に記憶されている位置についても読み取られる。このように履歴情報テーブルから，右画像上の位置と左画像上の位置とが読み取られる。たとえば，右画像上において指定された位置の座標が（３００，１１０）であるとし，その指定された位置から半径ｒ（たとえば，２０画素）内に右画像上の位置が記憶されているかどうかが判定される。たとえば，履歴番号３で指定される右画像上の位置（３１０，１００）があるから，履歴情報テーブルからは，履歴番号３で指定される座標（３１０，１００）（右画像上の位置）と座標（３１０，１００）（左画像上の位置）とが読み取られることとなる。読み取られた座標を利用して，視差調整が行われる（ステップ１６）。
指定位置から所定の半径ｒ内に履歴テーブルに指定位置が記憶されていないと（ステップ２０２でＮＯ），上述のように，テンプレート画像を検出し，検出されたテンプレート画像とのマッチング処理が行われる（ステップ１４，１５）。検出された指定位置と対応位置とのそれぞれの座標の対応関係が履歴情報として履歴情報テーブルに格納される（ステップ２０４）。
Claims (8)
- ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置において，
ユーザの利き目を設定する利き目設定装置，
視差を調整する部分が表示されている上記表示画面の位置を指定する位置指定装置，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出するテンプレート画像検出装置，および
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出するテンプレート・マッチング装置，
を備えた立体画像表示装置。 - 上記テンプレート画像検出装置は，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置を中心とした所定の大きさのテンプレート画像候補領域内の画像のエッジ成分量が所定のしきい値以上かどうかを判定するエッジ成分量判定装置，
上記エッジ成分量判定装置によってエッジ成分量が所定のしきい値以上ではないと判定されたことに応じて，上記テンプレート画像候補領域の大きさを拡大する拡大装置，
上記拡大装置によって拡大されたテンプレート画像候補領域内の画像のエッジ成分量が所定のしきい値以上かどうかを判定するように上記エッジ成分量判定装置を制御する制御装置，および
上記エッジ成分量判定装置によってエッジ成分量が所定のしきい値以上と判定されたことに応じてテンプレート画像候補領域内の画像をテンプレート画像と決定するテンプレート画像決定装置，
を備えた請求の範囲第１項に記載の立体画像表示装置。 - ユーザの左目の視線と右目の視線との交差点が表示画面よりも手前にあるか奥にあるかを検出する交差点位置検出装置をさらに備え，
上記テンプレート・マッチング装置は，
上記交差点位置検出装置によって，上記交差点が表示画面よりも手前にあると判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも利き目側の方向において上記異なる目で観賞する画像から上記マッチング画像を検出し，上記交差点位置検出装置によって上記交差点が表示画面よりも奥にあると判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも非利き目側方向において上記異なる目で観賞する画像から上記マッチング画像の位置を検出するものである，
請求の範囲第２項に記載の立体画像表示装置。 - 上記表示画面上にタッチ・パネルが形成されており，
上記位置指定装置は，
上記タッチ・パネルにおいてタッチされた位置の圧力が所定の基準値以上かどうかを判定する圧力判定装置を備え，
上記テンプレート・マッチング装置は，
上記圧力判定装置によって圧力が所定の基準値以上判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも利き目側方向において上記異なる目で観賞する画像から上記マッチング画像を検出し，上記圧力判定装置によって圧力が所定の基準値未満と判定されたことに応じて，上記位置指定装置によって指定された表示画面の位置に対応する位置よりも非利き目側方向において上記異なる目で観賞する画像から上記マッチング画像の位置を検出するものである，
請求の範囲第３項に記載の立体画像表示装置。 - 上記テンプレート画像検出装置は，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分近傍の特徴点を検出するものであり，
上記テンプレート・マッチング装置は，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出された特徴点に対応する特徴点を検出するものである，
請求の範囲第４項に記載の立体画像表示装置。 - ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置において，
ユーザの利き目を設定する利き目設定装置，
視差を調整する部分が表示されている上記表示画面の位置を指定する位置指定装置，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する指定位置座標を検出する指定位置座標検出装置，
上記指定位置座標検出装置によって検出された指定位置座標から所定範囲内の位置および左目用画像と右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において上記所定範囲内の位置に対応する位置の両方の位置を表すデータがメモリに記憶されているかどうかを判定する対応位置座標存否判定装置，
上記対応位置座標存否判定装置によって，上記両方の位置を表すデータが上記メモリに記憶されていると判定されたことに応じて，上記両方の位置を表すデータが上記メモリから読み出す読出装置，
上記対応位置座標存否判定装置によって上記両方の位置を表すデータの少なくとも一方が上記メモリに記憶されていないと判定されたことに応じて，左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目で観賞する画像において，上記位置指定装置によって指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出するテンプレート画像検出装置，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出するテンプレート・マッチング装置，および
上記テンプレート画像検出装置によって検出され，かつ利き目で観賞する画像に含まれるテンプレート画像の位置を表すデータと上記テンプレート・マッチング装置によって検出され，かつ利き目と異なる目で観賞する画像に含まれるマッチング画像の位置を表すデータとを上記メモリに記憶する記憶制御装置，
を備えた立体画像表示装置。 - ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置の制御方法において，
ユーザの利き目を設定し，
視差を調整する部分が表示されている上記表示画面の位置を指定し，
左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出し，
左目用画像または右目用画像のうち設定された利き目と異なる目で観賞する画像において，検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出する，
立体画像表示装置の制御方法。 - ユーザの左目で観賞する左目用画像およびユーザの右目で観賞する右目用画像を表示画面に表示してユーザに立体的な画像を見せる立体画像表示装置の制御方法において，
ユーザの利き目を設定し，
視差を調整する部分が表示されている上記表示画面の位置を指定し，
左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する指定位置座標を検出し，
検出された指定位置座標から所定範囲内の位置および左目用画像と右目用画像のうち設定された利き目と異なる目で観賞する画像において上記所定範囲内の位置に対応する位置の両方の位置を表すデータがメモリに記憶されているかどうかを判定し，
上記両方の位置を表すデータが上記メモリに記憶されていると判定されたことに応じて，上記両方の位置を表すデータを上記メモリから読み出し，
上記両方の位置を表すデータの少なくとも一方が上記メモリに記憶されていないと判定されたことに応じて，左目用画像または右目用画像のうち設定された利き目で観賞する画像において，指定された表示画面の位置に対応する位置に存在する画像部分をテンプレート画像として検出し，
左目用画像または右目用画像のうち上記利き目設定装置によって設定された利き目と異なる目で観賞する画像において，上記テンプレート画像検出装置によって検出されたテンプレート画像と同じ画像であるマッチング画像の位置を検出し，
検出され，かつ利き目で観賞する画像に含まれるテンプレート画像の位置を表すデータと検出され，かつ利き目と異なる目で観賞する画像に含まれるマッチング画像の位置を表すデータとを上記メモリに記憶する，
立体画像表示装置の制御方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010063274 | 2010-03-18 | ||
| JP2010063274 | 2010-03-18 | ||
| PCT/JP2010/068419 WO2011114564A1 (ja) | 2010-03-18 | 2010-10-13 | 立体画像表示装置およびその制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2011114564A1 true JPWO2011114564A1 (ja) | 2013-06-27 |
Family
ID=44648683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012505441A Withdrawn JPWO2011114564A1 (ja) | 2010-03-18 | 2010-10-13 | 立体画像表示装置およびその制御方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20130002661A1 (ja) |
| JP (1) | JPWO2011114564A1 (ja) |
| CN (1) | CN102812419A (ja) |
| WO (1) | WO2011114564A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130008334A (ko) * | 2011-07-12 | 2013-01-22 | 삼성전자주식회사 | 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기 |
| US8884928B1 (en) * | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
| TWI454991B (zh) * | 2012-02-24 | 2014-10-01 | Wistron Corp | 電子裝置 |
| CN102685369B (zh) * | 2012-04-23 | 2016-09-07 | Tcl集团股份有限公司 | 消除左右眼图像重影的方法、重影消除器及3d播放器 |
| JP6065908B2 (ja) * | 2012-05-09 | 2017-01-25 | 日本電気株式会社 | 立体画像表示装置、そのカーソル表示方法及びコンピュータプログラム |
| US9292927B2 (en) * | 2012-12-27 | 2016-03-22 | Intel Corporation | Adaptive support windows for stereoscopic image correlation |
| JP6081839B2 (ja) * | 2013-03-27 | 2017-02-15 | 京セラ株式会社 | 表示装置および同装置における画面制御方法 |
| WO2015008164A2 (en) * | 2013-06-27 | 2015-01-22 | Eyesight Mobile Technologies Ltd. | Systems and methods of direct pointing detection for interaction with a digital device |
| CN105630135A (zh) * | 2014-10-27 | 2016-06-01 | 中兴通讯股份有限公司 | 一种智能终端的控制方法和装置 |
| CN107111355B (zh) * | 2014-11-03 | 2021-03-12 | 宝马股份公司 | 用于校准眼睛跟踪系统的方法和系统 |
| US20160209918A1 (en) * | 2015-01-16 | 2016-07-21 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
| US10162412B2 (en) * | 2015-03-27 | 2018-12-25 | Seiko Epson Corporation | Display, control method of display, and program |
| TWI610292B (zh) * | 2015-11-19 | 2018-01-01 | 瑞鼎科技股份有限公司 | 驅動電路及其運作方法 |
| JP7441628B2 (ja) * | 2019-10-08 | 2024-03-01 | 株式会社Subaru | 車両のヘッドアップディスプレイシステム |
| JP2021131490A (ja) * | 2020-02-20 | 2021-09-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6252707B1 (en) * | 1996-01-22 | 2001-06-26 | 3Ality, Inc. | Systems for three-dimensional viewing and projection |
| JPH10105735A (ja) * | 1996-09-30 | 1998-04-24 | Terumo Corp | 入力装置及び画像表示システム |
| ATE466454T1 (de) * | 2002-03-08 | 2010-05-15 | Topcon Corp | Vorrichtung und verfahren zur stereoskopischen bildwiedergabe |
| JP2004362218A (ja) * | 2003-06-04 | 2004-12-24 | Canon Inc | 三次元物体操作方法 |
| US7746377B2 (en) * | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
| KR100677569B1 (ko) * | 2004-12-13 | 2007-02-02 | 삼성전자주식회사 | 입체영상장치 |
| JP2010004465A (ja) * | 2008-06-23 | 2010-01-07 | Fujinon Corp | 立体画像撮影システム |
| JP4657331B2 (ja) * | 2008-08-27 | 2011-03-23 | 富士フイルム株式会社 | ３次元表示時における指示位置設定装置および方法並びにプログラム |
-
2010
- 2010-10-13 US US13/583,910 patent/US20130002661A1/en not_active Abandoned
- 2010-10-13 WO PCT/JP2010/068419 patent/WO2011114564A1/ja active Application Filing
- 2010-10-13 JP JP2012505441A patent/JPWO2011114564A1/ja not_active Withdrawn
- 2010-10-13 CN CN2010800655535A patent/CN102812419A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN102812419A (zh) | 2012-12-05 |
| WO2011114564A1 (ja) | 2011-09-22 |
| US20130002661A1 (en) | 2013-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2011114564A1 (ja) | 立体画像表示装置およびその制御方法 | |
| US10652515B2 (en) | Information processing apparatus, stereoscopic display method, and program | |
| US9086742B2 (en) | Three-dimensional display device, three-dimensional image capturing device, and pointing determination method | |
| JP5711962B2 (ja) | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 | |
| US10477191B2 (en) | Display device, and display control program | |
| US20120113018A1 (en) | Apparatus and method for user input for controlling displayed information | |
| US9727229B2 (en) | Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program | |
| US9432652B2 (en) | Information processing apparatus, stereoscopic display method, and program | |
| US8988500B2 (en) | Information processing apparatus, stereoscopic display method, and program | |
| KR20190027079A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN105867597B (zh) | 3d交互方法及3d显示设备 | |
| CN107884930B (zh) | 头戴式装置及控制方法 | |
| KR101473234B1 (ko) | 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템 | |
| JP6053845B2 (ja) | ジェスチャ操作入力処理装置、３次元ディスプレイ装置およびジェスチャ操作入力処理方法 | |
| EP4113251A1 (en) | Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens | |
| KR20120095139A (ko) | 양안 카메라가 적용된 사용자 인터페이스 장치 및 매뉴얼 컨버전스 제어방법 | |
| JP2014078861A (ja) | 表示制御装置 | |
| JP2014229977A (ja) | 表示制御装置及び制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20130508 |