JPWO2013054462A1 - ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路 - Google Patents

ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路 Download PDF

Info

Publication number
JPWO2013054462A1
JPWO2013054462A1 JP2012556728A JP2012556728A JPWO2013054462A1 JP WO2013054462 A1 JPWO2013054462 A1 JP WO2013054462A1 JP 2012556728 A JP2012556728 A JP 2012556728A JP 2012556728 A JP2012556728 A JP 2012556728A JP WO2013054462 A1 JPWO2013054462 A1 JP WO2013054462A1
Authority
JP
Japan
Prior art keywords
depth
graphic
user interface
image
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2012556728A
Other languages
English (en)
Inventor
航太郎 箱田
航太郎 箱田
山地　治
治 山地
伸輔 緒方
伸輔 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012556728A priority Critical patent/JPWO2013054462A1/ja
Publication of JPWO2013054462A1 publication Critical patent/JPWO2013054462A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

立体視画像にグラフィックを合成する際にグラフィックの深度を容易に設定可能なＧＵＩを実現するユーザーインタフェース制御装置を提供する。立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定するグラフィック情報取得部１０５と、特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する深度情報解析部１０６と、前記取得した深度を示す選択肢と前記取得した深度とは異なるグラフィックを配置可能な他の深度を示す選択肢とを提示する深度設定提示部１０７とを備える。

Description

本発明は、ユーザーインタフェース技術に関し、特に立体視画像の加工に際してのユーザーインタフェースの表示に関する。
近年、両眼網膜像差を利用した立体視画像表示技術が注目を集めている。人間は左目の網膜像と右目の網膜像の違いにより立体を知覚することから、視聴者の左目と右目に視差がある画像（左目用画像・右目用画像）を独立して入射させることにより、両眼の網膜に生じる物体像にズレを生じさせ、奥行きを感じさせる技術である。立体写真を撮影できるデバイスはデジタルカメラのみならず、スマートフォン等でも今後ますます増える事が予想される。
このような立体視画像表示技術の普及により、撮影・閲覧するという従来の立体視画像の利用形態に加えて、撮影した立体視画像を加工する新しいユーザ体験を提供するような試みがなされている。例えば、特許文献１には、カメラ等で撮影された立体視画像に、吹き出しや文字など各種グラフィックを配置して合成する技術が開示されている。具体的には、特許文献１に開示の技術では、グラフィックの配置された位置での立体視画像の奥行き情報（デプスマップ）に応じて、複数のグラフィック間の相対的なサイズや前後関係を決定することで、立体的な視覚効果を与えている。
特開２００９−２３０４３１号公報
しかしながら、特許文献１に開示の技術では、ユーザがグラフィックの奥行き情報を指定する手段が提供されていない。これでは、写真を加工する上でグラフィックをどのような深度に配置するかをユーザが決定することができず、ユーザが所望する加工を実現することができないという問題がある。
また、立体視画像の加工では、立体視画像を必ずしも立体視表示した状態で加工作業がなされるとは限らず、立体視画像を構成する視点画像が平面視表示された状態で加工作業を行う場合もある。例えば、表示機器として画像を立体視表示できないディスプレイのみしかない環境での立体視画像の加工では、視点画像が平面視表示された状態であっても、合成するグラフィックの奥行き情報を容易に指定できる手段が求められる。
本発明はかかる問題に鑑み、立体視画像にグラフィックを合成する際に、グラフィックの深度を容易に設定可能なＧＵＩを実現するユーザーインタフェース制御装置、ユーザーインタフェース制御方法、ユーザーインタフェースを制御するコンピュータプログラム、及び集積回路を提供することを目的とする。
上記目的を達成するため、本発明の一態様にかかるユーザーインタフェース制御装置は、立体視画像にグラフィックを合成する際に、グラフィックを配置する奥行き方向の深度を設定するためのユーザーインタフェースを提供するユーザーインタフェース制御装置であって、立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する平面位置特定手段と、前記特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する視点画像深度取得手段と、前記取得した深度を示す選択肢と、前記取得した深度とは異なるグラフィックを配置可能な他の深度を示す選択肢とを提示する提示手段とを備えることを特徴とする。
上記態様にかかるユーザーインタフェース制御装置は、課題を解決するための手段に記載の構成により、グラフィックを配置する位置での深度情報の分布から、グラフィックの配置可能な深度を示す選択肢をユーザに提供するので、グラフィックの深度を容易に設定することができる。
また、上記態様にかかるユーザーインタフェース制御装置では、選択肢の選択により深度設定を行うことができるため、画像加工時の表示形態が立体視表示／平面視表示の何れであるかに関わらず、合成するグラフィックの奥行き情報を容易に設定することができる。
本実施形態に係るユーザーインタフェース制御装置としての機能を有するスマートフォンのハードウェア構成を示す図 実施形態１に係るユーザーインタフェース制御装置の構成を示す図 本実施形態において加工対象とするステレオ画像の被写体を示す図 ディスプレイ２００の表示例を示す図 グラフィックの描画範囲と中心座標を示す図 （ａ）２つの被写体の更に前方にグラフィックパーツの深度が設定される例を示す図、（ｂ）手前側の被写体と同じ深度にグラフィックパーツの深度が設定される例を示す図、（ｃ）２つの被写体の中間の深度にグラフィックパーツの深度が設定される例を示す図 グラフィックパーツの配置位置における視点画像の深度分布を示す図 複数の選択肢を含む深度設定ポップアップメニューの表示例 深度設定メニュー選択後のグラフィックパーツの深度調節を説明する図 深度情報算出部１０３における深度情報生成処理の流れを示すフローチャート 深度設定ポップアップメニュー表示処理の流れを示す図 グラフィックパーツの配置深度の候補を抽出する処理の流れを示すフローチャート 深度設定メニュー選択後のグラフィックパーツ深度調節処理の流れを示すフローチャート ステップＳ３３、３４の処理の詳細を示すフローチャート グラフィックパーツを合成した立体視画像を生成する処理の流れを示すフローチャート 決定された奥行き情報から視差を算出するための画素シフトを示す図 グラフィックパーツ合成処理の流れを示すフローチャート ２つの選択肢を含む深度設定ポップアップメニューの表示例 実施形態２に係るユーザーインタフェース制御装置３００の構成を示す図 （ａ）は撮影時の被写体の配置を示す図、（ｂ）は視点画像を示す図 （ａ）深度分布に基づいて画像から抽出した被写体像を色分けして表示する画面例、（ｂ）は画像から抽出した被写体像に番号を付して表示する画面例 ユーザーインタフェース制御装置３００における立体視画像加工の流れを示すフローチャート
（発明の一態様の概要）
本発明は、立体視画像にグラフィックを合成する際に、合成後にグラフィックを表示するための深度を容易に設定可能なＧＵＩを提供するユーザーインタフェース制御装置、ユーザーインタフェース制御方法、ユーザーインタフェースを制御するコンピュータプログラム、及び集積回路を提供することを目的とする。
本発明の第１態様であるユーザーインタフェース制御装置は、立体視画像にグラフィックを合成する際に、グラフィックを配置する奥行き方向の深度を設定するためのユーザーインタフェースを提供するユーザーインタフェース制御装置であって、立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する平面位置特定手段と、前記特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する視点画像深度取得手段と、前記取得した深度を示す選択肢と、前記取得した深度とは異なるグラフィックを配置可能な他の深度を示す選択肢とを提示する提示手段とを備える。
上記の構成によれば、グラフィックを配置する位置での深度情報の分布に基づいてグラフィックの配置可能な深度を示す選択肢がユーザに提供されるので、ユーザは何れかの選択肢を選択することによりグラフィックの深度を容易に設定することができる。また、選択肢の選択により深度設定を行うことができるため、画像加工時の表示形態が立体視表示／平面視表示の何れであるかに関わらず、合成するグラフィックの奥行き情報を容易に設定することができる。
また、本発明の第２態様は第１態様において、前記取得した深度を示す選択肢は、前記グラフィックが占める範囲に写る被写体で最も手前に位置するものの深度を示し、前記グラフィックを配置可能な他の深度を示す選択肢は、前記最も手前に位置する被写体の深度よりも更に手前側の深度を示すよう構成してもよい。
上記本発明の第２態様の構成によれば、被写体にグラフィックを貼り付けるように合成するか、被写体よりも手前にグラフィックを配置するように合成するかを、ユーザが容易に選択することができる。
また、本発明の第３態様は、第２態様において前記一方の視点画像の前記特定した範囲に、前記最も手前に位置する被写体に加えて他の被写体が存在し、且つ、２つの被写体間で深度が閾値を超えて異なる場合、提示手段は更に、前記２つの被写体の深度の中間の深度を示す選択肢を提示するよう構成してもよい。
上記本発明の第３態様の構成によれば、発明の第２態様において選択可能な深度でのグラフィック合成に加えて、深度の異なる２つの被写体の間にグラフィックを配置するような合成を、ユーザが容易に選択することができる。
また、本発明の第４態様は第３態様において、前記複数の選択肢のうちの何れかの選択を受け付ける受付手段と、前記選択肢の選択を受け付けた後に、ユーザからの決定指示を受けるまで前記グラフィックのサイズを繰り返し変化させて表示する伸縮表示手段と、前記決定指示を受けた時点でグラフィックを拡大して表示していた場合、前記選択された選択肢の示す深度よりも手前側の深度を、グラフィックを配置する深度に決定し、前記決定指示を受けた時点でグラフィックを縮小して表示していた場合、前記選択された選択肢の示す深度よりも奥側の深度を、グラフィックを配置する深度に決定する深度決定手段と
を更に備えるよう構成してもよい。
上記本発明の第４態様の構成によれば、複数の選択肢によって示される深度だけでなく、それぞれの選択肢が示す深度から更に手前、若しくは奥にグラフィックの配置深度を調整することができる。これにより、グラフィックの配置深度の設定の自由度を高めることができるので、ユーザの利便性を向上させることができる。また、この時にサイズを変化させながらグラフィックの表示を行うが立体視表示を行う必要はないため、画像を立体視表示できない環境においてもグラフィックの深度を容易に設定することができる。
また、本発明の第５態様は第４態様において、深度決定手段は、２つの被写体の深度の中間の深度を示す選択肢が選択された場合に、前記２つの被写体のうち手前側に位置する被写体の深度を、伸縮表示手段が最も拡大して表示したグラフィックのサイズに対応付け、前記２つの被写体のうち奥側に位置する被写体の深度を、伸縮表示手段が最も縮小して表示したグラフィックのサイズに対応付けることで、前記決定指示を受けた時点でのグラフィックのサイズに応じた深度を決定するよう構成してもよい。
上記本発明の第５態様の構成によれば、２つの被写体の間の深度の幅を、グラフィックの表示サイズに関連させて表現することができる。これによりユーザは２つの被写体の間において、グラフィックの配置深度を直観的に設定することが可能となる。
また、本発明の第６態様は第４態様において、深度決定手段は、前記グラフィックが占める範囲において前記選択された選択肢の示す深度より奥側に何れかの被写体が存在する場合、当該奥側に位置する被写体の深度を、伸縮表示手段が最も小さく表示したグラフィックのサイズに対応付けることで、前記決定指示を受けた時点でのグラフィックのサイズに応じた深度を決定するよう構成してもよい。
上記本発明の第６態様の構成によれば、選択された選択肢の示す深度から奥側の被写体までの深度の幅を、グラフィックの表示サイズに関連させて表現することができる。これによりユーザは選択された選択肢の示す深度から奥側の被写体までの間において、グラフィックの配置深度を直観的に設定することが可能となる。
また、本発明の第７態様は第４態様において、深度決定手段は、前記グラフィックが占める範囲において前記選択された選択肢の示す深度より手前側に何れかの被写体が存在する場合、当該手前側に位置する被写体の深度を、伸縮表示手段が最も大きく表示したグラフィックのサイズに対応付け、前記グラフィックが占める範囲において前記選択された選択肢の示す深度より手前側に被写体が存在しない場合、前記選択された選択肢の示す深度よりも手前側の所定の深度を、伸縮表示手段が最も大きく表示したグラフィックのサイズに対応付けることで、前記決定指示を受けた時点でのグラフィックのサイズに応じた深度を決定するよう構成してもよい。
上記本発明の第７態様の構成によれば、選択された選択肢の示す深度から手前側の被写体の深度まで、若しくは、選択された選択肢の示す深度から手前側の手前側の所定の深度までの深度の幅を、グラフィックの表示サイズに関連させて表現することができる。これによりユーザは選択された選択肢の示す深度から手前側の深度までの間において、グラフィックの配置深度を直観的に設定することが可能となる。
また、本発明の第８態様は第４態様において、前記決定した深度で立体視効果を生じさせるための視差を算出し、当該視差を画素数に変換することでシフト量を取得するシフト量取得手段と、前記一方の視点画像に対して前記平面位置特定手段で特定した範囲にグラフィックを合成し、立体視画像を構成する他方の視点画像に対して前記平面位置特定手段で特定した範囲から前記シフト量だけ水平方向にシフトした範囲にグラフィックを合成する画像合成手段とを更に備えるよう構成してもよい。
上記本発明の第８態様の構成によれば、決定した深度にグラフィックを合成した立体視画像を生成することができる。
また、本発明の第９態様は第１態様において、視点画像深度取得手段は、立体視画像を構成する前記一方の視点画像と他方の視点画像とのステレオマッチングによって、前記被写体の深度を取得するよう構成してもよい。
上記本発明の第９態様の構成によれば、デプスマップ等の深度情報が予め用意されていない立体視画像を加工対象とすることができる。
また、本発明の第１０態様は第１態様において、立体視表示する際の深度が隣接する領域と閾値を超えて異なる複数の領域に、前記一方の視点画像を区分する領域区分手段と、区分した複数の領域を提示する領域提示手段と、提示した領域の何れかの選択を受ける領域受付手段とをさらに備え、前記平面位置特定手段は、前記選択された領域の少なくとも一部を含むように、前記グラフィックが占める範囲を特定するよう構成してもよい。
上記本発明の第１０態様の構成によれば、平面視表示した視点画像において深度毎に分割した領域をユーザに提示することで、ユーザがグラフィックを配置する平面位置を容易に指定することができる。例えば、近接配置された複数の被写体を撮影した画像であっても、グラフィックを配置する範囲を領域単位、で選択することで、どの被写体に対してグラフィックを重畳するかの指定が容易になる。
また、本発明の第１１態様は第１０態様において、前記領域提示手段は、隣接する領域を異なる色で表示することにより、区分した複数の領域を提示するよう構成してもよい。
また、本発明の第１２態様は第１０態様において、前記領域提示手段は、各領域に異なるテキストを付加して表示することにより、区分した複数の領域を提示するよう構成してもよい。
上記本発明の第１１態様の構成、あるいは本発明の第１２態様の構成によれば、視点画像において深度の異なる領域を視覚的により把握しやすくなる効果がある。
また、本発明の第１３態様は第１０態様において、領域区分手段による前記一方の視点画像の区分では、前記一方の視点画像の画素間で輝度が鋭敏に変化しているエッジまたはエッジの交点の抽出により各領域の境界を特定し、立体視表示する際の深度には、立体視画像を構成する前記一方の視点画像と他方の視点画像とのステレオマッチングによって得られる各画素の深度を用いるよう構成してもよい。
上記本発明の第１３態様の構成によれば、複数の被写体が一部重なるように撮像された視点画像では被写体間の境界でエッジが生じるため、エッジを領域の境界とした場合、何れかの領域を指定することでグラフィックを重畳配置する被写体を指定することが可能となる。
以下、本発明の一態様であるユーザーインタフェース制御装置の実施の形態について、図を用いて説明する。
（実施形態１）
図１は、本実施形態に係るユーザーインタフェース制御装置としての機能を有するスマートフォンのハードウェア構成を示す図である。図１に示すスマートフォンは、カメラ１０、スピーカ２０、ＧＰＳ３０、センサ４０、タッチパネル５０、マイク６０、記録媒体７０、処理部１００、ディスプレイ２００を有している。
カメラ１０は、２つの視点画像から構成される立体視画像を撮像するステレオカメラである。撮像された立体視画像は、記録媒体７０に記録される。
記録媒体７０は、スマートフォンに内蔵された読み書き可能な不揮発記録媒体であり、ハードディスク、半導体メモリ等により実現される。
処理部１００は、例えばＲＡＭなどのメモリー、ＣＰＵなどのプロセッサを有し、記録媒体７０に記録されたプログラムをＣＰＵにおいて実行することにより、通話や、立体視画像の撮影、加工等の機能を制御する。本実施形態に係るユーザーインタフェース制御装置としての機能も、記録媒体７０に記録されたプログラムを処理部１００において実行することで実現される。
図２は、本実施形態に係るユーザーインタフェース制御装置の構成を示す図である。このユーザーインタフェース制御装置は、２つの視点画像から構成される立体視画像を加工するユーザの加工操作を支援するＧＵＩを提供するものであり、様々な電気機器に組み込まれて利用される。ユーザーインタフェース制御装置を組み込む機器としては、スマートフォンの他に、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ；パーソナルコンピュータあるいはパソコン）等の汎用のコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、タブレットあるいは携帯電話機等の通信端末がある。
ユーザーインタフェース制御装置は、図２に示されるように、操作入力受付部１０１、制御部１０２、深度情報算出部１０３、グラフィック情報取得部１０５、深度情報解析部１０６、深度設定提示部１０７、ステレオ画像生成部１０８、出力部１０９を含んで構成される。
これら操作入力受付部１０１、制御部１０２、深度情報算出部１０３、グラフィック情報取得部１０５、深度情報解析部１０６、深度設定提示部１０７、ステレオ画像生成部１０８、出力部１０９の後述する機能は、例えばプログラムとして予め図１に示す記録媒体７０に記録されている。本実施形態では処理部１００において、操作入力受付部１０１、制御部１０２、深度情報算出部１０３、グラフィック情報取得部１０５、深度情報解析部１０６、深度設定提示部１０７、ステレオ画像生成部１０８、出力部１０９のそれぞれに対応するプログラムを処理部１００内のＲＡＭにロードして、処理部１００内のＣＰＵで実行することで、ハード資源（ＣＰＵとＲＡＭ上のプログラムとの協働）により実現される。
上述の例では、予め記録媒体７０に記録されているプログラムを処理部１００内のＲＡＭにロードして処理部１００内のＣＰＵが実行する構成を例に説明をしたが、上述のプログラムは処理部１００内のＲＡＭに予め記録されていても良い。処理部１００内のＲＡＭに予め上述のプログラムを記録する構成を採用した場合、記録媒体７０に上述のプログラムを記録する必要は必ずしもなくなる。
また、深度情報保存部１０４は、記録媒体７０の記録領域の一部により実現される。
＜操作入力受付部１０１＞
操作入力受付部１０１は、タッチパネル、マウス等のポインティングデバイスを介して入力されるユーザの操作を受け付ける機能を有する。
本実施形態で受け付けるユーザ操作は、具体的には、写真にレタッチするグラフィックを配置するドラッグ操作、ポインティングデバイスにより指し示される項目や状態を選択するクリック操作等があり、画面上に複数の選択肢が表示された時に何れか選択肢を選択するクリック操作を受け付けることで、操作入力受付部１０１は、受付手段として機能する。
ディスプレイ２００には、図４に示すように、立体視画像を構成する一方の視点画像である左目用画像１、立体視画像に合成する様々なグラフィックに対応するグラフィックパーツ２ａ〜２ｄのテンプレート画像を表示するグラフィックパーツ表示部２、ポインティングデバイスの指示位置を示すポインタ３等が表示され、例えば、写真にグラフィックパーツを配置する操作は、グラフィックパーツ表示部２に表示されているグラフィックパーツ２ａ〜２ｄの中から何れかのグラフィックパーツをドラッグし、左目用画像１の任意の位置にドロップすることで実現される。
＜制御部１０２＞
制御部１０２は、本実施例の処理を操作入力受付部１０１の入力内容に従って制御する機能を有する。
＜深度情報算出部１０３＞
深度情報算出部１０３は、ステレオ画像から被写体の奥行き方向の位置を示す深度情報（デプスマップ）を左目用画像の画素毎に生成することで、視点画像深度取得手段の機能の一部を実現する。具体的には、まずステレオ画像を構成する左目用画像・右目用画像間の各画素について対応点探索を行う。そして、左目用画像と右目用画像の対応点の位置関係から、三角測量の原理に基づき、被写体の奥行き方向の距離を算出する。深度情報は、各画素の奥行きを８ビットの輝度で表したグレースケール画像であり、深度情報算出部１０３は、算出した被写体の奥行き方向の距離を０〜２５５までの２５６階調の値に変換する。なお、対応点探索には、注目点の周りに小領域を設け、その領域中の画素値の濃淡パターンに基づいて行う領域ベースマッチング手法と、画像からエッジなど特徴を抽出し、その特徴間で対応付けを行う特徴ベースマッチングの２つに大きく大別されるが、何れの手法を用いてもよい。なお、ステレオ画像は、異なる視点から被写界を撮像して得られる画像であり、本実施形態１ではカメラ１０により撮像され記録媒体７０に記録された立体視画像の画像データを用いる。ステレオ画像は、実写画像に限らず、異なる仮想視点を想定して作成したＣＧ（Computer Graphics）等であってもよい。
本実施形態では、図３に示すように、バスの前に１人の人物が立った情景をステレオカメラにて撮影した立体視画像を対象として画像加工を説明する。
＜深度情報保存部１０４＞
深度情報保存部１０４は、記録媒体７０の記録領域の一部により実現され、深度情報算出部１０３が算出した深度情報を記録媒体７０の記録領域に保存する機能を有する。
＜グラフィック情報取得部１０５＞
グラフィック情報取得部１０５は、ユーザが配置したグラフィックが左目用画像上で占める領域の座標を取得する平面位置特定手段としての機能を有する。
具体的には、グラフィック配置操作が操作入力受付部１０１において受け付けられた場合に、左目用画像の左上隅を原点とした左目用画像のＸ−Ｙ座標系において、グラフィックをドロップした時のポインタ指示位置をグラフィックパーツを配置する中心座標（ｘg,ｙg）として取得し、図５に示すグラフィックパーツを囲む矩形枠の左上隅座標（ｘ1,ｙ1）及び右下隅座標（ｘ2,ｙ2）を、上述のＸ−Ｙ座標系においてグラフィックパーツが占める配置範囲として算出する。
尚、グラフィック情報取得部１０５は、各グラフィックパーツについて、中心座標と左上隅座標及び右下隅座標との相対値を保持しており、左上隅座標（ｘ1,ｙ1）及び右下隅座標（ｘ2,ｙ2）の算出には、ポインタ指示位置の座標とこの相対値を用いることで、グラフィックパーツの配置範囲を簡便に得ることができる。
＜深度情報解析部１０６＞
深度情報解析部１０６は、グラフィックパーツの配置範囲における左目用画像の深度情報を取得する機能と、グラフィックパーツを配置可能な深度を被写体との相対位置により示す選択肢を、ユーザに提示するように深度設定提示部１０７に指示する機能とを持つ。
具体的には、深度情報解析部１０６はグラフィック情報取得部１０５で算出したグラフィックパーツの配置範囲における左目用画像の深度情報を、深度情報保存部１０４を介して記録媒体７０から読み出し、深度情報の解析により配置範囲に存在する被写体を検出することで視点画像深度取得手段として機能し、さらに検出した被写体に対してグラフィックパーツを配置可能な相対位置を決定する。
被写体の検出では、先ず、グラフィックパーツの配置範囲においてグラフィックパーツ中心座標（ｘg,ｙg）を通り水平方向に連続する画素（以下、水平画素群）で左目用画像の深度分布を解析し、隣接する画素間の深度が閾値Ｔｈを超えて異なる場合に、閾値Ｔｈを超えて深度が異なる位置を挟んで異なる２つの被写体が存在すると判定する。グラフィックパーツの配置範囲に被写体が存在すると判定された場合、深度情報解析部１０６は、（ｘ1, ｙg）から（ｘ2, ｙg）の間で最も浅い深度より更に手前の深度、最も浅い深度と同じ深度、及び、閾値Ｔｈを超えて深度が異なる隣接する２画素の平均深度を、グラフィックパーツの配置可能な奥行きの位置として、それぞれに対応する選択肢の提示を深度設定提示部１０７に指示する。
例えば、ディスプレイ２００に表示された左目用画像において、被写体である人間の頭に相当する位置にグラフィックパーツの一部が重なるように配置された場合を考える。この場合、グラフィックパーツを配置可能な奥行き方向の位置は大きく分けて、図６（ａ）のように最も手前に位置する被写体である人物よりも更に前方の深度４ａ、図６（ｂ）のように人物と同じ深度４ｂ、図６（ｃ）のように人物とバスの中間の深度４ｃが考えられる。
深度情報解析部１０６では、図７に示すように、左目用画像に写る人物とバスとの境界で深度が閾値Ｔｈを超えて変化するため、グラフィックパーツの配置範囲に２つの被写体が存在すると判定し、手前側のｘ1での深度より更に手前の深度を図６の（ａ）に示す深度４ａとし、手前側のｘ1での深度を図６（ｂ）に示す深度４ｂとし、手前側のｘ1での深度と奥側のｘ2での深度との平均の深度を図６（ｃ）に示す深度４ｃとして、３通りのグラフィックパーツの配置可能な深度を決定する。
尚、グラフィックパーツの配置範囲に３以上の被写体が検出される場合には、深度情報解析部１０６は、深度が前後する２つの被写体の組毎に、これらの被写体の中間の深度をグラフィックパーツの配置可能な深度として、対応する選択肢の追加を深度設定提示部１０７に指示する。
また、ディスプレイ２００に表示された左目用画像において何れか１つの被写体像が存在する範囲にグラフィックパーツの全体が重なるように配置された場合、グラフィックパーツの深度を被写体の背後にしても画像に現れることがなく意味がないため、グラフィックパーツを配置可能な被写体との相対位置は、被写体と同じ深度、及び、被写体より更に手前の深度の２つの位置となる。このような場合、深度情報解析部１０６はこの２つの深度にそれぞれ対応する選択肢の提示を深度設定提示部１０７に指示する。
＜深度設定提示部１０７＞
深度設定提示部１０７は、ＧＵＩ提示部１１１、伸縮表示部１１２、深度決定部１１３を内部に有し、グラフィックパーツの奥行き情報を設定するためのＧＵＩを制御して、グラフィックパーツを配置する深度を決定する機能を有する。
ＧＵＩ提示部１１１は提示手段として機能し、深度情報解析部１０６からの指示を受けて、指示された選択肢を含むＧＵＩ画像を生成し、ポップアップメニューとして描画するように出力部１０９に通知する。図８に示す例では、画面に表示された左目用画像において花形のグラフィックパーツの配置範囲に人物の頭部とその背後のバスとが含まれており、深度情報解析部１０６からは、最も手前の被写体である人物に対して「前方」、「貼付」、及び「後方」をグラフィックパーツの配置深度の選択肢とするよう指示される。この指示に基づいて深度設定提示部１０７は、「前方」、「貼付」、及び「後方」の３つの選択肢からなるポップアップメニューのＧＵＩ画像を生成する。このようなメニューから例えば、「前方」に配置するという項目を選択する操作が受付られた場合には、グラフィックパーツの配置範囲において左目画像の最も浅い深度より、更に所定値手前の深度がグラフィックパーツの配置深度として選択されたことを意味する。また、メニューから「貼付」（最も手前の被写体と同深度）の項目が選ばれた場合には、グラフィックパーツが被写体に潜り込まないように、グラフィックパーツの配置範囲において左目画像の最も浅い深度がグラフィックパーツの配置深度として選択されたことを意味する。また、メニューから「後方」に配置するという項目が選ばれた場合には、グラフィックパーツの配置範囲に存在する最も手前の被写体である人物頭部とその背後のバスとの２つの被写体の中間の深度が、グラフィックパーツの配置深度として選択されたことを意味する。
伸縮表示部１１２は、ユーザがポップアップメニューから何れかの選択肢を選択した場合に、図９に示すようにディスプレイ２００上で左目用画像に配置されたグラフィックパーツを、クリック操作によるユーザの決定指示が入力されるまで繰り返しサイズを変化させて描画するように出力部１０９に指示する伸縮表示手段としての機能を有する。このグラフィックパーツの伸縮表示では、グラフィックパーツ中心座標（ｘg,ｙg）において、グラフィックパーツ表示部２に表示しているオリジナルの大きさの２倍から１／２倍の範囲で、グラフィックパーツを拡大、縮小を繰り返して表示する。
深度決定部１１３は、グラフィックパーツの拡大、縮小表示を繰り返す間に、ユーザの決定操作が入力された場合、選択された選択肢に対応する深度を暫定的な奥行き位置として、決定操作時のグラフィックパーツ表示サイズに応じて、暫定的な奥行き位置を調整した最終的な深度を決定する深度決定手段としての機能を有する。
詳細には、グラフィックパーツをオリジナルサイズで表示している状態を、メニューで選択された選択肢に対応する深度に割り付け、グラフィックパーツを２倍に拡大して表示している状態をメニューでの選択深度より手前に位置する被写体の深度に割り付け、グラフィックパーツを１／２倍に縮小して表示している状態をメニューに対応する深度より奥側に位置する被写体の深度に割り付けることで、グラフィックパーツの表示サイズと配置深度とを対応付ける。この対応付けに応じて、決定操作時のグラフィックパーツの拡大／縮小比率から、グラフィックパーツを配置する最終的な深度を算出する。
但し、メニューから「前方」に配置するという項目が選ばれた場合には、選択深度より手前に被写体が存在しないため、伸縮表示部１１２はオリジナルの大きさ〜オリジナルの大きさの１／２倍の範囲で、グラフィックパーツを拡大、縮小を繰り返して表示する。また、メニューから「貼付」が選択された場合は、選択深度より奥側の深度とは被写体内に沈み込む深度となってしまうため、伸縮表示部１１２はオリジナルの大きさ〜オリジナルの大きさの２倍の範囲で、グラフィックパーツを拡大、縮小を繰り返して表示する。
なお、メニューから「前方」が選ばれた場合にも、オリジナルの大きさの２倍〜オリジナルの大きさの１／２倍の範囲で、グラフィックパーツを拡大、縮小を繰り返して表示し、深度決定部１１３がメニューでの選択深度より所定の深度だけ手前側の位置を、グラフィックパーツを２倍に拡大して表示している状態に割り付けて、決定操作時の拡大／縮小比率に応じて深度を算出してもよい。
このように、グラフィックパーツの表示の大きさの変化を、グラフィックパーツの配置深度に関連させて表現することで、ユーザは直観的な深度設定が可能となる。
＜ステレオ画像生成部１０８＞
ステレオ画像生成部１０８は、シフト量取得部１１４、画像合成部１１５を内部に有し、深度設定提示部１０７で決定したグラフィックパーツの配置深度に基づいて、視差をつけてグラフィックパーツを写真に合成し、グラフィックパーツを合成した左目用画像、及び右目用画像を生成する機能をもつ。
シフト量取得部１１４は、グラフィックパーツの配置深度の立体視効果を生じさせるための視差を算出し、算出した視差を画素数に変換することでシフト量を取得するシフト量取得手段としての機能を有する。
画像合成部１１５は、左目用画像に対してグラフィックパーツの配置範囲にグラフィックパーツを合成し、右目用画像に対してグラフィックパーツの配置範囲をシフト量取得部１１４で算出したシフト量だけ水平方向に移動させた範囲にグラフィックパーツを合成することで、グラフィックパーツを合成した立体視画像を生成する画像合成手段として機能する。
＜出力部１０９＞
出力部１０９は、ディスプレイ２００の表示を制御するドライバであり、加工作業時の左目画像、グラフィックパーツ、深度設定提示部１０７から指示されたＧＵＩ画像、及びステレオ画像生成部１０８においてグラフィックパーツを合成した立体視画像等をディスプレイに表示させる。
以上がユーザーインタフェース制御装置の構成についての説明である。
＜動作＞
続いて、上記構成を備えるユーザーインタフェース制御装置の動作について説明する。
＜深度情報生成処理＞
まず、深度情報算出部１０３による深度情報生成処理について説明する。図１０は、深度情報生成処理の流れを示すフローチャートである。
本図に示されるように、深度情報算出部１０３はまず、撮影した左目用画像、右目用画像を取得する（ステップＳ１）。次に、深度情報算出部１０３は、左目用画像を構成する画素に対応する画素を右目用画像から探索する（ステップＳ２）。そして、深度情報算出部１０３は、左目用画像と右目用画像の対応点の位置関係から、三角測量の原理に基づき、被写体の奥行き方向の距離を算出する（ステップＳ３）。以上のステップＳ２、及びステップＳ３からなるステレオマッチング処理を左目用画像を構成する全ての画素に対して行う。左目用画像を構成する全ての画素に対して、ステップＳ２、ステップＳ３のステレオマッチング処理を終えた後、深度情報算出部１０３は、ステップＳ３の処理で得られた被写体の奥行き方向の距離の情報を８ビット量子化する（ステップＳ４）。具体的には、算出した被写体の奥行き方向の距離を０〜２５５までの２５６階調の値に変換し、各画素の奥行きを８ビットの輝度で表したグレースケール画像を生成する。このように生成されたグレースケール画像は、深度情報として深度情報保存部１０４に記録される。
以上が、深度情報算出部１０３による深度情報生成処理についての説明である。
＜深度設定ポップアップメニュー表示処理＞
図１１は、ユーザによるグラフィックパーツ配置操作に応じて実行される深度設定ポップアップメニュー表示処理の流れを示すフローチャートである。
深度設定ポップアップメニュー表示処理では、まず、操作入力受付部１０１においてグラフィックパーツ配置操作が受け付けられると（ステップＳ１１）、グラフィック情報取得部１０５は、ユーザが左目用画像上にグラフィックパーツを配置した座標を取得し（ステップＳ１２）、配置座標を中心としたグラフィックパーツの配置範囲を算出する（ステップＳ１３）。ここで、配置範囲は図５に示すようなグラフィックパーツを囲む矩形領域の左上隅座標と右下隅座標として算出される。
配置範囲の座標が算出されると、深度情報解析部１０６がグラフィックパーツの配置範囲の中心（ｘg,ｙg）を通る水平画素群での深度情報を深度情報保存部１０４から読み出し（ステップＳ１４）、読み出した深度情報に基づいて、グラフィックパーツの配置深度の候補を抽出する処理を実行する（ステップＳ１５）。
ステップＳ１５のグラフィックパーツ配置深度候補抽出処理では、図１２を用いて後に説明するように、グラフィックパーツの配置深度の候補を示す選択肢の数Ｌが決定され、さらにグラフィックパーツの配置範囲に含まれるＬ−１個の被写体のそれぞれの深度が記録媒体７０に記録される。このステップＳ１５におけるグラフィックパーツ配置深度候補抽出処理の処理結果に基づいて、ＧＵＩ提示部１１１は決定されたＬ個の選択肢を含むポップアップメニューを生成しユーザに提示する（ステップＳ１６）。
ＧＵＩ提示部１１１によるポップアップメニューの生成では具体的には、Ｌ個の選択肢に以下のように深度を対応付ける。先ず、グラフィックパーツ配置深度候補抽出処理において記録媒体７０に記録された被写体の深度のうち最も手前側の深度に「貼付」の選択肢を対応付け、「貼付」の選択肢に対応付けた深度よりもさらに所定深度だけ手前側の深度に「前方」の選択肢を対応付ける。さらに、記録媒体７０に記録されたＬ−１個の被写体の深度の手前側から２ずつの平均深度を算出し、算出したＬ−２個の平均深度を順に「後方１」、「後方２」、・・・「後方Ｌ−２」の選択肢に対応付ける。
ここで、ポップアップメニューの表示位置は、図８のようにデフォルトで左目用画像の左上隅に配置されるものとするが、表示するポップアップメニューの重畳位置がグラフィックを配置した位置と重なる場合には、ポップアップメニューを被写体に重ならない位置に移動させるものとする。
以上が、深度設定ポップアップメニュー表示処理についての説明である。
＜グラフィックパーツ配置深度候補抽出処理＞
図１２は、図１１のステップＳ１５において、グラフィックパーツの配置深度の候補を抽出する処理の詳細を示すフローチャートである。
グラフィックパーツ配置深度候補抽出処理では深度情報解析部１０６は、先ず、選択肢数を管理する変数Ｌを２で初期化し（ステップＳ２１）、探索座標を管理する変数ｎをグラフィックパーツの配置範囲の左上隅座標のｘ座標値であるｘ1で初期化する（ステップＳ２２）。
変数初期化後に深度情報解析部１０６は、ステップＳ２３〜ステップＳ２７のループを繰り返し処理を行う。
ステップＳ２３では、座標（ｎ,ｙg）における左目用画像の深度Ｄnと座標（ｎ,ｙg）より所定の画素数ｗ（例えば、５画素）だけ右側の座標（ｎ＋ｗ,ｙg）における左目用画像の深度Ｄn+wとの差の絶対値［Ｄn−Ｄn+w］が、閾値Ｔｈをこえるか否かを判定する。［Ｄn−Ｄn+w］が、閾値Ｔｈを超える場合（ステップＳ２３:Ｙｅｓ）、選択肢数Ｌをインクリメントし（ステップＳ２４）、探索座標での左目用画像深度Ｄnの値を被写体の深度として記録媒体７０に記録する（ステップＳ２５）。
［Ｄn−Ｄn+w］が、閾値Ｔｈ以下である場合（ステップＳ２３:Ｎｏ）、及び、ステップＳ２５でＤnの値を選択肢に対応付ける深度として記録した後は、探索座標を管理する変数ｎをｎ＋ｗで更新し（ステップＳ２６）、更新後の変数ｎがグラフィックパーツの配置範囲の右下隅座標のｘ座標値であるｘ2を超えるか否かを判定する（ステップＳ２７）。
ステップＳ２７で変数ｎがｘ2を超えていなければ、ステップＳ２３からループ処理を繰り返し、超えていれば、グラフィックパーツの配置深度候補の抽出を終了する。
尚、探索の画素幅ｗとしては上述の５画素に限らず、画像に写る被写体を検出するのに適切な任意の値を用いることができる。但し、同じ深度で横に並んだ２人の人物を撮影した画像では、探索幅ｗとして１画素など小さな値を用いた場合、２人の間の僅かな背景までグラフィックパーツの配置候補として検出してしまい、画像加工において意味のない選択肢をユーザに提示することになりかねない。あるいは、探索幅ｗを大きくした場合、浅い深度から深い深度まで連続して緩やかに変化する領域、例えば斜め方向から撮影した壁などを、探索幅ｗ毎に複数の被写体として検出する恐れがある。そこで、このように探索幅ｗを大きくする場合には、探索幅ｗに応じて深度の閾値Ｔｈについても大きな値を用いることが好ましい。
また、本実施形態では、グラフィックパーツの配置深度の候補を抽出するために、グラフィックパーツの配置範囲の中心（ｘg,ｙg）を通る水平画素群で深度分布を解析しているが、グラフィックパーツの配置深度の候補を抽出のための深度分布の解析は、グラフィックパーツの配置範囲内の他の水平画素群、若しくは垂直方向に連続する画素群を対象としてもよい。更に、グラフィックパーツの配置範囲内の複数の水平画素群、垂直画素群を深度分布の解析対象としてもよい。
以上が、深度情報解析部１０６によるグラフィックパーツ配置深度候補抽出処理についての説明である。
＜グラフィックパーツ深度調節処理＞
図１３は、ポップアップメニューからの選択肢選択操作に応じて実行されるグラフィックパーツ深度調節処理の流れを示すフローチャートである。
グラフィックパーツ深度調節処理では深度決定部１１３は、ユーザが選択した選択肢に対応付けた深度を取得（ステップＳ３１）する。
次に、伸縮表示部１１２がグラフィックパーツの配置範囲にグラフィックパーツを重畳表示した後（ステップＳ３２）、グラフィックパーツを配置した座標を中心として、グラフィックパーツを拡大、縮小を繰り返して画像を更新表示する（ステップＳ３３）。
この拡大／縮小表示されたグラフィックパーツの大きさは、大きいほど手前側、小さいほど奥側にグラフィックパーツの深度を調節するよう対応付けてあり、グラフィックパーツが所望する大きさで表示された時点でユーザが決定操作を入力すると、深度決定部１１３は、決定操作時のグラフィックパーツ表示サイズに応じて、ステップＳ３１で取得した選択肢に対応付けられた深度を補正する（ステップＳ３４）。
ここで、ステップＳ３３、３４の処理の詳細を図１４に示すフローチャートを用いて説明する。
ステップＳ４１は、ユーザによるポップアップメニュー選択肢の選択操作を待ち受けるループ処理である。選択操作が受け付けられると（ステップＳ４１:Ｙｅｓ）、伸縮表示部１１２が拡大フラグをＯＮで初期化する（ステップＳ４２）。フラグ初期化後は、伸縮表示部１１２がステップＳ４３〜ステップＳ５０のループ処理を繰り返し実行する。
ステップＳ４３は拡大フラグがＯＮに設定されているか否かの判定である。拡大フラグがＯＮに設定されている場合（ステップＳ４３:Ｙｅｓ）、グラフィックパーツが最大サイズ（図４のグラフィックパーツ表示部２に表示されているグラフィックパーツのオリジナルサイズの２倍）で表示されているか否かを判定（ステップＳ４４）する。グラフィックパーツが最大サイズで表示されていなければ（ステップＳ４４：Ｎｏ）、グラフィックパーツの拡大率を１０％上げてグラフィックパーツの表示を更新（ステップＳ４５）し、グラフィックパーツが最大サイズで表示されていれば（ステップＳ４４：Ｙｅｓ）、拡大フラグをＯＦＦに設定する（ステップＳ４６）。ステップＳ４５、ステップＳ４６の処理後は、ステップＳ５０において、ユーザによる決定操作の入力があるかを判定する。
一方、ステップＳ４３判定で拡大フラグがＯＦＦに設定されている場合（ステップＳ４３:Ｎｏ）、グラフィックパーツが最少サイズ（オリジナルサイズの１／２倍）で表示されているか否かを判定（ステップＳ４７）する。グラフィックパーツが最小サイズで表示されていなければ（ステップＳ４７：Ｎｏ）、グラフィックパーツの縮小率を５％下げてグラフィックパーツの表示を更新（ステップＳ４８）し、グラフィックパーツが最小サイズで表示されていれば（ステップＳ４７：Ｙｅｓ）、拡大フラグをＯＮに設定する（ステップＳ４９）。ステップＳ４８、ステップＳ４９の処理後、ステップＳ５０において、ユーザによる決定操作の入力があるかを判定する。
ステップＳ５０の判定において、ユーザによる決定操作の入力がない場合は（ステップＳ５０：Ｎｏ）、ステップＳ４３から処理を繰り返す。
ステップＳ５０の判定において、ユーザによる決定操作の入力がある場合は（ステップＳ５０：Ｙｅｓ）、深度決定部１１３は、決定操作時のグラフィックパーツ表示サイズを取得し（ステップＳ５１）、サイズに応じて深度を決定する（ステップＳ５２）。具体的には、ステップＳ５１で取得したグラフィックパーツ表示サイズが、図４のグラフィックパーツ表示部２に表示されているグラフィックパーツよりも拡大されていれば、図１３に示すフローチャートのステップＳ３１で取得した選択肢に対応付ける深度よりも、拡大率に比例させて手前側に補正した深度をグラフィックパーツ配置深度に決定する。逆に、ステップＳ５１で取得したグラフィックパーツ表示サイズが、グラフィックパーツ表示部２に表示されているグラフィックパーツよりも縮小されていれば、ステップＳ３１で取得した深度よりも、縮小率に比例させて奥側に補正した深度をグラフィックパーツ配置深度に決定する。
以上が、深度設定提示部１０７によるグラフィックパーツ深度調節処理についての説明である。
＜ステレオ画像生成処理＞
図１５は、深度設定提示部１０７によって決定されたグラフィックパーツの深度に基づいて、グラフィックパーツを合成した立体視画像を生成する処理の流れを示すフローチャートである。
まず、シフト量取得部１１４は、深度設定提示部１０７によって決定されたグラフィックパーツの深度を取得する（ステップＳ６１）。画像合成部１１５は左目用画像のグラフィックパーツの配置範囲にグラフィックパーツを合成し、合成後左目用画像を生成する（ステップＳ６２）。
次にシフト量取得部１１４が、深度設定提示部１０７によって決定されたグラフィックパーツの深度から画素シフト量を算出し（ステップＳ６３）、画像合成部１１５がステップＳ６３で算出した画素シフト量だけグラフィックパーツの配置範囲をシフトさせた座標において、右目用画像にグラフィックパーツを合成し、合成後右目用画像を生成する（ステップＳ６４）。
ここで、グラフィックパーツの深度から画素シフト量を算出する方法について図１６を用いて説明する。図１６は、グラフィックパーツの配置深度と画素シフト量の関係を示す図である。立体視効果には、飛び出し効果をもたらすもの（飛出し立体視）と、引っ込み効果をもたらすもの（引っ込み立体視）とがあり、図１６（ａ）は飛出し立体視の場合の画素シフト、図１６（ｂ）は引っ込み立体視の場合の画素シフトを示す。これらの図において、Ｐｘは水平方向へのシフト量、L-View-Pointは左目瞳孔位置、R-View-Pointは右目瞳孔位置、L-Pixelは左目画素、R-Pixelは右目画素、ｅは瞳孔間距離、Ｈは表示画面の高さ、Ｗは表示画面の横幅、Ｓは視聴者から表示画面までの距離、Ｚは視聴者から結像点までの距離、すなわちグラフィックパーツの配置深度を示す。左目画素L-pixelと左目瞳孔L-view-pointとを結ぶ直線は左目瞳孔L-view-pointの視線、右目画素R-Pixelと右目瞳孔R-View-Pointとを結ぶ直線は右目瞳孔R-View-Pointの視線であり、３Ｄメガネによる透光・遮光の切り替えや、パララックスバリア、レンティキュラレンズ等を用いた視差障壁によって実現される。
また、右目画素R-pixel・左目画素L-pixelが図１６（ａ）の表示画面７０１における位置関係にある場合のＰｘを負の値とし、図１６（ｂ）の表示画面７０２における位置関係にある場合のＰｘを正の値とする。
まず、表示画面の高さＨ、表示画面の横幅Ｗについて考える。表示画面がＸ型のテレビである場合を考えると、テレビの型数は画面の対角線の長さ（インチ）で表されるため、テレビの型数Ｘ、表示画面の高さＨ、表示画面の横幅Ｗとの間には、Ｘ2＝Ｈ2＋Ｗ2の関係が成り立つ。また表示画面の高さＨ、表示画面の横幅Ｗは、アスペクト比ｍ：ｎを用いて、Ｗ：Ｈ＝ｍ：ｎと表される。上記の関係式から、図１６（ａ）、（ｂ）に示される表示画面の高さＨは
Figure 2013054462
表示画面の横幅Ｗは
Figure 2013054462
で表され、テレビの型数Ｘの値とアスペクト比ｍ：ｎから算出することができる。なお、テレビの型数Ｘ、アスペクト比ｍ：ｎの情報は、外部ディスプレイとのネゴシエーションにより取得した値を用いる。以上が表示画面の高さＨ、表示画面の横幅Ｗの関係についての説明である。続いて、水平方向のシフト量について説明する。
まず、飛出し立体視の場合について説明する。図１６の７０１は視聴者が飛び出し立体視を行う場合の画素シフトを示す図である。左目用画像を構成する全画素に対して、かかる画素シフトを行うことにより、左目用画像に対応する右目用画像を生成することができる。以下では、水平方向のシフト量の具体的な計算式について説明する。
飛出し立体視の場合の画素シフトは、図１６（ａ）を参照するに、左目瞳孔L-view-point、右目瞳孔R-View-Point、結像点の三点からなる三角形と、左目画素L-pixel、右目画素R-pixel、結像点の三点からなる三角形の相似関係から、視聴者が傾いていない場合の水平方向のシフト量Ｐｘ、被写体の距離Ｚ、視聴者から表示画面までの距離Ｓ、瞳孔間距離ｅとの間には
Figure 2013054462
の関係が成り立つ。被写体の距離Ｚはグラフィックパーツの配置深度から取得できる。また、瞳孔間距離ｅは、成人男性の平均値６．４ｃｍを採用する。また視聴者から表示画面までの距離Ｓは、最適な視聴距離が一般に表示画面の高さの３倍とされることから、３Ｈとする。
ここで表示画面の縦方向の画素数をＬ、表示画面の横方向の画素数をＫとした場合、横方向の１画素あたりの長さは、表示画面の横幅Ｗ÷表示画面の横方向の画素数Ｋ、縦方向の１画素あたりの長さは、表示画面の高さＨ÷表示画面の縦方向の画素数Ｌとなる。また１インチは２．５４ｃｍである。従って、水平方向のシフト量Ｐｘを画素単位で示すと
Figure 2013054462
となる。なお、表示画面の解像度（縦方向の画素数Ｌ、横方向の画素数Ｋ）の情報は、外部ディスプレイとのネゴシエーションにより取得した値を用いる。このように、上記数式に基づき、水平方向のシフト量Ｐｘを算出することができる。図１６（ｂ）に示す引っ込み立体視の場合も上記の説明と同様の関係が成り立つ。以上が、水平方向の画素シフト量の具体的な計算方法である。
尚、グラフィックパーツの合成処理では、グラフィックパーツの深度によっては、立体視画像に元から写る被写体によりグラフィックパーツの一部が隠れる場合がある。図１５のステップＳ６２、及びステップＳ６４で実行されるグラフィックパーツ合成処理では、このような立体視画像に元から写る被写体とグラフィックパーツとの前後関係を考慮した合成が必要となる。図１７は、ステップＳ６２、及びステップＳ６４で実行されるグラフィックパーツ合成処理の詳細を示すフローチャートである。ここでは、グラフィックパーツを左目用画像に合成する場合を説明する。
グラフィックパーツ合成処理では、先ず、合成位置ｘ、ｙをグラフィックパーツの配置範囲の左上隅座標（ｘ1,ｙ1）で初期化し（ステップＳ７１）、その後にステップＳ７２〜ステップＳ７８のループ処理を実行する。
ステップＳ７２は、座標（ｘ、ｙ）での左目用画像の深度Ｄ（ｘ、ｙ）が、グラフィックパーツの配置深度ｄよりも奥側であるかの判定である。座標（ｘ、ｙ）での左目用画像の深度Ｄ（ｘ、ｙ）が、グラフィックパーツの配置深度ｄよりも奥側であれば（ステップＳ７２:Ｙｅｓ）、座標（ｘ、ｙ）における左目用画像の画素を、グラフィックパーツの画素で上書きする（ステップＳ７３）。
ステップＳ７３で左目用画像の画素を上書きした後、及び、座標（ｘ、ｙ）での左目用画像の深度Ｄ（ｘ、ｙ）が、グラフィックパーツの配置深度ｄよりも手前側である場合（ステップＳ７２:Ｎｏ）は、合成位置のｘ座標をインクリメントし（ステップＳ７４）、変更後の合成位置のｘ座標が、グラフィックパーツの配置範囲の右下隅座標（ｘ2,ｙ2）のｘ座標値、ｘ2を超えるか否かを判定する（ステップＳ７５）。
新たな合成位置のｘ座標が、ｘ2を超えなければ（ステップＳ７５：Ｎｏ）、新たな合成位置についてステップＳ７２から処理を繰り返し、新たな合成位置のｘ座標が、ｘ2を超えるならば（ステップＳ７５:Ｙｅｓ）、合成位置のｘ座標をｘ1で再度初期化し（ステップＳ７６）、合成位置のｙ座標をインクリメントした後に（ステップＳ７７）、変更後の合成位置のｙ座標が、グラフィックパーツの配置範囲の右下隅座標（ｘ2,ｙ2）のｙ座標値、ｙ2を超えるか否かを判定する（ステップＳ７８）。
ステップＳ７８で新たな合成位置のｙ座標が、ｙ2を超えなければ（ステップＳ７８：Ｎｏ）、新たな合成位置についてステップＳ７２から処理を繰り返し、新たな合成位置のｘ座標が、ｘ2を超えるならば（ステップＳ７８:Ｙｅｓ）、グラフィックパーツの配置範囲の全ての画素について画像合成が完了しているため、グラフィックパーツ合成処理を終了する。
ここでは、グラフィックパーツを左目用画像に合成する場合を説明したが、グラフィックパーツを右目用画像に合成する場合には、グラフィックパーツの配置範囲の左上隅座標（ｘ1,ｙ1）、及び、右下隅座標（ｘ2,ｙ2）を、図１５のステップＳ６３で算出した画素シフト量だけシフトさせた座標を用いて、図１７に示す処理を実行することで、合成後右目用画像を生成することができる。
以上が、ステレオ画像生成部１０８によるステレオ画像生成処理についての説明である。
以上のように本実施の形態によれば、ユーザがグラフィックパーツを配置した位置の深度情報の分布から、グラフィックの配置可能性の判断を行い、奥行き方向の設定に関して、深度の選択肢をユーザに提供することで、グラフィックパーツの配置深度の設定を容易に行うことができる。
また、選択肢の選択後に、拡大／縮小を繰り返してグラフィックパーツを表示して、ユーザの更なる決定操作を待ち受け、決定操作時のグラフィックパーツ表示サイズに応じて、選択肢が示す深度から更に手前、若しくは奥にグラフィックパーツの配置深度を調整する。これにより、グラフィックパーツの配置深度の設定の自由度を高めることができるので、ユーザの利便性を向上させることができる。
尚、本実施形態１では、グラフィックパーツの配置深度を選択するポップアップメニューとして、図８に示すように、グラフィックパーツの配置範囲に人物とその背後のバスとの２つの被写体が存在する場合に、人物に対して「前方」、「貼付」、及び「後方」をグラフィックパーツの配置深度の選択肢として提示する例を説明したが、ポップアップメニューの選択肢の数は必ずしも３個とは限らない。例えば、図１８に示すように、グラフィックパーツが人物の頭部にのみ重なるように配置される場合には、ポップアップメニューには「前方」、及び「貼付」の２つの選択肢を提示するよう構成してもよい。また、「前方」、「貼付」、及び「後方」だけではなく４つ以上の選択肢を含むようポップアップメニューを構成してもよい。
（実施形態２）
実施の形態１にかかるユーザーインタフェース制御装置では、ディスプレイに平面視表示した左目用画像上で、グラフィックパーツを配置する平面位置がポインティングデバイス等により指定されると、左目用画像のグラフィックパーツの配置範囲に存在する被写体の深度を考慮して、被写体より前方や後方の深度、あるいは被写体と同じ深度等をグラフィックパーツの配置可能な深度として選択肢により提示した。
しかし、多くの被写体が狭い領域に密集して存在する場合、平面視表示した視点画像では各被写体の前後関係が視認しにくい場合もある。また、グラフィックパーツの配置範囲に多くの被写体が存在する場合、各被写体についての前方や後方など、様々な深度にグラフィックパーツを配置可能であり、ユーザに提示する選択肢も多岐にわたることになる。このような場合、ユーザが所望の深度を示す選択肢を選び出すことに手間がかかる。
実施の形態２にかかるユーザーインタフェース制御装置は、２つの視点画像のステレオマッチングにより得られたデプスマップデータから深度の異なる被写体を抽出し、抽出した被写体を平面視表示した視点画像において強調してユーザに提示することで、ユーザがグラフィックパーツを配置する平面位置の指定を容易にするものである。また、強調表示した被写体からグラフィックパーツを配置したい深度に近い被写体の指定を受けることで、選択肢を絞り込んでユーザに提示する。
図１９は、実施形態２に係るユーザーインタフェース制御装置３００の構成を示す図である。
ユーザーインタフェース制御装置３００は、操作入力受付部２０１、グラフィック重畳制御部２０２、深度情報算出部２０３、深度情報解析部２０５、グラフィック情報取得部２０６、深度設定提示部２０７、ステレオ画像生成部２０８、出力部２０９、及び領域分割部１２０１を備える。これら操作入力受付部２０１、グラフィック重畳制御部２０２、深度情報算出部２０３、深度情報解析部２０５、グラフィック情報取得部２０６、深度設定提示部２０７、ステレオ画像生成部２０８、出力部２０９、及び領域分割部１２０１の機能は、例えばプログラムとして予め、図１に示す記録媒体７０に記録されている。
本実施形態では図１に構成を示したスマートフォンにおいて、操作入力受付部２０１、グラフィック重畳制御部２０２、深度情報算出部２０３、深度情報解析部２０５、グラフィック情報取得部２０６、深度設定提示部２０７、ステレオ画像生成部２０８、出力部２０９、及び領域分割部１２０１のそれぞれに対応するプログラムを記録媒体７０から処理部１００内のＲＡＭにロードして処理部１００内のＣＰＵが実行することで、ハード資源（ＣＰＵとＲＡＭ上のプログラムとの協働）により実現される。
上述の例では、予め記録媒体７０に記録されているプログラムを処理部１００内のＲＡＭにロードして処理部１００内のＣＰＵが実行する構成を例に説明をしたが、上述のプログラムは処理部１００内のＲＡＭに予め記録されていても良い。処理部１００内のＲＡＭに予め上述のプログラムを記録する構成を採用した場合、記録媒体７０に上述のプログラムを記録する必要は必ずしもなくなる。
また、深度情報保存部２０４は、記録媒体７０の記録領域の一部により実現される。
ユーザーインタフェース制御装置３００が有する構成要素のうち操作入力受付部２０１、グラフィック情報取得部２０６、深度設定提示部２０７、領域分割部１２０１以外の要素は、図２に示した実施形態１に係るユーザーインタフェース制御装置が有するものと同様のものであり、本実施形態では説明を省略する。以下では操作入力受付部２０１、グラフィック情報取得部２０６、深度設定提示部２０７、領域分割部１２０１について説明する。
領域分割部１２０１は、立体視画像の輝度分布及び深度情報の分布にしたがって、左目用画像を複数の被写体領域に分割する領域区分手段としての機能を有する。具体的には、左目用画像において周囲の画素と輝度を比較した場合に、輝度が所定の閾値を超えて鋭敏に変化しているエッジ部分を検出する。領域分割部１２０１は、このようなエッジに囲まれた領域毎に左目用画像を区分し、さらに記録装置から左目用画像の深度情報を読み出して、エッジを挟んで両側の深度が所定の閾値を超えて異なる場合に、エッジに囲まれた領域が被写体領域であると判定する。
例えば、図２０の（ａ）に示すような３つの箱１１、１２、１３を被写体として破線で示すような向きで撮影すると、図２０の（ｂ）のような左目用画像が得られる。この左目用画像は領域分割部１２０１において適切な輝度の閾値を用いることにより領域１１ａ、１２ａ、１３ａが異なる領域として検出される。これらの領域について記録装置から左目用画像の深度情報を読み出し、領域１１ａ、１２ａ、１３ａの深度を、それぞれ隣接する領域の深度と比較し、所定の閾値を超えて異なる場合は、領域１１ａ、１２ａ、１３ａが被写体領域であると判定される。こうして検出した各被写体領域の座標情報は、深度情報保存部２０４を介して記録媒体７０に記録される。
深度設定提示部２０７は、実施形態１で説明したＧＵＩ提示部１１１、伸縮表示部１１２、深度決定部１１３と同様の機能を有するＧＵＩ提示部２１１、伸縮表示部２１２、深度決定部２１３に加えて、領域提示部２１４を内部に有する。領域提示部２１４は、ディスプレイに表示した左目用画像において、深度の異なる被写体をユーザに提示する領域提示手段としての機能を有する。具体的には、領域提示部２１４は、領域分割部１２０１で検出された各被写体領域を図２１の（ａ）に示す領域１１ｂ、１２ｂ、１３ｂのように、異なる模様や色で塗り分けてディスプレイに表示することでユーザに提示する。
尚、領域の提示には、図２１の（ｂ）に示すように、各領域に番号等のテキストを合成して表示する手法や、被写体と判定した領域１１ｃ、１２ｃ、１３ｃのエッジ部分を強調するよう画像を加工して表示する手法等、被写体と判定した領域のユーザ認識を補助する様々な手法を用いることができる。
操作入力受付部２０１は、実施形態１で説明した操作入力受付部１０１が受け付けるユーザ操作に加えて、上述のように領域提示部２１４により提示された深度の異なる被写体の何れかを、ユーザが選択する操作を受け付ける領域受付手段としての機能を有する。
グラフィック情報取得部２０６は、実施形態１で説明したグラフィック情報取得部１０５と同様に、ディスプレイ２００に表示された左目用画像上でグラフィックパーツが占める配置範囲の座標を取得する平面位置特定手段として機能するが、配置範囲の特定方法がグラフィック情報取得部１０５と相異する。グラフィック情報取得部１０５では、ユーザがグラフィックパーツを左目用画像上にドロップした座標からグラフィックパーツの配置範囲を算出したが、グラフィック情報取得部２０６は、操作入力受付部２０１により受け付けられた操作により選択された被写体領域の中央の座標を、グラフィックパーツの中心座標（ｘg,ｙg）として、グラフィックパーツの配置範囲を算出する。
以上が実施形態２に係るユーザーインタフェース制御装置３００の構成についての説明である。
続いて、ユーザーインタフェース制御装置３００における立体視画像加工について図２２を参照して説明する。
ユーザーインタフェース制御装置３００における立体視画像の加工では、まず、領域分割部１２０１は、画像の輝度及び深度情報を用いて左目用画像から被写体の領域を検出し、領域提示部２１４は、ディスプレイに表示している左目用画像において、検出された各被写体領域に異なる模様のパターンを重畳して表示させる（ステップＳ８１）。ユーザは、図２１（ａ）のように異なる模様で塗り分けられた領域の何れかを選択してどの被写体に対してグラフィックパーツを重畳するのかを指定することができる。
このような何れかの被写体領域を選択する操作が操作入力受付部２０１において受け付けられると（ステップＳ８２）、領域提示部２１４は、各被写体領域に重畳して表示していた模様のパターンを除去した後、選択された被写体領域に重畳してグラフィックパーツを描画する（ステップＳ８４）。
ここまでの手順により、実施形態１でユーザがグラフィックパーツを左目用画像上にドロップすることでグラフィックパーツの配置位置を指定していた操作を代替することができる。これ以降は、図１１のステップＳ１２以降に示す処理手順と同様の処理により、グラフィックパーツの配置深度を決定する（ステップＳ８４）ことで、立体視画像加工を継続することができる。
以上のように本実施の形態によれば、複数の被写体が近接配置され、どの被写体に対してグラフィックパーツを重畳するか判定が困難な場合においても、立体視画像の輝度や深度情報に基づいた領域分割手法を導入する事によって、領域単位でグラフィックパーツの配置位置を選択する事ができるので、様々な構図、種類の写真に対応することができ、さらにユーザの利便性を向上させることができる。
（補足）
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
（ａ）本発明の一態様は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
（ｂ）本発明の一態様は、上記各実施の形態に記載のユーザーインタフェース制御装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、図２、図１９に示すユーザーインタフェース制御装置１００、及び３００に含まれる各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
特に、立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する機能と、特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する機能と、取得した深度を示す選択肢と取得した深度とは異なるグラフィックを配置可能な他の深度を示す選択肢とを提示する機能と、複数の選択肢のうちの何れかの選択を受け付ける機能と、選択肢の選択を受け付けた後に、ユーザからの決定指示を受けるまでグラフィックのサイズを繰り返し変化させて表示する機能と、決定指示を受けた時点でグラフィックを拡大して表示していた場合、選択された選択肢の示す深度よりも手前側の深度をグラフィックを配置する深度に決定し、決定指示を受けた時点でグラフィックを縮小して表示していた場合、選択された選択肢の示す深度よりも奥側の深度をグラフィックを配置する深度に決定する機能と、決定した深度で立体視効果を生じさせるための視差を算出し、当該視差を画素数に変換することでシフト量を取得する機能と、一方の視点画像に対して特定した範囲にグラフィックを合成し、立体視画像を構成する他方の視点画像に対して特定した範囲からシフト量だけ水平方向にシフトした範囲にグラフィックを合成する機能と、立体視表示する際の深度が隣接する領域と閾値を超えて異なる複数の領域に、一方の視点画像を区分する機能と、区分した複数の領域を提示する機能と、提示した領域の何れかの選択を受ける機能とは、上述のとおり集積回路、専用回路等により実現するよう構成することが出来る。また、上記の各機能を、プロセッサとメモリ上のプログラムとの協働とにより実現するよう構成することもできる。
（c）上記実施の形態１では、対応点探索を画素単位で行う場合を説明したが、必ずしもこの場合に限定されない。例えば、対応点探索を画素ブロック単位（例えば４×４画素、１６×１６画素）で行ってもよい。
（d）上記実施の形態１では、被写体の奥行き方向の距離を０〜２５５までの２５６階調の値に変換し、各画素の奥行きを８ビットの輝度で表したグレースケール画像として深度情報を生成する場合を説明したが、必ずしもこの場合に限定されない。例えば、被写体の奥行き方向の距離を０〜１２７までの１２８階調の値に変換してもよい。
（ｅ）上記実施の形態１では、左目用画像に対するグラフィックパーツの配置位置を基準に視差を付けて右目用画像の上にグラフィックパーツを重畳しているが、順番はその逆に、右目用画像に対するグラフィックパーツの配置位置を基準に視差を付けて右目用画像の上にグラフィックパーツを重畳してもかまわない。この場合、ユーザによるグラフィックパーツの配置位置の指定を受ける際に、ディスプレイには右目用画像を表示しておくことが好ましい。
（ｆ）上記実施の形態１では、同解像度の左目用画像と右目用画像の組みからなるステレオ画像を取得する場合を説明したが、必ずしもこの場合に限定されない。例えば、左目用画像と右目用画像は解像度が異なる画像であってもよい。解像度が異なる画像間においても、解像度変換処理を行うことで、対応点探索による深度情報の生成が可能であり、高解像度の画像に対して画素シフト処理を行うことにより高解像度のステレオ画像を生成することができる。処理が重い深度情報の生成処理を低解像度の画像サイズで行うことができるため、処理の軽減が可能となる。また、撮像装置の一部を低性能の撮像装置とすることができ、低コスト化を図ることができる。
（g）上記実施の形態１では、表示デバイスの型数Ｘ、アスペクト比ｍ：ｎ、表示画面の解像度（縦方向の画素数Ｌ、横方向の画素数Ｋ）の情報を、外部ディスプレイとのネゴシエーションにより取得する場合を説明したが、必ずしもこの場合に限定されない。例えば、視聴者に表示デバイスの型数Ｘ、アスペクト比ｍ：ｎ、表示画面の解像度（縦方向の画素数Ｌ、横方向の画素数Ｋ）の情報等を入力させるものであってもよい。
（ｉ）上記実施の形態１では、視聴者から表示画面までの距離Ｓを表示画面の高さＨの３倍（３Ｈ）とし、画素シフト量を算出する場合を説明したが、必ずしもこの場合に限定されない。例えば、ＴＯＦ（Time Of Flight）型センサ等の距離センサにより、視聴者から表示画面までの距離Ｓを算出してもよい。
（ｊ）上記実施の形態１では、瞳孔間距離ｅを成人男性の平均値６．４ｃｍとし、画素シフト量を算出する場合を説明したが、必ずしもこの場合に限定されない。例えば、表示デバイスにカメラを設置し、そのカメラによって取得した顔画像から瞳孔間距離を算出してもよい。また、視聴者が大人であるか子供であるか、男性であるか女性であるかを判別し、それに応じた瞳孔間距離ｅを算出してもよい。
（ｋ）上記実施の形態２では、被写体の領域分割の際、輝度分布、並びに深度情報の分布から領域を分割したが、領域分割方法としては、これに限るものではない。例えば、深度情報の分布のみから領域を分割してもよい。また、輝度分布のみを用いて、エッジ（輝度が鋭敏に変化している箇所）またはエッジの交点箇所をいう特徴点として抽出し、領域を分割してもよい。
エッジの検出は、画素間の輝度の差分（一次微分）を求め、その差分からエッジ強度を算出することにより行ってもよい。なお、その他のエッジ検出方法により特徴点を抽出してもよい。
（ｌ）上記実施の形態１では, ユーザに奥行き配置を選択させる手段としてＧＵＩのメニューを表示するように指示しているが、選択できる手段であれば他の手法を用いてもよい、例えば、背景、被写体、前景を所定の時間間隔で順番に色づけして表示し、ユーザの望む深度が色づけして表示されている時にボタン押下等の操作を入力することによって、どの位置に大まかに配置するかを選択させるようにしてもよい。なお、背景、被写体、前景を順番に色づけ表示する場合でも、被写体に隠れてしまうなどの場合、グラフィックパーツを配置する意味の無い選択肢は表示しないものとする。
（ｍ）上記実施の形態１では、深度情報算出部１０３は、深度情報を、例えばＴＯＦ（Time Of Flight）型距離センサ等の距離センサにより各被写体の距離を計測し、生成してもよい。また、外部のネットワーク、サーバ、記録媒体等から、単眼画像と共に深度情報を取得するものであってもよい。また、取得した単眼画像を解析し、深度情報を生成するものであってもよい。具体的には、まず画像を「スーパーピクセル」と呼ばれる色、明るさなどの属性がきわめて均質な画素集合に分け、このスーパーピクセルを隣接するスーパーピクセルと比較し、テクスチャーのグラデーションなどの変化を分析することによって、被写体の距離を推定する。単眼画像は、例えば単眼カメラ等の撮像装置により撮像された画像データであってもよい。また実写画像に限らず、ＣＧ（Computer Graphics）等であってもよい。
（n）上記実施の形態１では, ＧＵＩのメニューを表示しているが、その表示位置は左上隅をデフォルトの表示位置として定めているが、表示位置はこの位置に限らない。被写体が隠れない位置に移動・表示し、グラフィックパーツの配置位置に重ならないように配置してもよい。
（o）上記実施の形態２では、立体視画像を被写体の領域に分割してはいるが、被写体が何であるかを考慮することなく、輝度及び深度情報により被写体の領域を分割している。しかし、被写体の領域分割において、なんらかの人物・物体認識技術を用いて、物体を検出し、（ｋ）に記載のような領域分割手法や上記実施の形態２で用いた深度情報の分布と組み合わせて領域分割を行ってもよい。また、分割された領域に番号を振り、その番号を被写体の上に重畳表示し、ユーザにその番号を選択させる形でグラフィックパーツを重畳する被写体を選択させるようにしてもよい。
（p）上記実施の形態２では、人物認識機能を利用して人物の領域を認識し、領域分割を行い、人物に対してグラフィックパーツを重畳しやすくするようにしてもよい。
（q）上記実施の形態１では、グラフィックパーツとして花のマークを例に挙げたが、人間の体の一部分であるグラフィックパーツ、例えば、髪の毛や唇のようなグラフィックパーツの場合には、顔認識機能を利用して、そのグラフィックパーツを顔上の適切な位置に配置するように重畳してもよい。
（r）上記実施の形態１では、グラフィックパーツとして花のマークを例に挙げたが、グラフィックパーツが吹き出しの場合には、顔認識機能を利用して、口の領域の探索し、口に吹き出しの先端がくるように、かつ、被写体である顔を隠さないように配置してもよい。
本発明の一態様にかかるユーザーインタフェース制御装置によれば、立体視画像にグラフィックパーツを合成する際にグラフィックパーツの配置深度を容易に設定することができ、立体視画像の加工を行うＰＣ、タブレット、スマートフォン、携帯電話等の用途に応用できる。また、レタッチ系のアプリケーションに対しても特に有用である。
１０ カメラ
２０ スピーカ
３０ ＧＰＳ
４０ センサ
５０ タッチパネル
６０ マイク
７０ 記録媒体
１００ 処理部
１０１、２０１ 操作入力受付部
１０２ 制御部
１０３、２０３ 深度情報算出部
１０４、２０４ 深度情報保存部
１０５、２０６ グラフィック情報取得部
１０６、２０５ 深度情報解析部
１０７、２０７ 深度設定提示部
１０８、２０８ ステレオ画像生成部
１０９、２０９ 出力部
１１１ ＧＵＩ提示部
１１２ 伸縮表示部
１１３ 深度決定部
１１４ シフト量取得部
１１５ 画像合成部
２００ ディスプレイ
２０２ グラフィック重畳制御部
２１１ ＧＵＩ提示部
２１２ 伸縮表示部
２１３ 深度決定部
２１４ 領域提示部
３００ ユーザーインタフェース表示装置
１２０１ 領域分割部

Claims (16)

  1. 立体視画像にグラフィックを合成する際に、グラフィックを配置する奥行き方向の深度を設定するためのユーザーインタフェースを提供するユーザーインタフェース制御装置であって、
    立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する平面位置特定手段と、
    前記特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する視点画像深度取得手段と、
    前記取得した深度を示す選択肢と、前記取得した深度とは異なるグラフィックを配置可能な他の深度を示す選択肢とを提示する提示手段と
    を備えることを特徴とするユーザーインタフェース制御装置。
  2. 前記取得した深度を示す選択肢は、前記グラフィックが占める範囲に写る被写体で最も手前に位置するものの深度を示し、
    前記グラフィックを配置可能な他の深度を示す選択肢は、前記最も手前に位置する被写体の深度よりも更に手前側の深度を示す
    ことを特徴とする請求項１記載のユーザーインタフェース制御装置。
  3. 前記一方の視点画像の前記特定した範囲に、前記最も手前に位置する被写体に加えて他の被写体が存在し、且つ、２つの被写体間で深度が閾値を超えて異なる場合、提示手段は更に、前記２つの被写体の深度の中間の深度を示す選択肢を提示する
    ことを特徴とする請求項２記載のユーザーインタフェース制御装置。
  4. 前記複数の選択肢のうちの何れかの選択を受け付ける受付手段と、
    前記選択肢の選択を受け付けた後に、ユーザからの決定指示を受けるまで前記グラフィックのサイズを繰り返し変化させて表示する伸縮表示手段と、
    前記決定指示を受けた時点でグラフィックを拡大して表示していた場合、前記選択された選択肢の示す深度よりも手前側の深度を、グラフィックを配置する深度に決定し、前記決定指示を受けた時点でグラフィックを縮小して表示していた場合、前記選択された選択肢の示す深度よりも奥側の深度を、グラフィックを配置する深度に決定する深度決定手段と
    を更に備えることを特徴とする請求項３記載のユーザーインタフェース制御装置。
  5. 深度決定手段は、２つの被写体の深度の中間の深度を示す選択肢が選択された場合に、前記２つの被写体のうち手前側に位置する被写体の深度を、伸縮表示手段が最も拡大して表示したグラフィックのサイズに対応付け、前記２つの被写体のうち奥側に位置する被写体の深度を、伸縮表示手段が最も縮小して表示したグラフィックのサイズに対応付けることで、前記決定指示を受けた時点でのグラフィックのサイズに応じた深度を決定する
    ことを特徴とする請求項４記載のユーザーインタフェース制御装置。
  6. 深度決定手段は、前記グラフィックが占める範囲において前記選択された選択肢の示す深度より奥側に何れかの被写体が存在する場合、当該奥側に位置する被写体の深度を、伸縮表示手段が最も小さく表示したグラフィックのサイズに対応付けることで、前記決定指示を受けた時点でのグラフィックのサイズに応じた深度を決定する
    ことを特徴とする請求項４記載のユーザーインタフェース制御装置。
  7. 深度決定手段は、前記グラフィックが占める範囲において前記選択された選択肢の示す深度より手前側に何れかの被写体が存在する場合、当該手前側に位置する被写体の深度を、伸縮表示手段が最も大きく表示したグラフィックのサイズに対応付け、前記グラフィックが占める範囲において前記選択された選択肢の示す深度より手前側に被写体が存在しない場合、前記選択された選択肢の示す深度よりも手前側の所定の深度を、伸縮表示手段が最も大きく表示したグラフィックのサイズに対応付けることで、前記決定指示を受けた時点でのグラフィックのサイズに応じた深度を決定する
    ことを特徴とする請求項４記載のユーザーインタフェース制御装置。
  8. 前記決定した深度で立体視効果を生じさせるための視差を算出し、当該視差を画素数に変換することでシフト量を取得するシフト量取得手段と、
    前記一方の視点画像に対して前記平面位置特定手段で特定した範囲にグラフィックを合成し、立体視画像を構成する他方の視点画像に対して前記平面位置特定手段で特定した範囲から前記シフト量だけ水平方向にシフトした範囲にグラフィックを合成する画像合成手段と
    を更に備えることを特徴とする請求項４記載のユーザーインタフェース制御装置。
  9. 視点画像深度取得手段は、立体視画像を構成する前記一方の視点画像と他方の視点画像とのステレオマッチングによって、前記被写体の深度を取得する
    ことを特徴とする請求項１記載のユーザーインタフェース制御装置。
  10. 立体視表示する際の深度が隣接する領域と閾値を超えて異なる複数の領域に、前記一方の視点画像を区分する領域区分手段と、
    区分した複数の領域を提示する領域提示手段と、
    提示した領域の何れかの選択を受ける領域受付手段と
    をさらに備え、
    前記平面位置特定手段は、前記選択された領域の少なくとも一部を含むように、前記グラフィックが占める範囲を特定する
    ことを特徴とする請求項１記載のユーザーインタフェース制御装置。
  11. 前記領域提示手段は、隣接する領域を異なる色で表示することにより、区分した複数の領域を提示する
    ことを特徴とする請求項１０記載のユーザーインタフェース制御装置。
  12. 前記領域提示手段は、各領域に異なるテキストを付加して表示することにより、区分した複数の領域を提示する
    ことを特徴とする請求項１０記載のユーザーインタフェース制御装置。
  13. 領域区分手段による前記一方の視点画像の区分では、前記一方の視点画像の画素間で輝度が鋭敏に変化しているエッジまたはエッジの交点の抽出により各領域の境界を特定し、
    立体視表示する際の深度には、立体視画像を構成する前記一方の視点画像と他方の視点画像とのステレオマッチングによって得られる各画素の深度を用いる
    ことを特徴とする請求項１０記載のユーザーインタフェース制御装置。
  14. 立体視画像にグラフィックを合成する際に、グラフィックを配置する奥行き方向の深度を設定するためのユーザーインタフェースを制御するユーザーインタフェース制御方法であって、
    立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する平面位置特定ステップと、
    前記特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する視点画像深度取得ステップと、
    前記取得した深度を示す選択肢と、前記取得した深度とは異なり、グラフィックを配置可能な他の深度を示す選択肢とを提示する提示ステップと
    を含むことを特徴とするユーザーインタフェース制御方法。
  15. 立体視画像にグラフィックを合成する際に、グラフィックを配置する奥行き方向の深度を設定するためのユーザーインタフェースを制御するコンピュータプログラムであって、
    立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する平面位置特定ステップと、
    前記特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する視点画像深度取得ステップと、
    前記取得した深度を示す選択肢と、前記取得した深度とは異なり、グラフィックを配置可能な他の深度を示す選択肢とを提示する提示ステップと
    をコンピュータに実行させることを特徴とするコンピュータプログラム。
  16. 立体視画像にグラフィックを合成する際に、グラフィックを配置する奥行き方向の深度を設定するためのユーザーインタフェースを提供するユーザーインタフェース制御装置の集積回路であって、
    立体視画像を構成する一方の視点画像上にグラフィックを配置した場合に、グラフィックが占める範囲を特定する平面位置特定手段と、
    前記特定した範囲において、前記一方の視点画像に写る被写体の深度を取得する視点画像深度取得手段と、
    前記取得した深度を示す選択肢と、前記取得した深度とは異なり、グラフィックを配置可能な他の深度を示す選択肢とを提示する提示手段と
    を備えることを特徴とする集積回路。
JP2012556728A 2011-10-13 2012-08-10 ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路 Ceased JPWO2013054462A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012556728A JPWO2013054462A1 (ja) 2011-10-13 2012-08-10 ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011226092 2011-10-13
JP2011226092 2011-10-13
JP2012556728A JPWO2013054462A1 (ja) 2011-10-13 2012-08-10 ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路

Publications (1)

Publication Number Publication Date
JPWO2013054462A1 true JPWO2013054462A1 (ja) 2015-03-30

Family

ID=48081534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012556728A Ceased JPWO2013054462A1 (ja) 2011-10-13 2012-08-10 ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路

Country Status (4)

Country Link
US (1) US9791922B2 (ja)
JP (1) JPWO2013054462A1 (ja)
CN (1) CN103168316A (ja)
WO (1) WO2013054462A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569695B2 (en) 2012-04-24 2017-02-14 Stmicroelectronics S.R.L. Adaptive search window control for visual search
GB2511526A (en) 2013-03-06 2014-09-10 Ibm Interactor for a graphical object
JP6369005B2 (ja) * 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
RU2015145510A (ru) 2013-03-26 2017-05-03 Сейко Эпсон Корпорейшн Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения
JP5834253B2 (ja) 2013-03-27 2015-12-16 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5849206B2 (ja) * 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20150052460A1 (en) * 2013-08-13 2015-02-19 Qualcomm Incorporated Method for seamless mobile user experience between outdoor and indoor maps
CN104469338B (zh) * 2013-09-25 2016-08-17 联想(北京)有限公司 一种控制方法和装置
JP6351295B2 (ja) 2014-02-21 2018-07-04 キヤノン株式会社 表示制御装置及び表示制御方法
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
US20160165207A1 (en) * 2014-12-03 2016-06-09 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
KR102423175B1 (ko) 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
CN109542293B (zh) * 2018-11-19 2020-07-31 维沃移动通信有限公司 一种菜单界面设置方法及移动终端
JP7428687B2 (ja) 2021-11-08 2024-02-06 株式会社平和 遊技機

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145832A (ja) * 2002-08-29 2004-05-20 Sharp Corp コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
JP2005078424A (ja) * 2003-09-01 2005-03-24 Omron Corp 写真シール作成装置および写真シール作成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
JP4955596B2 (ja) * 2008-03-21 2012-06-20 富士フイルム株式会社 画像出力方法、装置およびプログラム
EP2357823A4 (en) * 2008-12-02 2017-03-01 Lg Electronics Inc. 3d image signal transmission method, 3d image display apparatus and signal processing method therein
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145832A (ja) * 2002-08-29 2004-05-20 Sharp Corp コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
JP2005078424A (ja) * 2003-09-01 2005-03-24 Omron Corp 写真シール作成装置および写真シール作成方法

Also Published As

Publication number Publication date
CN103168316A (zh) 2013-06-19
US20130293469A1 (en) 2013-11-07
US9791922B2 (en) 2017-10-17
WO2013054462A1 (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
WO2013054462A1 (ja) ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路
US11756223B2 (en) Depth-aware photo editing
EP3742332A1 (en) Method and apparatus for training model for recognizing key points of hand, and method and apparatus for recognizing key points of hand
JP4966431B2 (ja) 画像処理装置
RU2587425C2 (ru) Способ получения карты глубины изображения повышенного качества
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
US20190130648A1 (en) Systems and methods for enabling display of virtual information during mixed reality experiences
JP2011509451A (ja) 画像データのセグメント化
JP7387434B2 (ja) 画像生成方法および画像生成装置
JP2010154422A (ja) 画像処理装置
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
TWI502546B (zh) 推擠一模型通過二維場景的系統、方法和電腦程式商品
JP5341126B2 (ja) 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
US11043019B2 (en) Method of displaying a wide-format augmented reality object
US9177382B2 (en) Image processing apparatus for forming synthetic image and image processing method for forming synthetic image
KR20070010306A (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
US8817081B2 (en) Image processing apparatus, image processing method, and program
CN106055108B (zh) 一种虚拟触摸屏的操控方法和系统
KR101626679B1 (ko) 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체
EP3367328A1 (en) A method, apparatus and computer program product for generating composite images with three-dimensional effects and reducing pole contraction lines

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20160426