JPWO2018087977A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JPWO2018087977A1
JPWO2018087977A1 JP2018550034A JP2018550034A JPWO2018087977A1 JP WO2018087977 A1 JPWO2018087977 A1 JP WO2018087977A1 JP 2018550034 A JP2018550034 A JP 2018550034A JP 2018550034 A JP2018550034 A JP 2018550034A JP WO2018087977 A1 JPWO2018087977 A1 JP WO2018087977A1
Authority
JP
Japan
Prior art keywords
item
items
origin position
menu
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018550034A
Other languages
English (en)
Inventor
超 馬
超 馬
和平 岡田
和平 岡田
遠藤　誠
誠 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018087977A1 publication Critical patent/JPWO2018087977A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

例えば非接触操作等に好適なユーザインターフェースを提供する。まず取得した操作情報から操作方向及び操作距離を求める。また原点位置の周囲に選択対象となる項目の領域を配置した状態の操作空間を設定する。そして項目の領域と、原点位置を起点とすることで操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する処理を行う。また判定された結果に応じた表示データを生成することで、ユーザに操作状況が認識されるようにする。

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、特にユーザインターフェース技術に関する。
空間上でのユーザの身体やユーザが所持する入力デバイスの動きにより各種の操作入力を行う非接触操作が知られている。
下記特許文献１には、非接触操作に関する技術が開示され、例えば円運動の操作を認識する手法が記載されている。
特開２０１３−１９６３９１号公報
非接触操作の態様として、ユーザが手や入力デバイスを空間で動かして、特定の動きが検出された場合に、電子機器側がそれを検出して特定の操作と認識するものがある。
またユーザの手や入力デバイスの動きを画面上に反映させるようにし、ユーザが表示画面上に現れる操作画像を見ながら、手や入力デバイスを空間で動かして、所望の項目（画面上の操作アイテム等）を選択する手法もある。
しかし一般的に空間上の動きは不定な要素が多く、安定した操作が行いにくいという問題がある。
操作のための動きを画面上のカーソルの動き等として反映させることで、それがユーザにとっては操作のガイドともなるが、それだけで操作性を安定させることは難しい。
例えば手や入力デバイスの動きに対応したカーソルが画面上の項目を示す状態としても、その状態で決定（エンター）操作、例えばクリック等に相当する操作を行うことが困難である。
例えば空間内での二次元（ｘ−ｙ平面方向）の動きの成分を画面平面上のカーソル移動に反映させている状態のであれば、奥行き方向（ｚ方向）の動きをエンター操作とすることが考えられるが、空間上の動きの場合、奥行き方向の動きの際に平面方向の成分も加わることが通常で、画面上のカーソル指定の位置がずれてしまい、誤操作が起こることもある。もちろんエンター操作のための他の動きも考えられるが、いずれにしても操作効率はあまりよくない。
そこで本開示では、不安定な空間上の動きを行う非接触操作においても、ユーザが安定して容易に操作入力を行うことのできるユーザインターフェースを提供することを目的とする。
本技術に係る情報処理装置は、取得した操作情報から操作方向及び操作距離を求める操作検知部と、選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知部が求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する処理を行う制御部と、前記制御部により判定された結果に応じた表示データを生成する表示データ生成部とを備える。
この構成の場合、ユーザが行う操作（例えば非接触操作）についての操作方向と操作距離を、原点を起点とした方向及び距離として仮想的な操作空間に反映させる。つまりユーザの操作により示される方向及び距離を、仮想的な操作空間で原点位置から延伸される方向及び距離として認識する。この操作空間では、原点位置の周囲に選択対象となる項目を配置する。そして原点位置からの操作方向及び操作距離で特定される操作位置と項目の領域の位置関係が或る項目を指し示すような特定の状態に遷移したことになったら（例えば項目への到達や項目の通過等）、その項目が選択されたと認識する。
上記した本技術に係る情報処理装置においては、前記操作検知部は前記操作情報として非接触操作情報を検出し、前記制御部は、前記原点位置を、非接触操作情報が有効な操作領域の略中央に設定することが考えられる。
操作領域の中央に原点位置を設定することで、選択対象となる項目は操作領域の中央を中心にした円環状に並ぶような状態となる。
上記した本技術に係る情報処理装置においては、前記表示データ生成部は、前記操作検知部が求めた操作方向及び操作距離を、操作平面上で表示する表示データを生成することが考えられる。
表示画面に表示される操作平面は、原点領域と選択項目だけでなく、操作方向及び操作距離によって決まる現在の操作位置も表示する。例えば原点から延伸する矢印等の画像などで操作位置を表現する。
上記した本技術に係る情報処理装置においては、前記制御部は、原点位置の周囲に、選択対象となる複数の項目を、原点位置からみて重ならない状態で配置した操作平面を設定することが考えられる。
原点位置を中心として、例えば円環状などとして複数の項目を配置する。各項目は原点位置から見て重ならない位置とすることで、どの項目も、原点位置を起点とする操作方向及び操作距離で特定される操作位置が、その項目に到達することにより、選択状態とすることができる。
上記した本技術に係る情報処理装置においては、前記制御部は、操作平面上の操作位置によって或る項目が選択されたと認識し、かつ、その選択された項目に下位の項目が存在する場合には、選択された項目を原点位置に配置し、下位の項目を原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行い、再設定した操作平面上で操作位置が或る下位の項目を示す状態に至ったことで、当該下位の項目が選択状態となったと認識する処理を行うことが考えられる。
原点位置を中心として、各項目は原点位置から見て重ならない位置とされていれば、原点位置を起点とする操作方向及び操作距離で特定される操作位置により、各項目を選択状態とすることができるが、さらに選択した項目に下位の項目が存在する場合に同様の操作を可能とする。このために、選択した項目を原点位置に配置（移動）させ、その周囲に、下位の項目を配置した操作平面に切り替わるようにする。即ち操作の起点が中心に回帰するようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、操作平面の設定もしくは再設定の際、原点位置の周囲には、複数の項目を、原点位置を中心とした仮想的な真円の環に沿って配置させることが考えられる。
例えば原点位置の周囲に原点を中心とした仮想的な真円の環を考え、当該環に沿って項目を配置する。
上記した本技術に係る情報処理装置においては、前記制御部は、操作平面の再設定を行う際、選択された項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御することが考えられる。
即ち選択された項目が原点位置に回帰する様子を表示上でユーザに提示する。
上記した本技術に係る情報処理装置においては、前記制御部は、操作平面の再設定の際、下位の項目に加え、階層を戻る操作のための項目を原点位置からみて重ならない状態で原点位置の周囲に配置することが考えられる。
選択した項目の周囲に、下位の項目とともに階層を戻るための項目も配置することで、階層を遡る操作の選択も可能とする。
上記した本技術に係る情報処理装置においては、前記制御部は、階層を戻る操作のための項目が選択された場合、階層を戻る操作のための項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御するとともに、上位の項目を原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行うことが考えられる。
即ち“戻る”操作の項目が選択された場合、この“戻る”操作の項目が原点位置に回帰する様子を表示上でユーザに提示したうえで、上位階層の項目を配置して表示させる。
上記した本技術に係る情報処理装置においては、前記制御部は、項目の選択又は指定として複数の段階を伴う操作を行うための操作平面として、第Ｘ段階（但しＸは１以上の自然数）で選択対象となる複数の項目を、原点位置から数えて第Ｘ番目となる仮想的な環状線上に、原点位置からみて互いに重ならない状態で配置する操作平面を設定するとともに、操作位置により前記第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目に応じて指定又は選択の対象となる１又は複数の項目を配置する操作平面を設定することが考えられる。
原点位置を中心として、例えば円環状に複数の項目を配置するが、或る項目が選択された場合、その外周側に、選択項目に応じて選択又は指定の対象となる項目を配置する。例えば下位階層の項目や、エンター（決定）操作のための項目である。
上記した本技術に係る情報処理装置においては、前記制御部は、操作位置により第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目の下位階層として選択の対象となる複数の下位の項目を配置する操作平面を設定し、操作位置が或る下位の項目を示す状態に至ったことで、当該下位の項目が選択状態となったと認識する処理を行うことが考えられる。
即ち原点位置を中心として、例えば複数の仮想的な環状線を考え、外周に下位階層の項目が提示されるような操作平面を形成していく。これにより操作方向及び操作距離で決定される操作位置の延伸により、上位の項目の選択に続いて下位の項目が選択できるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、操作位置により第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目についての決定操作の項目を配置する操作平面を設定し、操作位置が決定操作の項目を指定する状態に至ったことで、第Ｘ段階で選択された項目についての決定操作が行われたと認識する処理を行うことが考えられる。
即ち選択操作後に決定操作を行うという段階的な操作を行う場合にも、仮想的な環状線に配置した複数の項目の外周側に、決定操作のための項目を配置することで、操作方向及び操作距離で決定される操作位置の延伸により、項目の選択に続いて決定操作ができるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、前記決定操作の項目を、第Ｘ＋１番目となる仮想的な環状線上であって、第Ｘ段階で選択された項目に隣りあう位置に配置することが考えられる。
つまり決定操作のための項目は、選択された項目のすぐ外周側に隣接して配置する。
上記した本技術に係る情報処理装置においては、前記制御部は、第Ｘ段階で選択対象となる複数の項目を、スクロール操作のための項目とし、スクロール操作のための項目が選択状態となることに応じて、スクロール操作を認識する処理を行うことが考えられる。
即ち環状に配置された項目によりスクロール操作が可能となるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、スクロール操作のための複数の項目が選択状態となる順序に応じて、スクロール操作の方向を認識する処理を行うことが考えられる。
即ち環状に配置された複数の項目を順次選択していく操作が、スクロール操作の方向を指示することになるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、第Ｘ＋１番目となる仮想的な環状線上であって、スクロール操作のための項目のうちで選択中の項目と同じ角度範囲に、スクロール後の決定操作の項目を配置することが考えられる。
これにより選択中のスクロール用の項目の外周側に、決定操作の項目が配置され表示される。スクロール操作としてスクロール用の項目が順次選択されていく際には、外周側の決定操作の項目も、それに追従して位置が変化していくことになる。つまり選択中の項目が順次変化することで、決定操作の項目も、順次異なる外周位置に表示される。
上記した本技術に係る情報処理装置においては、前記制御部は、操作位置により前記第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、前記第Ｘ段階の複数の項目のうちで選択されなかった項目の表示態様が変化するように、表示データ生成部に指示することが考えられる。
第Ｘ段階の項目の１つが選択された場合、選択されなかった項目については表示上で例えば非アクティブ状態や、非表示の状態などに表示態様を変化させる。
上記した本技術に係る情報処理装置においては、前記制御部は、第Ｘ段階で選択された項目に応じて第Ｘ＋１段階で指定又は選択の対象となる１又は複数の項目を配置する操作平面を設定した後、選択された項目の選択が解除される状態となった場合は、第Ｘ＋１段階の項目を解消するように操作平面を設定することが考えられる。
第Ｘ段階の項目の選択状態が解消されたら、第Ｘ段階の項目の選択操作に戻ることになるため、第Ｘ＋１段階の項目の操作平面上での設定を解消し、表示もなくなるようにする。
本技術に係る情報処理方法は、取得した操作情報から操作方向及び操作距離を求める操作検知手順と、選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知手順で求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する判定手順と、前記判定手順により判定された結果に応じた表示データを生成する表示データ生成手順とを情報処理装置が実行する情報処理方法である。
本技術に係るプログラムは、これらの各手順に相当する処理ステップを情報処理装置に実行させるプログラムである。
これらの方法又はプログラムにより非接触操作等の操作に好適なユーザインターフェースを実現する。
本技術によれば、ユーザが非接触操作等の操作を容易に、かつ安定して実行できるようにするユーザインターフェースを提供できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態の情報処理装置の機能構成の説明図である。 実施の形態の出力エリアと入力デバイス有効範囲の変換関係の説明図である。 実施の形態の操作平面の説明図である。 実施の形態の中心回帰型メニューの操作領域の説明図である。 実施の形態のパイ型メニューの操作領域の説明図である。 実施の形態の情報処理装置のハードウエア構成のブロック図である。 実施の形態のメニューモードの起動操作の説明図である。 実施の形態の中心回帰型メニューの表示及び動作の説明図である。 実施の形態の中心回帰型メニューの表示及び動作の説明図である。 実施の形態の中心回帰型メニューの表示及び動作の説明図である。 実施の形態の中心回帰型メニューのための処理のフローチャートである。 実施の形態の中心回帰型メニューの表示遷移の説明図である。 実施の形態のパイ型メニューの表示及び動作の説明図である。 実施の形態のパイ型メニューの表示及び動作の説明図である。 実施の形態のパイ型メニューの表示及び動作の説明図である。 実施の形態のパイ型メニューの処理の第１例のフローチャートである。 実施の形態のパイ型メニューの処理の第１例の表示遷移の説明図である。 実施の形態のパイ型メニューの処理の第２例のフローチャートである。 実施の形態のパイ型メニューの処理の第２例の表示遷移の説明図である。 実施の形態のパイ型メニューの処理の第３例のフローチャートである。 実施の形態のパイ型メニューの処理の第３例の表示遷移の説明図である。 実施の形態のパイ型メニューの処理の第４例のフローチャートである。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図２５に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 実施の形態のメニュー方式のモニタ制御への適用例の説明図である。 実施の形態のメニュー方式のパン／チルト制御への適用例の説明図である。 実施の形態のメニュー方式のフォーカス／ズーム制御への適用例の説明図である。 実施の形態のメニュー方式の２Ｄ／３Ｄ制御への適用例の説明図である。 実施の形態のメニュー方式のスワップ／コントラスト制御への適用例の説明図である。 実施の形態のメニュー方式のカラー制御への適用例の説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
説明は次の順序で行う。
＜１．情報処理装置の操作認識のための構成＞
＜２．中心回帰型メニュー＞
＜３．パイ型メニューの第１例＞
＜４．パイ型メニューの第２例＞
＜５．パイ型メニューの第３例＞
＜６．パイ型メニューの第４例＞
＜７．手術室システムの応用例＞
＜８．まとめ及び変形例＞
＜１．情報処理装置の操作認識のための構成＞

図１は本開示の情報処理装置１の機能構成を示している。情報処理装置１は、操作検知部２、制御部３、表示データ生成部４を有している。
情報処理装置１は、トラッキングデバイス１０からユーザの非接触操作情報を入力するとともに、表示装置１１における画面上に操作画面を表示させることで、ユーザインターフェースを実現する。
操作検知部２は、主にトラッキングデバイス１０によって検知されるユーザの非接触操作情報を取得し、取得した非接触操作情報から操作方向及び操作距離を求める処理を行う。このために操作検知部２は、トラッキング入力部２１、ベクトル算出部２２、座標変換部２３を有している。
制御部３は、主に、原点位置の周囲に選択対象となる複数の項目を配置した操作平面を設定するとともに、操作平面上で原点位置を起点として操作検知部が認識した操作方向及び操作距離で特定される操作位置が、或る項目を示す状態に至ったことで、その項目が選択された状態となったと認識する処理を行う。このためにメニュー制御部３１、メニュー情報保持部３２、操作情報記憶部３３を有している。
表示データ生成部４は、制御部３が設定した操作平面を表示装置１１で表示させる表示データを生成する処理を行う。
これらの各機能について説明していく。
まず操作検知部２におけるトラッキング入力部２１は、トラッキングデバイス１０から得られるユーザの手や何らかの入力デバイス等の操作体の三次元空間上の位置情報を入力する。
情報処理装置１（トラッキング入力部２１）に非接触操作情報を入力するトラッキングデバイス１０は、具体的には、画像認識装置であることが考えられる。
例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを有する撮像装置により、ユーザが非接触操作を行う空間を撮像し、その画像を取得する。そしてその画像の解析を行い、操作体となる部分（手や入力デバイス）の画像を抽出し、抽出した画像部分の位置及びサイズから、奥行きを含む操作空間内の位置（ｘ，ｙ，ｚ方向の座標値）を取得する。
或いはトラッキングデバイス１０は、赤外線をユーザが操作を行う空間に照射して、ユーザの手等の操作体からの反射光を検出することにより操作体の位置情報を判定する方式も考えられる。
さらに、トラッキングデバイス１０は、操作体となる入力デバイスが角速度センサを備えた機器である場合、その角速度情報を受信することで、操作体の位置変位を判定するものとすることも想定される。
他にも多様な検出方式が存在するが、いずれにしてもトラッキングデバイス１０は、ユーザの空間内で行う動きによる操作体の位置を示す三次元情報が検出できるものであればよい。
トラッキング入力部２１は、このようなトラッキングデバイス１０からの操作体の三次元位置情報を、所定タイミング毎に取得する。例えばトラッキングデバイス１０が３０ｆｐｓで撮像及び画像解析を行う撮像装置の場合であれば、最高で１／３０秒毎に三次元位置情報を取得することができる。
この三次元位置情報（ｘ，ｙ，ｚ方向の座標値）がユーザの非接触操作情報となる。
ベクトル算出部２２は、トラッキング入力部２１が逐次取得する三次元位置情報から、非接触操作としての動きの変位を表すベクトルを算出する。即ち異なる時点の２つの三次元位置情報の差から操作方向と操作距離を算出する。
なお、本実施の形態では、操作メニューを提示するグラフィックユーザインターフェース方式として、中心回帰型メニューとパイ型メニューを例示するが、これらの提示中は主に二次元方向のベクトルが必要になるため、操作方向と操作距離は、２つの時点の三次元位置情報のそれぞれにおけるｘ，ｙ座標値から二次元でのベクトルを算出すればよい。
但し、実施の形態では、メニューモードの開始／終了に関して奥行き方向の操作も検知する例を挙げる。その意味で、ｚ方向の操作も別途算出することになる。
そしてベクトル算出部２２は、ｘ，ｙ座標上でのベクトル情報（操作方向及び操作距離）と、ｚ座標上でのベクトル情報を、制御部３のメニュー制御部３１に逐次出力する。
座標変換部２３は、トラッキング入力部２１が逐次取得する三次元位置情報のうちのｘ，ｙ方向の二次元座標値を、ユーザインターフェース表示のために座標変換を行う。
図２にグラフィックユーザインターフェース（ＧＵＩ）としての出力エリアとトラッキングデバイス１０の非接触操作検知のための有効範囲の例を示している。
トラッキングデバイス１０の有効範囲は、ＧＵＩ出力エリアと一致するものではない。そこで図のようにＧＵＩ出力エリアを、トラッキングデバイス１０の有効範囲の全部または一部に対応させて、トラッキング入力部２１が逐次取得する三次元位置情報における二次元座標値（トラッキングデバイス１０の有効範囲におけるｘ，ｙ座標値）を、ＧＵＩとしての表示出力のための出力エリアの平面上のｘ，ｙ座標値に変換する。そして当該変換したｘ，ｙ座標値を表示する操作画面上での操作位置の情報として表示データ生成部４に出力する。これは表示データ生成部４が後述する操作ベクトルＶｃを描画するための情報となる。
制御部３におけるメニュー制御部３１は、選択対象となる項目を配置した操作平面を設定し、その操作平面をユーザインターフェースのための情報として表示データ生成部４に提供するとともに、上記のようにベクトル算出部２２から供給される操作方向及び操作距離の情報を検知することに応じて、操作平面上での操作状態を認識する。
ここで操作平面の例を図３で説明しておく。
図３Ａは、一例として、破線で示した方形の操作領域ＡＲ内に、後述する中心回帰型メニューを構成する項目Ｍｉが配置された操作平面を示している。
操作領域ＡＲの中央をｘ−ｙ平面の二次元座標としての原点位置（ｘ０，ｙ０）とし、この原点位置に起点項目ＣＴｉを配置している。そして起点項目ＣＴｉの周囲に、選択対象となる複数の項目Ｍｉを配置する。ここでは６つの項目Ｍｉが配置されている。
詳しくは後述するが、ユーザの非接触操作は、原点位置（ユーザの視覚上は起点項目ＣＴｉ）を起点として、操作方向及び操作距離で特定される操作位置が、或る項目Ｍｉに達した場合に、その項目Ｍｉが選択されたものとなるようにしている。
この図３Ａでは、起点項目ＣＴｉの周囲に配置される６個の項目Ｍｉは、原点位置を中心とした真円である仮想環ＣＲ（一点鎖線で示す仮想的な環状線）に沿って、等間隔に離れて配置されている。
なお仮想環ＣＲは操作平面の配置位置の説明のために示しているもので、ユーザインターフェースとしてユーザに認識されるように表示させるものではない。
項目Ｍｉの数が６個であるのは、メニューで選択する項目数が６である場合であり、操作平面上に配置される項目数は操作可能な選択肢に応じて変化する。
図３Ｂは項目Ｍｉの数が３個の場合、図３Ｃは項目Ｍｉの数が２個の場合をそれぞれ示している。いずれも仮想環ＣＲに沿って、各項目Ｍｉが等間隔に離間して配置されている例としている。
また、各項目Ｍｉは等間隔に離間されて配置されなくてもよい。図３Ｄは、４つの項目Ｍｉのうち３つが左側に偏って配置される例である。
また項目Ｍｉの形状は円形に限らない。図３０は、楕円形の項目Ｍｉを配置した例である。図示しないがこれ以外に、正方向や長方形その他の項目Ｍｉ、三角形の項目Ｍｉ、不定形の項目Ｍｉ、星形などの特定の形状の項目Ｍｉなども考えられる。
また図３Ａ〜図３Ｅの例では、各項目Ｍｉは離れて配置されているが、図３Ｆのように各項目Ｍｉが隣の項目に接触するように配置されていてもよい。配置する項目Ｍｉの数によらず、仮想環ＣＲに沿って湾曲した長円形状にすれば、項目数が少なくても、接触する（つまり間隙がない）状態で複数の項目Ｍｉを配置することはできる。
ここで図３Ａ〜図３Ｅの例は、いずれも図３Ａに示したように、起点項目ＣＴｉが原点位置（ｘ０，ｙ０）に配置され、その周囲に選択対象となる複数の項目Ｍｉを配置した操作平面となっている。
特に中心回帰型メニューの場合、原点位置の周囲に、選択対象となる複数の項目Ｍｉを、原点位置からみて重ならない状態で配置する。
なお、原点位置の周囲には、複数の項目Ｍｉを、原点位置を中心とした仮想的な真円である仮想環ＣＲに沿って配置させる例を挙げているが、仮想環ＣＲは真円でなくてもよい。例えば楕円形、正方向、長方形、三角形、不定形などの仮想環ＣＲを想定し、それに沿って項目Ｍｉを配置してもよい。
図３Ｇ、図３Ｈは、破線で示した方形の操作領域ＡＲ内に、後述するパイ型メニューを構成する項目Ｍｉが配置された操作平面の例を示している。
この場合も、操作領域ＡＲの中央をｘ−ｙ平面の二次元座標としての原点位置（ｘ０，ｙ０）とし、この原点位置に起点項目ＣＴｉを配置している。そして起点項目ＣＴｉの周囲に、選択対象となる複数の項目Ｍｉを配置する。
但しこの場合は、仮想環ＣＲ１，ＣＲ２，ＣＲ３を示しているが、これらのそれぞれの仮想環に沿って項目Ｍｉが配置される。図３Ｇでは第１仮想環に沿って３つの項目Ｍｉが配置された状態、図３Ｈでは同じく第１仮想環にそって４つの項目Ｍｉが配置された状態を示している。
第２仮想環、第３仮想環上には、それぞれ上位の項目が選択状態となることに応じて項目が設定される。例えば第１仮想環で或る項目Ｍｉが選択状態となることで、その項目Ｍｉに応じて下位の項目や決定操作の項目などが、第２仮想環に配置される。
パイ型メニューについても詳しくは後述するが、ユーザの非接触操作は、原点位置（ユーザの視覚上は起点項目ＣＴｉ）を起点として、操作方向及び操作距離で特定される操作位置が、或る項目Ｍｉに達した場合に、その項目Ｍｉが選択されたものとなるようにしている。
また１つの仮想環ＣＲ上の複数の項目Ｍｉは、原点位置から見て互いに重ならないように配置される。例えば図３Ｇ、図３Ｈの第１仮想環ＣＲ１上の複数の項目Ｍｉは、原点位置から見て重なっていない。また第２仮想環ＣＲ２に項目Ｍｉが配置された際には、当然その項目Ｍｉは、第１仮想環ＣＲ１上の項目Ｍｉとは原点位置から見て重なることがあるが、あくまでもその第２仮想環ＣＲ上の複数の項目Ｍｉは、互いに原点位置から見て重ならないように配置される。
ところで、これらの操作平面を形成する操作領域ＡＲは、表示装置１１の画面との関係で多様に考えられる。
図４Ａは、中心回帰型メニューの操作領域ＡＲが表示装置１１の画面１１Ａの全体に対応するようにした例を示している。このようにすれば画面上で中心回帰型メニューが大きく表示され、ユーザにとってメニュー操作が認識しやすくなる。
図４Ｂは、中心回帰型メニューの操作領域ＡＲが表示装置１１の画面１１Ａの一部に対応するようにした例を示している。このようにすれば画面上で、中心回帰型メニューとともに他の画像を表示させながら、メニュー操作を行うことが可能となる。
図５Ａは、パイ型メニューの操作領域ＡＲが表示装置１１の画面１１Ａの全体に対応するようにした例を示している。このようにすれば画面上でパイ型メニューが大きく表示され、ユーザにとってメニュー操作が認識しやすくなる。
図５Ｂは、パイ型メニューの操作領域ＡＲが表示装置１１の画面１１Ａの一部に対応するようにした例を示している。このようにすれば画面上で、パイ型メニューとともに他の画像を表示させながら、メニュー操作を行うことが可能となる。
図１のメニュー制御部３１は、上記の図３に示したような操作平面を、操作の進行に応じて逐次設定していく。そして操作平面の情報を表示データ生成部４に提供する。
メニュー制御部３１は、操作の進行に応じて、メニュー情報保持部３２に格納された情報を用いて操作平面を設定する。メニュー情報保持部３２には、メニュー詳細情報、例えば階層数、各階層の項目Ｍｉ、各項目Ｍｉの内容、配置位置（項目が配置される座標領域）の設定情報などが記憶されている。メニュー制御部３１は各時点で、その時点に必要な項目Ｍｉ等の情報を参照し、必要な項目Ｍｉを配置した操作平面を逐次設定する。
またメニュー制御部３１は、ユーザ操作の監視のための処理として、ベクトル算出部２２からの操作方向及び操作距離の情報を、設定した操作平面の座標に対応させる。この場合に、操作領域ＡＲの中央である原点位置（ｘ０，ｙ０）を起点として、操作方向を判定する。即ち原点位置を中心とした３６０°の範囲での角度として、操作方向を認識することになる。また操作距離を、当該角度の方向へ原点位置から延伸する長さとして認識する。これにより、操作領域ＡＲ内の操作平面における操作位置を特定する。
そしてメニュー制御部３１は、操作方向及び操作距離から特定した操作位置と、或る項目Ｍｉを配置した位置との関係により、項目Ｍｉの選択状態を認識する。
例えば操作位置が或る項目Ｍｉの配置領域内にあれば、その項目Ｍｉが選択状態となったと認識する。また例えば、操作位置が或る項目Ｍｉの配置領域を通過する状態になったら、その項目Ｍｉが選択状態となったと認識するようにしてもよい。
またメニュー制御部３１は、或る項目Ｍｉについて選択状態となったり決定操作が行われたことに応じて、その操作情報を操作情報記憶部３３に記憶する。即ちメニュー操作により選択・決定が行われた情報を記憶する。
この操作情報記憶部３３に記憶された操作情報は、メニュー制御部３１が、その後のメニューの進行の処理に用いるために参照したり、情報処理装置１の他のアプリケーションプログラムやＯＳ（Operating System）によって参照され、メニュー操作に応じた動作が実行されることになる。
なお、ここでいう操作情報記憶部３３とは、ＯＳやアプリケーションプログラム等、メニュー操作に基づく処理を行うプログラムに対して操作情報を出力することに相当する。つまり、処理プログラムが操作を検知するためのレジスタに操作情報を書き込むものであり、当該レジスタが操作情報記憶部３３と考えてもよい。
メニュー制御部３１がメニュー操作のために設定する操作平面の情報、操作方向及び操作距離に基づく操作位置と項目Ｍｉの関係による選択操作や決定操作の認識状態の情報等は、表示データ生成部４にも提供される。また上述のように表示データ生成部４には、座標変換部２３から座標変換された操作情報が供給される。
表示データ生成部４はこれらの情報に基づいて、ユーザインターフェースのための画面を提示するための表示データを生成する。
例えば表示データ生成部４は、メニュー制御部３１が設定した操作平面の情報と、メニュー情報保持部３２に格納された項目Ｍｉ等の表示用のキャラクタ情報等を用いて、実際に表示装置１１で表示するための操作平面の画像データを生成する。
このとき表示データ生成部４は、座標変換部２３から得られた表示エリアの情報（横、縦の画像数、中心座標等）とメニュー情報保持部３２から得られたメニュー詳細情報（階層数、項目)に基づき、距離範囲と角度によって分けられたエリアに各項目Ｍｉを割り当てる。
また、座標変換部２３からの操作位置情報や、メニュー制御部３１からの選択状態等の認識の情報に基づき表示すべき情報を描画する。
表示データ生成部４は、これらの処理により生成した表示データを表示装置１１に出力し、表示画面１１ａで表示させる。
また表示データ生成部４は、メニュー制御部３１からの指示に応じた表示データ生成も行う。
例えば以上の図１のような機能構成を備えることで、実施の形態の情報処理装置１は、後述する中心回帰型メニューやパイ型メニューをユーザに提供し、ユーザの非接触操作に対応したメニュー操作の認識を行い、また表示装置１１でメニューの進行に伴うユーザインターフェース表示を実行させることができる。
このような情報処理装置１は、例えば図６のようなハードウエア構成で実現される。
図６に示すように情報処理装置１は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３を有して構成される。
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または記憶部５９からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。
入出力インターフェース５５には、液晶パネル或いは有機ＥＬパネルなどよりなるディスプレイ５６、キーボード、マウスなどよりなる入力部５７、スピーカ５８、ＨＤＤなどより構成される記憶部５９、通信部６０などが接続可能である。
図１の表示装置１１が情報処理装置１と一体機器の場合、ディスプレイ５６は表示装置１１を意味する。もちろん表示装置１１は情報処理装置１とは別体機器とされてもよく、その場合、ディスプレイ５６（表示装置１１）は入出力インターフェース５５に接続される別体機器とされればよい。
図６の入力部５７は、情報処理装置１を使用するオペレータが用いる入力デバイスを意味するが、図１のトラッキングデバイス１０も、この入力部５７の１つである。トラッキングデバイス１０は情報処理装置１と一体でも別体でもよい。
通信部６０は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。
入出力インターフェース５５にはまた、必要に応じてドライブ６１が接続され、メモリカード６２が装着され、メモリカード６２から読み出されたコンピュータプログラムが、必要に応じて記憶部５９にインストールされたり、ＣＰＵ５１で処理したデータが記憶される。もちろんドライブ６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
このようなハードウエア構成において実施の形態の情報処理装置１としての処理、即ち図１の操作検知部２，制御部３、表示データ生成部４として上述した処理を行うことができる。即ちこれらの処理はＣＰＵ５１で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図６の情報処理装置１にインストールされる。或いはそのプログラムが記憶部５９としてのＨＤＤ等に予め記憶されていてもよい。
そしてＣＰＵ５１において当該プログラムが起動されることで、詳しくは後述するように中心回帰型メニューやパイ型メニューとしてのユーザインターフェースを伴う非接触操作認識の処理を行うことができるようにされる。
なお、実施の形態の情報処理装置１は、図６のようなハードウエア構成の装置（コンピュータ装置）が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
＜２．中心回帰型メニュー＞

中心回帰型メニューを用いた入力操作について説明する。まず図７，図８，図９，図１０で動作の概要を説明する。
ユーザは中心回帰型メニューを表示装置１１に表示させた状態でメニュー項目を選択する操作を行うわけであるが、まず中心回帰型メニューを表示させるためにメニューモードを起動する操作を行う。
メニューモードの起動も非接触操作で行う例とする。例えば操作平面に対応するｘ−ｙ平面に対するｚ軸方向（ユーザから見て前後方向）の操作による例を挙げる。
実施の形態の中心回帰型メニュー上での選択操作は、ｚ軸方向の操作を不要とすることで項目選択操作の容易性、安定性を向上させるものであるが、メニューモードの起動と終了に関しては、ｚ軸方向の操作を行うようにしても、操作安定性が損なわれることがないため、ｚ軸方向の操作により行われるものとする。
図７Ａにユーザが操作を行う空間においてｘ軸，ｙ軸，ｚ軸を示している。
ｘ軸、ｙ軸による二次元平面がユーザに正対していると仮定した状態で、操作体５０（例えばユーザの手）のｚ方向の移動を検出する。
図７Ａではｘ−ｙ平面よりも図面上の手前側にユーザが居るとし、ユーザの手（操作体５０）がｚ方向にｘ−ｙ平面をＬ１ｃｍ越えた状態を示している。Ｌ１ｃｍは、例えば３ｃｍなどである。
すなわちユーザが手を自分の前方に突き出すと、この図７Ａのような状態になる。情報処理装置１はこれをメニューモードの起動操作と認識する。
図７Ｂはメニューモードの終了操作の例を示している。この場合、ｘ−ｙ平面よりも手前側に居るユーザが、手（操作体５０）をｚ方向にｘ−ｙ平面からＬ２ｃｍ引き戻す動作を行うことがメニューモードの終了操作としている。Ｌ２ｃｍは例えば１ｃｍなどとする。
すなわちユーザが、一旦、前方につきだした手を自分の方に引き戻すと、その過程で手がｘ−ｙ平面からＬ２ｃｍ引き戻す動作が行われることになり、情報処理装置１はこれをメニューモードの終了操作と認識する。
上述したようにトラッキングデバイス１０は、継続的に操作体５０の位置としての三次元座標を検出しており、制御部３（メニュー制御部３１）はベクトル算出部２２からのｚ方向のベクトル情報（ｚ方向の操作方向、操作距離）から、操作体５０のｚ方向の移動を検知できる。
メニュー制御部３１は、図７Ａのようなメニューモードの起動操作を検知することに応じて、中心回帰型メニューの処理を開始する。
また中心回帰型メニューの処理中に、特にエンター（決定）操作が行われない状態で図７Ｂのメニューモードの終了操作を検知した場合、中心回帰型メニューの処理を終了する。
なお、メニューモードの起動や終了の操作方式は上記例に限らず多様に考えられる。
例えば操作体５０の特定の移動（例えば円を描くような移動など）をメニューモードの起動と終了の操作として検知したり、ユーザの特定のジェスチャを検知することなどが考えられる。
また音声検知を行うようにし、ユーザの声、特定の音などをメニューモードの起動や終了の操作として認識してもよい。
もちろん、メニューモードの起動／終了に関しては、特定の操作子の押圧や、電子機器に対応するリモートコントローラによる操作などとしてもよい。
またメニューモード終了については、後述するメニュー画面の選択可能な項目の１つとしてメニュー終了が用意されるものとしてもよい。
メニューモードの起動操作を認識すると、制御部３と表示データ生成部４の機能により、中心回帰型メニューの表示を開始させ、ユーザの非接触操作に応じたメニュー処理を実行する。
すなわちメニュー制御部３１が、ユーザの非接触操作によるｘ−ｙ平面での操作方向と操作距離を監視しながら、各時点で各種の項目を配置した操作平面を設定する。そして各時点での操作平面や操作方向及び操作距離に応じて、それらを表示するための表示データを表示データ生成部４が生成し、表示装置１１に供給することで、以下に説明していくような操作インターフェース画面がユーザに提供されることになる。
図８Ａは中心回帰型メニューの最初の画面（初期画像）を示している。
なお中心回帰型メニューに関しては、操作領域ＡＲの中央が操作平面を形成するｘ−ｙ平面座標の原点位置（ｘ０，ｙ０）とされる。
この原点位置に例えば「start」と記述された開始ボタンＳｉが表示され、また、操作領域ＡＲ内の或る位置に開始操作子Ｄｉが表示される。
開始ボタンＳｉと開始操作子Ｄｉは、ユーザが中心回帰型メニュー表示の開始操作を行うために用意している。開始操作子Ｄｉの位置座標は、固定でも良いし、ランダムな位置でもよい。
この状態で制御部３は、ユーザの操作を、開始操作子Ｄｉを起点とする操作方向及び操作距離として認識し、操作位置としての操作平面上の座標を特定する。
また表示データ生成部４は、このような操作位置の情報を、座標変換部２３から取得し、操作位置を示す操作ベクトルＶｃを描画し、図示のような表示状態とする。
このため、ユーザの非接触操作に応じて、操作平面上で操作位置が認識されるとともに、表示上で、操作ベクトルＶｃの向きや長さが変化していくことになる。
ユーザの非接触操作に応じて検知される操作位置（ベクトルＶｃの先端に相当する座標値）が開始ボタンＳｉ（例えば円形の開始ボタンＳｉを配置した座標範囲）に達すると、制御部３は、ユーザが中心回帰型メニューの開始を選択したと認識する。すなわち画面上で操作ベクトルＶｃの先端が開始ボタンＳｉに達した状態である。
これに応じて制御部３は、選択対象となる複数の項目を配置する最上位階層の項目配置となる操作平面を設定し、表示データ生成部４はその操作平面に応じた表示データを生成し、表示装置１１に供給して画面表示させる。例えば図８Ｂのようなメニュー画面表示が行われる。
なお、この例ではメニューモードの起動操作に続いて図８Ａの初期画像を用いた操作で開始ボタンＳｉを指定することで図８Ｂのような最上位の階層のメニューが出現されるようにしているが、初期画像は用いずに、メニューモードの起動操作に応じて即座に図８Ｂのメニュー表示状態になるようにしてもよい。操作の効率化の点ではその方が有利である。
但し、図８Ａのような初期画像の画面を用いて開始操作を行うようにすることで、むやみにメニュー表示に移行させないようにしたい場合に好適である。特にメニューモードの起動操作が図７Ａで説明した操作である場合、ユーザのちょっとした仕草を制御部３が起動操作と認識してしまうこともありえる。そこで、一旦図８Ａのような画像を表示させ、ユーザが或る所定時間内（例えば１０秒以内など）に開始操作を行った場合にのみ、メニュー表示を開始させるようにするとよい。特に、開始操作画面を図８Ａのような簡素な画面とし、所定時間内に開始操作がおこなわれなければ、メニューモード終了と判断して図８Ａの画像を消すようにすれば、図８Ｂのメニュー画面が不必要にむやみに表示されて、ユーザが煩わしく感じるような事態が生ずることを防止できる。
以下、図８Ｂ以降のメニュー画面の遷移については、ユーザが認識する画面の変化として説明していくが、例示する各画面は、制御部３が逐次設定する操作平面と、制御部３が認識する操作方向及び操作距離（これらにより決定される操作位置）をユーザに提示するために表示データ生成部４が生成した表示データによる表示画像の例である。
図８Ｂに示すメニュー画面では、原点位置に例えば「start」と記述された起点項目ＣＴｉが表示される。そして原点位置にある起点項目ＣＴｉの周囲に、選択対象となる複数の項目Ｍｉが配置された状態が表示される。ここではメニュー上に５つの選択肢がある場合を示している。各項目Ｍｉには、項目の内容「Ｋ１」〜「Ｋ５」が記述されている。ここでは説明上、便宜的に「Ｋ１」〜「Ｋ５」としているが、実際にはユーザが認識する操作内容が記述される。
各項目Ｍｉは、図３Ａで説明したような、原点位置を中心とする真円の仮想環ＣＲに沿って等間隔に配置される例としている。
中心回帰型メニューにおけるユーザの非接触操作による操作方向と操作距離の起点は、基本的には原点位置とされる（先の図８Ａが例外となる）。ユーザから見れば操作領域ＡＲの中央の原点位置に起点項目ＣＴｉが配置されることで、中央が操作の起点となると知覚できる。
ユーザの非接触操作の状況は、起点項目ＣＴｉから延伸する操作ベクトルＶｃとして表現される。
制御部３は、ベクトル情報として検知した操作方向と操作距離を、原点位置を起点として対応づけることで、操作領域ＡＲ内の操作平面上の或る座標を操作位置として算出する。
表示データ生成部４は、操作平面の画像上に、座標変換部２３からの情報を用い、原点位置を起点として操作位置を算出し、それにより操作ベクトルＶｃを描画する。従って表示上では、操作ベクトルＶｃが、起点項目ＣＴｉから操作位置に向かって伸びるような画像が提示される。
ユーザは、操作ベクトルＶｃを見ながら非接触操作を行い、操作ベクトルＶｃが所望の項目Ｍｉに到達するようにすればよい。起点項目ＣＴｉの周囲において、起点項目ＣＴｉ（原点位置）からみて重ならない状態に各項目Ｍｉが配置されていることで、どの項目Ｍｉに対しても、直接（他の項目Ｍｉに邪魔されずに）、操作ベクトルＶｃを到達させることができる。
例えば図８Ｂに破線Ｖｃ１として示すように操作ベクトルＶｃが「Ｋ２」という項目Ｍｉに到達するようにユーザの非接触操作が行われると、「Ｋ２」が選択されたことになる。なお、この中心回帰型メニューにおける「選択」とは、項目Ｍｉを単に選択中とするだけでなく決定（エンター）操作も兼ねるものである。
従って、操作ベクトルＶｃを「Ｋ２」の項目Ｍｉに到達させることのみで、「Ｋ２」が選択決定される。
ここで、「Ｋ２」の項目Ｍｉに下位の階層が存在しなければ、制御部３は、当該Ｋ２操作が選択決定された操作であるとして操作情報記憶部３３に記憶する。この操作情報を情報処理装置１のＯＳやアプリケーションプログラムが認識して、所定の処理・動作が行われることになる。
一方、「Ｋ２」の項目Ｍｉには、さらに下位の階層のメニューが存在する場合、中心回帰を伴った操作インターフェースが実行される。
例えば表示画面は図９Ａのようになる。
この場合、「Ｋ２」の項目Ｍｉが中央の原点位置に移動して起点項目ＣＴｉとなる。
そして、「Ｋ２」の起点項目ＣＴｉの周囲に、選択対象となる複数の項目Ｍｉ（この場合４つの項目Ｍｉ）が配置される状態になる。４つの項目Ｍｉは先の画面と同様に、原点位置を中心とする真円の仮想環ＣＲ（図３Ａ参照）に沿って等間隔に配置される例としている。
ここで、「Ｋ２」の下位階層の選択肢として「Ｋ２１」「Ｋ２２」「Ｋ２３」という３つの操作内容が存在するとしている。この場合、この３つの操作内容に「戻る」の操作を加えた４つの操作内容の項目Ｍｉが配置されることになる。
「戻る」の項目Ｍｉは、元々図８Ｂの画面で「Ｋ２」項目が配置された位置座標もしくはその近くの位置座標に配置される。従って、ユーザの視覚上は、図８Ｂの破線Ｖｃ１のように操作ベクトルＶｃを「Ｋ２」項目に向かって伸ばしたら、その「Ｋ２」の項目Ｍｉが中心に移動してきて、その周囲に下位の項目Ｍｉが再配置されたようなものとなる。
またユーザには、「start」の起点項目ＣＴｉが入れ替わりに「Ｋ２」項目の位置付近に移動して「戻る」の項目Ｍｉになったようにも知覚される。なお、ここでは「start」項目が「戻る」項目に変化されて表示される例としたが、「start」の表示のままにしてもよい。
ところで、画面が図８Ｂの状態から図９Ａの状態にいきなり切り替わると、ユーザには「Ｋ２」項目の中心回帰の様子がわかりにくいことがある。そこで、「Ｋ２」項目と「start」項目の入れ替わりを表現するような中心回帰過程の画像を表示させるとよい。
すなわち制御部３は、次のメニュー階層に進むために操作平面の再設定を行う際、選択された項目Ｍｉが原点位置に移動することを提示する表示が行われるように表示データ生成部４を制御する。この例は後に図１２で述べる。
図９Ａの画面でも、原点位置が操作位置認識の起点となる。
つまり図９Ｂに示すように、起点項目ＣＴｉになった「Ｋ２」項目から、操作ベクトルＶｃが延伸していくような表示が行われる。
また、この場合も各項目Ｍｉは起点項目ＣＴｉの周囲において起点項目ＣＴｉ（原点位置）からみて重ならない状態に配置されているため、どの項目Ｍｉに対しても、他の項目Ｍｉに邪魔されずに操作ベクトルＶｃを到達させることができる。
従ってユーザは、操作ベクトルＶｃを見ながら非接触操作を行い、操作ベクトルＶｃが所望の項目Ｍｉに到達するようにすればよい。そして操作ベクトルＶｃが達した項目Ｍｉが選択決定されることになる。
ユーザの非接触操作により「戻る」の項目Ｍｉが選択決定された場合、上位の階層、すなわち図８Ｂの状態に戻るようにされる。このときも「戻る」の項目Ｍｉが、原点位置に移動されて「start」を表示した起点項目ＣＴｉとなる。またそれまで起点項目ＣＴｉであった「Ｋ２」項目は、「戻る」項目と入れ替わるように移動して、図８Ｂの元の位置に戻る。
また、例えば図９Ｂに破線Ｖｃ２として示すように操作ベクトルＶｃが「Ｋ２１」という下位の項目Ｍｉに到達するようにユーザの非接触操作が行われると、「Ｋ２１」項目が選択されたことになる。
「Ｋ２１」の項目Ｍｉに下位の階層が存在しなければ、制御部３は、当該「Ｋ２１」項目が選択決定された操作であるとして操作情報記憶部３３に記憶する。この操作情報を情報処理装置１のＯＳやアプリケーションプログラムが認識して、所定の処理・動作が行われる。
一方「Ｋ２１」の項目Ｍｉにさらに下位の階層のメニューが存在する場合、先と同様に中心回帰を伴った操作インターフェースが実行される。
例えば表示画面は図１０Ａのようになる。
この場合、「Ｋ２１」の項目Ｍｉが中央の原点位置に移動して起点項目ＣＴｉとなる。
そして、「Ｋ２１」の起点項目ＣＴｉの周囲に、選択対象となる複数の項目Ｍｉがこれまでの形式と同様に配置される。この場合、「Ｋ２１」項目の下位階層の選択肢として「Ｋ２１１」〜「Ｋ２１６」の６つの操作内容の項目Ｍｉと「戻る」の操作の項目Ｍｉによる７つの項目Ｍｉが配置されている。
「戻る」の項目Ｍｉは、元々図９Ｂの画面で「Ｋ２１」項目が配置された位置座標もしくはその近くの位置座標に配置される。
従って、ユーザの視覚上は、図９Ｂの破線Ｖｃ２のように操作ベクトルＶｃを「Ｋ２１」に向かって伸ばしたら、その「Ｋ２１」の項目Ｍｉと「Ｋ２」の起点項目ＣＴｉが入れ替わるように移動することになる。
この例では「Ｋ２」項目が「戻る」項目に変化されて表示される例としたが、「Ｋ２」の表示のままにしてもよい。
この場合も、画面が図９Ｂの状態から図１０Ａの状態にいきなり切り替わると、ユーザには「Ｋ２１」項目の中心回帰の様子がわかりにくいことがある。そこで、「Ｋ２１」項目と「Ｋ２」項目の入れ替わりを表現するような中心回帰過程の画像を表示させるとよい。
図１０Ａの画面でも、原点位置が操作位置認識の起点となる。
つまり図１０Ｂに示すように、起点項目ＣＴｉになった「Ｋ２１」項目から、操作ベクトルＶｃが延伸していくような表示が行われる。
この図１０Ｂの階層での操作も、上記同様であり、例えば図１０Ｂのように操作ベクトルＶｃを「Ｋ２１５」の項目Ｍｉに到達されれば選択決定となる。
また操作ベクトルＶｃを「戻る」の項目Ｍｉに到達されれば図９Ａの状態に戻ることになる。その際に「戻る」の項目Ｍｉは中心に戻って「Ｋ２」の起点項目ＣＴｉとなる。
以上のように中心回帰型メニューの場合、操作領域ＡＲの中央の起点項目ＣＴｉから操作ベクトルＶｃが延伸されて項目Ｍｉに到達することで選択操作が実行されたことになる。また、メニュー階層の進行及び戻りに伴って選択された項目Ｍｉの中心回帰が行われる。これによって、再び原点位置の周囲に選択対象の項目が配置され、原点位置を起点とする操作が行われることになる。
このような中心回帰型メニューによる操作を実現するための情報処理装置１の処理例を図１１で説明する。図１１は制御部３としての処理例である。制御部３は操作検知部２からの非接触操作に応じたベクトル情報を逐次入力して図１１の処理を進めるとともに、処理の進行に応じて設定する操作平面や操作位置の情報等を表示データ生成部４に受け渡して、上述のようなメニュー表示等を実行させる。
図１１のステップＳ１０１で制御部３は、メニューモード起動操作が行われたか否かを監視する。
例えば図７Ａで説明したようなメニューモード起動操作を検知することに応じて制御部３はステップＳ１０２に進み、図８Ａの初期画像を表示させる処理を行う。
この初期画面の表示状態において、制御部３はステップＳ１０３でユーザのメニュースタート操作（開始ボタンＳｉの選択）を監視し、またステップＳ１０４でメニューモード終了を監視する。
制御部３は、例えば図７Ｂで説明したメニューモードの終了操作を検知した場合は、ステップＳ１０４からＳ１２０に進み、表示データ生成部４にもメニューモードの終了を伝え、初期画像表示を終了させる。そしてメニューモード処理を終える。
また、図８Ａの初期画像のまま所定時間以上経過しても開始ボタンＳｉの選択が行われなかった場合も、制御部３はユーザにメニュー操作の意思がないと判断して、メニューモード終了と判断し、ステップＳ１０４からステップＳ１２０に進んで初期画像表示を終了させ、メニューモード処理を終了してもよい。
初期画像で開始ボタンＳｉが選択された場合、制御部３はステップＳ１０５に進み、現在のメニュー階層を示す変数ｎをｎ＝１とする。
そして制御部３はステップＳ１０６で第ｎ階層、つまり最初はｎ＝１であることで最上位の第１階層の操作平面の設定を行う。具体的にはメニュー制御部３１が第１階層のメニュー選択項目や各項目の配置情報など、操作平面設定に必要な情報をメニュー情報保持部から読み出し、起点項目ＣＴｉや項目Ｍｉを操作領域ＡＲ内に配置した操作平面を設定する。
また制御部３は、設定した第１階層の操作平面の情報を表示データ生成部４に供給し、第１階層のメニュー画面表示を指示する。表示データ生成部４は、第１階層の操作平面としての項目や配置の情報と、各項目Ｍｉや起点項目ＣＴｉ等の描画に必要なキャラクタデータをメニュー情報保持部３２から読み出し、第１階層としての表示データを生成し、表示装置１１に供給する。これらの処理により例えば図８Ｂのような第１階層のメニュー表示が行われる。
制御部３はステップＳ１０７で第ｎ階層のメニュー処理を行う。
即ち制御部３は、逐次ベクトル情報として認識する操作方向及び操作距離を、ステップＳ１０６で設定した操作平面の原点位置からの方向及び距離として操作平面上に反映させて操作位置を特定する。そして特定された操作位置（つまり表示上では操作ベクトルＶｃの先端に相当する位置）が、或る項目Ｍｉの配置領域（項目Ｍｉのキャラクタの表示範囲に相当する操作平面上の座標範囲）に一致しているか否かを確認する。
制御部３は、ベクトル情報を取得する毎にステップＳ１０７で、操作位置がいずれかの項目Ｍｉの配置領域内に達しているか否かを確認するとともに、達していなければステップＳ１０８からＳ１０９に進んで、メニューモードの終了操作を監視する。メニューモードの終了操作がなければステップＳ１０７に戻る。
なおこのステップＳ１０７、Ｓ１０８、Ｓ１０９の監視ループ処理の期間、表示データ生成部４では、座標変換部２３からの表示出力用の座標値に変換されたｘ，ｙ座標値を用いて、メニュー画像上で操作ベクトルＶｃの描画を行い、表示装置１１で表示させる。これにより、制御部３で認識している現在の操作位置が、メニュー画像上での操作ベクトルＶｃによりユーザに提示される。
もしユーザのメニューモード終了操作を検知した場合は、ステップＳ１０９からＳ１２０に進み、制御部３は表示データ生成部４にメニューモードの終了を伝え、その時点で実行しているメニュー表示を終了させる。そしてメニューモード処理を終える。
なお、ステップＳ１０７で項目選択が検知されないまま一定時間以上経過したら、ステップＳ１０９でメニューモード終了と判断してもよい。
ステップＳ１０７の処理で、操作位置が或る項目Ｍｉの配置領域に達していることが検出された場合は項目選択操作が行われたと判定し、ステップＳ１０８からＳ１１０に進む。
制御部３はステップＳ１１０では、選択された項目Ｍｉが「戻る」項目であったか否かにより処理を分岐する。「戻る」項目であった場合は、ステップＳ１１３で変数ｎをデクリメントしてステップＳ１１５に進む。これは上位の階層に戻る操作が行われた場合である。
選択された項目Ｍｉが「戻る」項目でなかった場合、制御部３はステップＳ１１１で、その選択された項目Ｍｉに下位の階層が存在するか否かで処理を分岐する。下位の階層が存在する場合は、ステップＳ１１２で変数ｎをインクリメントしてステップＳ１１５に進む。これは下位の階層への進行する操作が行われた場合である。
選択された項目Ｍｉに下位の階層が存在しなければ、ステップＳ１１４でエンター処理を行う。即ち制御部３は、当該項目Ｍｉの内容の操作が行われたとする操作情報を操作情報記憶部３３に記憶させ、ＯＳやアプリケーションプログラムが実行された操作内容を認識できるようにする。そして制御部３はステップＳ１２０で表示データ生成部４にメニュー表示を終了させ、メニュー処理を終える。
戻る操作や、下位の階層に進む操作に応じてステップＳ１１５に進んだ場合、制御部３は、表示データ生成部４に中心回帰表示を実行させる指示を行う。そして続いてステップＳ１０６に進み、第ｎ階層のメニューとしての操作平面の設定及びその階層のメニュー表示制御を行う。
これらの処理に応じた表示の遷移を、図１２を参照して説明する。
まず、下位階層に進む場合を述べる。図１２Ａは、例えば変数ｎ＝１の際に第１階層のメニューについての操作で「Ｋ４」項目が選択された様子を示している。「Ｋ４」項目には下位階層が存在するとする。
制御部３はステップＳ１０７でこの状態、つまり操作位置が「Ｋ４」項目の配置領域内に入ったことを検知したら、ステップＳ１０８→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１５と進む。このステップＳ１１５では表示データ生成部４に指示して図１２Ｂのような表示を実行させる。
即ち図１２Ａのように操作ベクトルＶｃが「Ｋ４」項目に到達した直後に、図１２Ｂのように、「start」項目が「戻る」項目に変化して、元々「Ｋ４」項目が配置されていた位置に移動し、入れ替わるように「Ｋ４」項目が中央位置（原点位置）に移動するとともに、その移動（中央回帰）を表現する回帰矢印ｒＶｃを表示させる。
特にこのとき、一瞬、操作領域ＡＲ内で、このように位置が入れ替わる２つの項目のみの表示としたり、両項目がそれぞれ移動していく様子を１秒程度かけて表現する表示を行うようにすれば、ユーザは、選択した項目が中央位置に移動したことを非常に明確に認識できる。例えば２つの項目が互い他方側に向かって移動し、中間地点で重なった後、離れていくことで入れ替わりを表現するような動画などである。
その後ステップＳ１０６では変数ｎ＝２となっていることで、「Ｋ４」項目下の第２階層のメニュー表示、例えば図１２Ｃのメニュー表示が行われるように操作平面の設定や表示制御が行われる。
即ち制御部３においてメニュー制御部３１が「Ｋ４」項目についての第２階層のメニュー選択項目や各項目の配置情報など、操作平面設定に必要な情報をメニュー情報保持部から読み出し、起点項目ＣＴｉや項目Ｍｉを操作領域ＡＲ内に配置した操作平面を設定する。
また制御部３は、設定した第２階層の操作平面の情報を表示データ生成部４に供給し、第２階層のメニュー画面表示を指示する。表示データ生成部４は、第２階層の操作平面としての項目や配置の情報と、各項目Ｍｉや起点項目ＣＴｉ等の描画に必要なキャラクタデータをメニュー情報保持部３２から読み出し、「Ｋ４」項目下の第２階層としての表示データを生成し、表示装置１１に供給する。これらの処理により例えば図１２Ｃのような第２階層のメニュー表示が行われる。
その後は、ステップＳ１０７で第２階層のメニューに対する操作の検知が同様に行われる。
続いて「戻る」項目が選択された場合を説明する。第２階層、第３階層・・・といった下位の階層では、項目Ｍｉの１つとして「戻る」項目が存在する（図１２Ｃ参照）
制御部３は図１２Ｃのような下位の階層のメニューに対する操作の際に、ステップＳ１０７で操作位置が「戻る」項目の配置領域内に入ったことを検知したら、ステップＳ１０８→Ｓ１１０→Ｓ１１３→Ｓ１１５と進む。このステップＳ１１５では中心回帰表示として表示データ生成部４に指示して図１２Ｄのような表示を実行させる。
即ち図１２Ｃのように操起点項目ＣＴｉとなっている「Ｋ４」項目から延伸された操作ベクトルＶｃが「戻る」項目に到達した直後に、図１２Ｄのように、「Ｋ４」項目がそれまで「戻る」項目が配置されていた位置（つまり元々、上位の階層で「Ｋ４」項目自身が配置されていた位置）に移動し、入れ替わるように「戻る」項目が「start」項目に変化して中央位置（原点位置）に移動するとともに、その移動（中央回帰）を表現する回帰矢印ｒＶｃを表示させる。
この場合も、一瞬、操作領域ＡＲ内で、に位置が入れ替わる２つの項目のみの表示としたり、両項目がそれぞれ移動していく様子を表現する表示を行うことが望ましい。
その後ステップＳ１０６では変数ｎ＝１となっていることで、第１階層のメニュー表示、例えば図１２Ａのメニュー表示が行われるように操作平面の設定や表示制御が行われる。「戻る」項目は「start」項目になる。
そしてステップＳ１０７で第１階層のメニューに対する操作の検知が同様に行われる。
以上の図１１の処理により、中心回帰型メニューとしての表示及び操作対応処理が行われる。図１２では第２階層までの遷移を例示したが、もちろん変数ｎ＝３となって第３階層のメニューに進む場合もあるし、さらに階層が下位に進行する場合もある。もちろん戻り操作に応じて階層が戻されていくこともある。
そして階層の進行や戻りの際には、選択された項目Ｍｉが中央位置に回帰して、遷移する階層の起点項目ＣＴｉとなる。従ってどの階層でも、ユーザの非接触操作による操作方向及び操作距離は、原点位置を起点として操作平面及びメニュー画面表示上に反映されることになる。
＜３．パイ型メニューの第１例＞

続いてパイ型メニューを用いた入力操作について説明する。まず図１３，図１４，図１５で動作の概要を説明する。
図１３Ａは、パイ型メニューにおいて第１階層を示した最初の状態である。
なお、この図１３Ａのパイ型メニューの表示のためにユーザは、まずメニューモードを起動する操作を行う。このメニューモードの起動や終了の操作は、上述の中心回帰型メニューの説明で述べた方式と同様でよい。例えば制御部３は、ｚ方向の所定の操作を検知してパイ型メニューモードの起動や終了の操作を認識すればよい。
また、メニューモードの起動後、図８Ａで説明したような初期画像による開始操作を経て、図１３Ａのようなパイ型メニュー表示に遷移するようにしてもよいし、初期画像を省略してメニューモード起動操作によりパイ型メニュー表示をすぐに開始するようにしてもよい。
以下、図１３Ｂ以降のメニュー画面の遷移については、ユーザが認識する画面の変化として説明していくが、各画面は制御部３が逐次設定する操作平面と、制御部３が認識する操作方向及び操作距離（これらにより決定される操作位置）をユーザに提示するために表示データ生成部４が生成した表示データによる表示画像の例である。
制御部３が逐次操作平面を設定することやベクトル算出部２２からのベクトル情報を用いて操作位置を特定し項目Ｍｉの配置領域との合致を検出することは、上述の中心回帰型メニューの場合と同様である。
図１３Ａに示すメニュー画面では、原点位置に例えば「start」と記述された起点項目ＣＴｉが表示される。そして原点位置にある起点項目ＣＴｉの周囲に、選択対象となる複数の項目Ｍｉが配置された状態が表示される。ここではメニュー上に３つの選択肢がある場合を示している。各項目Ｍｉには、項目の内容「Ｋ１」〜「Ｋ３」が記述されている。
各項目Ｍｉは、図３Ｇで説明したような、原点位置を中心とする真円の第１仮想環ＣＲ１に沿って配置される例としている。
３つの項目Ｍｉを配置するために、原点位置を中心として周囲の３６０°を３つの角度範囲、すなわち破線で区切った１２０°毎の範囲に分割する。これらを角度範囲θ１、θ２、θ３でとしている。そして第１仮想環ＣＲ１に沿う項目Ｍｉのそれぞれが、各角度範囲θ１、θ２、θ３を略覆うように配置される。
なお、この例では「Ｋ１」〜「Ｋ３」の各項目Ｍｉは互いに接触しないように若干離間された状態となっているが、両端が第１仮想環上の隣の項目に接するように配置領域が設定されてもよい。
パイ型メニューにおけるユーザの非接触操作による操作方向と操作距離の起点は、中心回帰型メニューと同様に基本的に原点位置とされる。ユーザから見れば操作領域ＡＲの中央の原点位置に起点項目ＣＴｉが配置され、中央位置の起点項目ＣＴｉから操作ベクトルＶｃが延伸されることで、中央が操作の起点となると知覚できる。
ユーザの非接触操作の状況は、中心回帰型メニューと同様に、起点項目ＣＴｉから延伸する操作ベクトルＶｃとして表現される。すなわち制御部３は、ベクトル情報として検知した操作方向と操作距離を、原点位置を起点として対応づけることで、操作領域ＡＲ内の或る座標が操作位置として算出される。表示上では、操作ベクトルＶｃが、起点項目ＣＴｉから操作位置に向かって伸びるような画像が提示される。
ユーザは、操作ベクトルＶｃを見ながら非接触操作を行い、操作ベクトルＶｃが所望の項目Ｍｉに到達するようにすればよい。起点項目ＣＴｉの周囲において、第１仮想環ＣＲ１上の各項目Ｍｉは、起点項目ＣＴｉ（原点位置）からみて重ならない状態に配置されていることで、第１階層に関しては、どの項目Ｍｉに対しても、直接（他の項目Ｍｉに邪魔されずに）、操作ベクトルＶｃを到達させることができる。
例えば図１３Ｂのように、操作ベクトルＶｃが「Ｋ１」項目に到達するようにユーザの非接触操作が行われると、「Ｋ１」という操作内容が選択されたことになる。なお、このパイ型メニューでは一例として、「選択」とは、項目Ｍｉを選択中とするもので、決定（エンター）操作を兼ねるものではない。
例えば「Ｋ１」項目に下位階層が存在しないとすると、図１３Ｂのように操作ベクトルＶｃが「Ｋ１」項目に到達し、選択中となることに応じて、その「Ｋ１」項目の外周側に、「決定」の項目Ｍｉが表示される。この「決定」項目は、第２仮想環ＣＲ２上で、選択中の「Ｋ１」項目と同じ角度範囲θ１に配置される。
従ってユーザは、そのまま操作ベクトルＶｃを伸ばしていくように操作すれば「決定」項目を選択できる（即ち決定操作ができる）。
即ち以上のように、或る項目Ｍｉを選択中とした上で操作ベクトルＶｃを通過させ、その外周側の「決定」項目に到達させれば、或る操作内容が選択及び決定されたものとする。
なお、選択と決定を兼ねるようにすることも可能である。
図１４Ａには、操作ベクトルＶｃが「Ｋ３」項目に達した状態を示している。この「Ｋ３」項目に下位階層が存在しなければ、この状態で選択及び決定と認識するようにしてもよい。これにより操作効率を向上させることができる。
一方、図１３Ｂのように外周側に「決定」項目を配置して決定操作を求めるようにすると、次に説明する下位階層が存在する場合との差がユーザにとって明確になり、操作性が向上する場合がある。また「決定」項目が選択中の項目Ｍｉのすぐ外周側に隣接配置されることで、決定操作は、操作体５０の操作距離を伸ばすのみでよく、きわめて容易な操作となる。
これらのことを考慮して、下位階層が存在しない項目Ｍｉが選択された状態で、図１３Ｂのように「決定」項目を配置するか、或いは図１４Ａのように、選択状態が決定操作を兼ねるようにするのかを選択すればよい。
或いはユーザが好みによりいずれかの操作方式を選択できるようにしてもよい。
下位階層が存在する項目Ｍｉが選択された場合は、その階層の外周側に下位階層の項目Ｍｉが表示される。
例えば図１３Ａの状態から「Ｋ１」項目が選択された場合に、この「Ｋ１」の下位階層の選択肢として「Ｋ１１」「Ｋ１２」「Ｋ１３」という３つの操作内容が存在するとする。この場合、図１４Ｂのように、この３つの操作内容に相当する３つの項目Ｍｉが、外周側、即ち第２仮想環ＣＲ２に沿って配置される。
「Ｋ１１」「Ｋ１２」「Ｋ１３」の各項目Ｍｉの角度範囲は、第１階層と同様に３つであるため、角度範囲θ１、θ２、θ３に分けて配置しているが、必ずしも第１階層と同様で或る必要はない。もちろん、選択肢の数が第１階層と異なれば、必然的に角度範囲の設定は第１階層とは異なるものとなる。
なお、この例では、第１階層の操作として「Ｋ１」が選択中であることに応じて、第１仮想環ＣＲ１上で「Ｋ２」及び「Ｋ３」の各項目Ｍｉは非表示となるようにしている。此は一例であり、非表示ではなく、いわゆる非アクティ部なことを示す薄い表示としてもよい。或いはそのまま表示していてもよい。
ユーザにとっては、選択されなかった「Ｋ２」及び「Ｋ３」の各項目Ｍｉが非表示となることで、外周側の「Ｋ１１」「Ｋ１２」「Ｋ１３」の各項目Ｍｉを選択する操作がしやすくなる。
図１５Ａは、「Ｋ１」項目からさらに操作ベクトルＶｃを延伸させて「Ｋ１１」項目を選択した状態を示している。この「Ｋ１１」項目に下位階層が存在しないとすると、図のようにその外周側に「決定」の項目Ｍｉが配置される。この「決定」項目まで操作ベクトルＶｃが延伸されることで、「Ｋ１１」項目が決定されたことになる。
図１５Ｂは、「Ｋ１」項目が選択中の状態で、操作ベクトルＶｃが「Ｋ１２」項目を選択した状態を示している。この「Ｋ１２」項目にも下位階層が存在しないとすると、図のようにその外周側に「決定」の項目Ｍｉが配置される。この「決定」項目まで操作ベクトルＶｃが延伸されることで、「Ｋ１１」項目が決定されたことになる。
なお、「決定」の項目Ｍｉについては、図１３Ｂ、図１５Ａ、図１５Ｂに示すように、選択中の項目Ｍｉと同じ角度範囲で外周側に隣接するようにするとよい。選択中の状態から操作ベクトルＶｃを延伸させるだけで決定操作ができるようにするためである。
また、このパイ型メニューの場合、選択対象の項目Ｍｉとして「戻る」項目は設けられなくてもよい。例えば操作ベクトルＶｃによる操作位置が、選択中の階層よりも内周側まで戻ったら、選択が解除され、階層が戻ったと認識すればよいためである。
例えば図１３Ｂの状態からユーザが、操作ベクトルＶｃが内周側に戻るように非接触操作を行い、図１３Ａのように第１階層の項目Ｍｉにも達していない状態に戻ったとする。この場合に、図１３Ａの表示状態に戻す。つまり第１階層の選択が解除され、再び第１階層の項目Ｍｉの選択を求める表示状態とする。
このようにすることで、ユーザは中央の起点項目ＣＴｉからの操作ベクトルＶｃの延伸量を伸縮することで、階層の遷移を行うことができ、複数階層のメニュー操作の操作効率が向上される。
このようなパイ型メニューによる操作を実現するための情報処理装置１の処理例を図１６で説明する。図１６は制御部３としての処理例である。なお、パイ型メニューについては４つの処理例を説明する。この図１６の処理例を第１例とする。
第１例から第４例のいずれの処理例でも、制御部３は操作検知部２からの非接触操作に応じたベクトル情報を逐次入力してメニューモードの処理（操作位置や選択状態の検知）を進めるとともに、処理の進行に応じて設定する操作平面の情報等を表示データ生成部４に受け渡して、必要なメニュー表示等を実行させる。また表示データ生成部４は座標変換部２３からの情報を用いて操作ベクトルＶｃの表示のための処理を行う。
図１６のステップＳ２０１で制御部３は、メニューモード起動操作が行われたか否かを監視する。
例えば図７Ａで説明したようなメニューモード起動操作を検知することに応じて制御部３はステップＳ２０２に進み、現在のメニュー階層を示す変数ＮをＮ＝１とする。
なお、変数Ｎは、制御部３が現在の主たる選択の対象として認識している項目Ｍｉの階層を示す変数である。操作位置（操作ベクトルＶｃの先端）が原点位置から見てＮ周目の仮想環ＣＲ（Ｎ）上の項目配置領域にあるかを示しているものともいえる。
そして制御部３はステップＳ２０３で第Ｎ階層、つまり最初はＮ＝１であることで最上位の第１階層の操作平面の設定を行う。
具体的にはメニュー制御部３１が第１階層のメニュー選択項目や各項目の配置情報など、操作平面設定に必要な情報をメニュー情報保持部から読み出し、起点項目ＣＴｉや項目Ｍｉを操作領域ＡＲ内に配置した操作平面を設定する。
また制御部３は、設定した第１階層の操作平面の情報を表示データ生成部４に供給し、第１階層のメニュー画面表示を指示する。表示データ生成部４は、第１階層の操作平面としての項目や配置の情報と、各項目Ｍｉや起点項目ＣＴｉ等の描画に必要なキャラクタデータをメニュー情報保持部３２から読み出し、第１階層の項目Ｍｉを表す表示データを生成し、表示装置１１に供給する。これらの処理により例えば図１３Ａのような第１階層のメニュー表示が行われる。
制御部３はステップＳ２０４で第Ｎ階層のメニュー処理を行う。
即ち制御部３は、逐次ベクトル情報として認識する操作方向及び操作距離を、ステップＳ２０３で設定した操作平面の原点位置からの方向及び距離として操作平面上に反映させて操作位置を特定する。そして特定された操作位置（つまり表示上では操作ベクトルＶｃの先端に相当する位置）が、或る項目Ｍｉの配置領域（項目Ｍｉのキャラクタの表示範囲に相当する座標範囲）に一致しているか否かを確認する。
なおステップＳ２０４、Ｓ２０５、Ｓ２０６の監視ループ処理の期間、表示データ生成部４では、座標変換部２３からの表示出力用の座標値に変換されたｘ，ｙ座標値を用いて、メニュー画像上で操作ベクトルＶｃの描画を行い、表示装置１１で表示させる。これにより、制御部３で認識している現在の操作位置が、メニュー画像上での操作ベクトルＶｃによりユーザに提示される。
制御部３は、ベクトル情報を取得する毎にステップＳ２０４で操作位置がいずれかの項目Ｍｉの配置領域内に達しているか否かを確認するとともに、新たに或る項目Ｍｉの配置領域に達していなければステップＳ２０５からＳ２０６に進んで、メニューモードの終了操作を監視する。もしユーザのメニューモード終了操作を検知した場合は、ステップＳ２０６からＳ２１５に進み、制御部３は表示データ生成部４にメニューモードの終了を伝え、その時点で実行しているメニュー表示を終了させる。そしてメニューモード処理を終える。
なお、ステップＳ２０４で新たな項目選択が検知されないまま一定時間以上経過したら、ステップＳ２０６でメニューモード終了と判断してもよい。
ステップＳ２０４の処理で、操作位置が或る項目Ｍｉの配置領域に達したことが検出された場合は項目選択操作が新たに行われたと判定し、ステップＳ２０５からＳ２１０に進む。
なおステップＳ２０５からＳ２１０に進むのは、選択状態となっている項目Ｍｉの変化があった場合である。例えば何も選択が無い状態から「Ｋ１」項目が選択された際や、「Ｋ１」項目の選択状態から「Ｋ２」項目の選択に変わったことが検知された場合である。例えばユーザが操作位置を或る項目Ｍｉの配置領域内にとどめている期間などはステップＳ２０５からＳ２０６に進むループ処理を継続する。
制御部３はステップＳ２１０では、新たに選択された項目Ｍｉが、その時点の第Ｎ階層の項目であったか否かを確認する。
なお、パイ型メニューの場合に、ステップＳ２０４、Ｓ２０５で選択されたと判定される可能性があるのは、第Ｎ階層の項目Ｍｉ、第（Ｎ−１）階層の項目Ｍｉ、第（Ｎ＋１）階層の項目Ｍｉ、又は「決定」の項目Ｍｉである。
このため制御部３は、或る項目Ｍｉが選択された際には、ステップＳ２１０、Ｓ２２０で処理を分岐する。すなわちステップＳ２１０で第Ｎ階層の項目Ｍｉであるか否かを確認する。またステップＳ２２０で第（Ｎ−１）階層の項目Ｍｉであるか、それ以外であるかを確認する。それ以外とは、第（Ｎ＋１）階層の項目Ｍｉ、又は「決定」の項目Ｍｉのこととなる。上述のように「決定」の項目Ｍｉは第（Ｎ＋１）階層の項目Ｍｉと同じく、第（Ｎ＋１）仮想環ＣＲ（Ｎ＋１）上に配置されるためである。
Ｎ＝１の時点で図１３Ａのような表示が行われているときは、第１階層の項目Ｍｉしか表示されていないため、選択された項目Ｍｉは、第１階層、つまりその時点の第Ｎ階層の項目Ｍｉとなる。
その場合、制御部３はステップＳ２１０からＳ２１１に進み、選択された項目Ｍｉに対応して、次の階層の項目Ｍｉ又は「決定」の項目Ｍｉを操作平面に配置するとともに、当該表示を表示データ生成部４に指示する。
すなわちこの場合、制御部３は、メニュー情報保持部３２の情報を参照して、選択された項目Ｍｉに下位の階層が存在するか否かを確認する。存在する場合は、選択された項目Ｍｉに対応する下位の項目（この時点の第（Ｎ＋１）階層の項目）Ｍｉの情報をメニュー情報保持３２から読み出して、それらが第（Ｎ＋１）仮想環ＣＲ（Ｎ＋１）上に配置されるようにした操作平面を設定する。そしてその操作平面を表示させる。これにより例えば図１４Ｂのような表示状態となる。
なお、この場合制御部３は、図１４Ｂのように第Ｎ階層で選択されていない状態の項目Ｍｉは非表示にするように表示データ生成部４に指示してもよい。
また選択された項目Ｍｉに下位の階層が存在しない場合は、制御部３は、「決定」の項目Ｍｉが第（Ｎ＋１）仮想環ＣＲ（Ｎ＋１）上において選択された項目Ｍｉと同じ角度範囲に配置されるようにした操作平面を設定する。そしてその操作平面を表示させる。これにより例えば図１３Ｂのような表示状態となる。
制御部３は、以上のようにステップＳ２１１の処理を行ってステップＳ２０４に戻り、ユーザ操作を監視する。
例えば図１３Ｂのように「Ｋ１」項目が選択されたことに対応して「決定」の項目Ｍｉが配置及び表示された状態で、ユーザが「決定」の項目Ｍｉにまで操作ベクトルＶｃの先端が達するように操作を行ったとする。この場合、制御部３の処理はステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２２０→Ｓ２３０と進み、「決定」の項目Ｍｉが選択されているため、ステップＳ２３１でエンター処理を行うことになる。
即ち制御部３は、「Ｋ１」項目についての決定操作が行われたとする操作情報を操作情報記憶部３３に記憶させ、ＯＳやアプリケーションプログラムが実行された操作内容を認識できるようにする。そして制御部３はステップＳ２１５で表示データ生成部４にメニュー表示を終了させ、メニュー処理を終える。
また、例えば図１４Ｂとしての状態、すなわち「Ｋ１」項目が選択されて、その下位の「Ｋ１１」「Ｋ１２」「Ｋ１３」の各項目Ｍｉが配置及び表示された状態で、ユーザが「Ｋ１１」「Ｋ１２」「Ｋ１３」のいずれかの項目Ｍｉにまで操作ベクトルＶｃの先端が達するように操作を行ったとする。この場合、制御部３の処理はステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２２０→Ｓ２３０と進み、「決定」項目ではないため、ステップＳ２３２に進む。
ステップＳ２３２で制御部３は、１つ下の階層（そのＮ＝１の時点での第（Ｎ＋１）階層）の項目Ｍｉが選択されたことに応じて、メニュー情報保持部３２の情報を参照して、選択された項目Ｍｉに下位の階層が存在するか否かを確認する。
下位の階層が存在する場合は、選択された第（Ｎ＋１）階層の項目Ｍｉに対応する下位の項目（このＮ＝１の時点の第（Ｎ＋２）階層の項目）Ｍｉの情報をメニュー情報保持３２から読み出して、それらが第（Ｎ＋２）仮想環ＣＲ（Ｎ＋２）上に配置されるようにした操作平面を設定する。そしてその操作平面を表示させる。つまり外周側に更に選択肢が配置された表示状態とする。
なお、この場合制御部３は、第Ｎ階層、第（Ｎ＋１）階層で選択されていない状態の項目Ｍｉは非表示にするように表示データ生成部４に指示してもよい。
また選択された項目Ｍｉに下位の階層が存在しない場合は、制御部３は、「決定」の項目Ｍｉが第（Ｎ＋２）仮想環ＣＲ（Ｎ＋２）上において選択された項目Ｍｉと同じ角度範囲に配置されるようにした操作平面を設定する。そしてその操作平面を表示させる。
ステップＳ２３３で制御部３は、変数Ｎをインクリメントする。そして制御部３はステップＳ２０４に戻り、ユーザ操作を監視する。
変数Ｎがインクリメントされることにより制御部３は、その時点で選択中の項目Ｍｉの階層が第Ｎ階層で、その外周側（すなわち直前のステップＳ２３２で第（Ｎ＋２）仮想環ＣＲ（Ｎ＋２）上に配置された項目Ｍｉの階層）が第（Ｎ＋１）階層、内周側の階層が第（Ｎ−１）階層であるとして図１６の処理を進める。
従って第２階層まで選択状態となった以降においては、ユーザが操作ベクトルＶｃを縮める方向に操作することで、第（Ｎ−１）階層の項目Ｍｉが選択される状況が発生する。
例えば図１５Ａのような状態から、操作ベクトルＶｃを縮めて、操作ベクトルＶｃの先端が「Ｋ１」項目上になったような場合である。
このようにユーザが現在の変数Ｎにおいて第（Ｎ−１）階層の項目Ｍｉが選択された場合、制御部３の処理はステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２２０→Ｓ２２１と進む。ステップＳ２２１で制御部３は、第（Ｎ−１）階層で選択対象となる複数の項目Ｍｉが表示される状態に戻すように操作平面を設定する。例えば図１５Ａの状態から図１３Ａの状態に戻す処理となる。なお、図１５Ａのように選択されなかった「Ｋ２」項目、「Ｋ３」項目を非表示としていた場合は、非表示を解除して図１３Ａのように選択肢として表示させる。
そして制御部３は、ステップＳ２２２で変数ＮをデクリメントしてステップＳ２０４に戻る。以上で再び１つ上位の階層に戻って処理を進めることになる。
以上の図１６の処理によるパイ型メニューの表示遷移の例を図１７で説明する。
今、図１７Ａの状態にあるとする。これは制御部３が図１６の処理で変数Ｎ＝２となっている場合である。例えば第１階層で「Ｋ２」項目が選択されて、その下位の「Ｋ２１」「Ｋ２２」「Ｋ２３」「Ｋ２４」の各項目Ｍｉが表示され、さらに「Ｋ２４」項目が選択状態となって、その外周に「決定」の項目Ｍｉが表示された状態である。
この図１７Ａからさらに操作ベクトルＶｃが延伸されて「決定」の項目Ｍｉに達した状態を図１７Ｄに示している。これは図１７Ａの状態となった後のステップＳ２０４で項目選択が認識され、ステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２２０→Ｓ２３０→Ｓ２３１と進む場合となる。図１７Ａで選択された「Ｋ２４」項目について決定操作の処理が行われる。
図１７Ａの状態から、操作ベクトルＶｃが同じ階層の選択肢である「Ｋ２１」を指す状態に操作された場合を図１７Ｃに示している。これは図１７Ａの状態となった後のステップＳ２０４で項目選択が認識され、ステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２１１と進む場合となる。「Ｋ２１」項目に下位階層が存在しない場合、図のように「Ｋ２１」項目についての「決定」の項目Ｍｉが表示される。
図１７Ａの状態から、操作ベクトルＶｃが短くなるように操作され、１つ上位の階層に戻った状態を図１７Ｂに示している。これは図１７Ａの状態となった後のステップＳ２０４で上位階層の項目選択が認識され、ステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２２０→Ｓ２２１と進む場合となる。
操作ベクトルＶｃが短くなり、先端が「Ｋ４」項目の範囲に達した時点となる。仮に「Ｋ４」項目に下位階層が存在しないとして、「Ｋ４」項目についての「決定」の項目Ｍｉが配置及び表示される状態としている。
なお、図１６の処理では詳細に述べていないが、例えば操作ベクトルＶｃの先端が第１階層の項目Ｍｉよりも内周側に達したら、図１３Ａのような状態に戻すようにするとよい。
図１７Ｅは、図１７Ａの状態から「Ｋ２３」項目が選択され、その下位の選択肢として「Ｋ２３１」「Ｋ２３２」「Ｋ２３３」「Ｋ２３４」の各項目Ｍｉが表示され、さらにその状態から「Ｋ２３４」項目が選択されて、「Ｋ２３４」項目についての「決定」の項目Ｍｉが表示された状態である。
これは図１７Ａの状態となった後のステップＳ２０４で項目選択が認識され、ステップＳ２０４→Ｓ２０５→Ｓ２１０→Ｓ２２０→Ｓ２３０→Ｓ２３２と進み、さらにＳ２３３→Ｓ２０４→・・・→Ｓ２３２と進んだ場合である。
以上の例のように、パイ型メニューの場合、操作ベクトルＶｃの操作距離に応じて階層が上下しながら、項目Ｍｉの選択や決定操作が実行できるようにしている。これらの操作のために、ユーザは操作体５０のｘ，ｙ方向の操作を行うのみで良い。
＜４．パイ型メニューの第２例＞

パイ型メニューの処理例として第２例を図１８，図１９で説明する。これはパイ型メニューをスクロール操作のインターフェースとする例である。
図１８のステップＳ２５１で制御部３は、メニューモード起動操作が行われたか否かを監視する。
例えば図７Ａで説明したようなメニューモード起動操作を検知することに応じて制御部３はステップＳ２５２に進み、スクロール操作のための操作平面の設定、該操作平面の表示指示、及びユーザの非接触操作の監視を行う。また表示データ生成部４は、ユーザの操作に応じて操作平面上で操作ベクトルＶｃを表示させるように表示データを生成する。
具体的には制御部３は、図１９Ａに示すように、起点項目ＣＴｉの周囲に「SCROLL」と表記した項目Ｍｉを配置する。この例では３つの「SCROLL」項目が配置されるようにしているが、説明上の区別のため、「SCROLL1」「SCROLL2」「SCROLL3」としている。
項目Ｍｉ内に「SCROLL」の表記を行うことは一例であり、実際の表示上では表記なしであってもよいし、他の文字や記号の表記でもよい。
制御部３はこのような操作平面を設定し、表示データ生成部４に指示して表示させながら、ユーザの操作情報を逐次取得する。
この図１９の例のスクロール操作のためのユーザインターフェースは、ユーザが非接触操作により、「SCROLL」項目を順次時計回り、或いは反時計回り周回状に選択していくことが、スクロールの進行／戻りの操作となるものとしている。
例えば図１９Ａ→図１９Ｂ→図１９Ｃ→図１９Ａの方向、すなわち時計回りに「SCROLL」項目を「SCROLL1」→「SCROLL2」→「SCROLL3」→「SCROLL1」・・・と順に選択していくことで、１ステップずつスクロール進行が指示される。
逆に、図１９Ａ→図１９Ｃ→図１９Ｂ→図１９Ａの方向、すなわち反時計回りに「SCROLL」項目を「SCROLL1」→「SCROLL3」→「SCROLL2」→「SCROLL1」・・・と順に選択していくことで、１ステップずつスクロール戻りが指示される。
従って、ユーザが操作位置を周回状にゆっくり回す操作を行えば、ゆっくりしたスクロールが行われ、操作位置を周回状に速く回す操作を行えば速いスクロールが行われる。
また制御部３は、複数の「SCROLL」項目のうちの選択状態となっている「SCROLL」の項目Ｍｉの外周側には、第２仮想環ＣＲ２に沿って、その選択状態となっている「SCROLL」の項目Ｍｉの角度範囲と同じ角度範囲に「決定」の項目Ｍｉを配置し表示させる。従って「決定」の項目Ｍｉは、ユーザに取っては、図１９Ａ、図１９Ｂ、図１９Ｃのようにスクロール操作に伴って位置が変わっていくように視認される。
スクロールを止めた位置で決定操作を行う場合は、ユーザは図１９Ｄのように操作ベクトルＶｃが「決定」の項目Ｍｉに到達するように操作すればよい。
図１８のステップＳ２５２で制御部３は、選択状態となっている項目Ｍｉの変化が生じたかを判断する。ここでいう変化とは、例えば選択状態となっている項目Ｍｉが、例えば「SCROLL1」の項目Ｍｉから「SCROLL2」の項目Ｍｉになることなどをいう。
また、処理の進行（ユーザの操作に応じた進行でステップＳ２５８からのＳ２５２へ戻る場合毎に）に図１９Ａ、図１９Ｂ、図１９Ｃのように操作平面の配置及び表示指示を実行していく。
なお表示データ生成部４は座標変換部２３からの操作位置の情報に基づいて、逐次操作平面の表示上で操作ベクトルＶｃの位置が変動するように描画を行って表示データを生成しているため、画面上の操作ベクトルＶｃは逐次非接触操作に応じて方向や長さが変化している。
なお、ユーザのメニューモード終了操作を検知した場合は、ステップＳ２５４からＳ２１５に進み、制御部３は表示データ生成部４にメニューモードの終了を伝え、その時点で実行しているメニュー表示を終了させる。そしてメニューモード処理を終える。
またステップＳ２５２で新たな項目選択が検知されないまま一定時間以上経過したら、ステップＳ２５４でメニューモード終了と判断してもよい。
選択項目の変化を検知したら制御部３はステップＳ２５３からＳ２５５に進み、新たに選択状態となった項目Ｍｉが「決定」の項目Ｍｉであるか否かを判断する。
新たに選択状態となった項目Ｍｉが「SCROLL」項目であった場合は、制御部３はステップＳ２５６で、その選択状態となった「SCROLL」項目に応じて外周側に「決定」の項目Ｍｉの配置及び表示指示を行う。
そして制御部３は、ステップＳ２５７でスクロールの進行方向を算出する。これは前回の選択状態となっていた項目との比較によって算出する。すなわち現在の選択状態の項目Ｍｉが例えば「SCROLL2」であり、直前の選択状態の項目Ｍｉが例えば「SCROLL1」であれば、時計回りの操作であるため、進み方向の操作と判定する。逆に現在の選択状態の項目Ｍｉが例えば「SCROLL2」であり、直前の選択状態の項目Ｍｉが例えば「SCROLL3」であれば、反時計回りの操作であるため、戻り方向の操作と判定する。
このような判定に応じて制御部３は、ステップＳ２５８でスクロール動作としての「次に進む」又は「前に戻る」といういずれかの動作指示を出力する。これにより１ステップの進み又は戻りの動作指示が行われる。
そしてこの動作指示に応じて、ＯＳやアプリケーションプログラムが、表示している画像（パイ型メニューとは別の画像）等において進み方向又は戻り方向のスクロール動作を実行する。
ステップＳ２５２で選択を検知した項目Ｍｉが「決定」の項目Ｍｉであった場合、制御部３はステップＳ２５５からＳ２５９に進みエンター処理を行うことになる。
即ち制御部３は、スクロールに関する決定操作が行われたとする操作情報を操作情報記憶部３３に記憶させ、ＯＳやアプリケーションプログラムが実行された操作内容を認識できるようにする。スクロールに関する決定操作とは、例えばこのパイ型メニューによるスクロールにより選択決定された、パイ型メニュー以外で用意されている選択肢の決定操作（具体例は手術室システムの例で後述）や、スクロール終了位置の決定操作などが想定される。
そして制御部３はステップＳ２１５で表示データ生成部４にメニュー表示を終了させ、メニュー処理を終える。
この図１８の処理でパイ型メニューを用いた図１９のようなスクロール操作を行うことができる。
なお、この例では「決定」の項目Ｍｉを配置して決定操作を可能としたが、「決定」の項目Ｍｉを設けない例も考えられる。つまりスクロール移動のみを行うようにする場合である。
＜５．パイ型メニューの第３例＞

パイ型メニューの処理例として第３例を図２０，図２１で説明する。これはパイ型メニューで複数階層のスクロール操作を実現する例である。
図２０のステップＳ２７０で制御部３は、メニューモード起動操作が行われたか否かを監視する。
例えば図７Ａで説明したようなメニューモード起動操作を検知することに応じて制御部３はステップＳ２７１に進み、現在のメニュー階層（この場合はスクロール操作階層）を示す変数ＮをＮ＝１とする。
そして制御部３はステップＳ２７２で第Ｎ階層、つまり最初はＮ＝１であることで最上位の第１階層の操作平面の設定を行う。また制御部３は、設定した第１階層の操作平面の情報を表示データ生成部４に供給し、第１階層のメニュー画面表示を指示する。これらの処理により例えば図２１Ｂのような第１階層のスクロール操作のための表示が行われる。
ステップＳ２７３で制御部３は、選択状態となっている項目Ｍｉの変化が生じたかを判断する。また処理の進行に応じて逐次操作平面の設定及び表示指示を行う。
画面上の操作ベクトルＶｃの方向や長さは座標変換部２３からの操作位置の情報に基づく表示データ生成部４の処理により操作に応じて変化する。
なお、ユーザのメニューモード終了操作を検知した場合は、ステップＳ２７５からＳ２１５に進み、制御部３は表示データ生成部４にメニューモードの終了を伝え、その時点で実行しているメニュー表示を終了させる。そしてメニューモード処理を終える。
またステップＳ２７３で新たな項目選択が検知されないまま一定時間以上経過したら、ステップＳ２７５でメニューモード終了と判断してもよい。
新たな項目選択、つまり選択中の項目が変わったことを検知したら制御部３はステップＳ２７４からＳ２７６に進む。
制御部３はステップＳ２７６では、新たに選択された項目Ｍｉが、その時点の第Ｎ階層の項目であったか否かを確認する。
この多階層のスクロール操作のためのパイ型メニューの場合、ステップＳ２７３、Ｓ２７４で選択されたと判定される可能性があるのは、第Ｎ階層の項目Ｍｉ、第（Ｎ−１）階層の項目Ｍｉ、又は「決定」の項目Ｍｉである。
このため制御部３は、或る項目Ｍｉが選択された際には、ステップＳ２７６、Ｓ２７７で処理を分岐する。すなわちステップＳ２７６で第Ｎ階層の項目Ｍｉであるか否かを確認し、ステップＳ２７７で第（Ｎ−１）階層の項目Ｍｉであるのか「決定」の項目Ｍｉであるのかを確認する。
Ｎ＝１の時点で図２１Ｂのような表示が行われてスクロール操作として新たな項目Ｍｉ（即ち隣の項目Ｍｉ）が選択された際には、第１階層の項目Ｍｉが選択されたことになる。Ｎ＝２の時点では例えば図２１Ａのような配置及び表示となるが、この場合に第２階層上でスクロール操作として新たな項目Ｍｉ（即ち隣の「SCROLL」項目Ｍｉ）が選択された際には、第２階層の項目Ｍｉが選択されたことになる。
つまりスクロール操作に応じて環状に配置された隣の項目Ｍｉが選択された際は、制御部３は、第Ｎ階層の項目Ｍｉが選択されたとしてステップＳ２５６、Ｓ２５７、Ｓ２５８の処理を行う。
即ち制御部３はステップＳ２５６で、その選択状態となった「SCROLL」項目に応じて外周側に「決定」の項目Ｍｉの配置及び表示指示を行う。
そして制御部３は、ステップＳ２５７でスクロールの進行方向を算出する。そして時計回り方向か反時計回り方向かの判定に応じて制御部３はステップＳ２５８でスクロール動作としての「次に進む」又は「前に戻る」といういずれかの動作指示を出力する。これにより１ステップの進み又は戻りの動作指示が行われ、アプリケーションプログラム等による進み方向又は戻り方向のスクロール動作が行われる。
例えば図２１Ｂのように第１階層の表示状態で、ユーザが「決定」の項目Ｍｉにまで操作ベクトルＶｃの先端が達するように操作を行ったとすると、制御部３の処理はステップＳ２７３→Ｓ２７４→Ｓ２７６→Ｓ２７７→Ｓ２７８と進み、スクロール操作として次の階層が存在するか否かを確認する。
これは、このパイ型メニューによるスクロールによって選択された、パイ型メニュー以外で用意されている他の選択肢について、下位階層が存在しているか否かの確認となる。
下位階層が存在していなければ、制御部３はステップＳ２９０でエンター処理を行う。即ち制御部３は、選択決定されたパイ型メニュー外の選択肢についての決定操作が行われたとする操作情報を操作情報記憶部３３に記憶させ、ＯＳやアプリケーションプログラムが実行された操作内容を認識できるようにする。そして制御部３はステップＳ２１５で表示データ生成部４にメニュー表示を終了させ、メニュー処理を終える。
一方、決定操作された選択肢について下位の階層が存在している場合は、制御部３はステップＳ２８５で操作平面に次の階層の「SCROLL」項目を配置する。また再配置した操作平面の情報を表示データ生成部４に伝え、表示処理させる。Ｎ＝１の時点であれば、例えば図２１Ｂから図２１Ａのように表示状態が変化する。
なお、図２１Ａの例では、第１階層の「SCROLL」項目のうち、「決定」の項目Ｍｉが操作された際のもののみが表示され、他の２つの「SCROLL」項目は非表示としている。これにより、第１階層のスクロール操作から第２階層の操作に移行したことが表現されるようにしている。
そして制御部３は下位階層への進行に応じてステップＳ２８６で変数Ｎをインクリメントし、ステップＳ２７３、Ｓ２７４、Ｓ２７５の監視ループに戻る。
このＮ＝２とされた図２１Ａの状態で、ユーザがスクロール操作を行うと、ステップＳ２５６、Ｓ２５７、Ｓ２５８の処理が行われ、図２１Ｃのように選択中の「SCROLL」項目が変化しながら１ステップずつスクロール指示が行われることになる。
またＮ＝２とされた図２１Ａの状態で、ユーザが「決定」の項目Ｍｉを選択する操作を行うと、下位階層が存在しなければ、図２１Ｄの状態で終了することになり、ステップＳ２９０でエンター処理が行われる。また下位階層が存在する場合は、ステップＳ２８５で操作平面の配置が行われ、図２１Ｅのようにさらに下位の階層のスクロール操作画面が表示されることになる。
変数Ｎが２以上のときは、選択項目が上位の階層の項目となる場合がある。即ちステップＳ２７７で第（Ｎ−１）階層の項目が選択されたと判断される場合である。
この場合、制御部３はステップＳ２８１で操作平面に上位の階層の「SCROLL」項目及びその「決定」の項目の配置を行う。つまり配置状態を戻すように再配置する。そして再配置した操作平面の情報を表示データ生成部４に伝え、表示処理させる。Ｎ＝２の時点であれば、例えば図２１Ａから図２１Ｂのように表示状態が変化する。
そして制御部３は上位階層への戻りに応じてステップＳ２８２で変数Ｎをデクリメントし、ステップＳ２７３、Ｓ２７４、Ｓ２７５の監視ループに戻る。
以上の図２０の処理例により、パイ型メニューを用いて複数階層でスクロール操作を行うことができる。
＜６．パイ型メニューの第４例＞

パイ型メニューの処理例として第４例を図２２で説明する。これは図１６，図１７で説明したパイ型メニューによる項目選択操作（第１例）に、或る選択項目内の或る階層でスクロール操作を可能とする例である。
なお図２２において図１６、図１８と同一の処理は同一のステップ番号を付して重複説明を避ける。
ステップＳ２０１〜Ｓ２３３までのは図１６と同一である。但し、ステップＳ２０３、Ｓ２１１、Ｓ２２２、Ｓ２３２で操作平面の配置を行う際には、表示する階層の項目が「SCROLL」項目になる場合がある。
この図２２では、ステップＳ２１０で第Ｎ階層の項目Ｍｉが選択されたと判定された場合に、ステップＳ２６０で、それが「SCROLL」項目であるか否かで処理を分岐するようにしている。
そして制御部３は「SCROLL」項目が選択された場合は、ステップＳ２５６，Ｓ２５７，Ｓ２５８の処理（図１８参照）を行い、スクロール指示及び画面を進行させる。
このような図２２の処理により、複数階層の項目選択過程で、ある項目についてはスクロール操作を適用できるような操作が可能となる。この具体例については次の手術室システムの応用例において示す。
＜７．手術室システムの応用例＞

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図２３は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図２３を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図２３では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。
ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。
また、図２３では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。
手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
図２４は、集中操作パネル５１１１における操作画面の表示例を示す図である。図２４では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図２４を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。
図２５は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図２３に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図２５では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図２３に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。
アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図２５では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図２６を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図２６は、図２５に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
図２６を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。
まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。
撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。
また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。
駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。
また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。
カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。
また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、例えば図２４のような、集中操作パネル５１１１における操作画面を用いた各種操作に好適に適用され得る。具体的には、必要な操作を、中心回帰型メニューやパイ型メニューを用いて、医師、医療スタッフが非接触操作により行うことができる。
特に手術室において、非接触で各種操作が行えるようにすることで、衛生面でより好適であることは明らかであるとともに、中心回帰型メニューやパイ型メニューにより、手術中に必要な各種操作のために、簡易で効率的な操作環境が提供できることになる。
以下、操作画面の具体例を説明する。ここでは、中心回帰型メニューとパイ型メニューを複合的に用いる例を挙げる。
図２７Ａは、中心回帰型メニューにより、トップメニューが表示された状態である。
起点項目ＣＴｉから操作ベクトルＶｃで選択可能な項目Ｍｉとして、「Monitor」項目、「Input control」項目、「Output control」項目を示している。
「Monitor」項目は図２４のプレビュー領域５１９７の画面に表示させる画像の発信元を選択する操作（発信元選択領域５１９５の操作）を選択する項目Ｍｉである。
「Input control」項目は図２４のコントロール領域５２０１における発信元操作領域５２０３の操作（パン、チルト、フォーカスの各操作）を選択するための項目Ｍｉである。
「Output control」項目は同じくコントロール領域５２０１における出力先操作領域５２０５の操作（スワップ、フリップ、コントラスト、カラー、２Ｄ／３Ｄモードの各操作）を選択する項目Ｍｉである。
図２７の中心回帰型メニューにおいて「Monitor」項目が選択されたとする。この場合、「Monitor」項目には中心回帰型メニューの下位項目としては存在せず、プレビュー領域５１９７を選択する操作の決定と認識されるものとしている。
これに応じて図２７Ｂのように、モニタ画面の発信元選択操作のためのパイ型メニューを含むモニタ制御画面が表示される。
このパイ型メニューは、第１階層として、図２４のプレビュー領域５１９７に示される、出力先の装置である２つの表示装置（Monitor1、Monitor2）の選択のための項目Ｍｉが配置されている。
また第２階層として表示装置のメイン画面と３つのサブ画面を選択するための項目Ｍｉが配置される。図２７Ｂでは、「Monitor1」の３つめのサブ画面がすでに選択されている様子を示している。
パイ型メニューの右側にモニタ画面リスト６０が表示され、メイン画面と３つのサブ画面の現在の画像が表示されている。３つめのサブ画面が選択されたことに応じて、３つめのサブ画面（sub3）の画像にカーソル枠Ｗ１が表示されている。
第３階層は、「SCROLL」項目を配置した例としている。「SCROLL」項目に応じて。外周側に「決定」項目も配置される。
この第３階層は、「Monitor1」の３つめのサブ画面のソースを選択するためのスクロール操作を可能とする。具体的には図２４の発信元選択領域５１９５における各発信元を選択する操作である。図２７Ｂのパイ型メニューの右側には、発信元選択領域５１９５に相当する発信元リスト６１が表示される。この発信元リスト６１のカーソル枠Ｗ２が、スクロール操作に伴って進行／後退（この場合、上下）することになる。
ユーザが「決定」項目を選択する操作を行うと、その時点でカーソル枠Ｗ２で示されている発信元が選択決定され、その発信元が３つめのサブ画面の発信元に設定されることになる。
次に、図２７Ａの中心回帰型メニューにおいて「Input control」項目が選択された場合の例を述べる。
図２８Ａは「Input control」項目が選択されることで、「Input control」項目が起点項目ＣＴｉとなり、周囲に下位の階層の選択肢として「Pan/Tilt」項目、「Zoom」項目、「Focus」項目、及び「戻る」項目の４つの項目Ｍｉが配置された状態を示している。
「戻る」項目は、もともと「Input control」項目が配置されていた位置に「start」項目が移動したものである。
ここで「Pan/Tilt」項目が選択されたとすると、図２８Ｂのように、パン又はチルト操作をスクロール操作で行うためのパイ型メニューが表示される。
このパイ型メニューは、第１階層として、パン操作とチルト操作を選択する項目Ｍｉが配置される。ここではチルト操作が選択された状態を示している。
第２階層は、「SCROLL」項目を配置した例としている。「SCROLL」項目に応じて。外周側に「決定」項目も配置される。
この第２階層は、チルト操作、つまりチルト角の上下調整をスクロール操作により可能とするものである。
パン操作が選択された場合も第２階層は「SCROLL」項目とされ、パン操作、つまり左右方向の調整がスクロール操作により可能とされる。
ユーザが「決定」項目を選択する操作を行うと、その時点のチルト位置（又はパン位置）で調整が終了される。
図２８Ａの中心回帰型メニューにおいて「Focus」項目が選択された場合を図２９Ａに示す。この場合、第１階層のみの「SCROLL」項目及び対応する「決定」項目を配置した例としている。
「SCROLL」項目の順次選択により、フォーカス状態が＋方向又は−方向に調整される。
ユーザが「決定」項目を選択する操作を行うと、その時点のフォーカス状態で調整が終了される。
図２８Ａの中心回帰型メニューにおいて「Zoom」項目が選択された場合を図２９Ｂに示す。この場合も第１階層のみの「SCROLL」項目及び対応する「決定」項目を配置した例としている。
「SCROLL」項目の順次選択により、ズーム状態が＋方向又は−方向に調整される。
ユーザが「決定」項目を選択する操作を行うと、その時点のズーム状態で調整が終了される。
次に、図２７Ａの中心回帰型メニューにおいて「Output control」項目、つまり出力先操作領域５２０５の操作が選択された場合の例を述べる。
図３０Ａは「Output control」項目が選択されることで、「Output control」項目が起点項目ＣＴｉとなり、周囲に下位の階層の選択肢として「3D/2D」項目、「Swap」項目、「Color」項目、「Contrast」項目、「Flip」項目、及び「戻る」項目の６つの項目Ｍｉが配置された状態を示している。
「戻る」項目は、もともと「Output control」項目が配置されていた位置に「start」項目が移動したものである。
ここで「3D/2D」項目が選択されたとすると、図３０Ｂのように、２Ｄモード又は３Ｄモードを選択する項目Ｍｉを配置したパイ型メニューが表示される。
このパイ型メニューは、第１階層のみの例としており、例えば３Ｄモードの項目Ｍｉが選択されると、その外周側に「決定」項目が配置され、図のように「決定」項目が選択されることで、３Ｄモードが決定される。
図３０Ａの中心回帰型メニューにおいて「Swap」項目が選択された場合を図３１Ａに示す。この場合も第１階層のみの選択項目として、メイン−サブのスワップ操作と、サブ−メインのスワップ操作のための項目Ｍｉが配置される。
例えばサブ−メインのスワップ操作の項目Ｍｉが選択されると、その外周側に「決定」項目が配置され、図のように「決定」項目が選択されることで、サブ−メインのスワップ操作が決定される。
図３０Ａの中心回帰型メニューにおいて「Contrast」項目が選択された場合を図３１Ｂに示す。これは第１階層のみの「SCROLL」項目及び対応する「決定」項目を配置した例としている。
「SCROLL」項目の順次選択により、コントラスト状態が＋方向又は−方向に調整される。
ユーザが「決定」項目を選択する操作を行うと、その時点のコントラスト状態で調整が終了される。
図３０Ａの中心回帰型メニューにおいて「Color」項目が選択された場合を図３２に示す。これも第１階層のみの「SCROLL」項目及び対応する「決定」項目を配置した例としている。
「SCROLL」項目の順次選択により、カラー状態が＋方向又は−方向に調整される。
ユーザが「決定」項目を選択する操作を行うと、その時点のカラー状態で調整が終了される。
以上、手術室システムに本開示の中心回帰型メニュー及びパイ型メニューを用いたユーザインターフェースの例を示したが、ここで説明したユーザインターフェースは、図１の機能構成を備えた情報処理装置が、図１１、図１６、図１８、図２０の処理を組み合わせることで実行可能である。
＜８．まとめ及び変形例＞

以上説明してきた実施の形態の情報処理装置１は、取得した非接触操作情報から操作方向及び操作距離を求める操作検知部２を備える。また情報処理装置１は選択対象となる項目Ｍｉの領域が原点位置（ｘ０，ｙ０）の周囲に配置された状態で、項目Ｍｉの領域と、原点位置を起点とすることで操作検知部２が求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目Ｍｉが選択状態となったと判定する処理を行う制御部３を備える。具体的には制御部３は、原点位置（ｘ０，ｙ０）の周囲に選択対象となる複数の項目Ｍｉを配置した操作平面を設定するとともに、操作平面上で原点位置を起点として操作方向及び操作距離で特定される操作位置が、或る項目Ｍｉを示す状態に至ったことで、その項目Ｍｉが選択された状態となったと認識する処理を行う。また情報処理装置１は制御部３により判定された結果に応じた表示データを生成する表示データ生成部４を備える。具体的には表示データ生成部４は制御部３が設定した操作平面を表示させる表示データを生成する。
即ち、ユーザが行う非接触操作についての操作方向と操作距離を、原点を起点とした方向及び距離として仮想的な操作平面に反映させる。これは非接触操作により示される方向及び距離を、操作平面上で原点位置から延伸される方向及び距離として認識することを意味する。
設定する操作平面には、原点位置の周囲に選択対象となる項目Ｍｉを配置する。そして原点位置からの操作方向及び操作距離で特定される操作位置が或る項目Ｍｉを指し示すことになったら（例えば項目への到達や項目の通過）、その項目Ｍｉが選択されたと認識するようにいている。
上述の中心回帰型メニューやパイ型メニューでは、選択対象となる項目Ｍｉを原点（ｘ０，ｙ０）上に位置する起点項目ＣＴｉを中心として周囲に環状に配置し、かつ操作の起点を原点（ｘ０，ｙ０）としている。これにより操作の方向及び距離で規定される原点からの延伸位置が、或る項目Ｍｉに対して到達や通過等をした状態で、その項目Ｍｉの選択状態と認識してもよいことになる。
これは、操作ベクトルＶｃを延伸させる際に、各項目Ｍｉ（中心回帰型の場合は全ての項目Ｍｉ、パイ型の場合は１回周目の項目Ｍｉ）がそれぞれ他の項目の邪魔にならないように配置されることによる。
従って、例えば操作ベクトルＶｃを項目Ｍｉに到達させればその項目Ｍｉを選択状態とできるため、操作は非常に容易となる。
またこれにより、項目Ｍｉの選択のための特別な他の操作、例えば奥行き方向の操作などのクリックやボタン押圧を表現する操作や、到達状態をある程度の時間維持するなどの操作は不要である。
また、クリック等に相当する他の操作が不要なことで、他の操作による操作ミスが発生しないことになる。特に非接触操作の場合、ユーザの操作の挙動は不安定になることが多く、余分な操作が必要になるほど、目的外の選択項目に触れてしまう（操作位置が目的外の選択項目に達してしまう）などによる操作ミスが多い。例えば奥行き方向の操作や特定のジェスチャを選択状態とすることが考えられるが、その奥行き方向の操作で操作平面上の位置がずれることがよくあるし、ジェスチャが認識できない場合もある。また例えば項目Ｍｉに操作ベクトルＶｃが触れたまま３秒待機するというような手法も考えられるが、すると迅速な操作が阻害される。
これに対して本実施の形態の場合、項目Ｍｉへの到達等により直ぐに選択状態となるため、操作位置（操作ベクトルＶｃが示す位置）がずれるようなことが発生しない。また選択状態とするために時間を要しない。これらのことからユーザが安定した操作を行い易い。
従ってユーザは非接触操作を非常に容易かつ安定して実行できるようになる。
またジェスチャや奥行きの操作を必要としないことで、素早くかつ最小限の動作でのメニュー操作が可能となる。
実施の形態では、原点位置は、操作平面の範囲として非接触操作情報が有効な操作領域ＡＲの略中央に設定される。
操作領域ＡＲの略中央に原点位置を設定することで、選択対象となる項目Ｍｉは操作領域ＡＲの中央を中心にした円環状に並ぶような状態となる。
これにより各項目Ｍｉの配置は極端に操作領域ＡＲ内の端部になることはない。操作領域ＡＲはユーザの非接触操作の認識範囲にも対応しており、非接触操作を認識する中央が操作領域ＡＲの中央に対応するため、項目Ｍｉが極端に端部（認識感度が低下する部分）に配置されないようにすることは、操作認識の点で有利である。
なお原点位置は、必ずしも操作領域ＡＲの中心位置に設定されなくてもよい。例えば正確な中心位置からずれていても良いし、操作領域ＡＲの形状によっては操作領域ＡＲの重心位置などに設定してもよい。必ずしも正確に中央となる位置でなくてもよいし、操作の内容や操作体５０の態様、項目配置などに応じて適宜、望ましい原点位置が設定されればよい。
実施の形態では、表示データ生成部４は、操作検知部２が求めた操作方向及び操作距離を操作平面上で表示する表示データを生成するようにしている。
つまり表示画面に表示される操作平面は、原点領域と選択対象の項目Ｍｉだけでなく、操作方向及び操作距離によって決まる現在の操作位置も表示する。例えば原点から延伸する矢印等の画像などで操作位置を表現する。
具体的には画面上でメニューとしての項目Ｍｉと起点項目ＣＴｉが表示され、さらに操作に応じて、その操作方向及び操作距離を表現する操作ベクトルＶｃが表示されることで、ユーザにとっては空間で行っている非接触操作のイメージのフィードバックを受けることができ、所望の項目Ｍｉを選択するための的確な操作を行うことができる。
つまり操作ベクトルＶｃ及びその延伸状況をガイドすることで、現在、どの項目Ｍｉに向かっているかとか、その非接触操作をどの方向にどのくらい行えばよいかがわかりやすくなる。
なお、操作平面上での現在の操作位置（操作ベクトルＶｃが示す位置）は、操作ベクトルＶｃのような矢印線分に限らず、現在の操作位置のみを示すカーソル表示、ポインタ表示などとしてもよい。また操作軌跡をある程度残すような表示でもよい。
実施の形態では、制御部３が、原点位置の周囲に、選択対象となる複数の項目Ｍｉを、原点位置からみて重ならない状態で配置した操作平面を設定する例を述べた。
例えば中心回帰型の操作平面である。
中心回帰型メニューの場合、複数の項目Ｍｉは全て、原点位置からみて重ならない状態で配置されている。従って、配置された全ての項目Ｍｉは、原点位置を起点とする操作ベクトルＶｃの延伸による到達により選択することができる。これにより操作の容易性を向上させている。
なお、パイ型の操作平面において、第１仮想環のみの項目Ｍｉが存在し、下位の階層がなく、項目Ｍｉに到達したのみでエンターとなる場合もこれに相当することになる。
また中心回帰型メニューの処理として、制御部３は、操作平面上の操作位置によって或る項目Ｍｉが選択されたと認識し、かつ、その選択された項目Ｍｉに下位の項目Ｍｉが存在する場合には、選択された項目Ｍｉを原点位置に配置し、下位の項目Ｍｉを原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行う。そして制御部３は、再設定した操作平面上で操作位置が或る下位の項目Ｍｉを示す状態に至ったことで、当該下位の項目Ｍｉが選択状態となったと認識する処理を行う。
すなわち図８〜図１２で説明した操作平面の設定及び操作検知処理である。
中心回帰型メニューの場合、複数の項目Ｍｉは、原点位置からみて重ならない状態で配置されているため、配置された全ての項目Ｍｉは、原点位置を起点とする操作ベクトルＶｃの延伸（操作位置の到達）により選択することができる。この場合に、選択した項目Ｍｉに下位階層の項目Ｍｉが存在したら、選択した項目Ｍｉを原点位置に配置（移動）させ、その周囲に、下位の項目Ｍｉを配置した操作平面に切り替わるようにする。
このようにすると、或る項目の下に、下位階層が何層にも存在しても、全ての階層の選択操作は原点位置にある起点項目ＣＴｉ（選択され起点項目となった項目Ｍｉ）を起点として項目Ｍｉを指し示す操作で対応できる。
従って、項目Ｍｉへの到達や通過によって選択状態となる方式を複数階層のメニュー操作に適用できることになる。
特に各階層で操作が常に中心からスタートするため画面遷移による誤操作が解消される。
また階層が進む場合に、この中心回帰型としての項目Ｍｉの再配置を行うことで、操作領域ＡＲが階層によって拡大していかないことになる。
例えば或る項目Ｍｉが選択されたとき、中心回帰させずに、その項目Ｍｉの周囲に下位の項目Ｍｉを配置するようにすると、階層が進むに従って、下位の項目Ｍｉが原点位置から離れて配置されることになり、これによって広い操作領域が必要になる。これは表示上でも、操作に必要な領域をむやみに拡大することになり、他の表示を妨げる場合もある。またユーザの操作空間としても、あまりに広げすぎると、操作認識が困難になる。
本実施の形態の中心回帰型メニューの場合は、選択された項目Ｍｉを操作領域ＡＲの中心である原点位置に回帰させ、その周囲に下位の項目Ｍｉを配置することで、上位階層と同等の操作領域で下位階層の操作を可能にしている。
これにより操作領域ＡＲを比較的コンパクトに設定することが可能になり、また表示上でもむやみに広い表示範囲を占有しないですむようにしている。
また入力デバイス（トラッキングデバイス１０）のセンシング範囲も比較的小さい範囲でよく、何階層のメニュー構造にも対応できる。
また、トラッキングデバイス１０のセンシング範囲ではその中央付近が感度が高いことが多い。どの階層でも中央が起点に操作が行われることは、センシング範囲の中央付近で操作が検知されることが頻繁になることを意味する。つまり操作感度が高い領域をなるべく使用するという点でも好適である。これはユーザの操作をスムースにすることにも繋がる。
実施の形態の中心回帰型メニューに関しては、制御部３は、操作平面の設定もしくは再設定の際、原点位置の周囲には、複数の項目Ｍｉを、原点位置を中心とした仮想的な真円の環（仮想環ＣＲ）に沿って配置させるようにしている。
これにより各項目Ｍｉが同等に選択対象として視認しやすく、またどの項目Ｍｉも、原点位置からの距離が同等となり、選択操作のしやすさとしての差が生じない、従ってユーザの任意な選択操作のために好適な操作平面を創出できる。
実施の形態の中心回帰型メニューに関しては、制御部３は、中心回帰を行うように操作平面の再設定を行う際、選択された項目Ｍｉが原点位置に移動することを提示する表示が行われるように、表示データ生成部４を制御している（図１１のステップＳ１１５、図１２Ｂ、図１２Ｄ参照）。
即ち選択された項目Ｍｉが原点位置に回帰する様子を表示上でユーザに提示する。
これにより選択された項目Ｍｉが中心に移動して、その周囲に下位の項目Ｍｉが配置されるように変更された状態をユーザが認識しやすくなる。
その後は、選択された項目Ｍｉが起点項目ＣＴｉとなって再び中央を起点とする操作が行われるが、中心回帰の様子を明示する表示によってユーザが混乱することが防止される。
実施の形態の中心回帰型メニューに関しては、制御部３は、操作平面の再設定の際、下位の項目Ｍｉに加え、階層を戻る操作のための「戻る」項目を原点位置からみて重ならない状態で原点位置の周囲に配置するようにいている。
つまり選択した項目の周囲に、下位の項目とともに階層を戻るための項目も配置することで、階層を遡る操作の選択も可能とする。
これにより“戻る”操作も、下位の項目Ｍｉの選択と同等に容易に可能となる。
特に「戻る」項目を、図１２Ａ→図１２Ｂ→図１２Ｃで説明したように、選択された項目Ｍｉの位置に配置することで、ユーザには選択された項目Ｍｉと「戻る」項目（それまでの起点項目ＣＴｉ）が入れ替わる様子が見られることになり、階層の進行を認識しやすい。
また、戻る操作のための位置もユーザにとって把握しやすいものとなる。
但し、「戻る」項目は、必ずしも直前に選択された項目Ｍｉの位置に配置しなくてもよいく、進行する階層の選択肢の数に合わせるようしてもよい。
また、どのように階層が進行した場合でも、「戻る」項目は起点項目ＣＴｉの直下に配置するなど、特定の座標位置に配置するようにしてもよい。特定の座標位置に配置すれば、ユーザにとって戻り操作は常にその方向への操作と認識することができ、操作が容易化される。
なお、戻り操作の項目Ｍｉは、「戻る」という表記がされた項目Ｍｉとしたが、直前の階層における表記のままとしてもよい。例えば図９Ａにおいて「start」という表記のままにしたり、図１０において「Ｋ２」の表記にままにしてもよい。
また戻る操作のための項目Ｍｉは設けず、戻り操作は他の手法で行うようにしてもよい。
実施の形態の中心回帰型メニューに関しては、制御部３は、階層を戻る操作のための「戻る」項目が選択された場合、「戻る」項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御する（図１１のステップＳ１１３→Ｓ１１５、図１２Ｄ参照）。また、それに応じて上位の項目Ｍｉを原点位置の周囲に原点位置からみて重ならない状態で配置するように操作平面の再設定を行う。
即ち「戻る」項目が選択された場合、この「戻る」項目が原点位置に回帰する様子を表示上でユーザに提示したうえで、上位階層の項目Ｍｉを配置して表示させる。
これにより「戻る」項目が中心に移動して、その周囲に１つ上位の階層の項目Ｍｉが配置されるように変更された状態をユーザが認識しやすくなる。その後は、１つ上位の階層に戻って、再び中央を起点とする操作が行われるが、ユーザは階層が戻ったことを認識していることで操作に混乱せず、操作状況を正しく認識しやすい。
実施の形態では、制御部３は、項目の選択又は指定として複数の段階を伴う操作を行うための操作平面として、パイ型メニューの操作平面を設定する例を述べた。
この場合、第Ｘ段階（Ｘは階層の値）で選択対象となる複数の項目Ｍｉを、原点位置から数えて第Ｘ番目となる仮想的な環状線（第Ｘ仮想環ＣＲ（Ｘ））上に、原点位置からみて互いに重ならない状態で配置する操作平面を設定する。
また、操作位置により第Ｘ段階の複数の項目Ｍｉのうちで或る項目Ｍｉが選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目に応じて指定又は選択の対象となる１又は複数の項目Ｍｉを配置する操作平面を設定する。
すなわちパイ型の操作平面を形成して操作を複数段階の選択／指定の操作を認識する。
パイ型メニューの場合、環状に配置された項目Ｍｉの選択に応じて、その外周に下位階層の複数の項目Ｍｉや、決定操作の項目Ｍｉなどが配置されることで、操作ベクトルＶｃの延伸により、複数段階の操作を行うことができる。このため、階層メニューの操作や、複数の項目を連続して指定する操作などを、非常に迅速に行うことが可能となる。
実施の形態のパイ型メニューに関しては、制御部３は、操作位置により第Ｘ段階の複数の項目Ｍｉのうちで或る項目Ｍｉが選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目の下位階層として選択の対象となる複数の下位の項目Ｍｉを配置する操作平面を設定する（図１４Ｂ、図１６のステップＳ２１１参照）。そして、操作位置が或る下位の項目Ｍｉを示す状態に至ったことで、当該下位の項目Ｍｉが選択状態となったと認識する処理を行う（図１５Ａ、図１５Ｂ、図１６のステップＳ２０４、Ｓ２０５）。
即ち原点位置を中心として、例えば複数の仮想的な環状線（ＣＲ１、ＣＲ２・・・）を考え、外周に下位階層の項目Ｍｉが提示されるような操作平面を形成していく。これにより操作方向及び操作距離で決定される操作位置の延伸により、上位の項目Ｍｉの選択に続いて下位の項目Ｍｉが選択できるようにする。
この方式で、パイ型メニューとしての階層構造が可能となる。
ユーザにとっては、操作ベクトルＶｃを任意の方向に延伸させていく操作を行うことにより、上位から下位の階層に向かって、順次項目Ｍｉを選択していく操作を迅速かつ容易に行うことができる。
実施の形態のパイ型メニューに関しては、制御部３は、操作位置により第Ｘ段階の複数の項目Ｍｉのうちで或る項目Ｍｉが選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目についての「決定」項目を配置する操作平面を設定する（図１３Ｂ、図１６のステップＳ２１１参照）。そして、操作位置が「決定」項目を指定する状態に至ったことで、第Ｘ段階で選択された項目についての決定操作が行われたと認識する処理（Ｓ２３０，Ｓ２３１）を行う。
即ち選択操作後に決定操作を行うという段階的な操作を行う場合にも、仮想環ＣＲに配置した複数の項目Ｍｉの外周側に、決定操作のための項目Ｍｉを配置することで、操作方向及び操作距離で決定される操作位置の延伸により、項目Ｍｉの選択に続いて決定操作ができるようにする。
この方式で、パイ型メニューにおける選択・決定を一連の操作により行うことが可能となる。つまり操作ベクトルＶｃを任意の方向に延伸させていく操作をユーザが行うことにより、或る項目Ｍｉの選択・決定の操作を迅速かつ容易に行うことができる。
実施の形態のパイ型メニューに関しては、制御部３は、図１３Ｂ、図１５Ａ、図１５Ｂのように「決定」項目を、第Ｘ＋１番目となる仮想的な環状線上であって、第Ｘ段階で選択された項目に隣りあう位置に配置する。
これにより、項目Ｍｉの選択直後に、その操作方向のままで操作距離を伸ばしていけば、「決定」項目に達することになり、決定操作がきわめて容易迅速となる。
また「決定」項目を、選択された項目Ｍｉと同じ角度範囲で隣り合うようにすることで、決定操作であることをユーザが直感的にわかりやすいものとなる。
なお、「決定」項目は、必ずしも選択された項目Ｍｉと同じ角度範囲に配置しなくてもよい。一部の角度範囲が共通でもよいし、選択された項目より広い範囲で「決定」項目を配置してもよい。さらには、第Ｘ＋１番目となる仮想環ＣＲ上の全周にわたるリング状に「決定」項目を設定することも考えられる。
また図１４Ａで述べたように下位階層が存在しない項目Ｍｉが選択された際には、「決定」項目を配置しないで即座に決定操作が行われたと認識するようにすれば、操作を効率化できる。
実施の形態のパイ型メニューに関しては、制御部３は、第Ｘ段階で選択対象となる複数の項目Ｍｉを、スクロール操作のための項目とし、スクロール操作のための項目が選択状態となることに応じて、スクロール操作を認識する処理を行う（図１８、図１９、図２０、図２１参照）
即ち環状に配置された「SCROLL」項目によりスクロール操作を可能とする。
パイ型メニューを用いたスクロール操作を可能とすることで、例えば選択肢が多い場合のメニュー操作や、表示範囲の移動、その他の多様な操作を、パイ型メニューを用いて効率的に行うことができる。
なおスクロール操作のための項目は、上述の「SCROLL」項目に限らず、「進む」「戻る」の項目として、その項目に操作ベクトルＶｃを位置させている間、その「進む」が継続されたり「戻る」が継続されたりするような操作方式も考えられる。
実施の形態のパイ型メニューに関しては、制御部３は、スクロール操作のための複数の「SCROLL」項目が選択状態となる順序に応じて、スクロール操作の方向を認識する処理を行う（図１８、図２０、図２２のステップＳ２５７参照）。
即ち環状に配置された複数の項目を順次選択していく操作が、スクロール操作の方向を指示することになるようにする。
この方式で、パイ型メニューを用いた容易かつわかりやすいスクロール操作が可能となる。ユーザは、環状に配置された複数の項目Ｍｉを右回り或いは左回りで順次選択していくようにすれば、それがスクロール操作となる。例えばユーザが非接触操作として右回り又は左回りの周回状の操作を行なえばよい。従って操作も直感的にわかりやすいものとなる。
なお「SCROLL」項目は、３つが円環状に配置される例を示したが、「SCROLL」項目は２つ以上であればよい。「SCROLL」項目が２つの場合、操作方向を区別することができないが、一方向へのスクロール操作を行わせるのであれば「SCROLL」項目は２つでも可能である。操作方向を二方向とするスクロール操作を実行させる場合は「SCROLL」項目が３つ以上必要である。
また「SCROLL」項目を４つ、５つなど、円周方向に多数配置するほど、速いスクロール操作が可能となる。数が多いほど、ユーザの操作に応じて操作位置が次の「SCROLL」項目に到達するまでのインターバルが短くなるためである。
実施の形態のパイ型メニューに関しては、制御部３は、第Ｘ＋１番目となる仮想的な環状線（ＣＲ）上であって、スクロール操作のための項目のうちで選択中の項目と同じ角度範囲に、スクロール後の決定操作の項目を配置する（図１９，図２１の「決定」項目、及び図１８、図２０、図２２のステップＳ２５６参照）。
これにより選択中の「SCROLL」項目の外周側に、「決定」項目が配置され、スクロール操作の進行に伴って、外周側の「決定」項目も追従して位置が変化していく。従ってスクロール操作の際に、外周側の「決定」項目が右回り或いは左回りしていく様子が明確に表示されることになるため、ユーザは、スクロール操作の状況を容易に認識しながら操作を行うことができる。
また、スクロール操作を止めた際には、その時点で選択中の「SCROLL」項目のすぐ外周側（同じ角度範囲）に「決定」項目が位置していることになるため、操作位置を外周側に移動させるだけで決定操作が可能になる。このため非常に効率よく操作を行うことができる。
実施の形態のパイ型メニューに関しては、制御部３は、操作位置により第Ｘ段階の複数の項目Ｍｉのうちで或る項目Ｍｉが選択された状態となったことを認識した場合、第Ｘ段階の複数の項目Ｍｉのうちで選択されなかった項目Ｍｉの表示態様が変化するように、表示データ生成部４に指示する（図１４Ｂ、図１６のステップＳ２１１，Ｓ２３２参照）。
即ち第Ｘ段階の項目Ｍｉの１つが選択された場合、選択されなかった項目Ｍｉについては表示上で例えば非アクティブ状態や、非表示の状態などに表示態様を変化させる。
パイ型メニューの場合、第Ｘ段階の項目Ｍｉの１つが選択された場合、その外周に第Ｘ＋１段階の項目Ｍｉが表示されることになるが、その第Ｘ＋１段階の項目Ｍｉの内周側に非選択の第Ｘ段階の項目Ｍｉが操作可能に表示されていると、操作がやりにくくなる場合がある。そこで、非選択となった項目Ｍｉを非表示や非アクティブにすることで、操作のしやすさを確保する。
実施の形態のパイ型メニューに関しては、制御部３は、第Ｘ段階で選択された項目Ｍｉに応じて第Ｘ＋１段階で指定又は選択の対象となる１又は複数の項目Ｍｉを配置する操作平面を設定した後、選択された項目Ｍｉの選択が解除される状態となった場合は、第Ｘ＋１段階の項目Ｍｉを解消するように操作平面を設定する（図１６のステップＳ２２１、Ｓ２２２参照）。
つまり第Ｘ段階の項目Ｍｉの選択状態が解消されたら、第Ｘ＋１段階の項目の選択を検知する状態から、第Ｘ段階で選択対象の複数の項目Ｍｉの選択を待機する状態に戻ることになる（上位階層に戻す）ため、第Ｘ＋１段階の項目の操作平面上での設定を解消し、表示もなくなるようにする。
これによりユーザは操作の階層が上位に戻ったことを明確に認識できる。
なお実施の形態の中心回帰型メニューやパイ型メニューは表示装置１１に表示させる例としたが、この表示装置１１は、操作の対象となるコンテンツ画像や制御盤等の画像を表示する表示装置とは別の表示装置でもよい。
また表示データ生成部４は、画像投影装置に中心回帰型メニューやパイ型メニューの表示データを供給し、投影表示によりユーザにメニュー画像を視認させるようにしてもよい。
また実施の形態は非接触操作を想定して説明したが、本開示の技術は接触操作、例えば指等による画面へのタッチ操作、マウス等の機器を用いた操作など、非接触操作ではない態様の操作にも広く適用できる。例えば接触操作でも、接触部や操作体によっては安定した操作が行いにくい状況は考えられるが、そのような場合に操作の安定化を実現する手法として本開示の技術は好適である。
また本開示の技術は、二次元的な操作平面を想定して、原点位置の周囲に項目を配置する例だけでなく、三次元的な操作空間を想定して、原点位置の三次元方向の周囲に項目を配置するようにすることにも適用できる。その場合、ユーザインターフェースとして操作空間の立体表示を行うことが適切となる。
また原点位置の周囲の項目配置を、仮想的な環状線である仮想環ＣＲを用いて説明したが、当然、仮想環ＣＲは真円ではなく、楕円環、正方形状の環、長方形状の環、不定形状の環などと想定してもよい。つまり原点位置の周囲に楕円状や方形の軌道に沿って複数の項目Ｍｉが配置されることも考えられる。
実施の形態では、情報処理装置１の制御部３が、原点位置を起点として操作検知部が認識した操作方向及び操作距離で特定される操作位置と項目Ｍｉの領域の位置関係が特定の状態に遷移することで、その項目が選択状態となったと判定する例として、操作ベクトルＶｃの先端（操作位置）が項目Ｍｉの領域内に到達することで、その項目が選択状態となるものとして説明した。
これに限らず、情報処理装置１は、例えば操作位置が項目Ｍｉの領域を通過した状態でその項目Ｍｉが選択されたと認識するようにしてもよい。
また情報処理装置１は、操作位置が項目Ｍｉ（項目Ｍｉの領域の外縁）からの距離が所定値以内となるまで接近した状態となったら、その項目Ｍｉが選択されたと認識するようにしてもよい。
本発明の実施の形態のプログラムは、情報処理装置に操作検知ステップ、判定ステップ、表示データ生成ステップを実行させるプログラムである。
操作検知ステップでは、情報処理装置に取得した操作情報から操作方向及び操作距離を求める処理を情報処理装置１に実行させる（Ｓ１０７、Ｓ２０４等）。
判定ステップでは、選択対象となる項目Ｍｉの領域が原点位置の周囲に配置された状態で、項目Ｍｉの領域と、原点位置を起点とすることで操作検知ステップで求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目Ｍｉが選択状態となったと判定する処理を、情報処理装置１に実行させる（Ｓ１０６、Ｓ１０８、Ｓ２０３、Ｓ２０５、Ｓ２１１，Ｓ２２１，Ｓ２３２等）。
表示データ生成ステップでは、情報処理装置１に判定ステップにより判定された結果に応じた表示データを生成する処理、すなわち操作平面を表示させる表示データを生成する処理を実行させる（Ｓ１０６、Ｓ２０３、Ｓ２１１，Ｓ２２１，Ｓ２３２等、及び表示データ生成部４の処理）。
このようなプログラムにより本実施の形態の情報処理装置１の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
（１）取得した操作情報から操作方向及び操作距離を求める操作検知部と、
選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知部が求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する処理を行う制御部と、
前記制御部により判定された結果に応じた表示データを生成する表示データ生成部と、を備えた
情報処理装置。
（２）前記操作検知部は前記操作情報として非接触操作情報を検出し、
前記制御部は、前記原点位置を、非接触操作情報が有効な操作領域の略中央に設定する
上記（１）に記載の情報処理装置。
（３）前記表示データ生成部は、前記操作検知部が求めた操作方向及び操作距離を、操作平面上で表示する表示データを生成する
上記（１）又は（２）に記載の情報処理装置。
（４）前記制御部は、
原点位置の周囲に、選択対象となる複数の項目を、原点位置からみて重ならない状態で配置した操作平面を設定する
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記制御部は、
操作平面上の操作位置によって或る項目が選択されたと認識し、かつ、その選択された項目に下位の項目が存在する場合には、選択された項目を原点位置に配置し、下位の項目を原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行い、
再設定した操作平面上で操作位置が或る下位の項目を示す状態に至ったことで、当該下位の項目が選択状態となったと認識する処理を行う
上記（４）に記載の情報処理装置。
（６）前記制御部は、
操作平面の設定もしくは再設定の際、原点位置の周囲には、複数の項目を、原点位置を中心とした仮想的な真円の環に沿って配置させる
上記（５）に記載の情報処理装置。
（７）前記制御部は、
操作平面の再設定を行う際、選択された項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御する
上記（５）又は（６）に記載の情報処理装置。
（８）前記制御部は、
操作平面の再設定の際、下位の項目に加え、階層を戻る操作のための項目を原点位置からみて重ならない状態で原点位置の周囲に配置する
上記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）前記制御部は、
階層を戻る操作のための項目が選択された場合、階層を戻る操作のための項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御するとともに、
上位の項目を原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行う
上記（８）に記載の情報処理装置。
（１０）前記制御部は、
項目の選択又は指定として複数の段階を伴う操作を行うための操作平面として、
第Ｘ段階で選択対象となる複数の項目を、原点位置から数えて第Ｘ番目となる仮想的な環状線上に、原点位置からみて互いに重ならない状態で配置する操作平面を設定するとともに、
操作位置により前記第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目に応じて指定又は選択の対象となる１又は複数の項目を配置する操作平面を設定する
上記（１）乃至（３）のいずれかに記載の情報処理装置。但しＸは１以上の自然数。
（１１）前記制御部は、
操作位置により第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目の下位階層として選択の対象となる複数の下位の項目を配置する操作平面を設定し、操作位置が或る下位の項目を示す状態に至ったことで、当該下位の項目が選択状態となったと認識する処理を行う
上記（１０）に記載の情報処理装置。
（１２）前記制御部は、
操作位置により第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目についての決定操作の項目を配置する操作平面を設定し、操作位置が決定操作の項目を指定する状態に至ったことで、第Ｘ段階で選択された項目についての決定操作が行われたと認識する処理を行う
上記（１０）に記載の情報処理装置。
（１３）前記制御部は、
前記決定操作の項目を、第Ｘ＋１番目となる仮想的な環状線上であって、第Ｘ段階で選択された項目に隣りあう位置に配置する
上記（１２）に記載の情報処理装置。
（１４）前記制御部は、
第Ｘ段階で選択対象となる複数の項目を、スクロール操作のための項目とし、
スクロール操作のための項目が選択状態となることに応じて、スクロール操作を認識する処理を行う
上記（１０）に記載の情報処理装置。
（１５）前記制御部は、
スクロール操作のための複数の項目が選択状態となる順序に応じて、スクロール操作の方向を認識する処理を行う
上記（１４）に記載の情報処理装置。
（１６）前記制御部は、
第Ｘ＋１番目となる仮想的な環状線上であって、スクロール操作のための項目のうちで選択中の項目と同じ角度範囲に、スクロール後の決定操作の項目を配置する
上記（１５）に記載の情報処理装置。
（１７）前記制御部は、
操作位置により前記第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、前記第Ｘ段階の複数の項目のうちで選択されなかった項目の表示態様が変化するように、表示データ生成部に指示する
上記（１０）乃至（１３）のいずれかに記載の情報処理装置。
（１８）前記制御部は、
第Ｘ段階で選択された項目に応じて第Ｘ＋１段階で指定又は選択の対象となる１又は複数の項目を配置する操作平面を設定した後、選択された項目の選択が解除される状態となった場合は、第Ｘ＋１段階の項目を解消するように操作平面を設定する
上記（１０）（１１）（１２）（１３）（１７）のいずれかに記載の情報処理装置。
（１９）取得した操作情報から操作方向及び操作距離を求める操作検知手順と、
選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知手順で求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する判定手順と、
前記判定手順により判定された結果に応じた表示データを生成する表示データ生成手順と、
を情報処理装置が実行する情報処理方法。
（２０）取得した操作情報から操作方向及び操作距離を求める操作検知ステップと、
選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知ステップで求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する判定ステップと、
前記判定ステップにより判定された結果に応じた表示データを生成する表示データ生成ステップと、
を情報処理装置に実行させるプログラム。
１…情報処理装置、２…操作検知部、３…制御部、４…表示データ生成部、１０…トラッキングデバイス、１１…表示装置、２１…トラッキング入力部、２２…ベクトル算出部、２３…座標変換部、３１…メニュー制御部、３２…メニュー情報保持部、３３…操作情報記憶部、５０…操作体、６０…モニタ画面リスト、６１…発信元リスト、ＡＲ…操作領域、ＣＲ…仮想環、ＣＲ１…第１仮想環、ＣＲ２…第２仮想環、Ｍｉ…項目、ＣＴｉ…起点項目、Ｄｉ…開始操作子、Ｓｉ…開始ボタン、Ｖｃ…操作ベクトル

Claims (20)

  1. 取得した操作情報から操作方向及び操作距離を求める操作検知部と、
    選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知部が求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する処理を行う制御部と、
    前記制御部により判定された結果に応じた表示データを生成する表示データ生成部と、を備えた
    情報処理装置。
  2. 前記操作検知部は前記操作情報として非接触操作情報を検出し、
    前記制御部は、前記原点位置を、非接触操作情報が有効な操作領域の略中央に設定する
    請求項１に記載の情報処理装置。
  3. 前記表示データ生成部は、前記操作検知部が求めた操作方向及び操作距離を、操作平面上で表示する表示データを生成する
    請求項１に記載の情報処理装置。
  4. 前記制御部は、
    原点位置の周囲に、選択対象となる複数の項目を、原点位置からみて重ならない状態で配置した操作平面を設定する
    請求項１に記載の情報処理装置。
  5. 前記制御部は、
    操作平面上の操作位置によって或る項目が選択されたと認識し、かつ、その選択された項目に下位の項目が存在する場合には、選択された項目を原点位置に配置し、下位の項目を原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行い、
    再設定した操作平面上で操作位置が或る下位の項目を示す状態に至ったことで、当該下位の項目が選択状態となったと認識する処理を行う
    請求項４に記載の情報処理装置。
  6. 前記制御部は、
    操作平面の設定もしくは再設定の際、原点位置の周囲には、複数の項目を、原点位置を中心とした仮想的な真円の環に沿って配置させる
    請求項５に記載の情報処理装置。
  7. 前記制御部は、
    操作平面の再設定を行う際、選択された項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御する
    請求項５に記載の情報処理装置。
  8. 前記制御部は、
    操作平面の再設定の際、下位の項目に加え、階層を戻る操作のための項目を原点位置からみて重ならない状態で原点位置の周囲に配置する
    請求項５に記載の情報処理装置。
  9. 前記制御部は、
    階層を戻る操作のための項目が選択された場合、階層を戻る操作のための項目が原点位置に移動することを提示する表示が行われるように、前記表示データ生成部を制御するとともに、
    上位の項目を原点位置の周囲に原点位置からみて重ならない状態で配置する操作平面の再設定を行う
    請求項８に記載の情報処理装置。
  10. 前記制御部は、
    項目の選択又は指定として複数の段階を伴う操作を行うための操作平面として、
    第Ｘ段階で選択対象となる複数の項目を、原点位置から数えて第Ｘ番目となる仮想的な環状線上に、原点位置からみて互いに重ならない状態で配置する操作平面を設定するとともに、
    操作位置により前記第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目に応じて指定又は選択の対象となる１又は複数の項目を配置する操作平面を設定する
    請求項１に記載の情報処理装置。但しＸは１以上の自然数。
  11. 前記制御部は、
    操作位置により第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目の下位階層として選択の対象となる複数の下位の項目を配置する操作平面を設定し、操作位置が或る下位の項目を示す状態に至ったことで、当該下位の項目が選択状態となったと認識する処理を行う
    請求項１０に記載の情報処理装置。
  12. 前記制御部は、
    操作位置により第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、原点位置から数えて第Ｘ＋１番目となる仮想的な環状線上に、第Ｘ段階で選択された項目についての決定操作の項目を配置する操作平面を設定し、操作位置が決定操作の項目を指定する状態に至ったことで、第Ｘ段階で選択された項目についての決定操作が行われたと認識する処理を行う
    請求項１０に記載の情報処理装置。
  13. 前記制御部は、
    前記決定操作の項目を、第Ｘ＋１番目となる仮想的な環状線上であって、第Ｘ段階で選択された項目に隣りあう位置に配置する
    請求項１２に記載の情報処理装置。
  14. 前記制御部は、
    第Ｘ段階で選択対象となる複数の項目を、スクロール操作のための項目とし、
    スクロール操作のための項目が選択状態となることに応じて、スクロール操作を認識する処理を行う
    請求項１０に記載の情報処理装置。
  15. 前記制御部は、
    スクロール操作のための複数の項目が選択状態となる順序に応じて、スクロール操作の方向を認識する処理を行う
    請求項１４に記載の情報処理装置。
  16. 前記制御部は、
    第Ｘ＋１番目となる仮想的な環状線上であって、スクロール操作のための項目のうちで選択中の項目と同じ角度範囲に、スクロール後の決定操作の項目を配置する
    請求項１５に記載の情報処理装置。
  17. 前記制御部は、
    操作位置により前記第Ｘ段階の複数の項目のうちで或る項目が選択された状態となったことを認識した場合、前記第Ｘ段階の複数の項目のうちで選択されなかった項目の表示態様が変化するように、表示データ生成部に指示する
    請求項１０に記載の情報処理装置。
  18. 前記制御部は、
    第Ｘ段階で選択された項目に応じて第Ｘ＋１段階で指定又は選択の対象となる１又は複数の項目を配置する操作平面を設定した後、選択された項目の選択が解除される状態となった場合は、第Ｘ＋１段階の項目を解消するように操作平面を設定する
    請求項１０に記載の情報処理装置。
  19. 取得した操作情報から操作方向及び操作距離を求める操作検知手順と、
    選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知手順で求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する判定手順と、
    前記判定手順により判定された結果に応じた表示データを生成する表示データ生成手順と、
    を情報処理装置が実行する情報処理方法。
  20. 取得した操作情報から操作方向及び操作距離を求める操作検知ステップと、
    選択対象となる項目の領域が原点位置の周囲に配置された状態で、項目の領域と、前記原点位置を起点とすることで前記操作検知ステップで求めた操作方向及び操作距離により特定される操作位置との位置関係が特定の状態に遷移することで、項目が選択状態となったと判定する判定ステップと、
    前記判定ステップにより判定された結果に応じた表示データを生成する表示データ生成ステップと、
    を情報処理装置に実行させるプログラム。
JP2018550034A 2016-11-08 2017-08-21 情報処理装置、情報処理方法、プログラム Ceased JPWO2018087977A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016217996 2016-11-08
JP2016217996 2016-11-08
PCT/JP2017/029746 WO2018087977A1 (ja) 2016-11-08 2017-08-21 情報処理装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
JPWO2018087977A1 true JPWO2018087977A1 (ja) 2019-09-26

Family

ID=62110548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550034A Ceased JPWO2018087977A1 (ja) 2016-11-08 2017-08-21 情報処理装置、情報処理方法、プログラム

Country Status (5)

Country Link
US (1) US20210278904A1 (ja)
EP (1) EP3540580A4 (ja)
JP (1) JPWO2018087977A1 (ja)
CN (1) CN109891378A (ja)
WO (1) WO2018087977A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3848779A1 (en) * 2020-01-09 2021-07-14 BHS Technologies GmbH Head-mounted display system and method for controlling a medical imaging device
US20230169698A1 (en) * 2020-04-24 2023-06-01 Ohm Savanayana Microscope system and corresponding system, method and computer program for a microscope system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350721A (ja) * 2005-06-16 2006-12-28 Sony Corp 電子機器
JP2008250620A (ja) * 2007-03-30 2008-10-16 Fuji Xerox Co Ltd 表示装置及びプログラム
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
JP2011118681A (ja) * 2009-12-03 2011-06-16 Denso Corp 車両用操作システム
WO2016023123A1 (en) * 2014-08-15 2016-02-18 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
WO2016051521A1 (ja) * 2014-09-30 2016-04-07 三菱電機エンジニアリング株式会社 画面操作装置及び画面操作方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937832B (zh) * 2012-10-12 2016-01-20 广东欧珀移动通信有限公司 一种移动终端的手势捕捉方法及装置
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
EP3223130A1 (en) * 2016-03-22 2017-09-27 Continental Automotive GmbH Method of controlling an input device for navigating a hierarchical menu

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350721A (ja) * 2005-06-16 2006-12-28 Sony Corp 電子機器
JP2008250620A (ja) * 2007-03-30 2008-10-16 Fuji Xerox Co Ltd 表示装置及びプログラム
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
JP2011118681A (ja) * 2009-12-03 2011-06-16 Denso Corp 車両用操作システム
WO2016023123A1 (en) * 2014-08-15 2016-02-18 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
WO2016051521A1 (ja) * 2014-09-30 2016-04-07 三菱電機エンジニアリング株式会社 画面操作装置及び画面操作方法

Also Published As

Publication number Publication date
EP3540580A4 (en) 2020-05-27
EP3540580A1 (en) 2019-09-18
WO2018087977A1 (ja) 2018-05-17
CN109891378A (zh) 2019-06-14
US20210278904A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
CN117480565A (zh) 用于控制外科数据叠加项的系统和方法
CN110832842B (zh) 成像装置和图像产生方法
CN110741334B (zh) 显示控制设备、显示控制方法和显示控制程序
US11694725B2 (en) Information processing apparatus and information processing method
US11818454B2 (en) Controller and control method
US11599263B2 (en) Information processing device, method, and program for generating a proxy image from a proxy file representing a moving image
JPWO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
JPWO2018179979A1 (ja) 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
WO2019123874A1 (ja) 医療用観察システム、医療用信号処理装置、及び医療用信号処理装置の駆動方法
EP3982624A1 (en) Image processing device, image processing method, and program
US11841804B2 (en) Information processing device and information processing method
EP3690609B1 (en) Method and system for controlling dental machines
WO2023233323A1 (en) Customization, troubleshooting, and wireless pairing techniques for surgical instruments
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20211221