JP6409118B2 - ウェアラブル装置、制御方法及び制御プログラム - Google Patents

ウェアラブル装置、制御方法及び制御プログラム Download PDF

Info

Publication number
JP6409118B2
JP6409118B2 JP2017502443A JP2017502443A JP6409118B2 JP 6409118 B2 JP6409118 B2 JP 6409118B2 JP 2017502443 A JP2017502443 A JP 2017502443A JP 2017502443 A JP2017502443 A JP 2017502443A JP 6409118 B2 JP6409118 B2 JP 6409118B2
Authority
JP
Japan
Prior art keywords
wearable device
predetermined
imaging
upper limb
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017502443A
Other languages
English (en)
Other versions
JPWO2016136838A1 (ja
Inventor
須藤 智浩
智浩 須藤
紗綾 三浦
紗綾 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2016136838A1 publication Critical patent/JPWO2016136838A1/ja
Application granted granted Critical
Publication of JP6409118B2 publication Critical patent/JP6409118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

この発明は、ユーザの頭部に装着可能なウェアラブル装置、制御方法及び制御プログラムに関する。
上記のウェアラブル装置として、近年、眼前に配置されるディスプレイと、手指の動きを認識可能な赤外線検知ユニットと、を備え、両手のジェスチャによって操作が行われるヘッドマウントディスプレイ装置が開示されている(特許文献1参照)。
国際公開第2014/128751号
上記のようなウェアラブル装置においては、より使い勝手のよいものが望まれる。本発明の目的は、より使い勝手のよいウェアラブル装置を提供することにある。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの前方の風景を撮像する撮像部と、前記撮像部が撮像する撮像画像から遮蔽物を検出する制御部と、を備え、前記制御部は、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行する。
態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、撮像部によってユーザの前方の風景を撮像するステップと、前記撮像部が撮像する撮像画像から遮蔽物を検出するステップと、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行するステップと、を含む。
態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、撮像部によってユーザの前方の風景を撮像するステップと、前記撮像部が撮像する撮像画像から遮蔽物を検出するステップと、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行するステップと、を実行させる。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの前方の景色を撮像する撮像部と、前記撮像部が撮像する撮像画像から所定物を検出し、前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行う制御部と、を備える。
態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するステップと、前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行うステップと、を含む。
態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するステップと、前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行うステップと、を実行させる。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、自装置と所定物との距離を検出する測距部と、前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行う制御部と、を備える。
態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、ユーザの前後方向における自装置と所定物との距離を検出するステップと、前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行うステップと、を含む。
態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、ユーザの前後方向における自装置と所定物との距離を検出するステップと、前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行うステップと、を実行させる。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの眼前に配置される表示部と、ユーザの前方の景色を撮像する撮像部と、前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
態様の一つに係る制御方法は、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
態様の一つに係る制御プログラムは、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの眼前に配置される表示部と、ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、現実に存在する物体を検出する検出部と、前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
態様の一つに係る制御方法は、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、検出部によって現実に存在する物体を検出するステップと、前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
態様の一つに係る制御プログラムは、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、検出部によって現実に存在する物体を検出するステップと、前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの眼前に配置され、オブジェクトを表示する表示部と、ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、前記距離が異なる第1状態と第2状態とを区別して検出する制御部と、を備え、前記第1状態において、前記オブジェクトに対する所定の処理を実行可能にし、前記第2状態において、前記処理を実行不可能にする。
態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、現実の空間に在る上肢を検出する検出部を備え、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行する。
態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、検出部によって現実の空間に在る上肢を検出するステップと、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行するステップと、を含む。
態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、検出部によって現実の空間に在る上肢を検出するステップと、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行するステップと、を実行させる。
図1は、ウェアラブル装置の斜視図である。 図2は、利用者によって装着されたウェアラブル装置を正面から見た図である。 図3は、ウェアラブル装置のブロック図である。 図4は、ウェアラブル装置による撮像機能の例を示す図である。 図5は、ウェアラブル装置による撮像機能の他の例を示す図である。 図6は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。 図7は、ウェアラブル装置による静止画の撮像に係る制御の例を示す図である。 図8は、ウェアラブル装置による動画の撮像に係る制御の例を示す図である。 図9は、ウェアラブル装置による静止画、動画の撮像制御に係る処理手順を示すフローチャートである。 図10は、ウェアラブル装置によるズーム撮像に係る制御の例を示す図である。 図11は、ウェアラブル装置によるズーム撮像に係る制御の他の例を示す図である。 図12は、ウェアラブル装置によるズームの撮像制御に係る処理手順を示すフローチャートである。 図13は、ウェアラブル装置によるプレビュー画像を用いた撮像に係る制御の例を示す図である。 図14は、ウェアラブル装置によるプレビュー画像を用いた撮像に係る制御の処理手順を示すフローチャートである。 図15は、ウェアラブル装置によるプレビュー画像を用いたズーム撮像に係る制御の例を示す図である。 図16は、ウェアラブル装置によるプレビュー画像を用いたズーム撮像に係る制御の処理手順を示すフローチャートである。 図17は、ウェアラブル装置の制御プログラムが提供する制御の例について説明するための図である。 図18は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。 図19は、各種の変更処理を行う例を示す図である。 図20は、ウェアラブル装置の制御プログラムが提供する制御の例について説明するための図である。 図21Aは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図21Bは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図21Cは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図21Dは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図22は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図23は、撮像画像中の上肢の大きさと換算値とが対応付けられた変換テーブルの一例を示す図である。 図24は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。 図25は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図26は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図27は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図28は、ウェアラブル装置の制御プログラムが提供する制御の他の例を説明するための図である。 図29は、ウェアラブル装置の制御プログラムが提供する制御の他の例を説明するための図である。 図30は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
(実施形態)
まず、図1及び図2を参照しながら、ウェアラブル装置1の全体的な構成について説明する。図1は、ウェアラブル装置1の斜視図である。図2は、利用者によって装着されたウェアラブル装置1を正面から見た図である。図1及び図2に示すように、ウェアラブル装置1は、利用者の頭部に装着されるヘッドマウントタイプの装置である。
ウェアラブル装置1は、前面部1aと、側面部1bと、側面部1cとを有する。前面部1aは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部1bは、前面部1aの一方の端部に接続され、側面部1cは、前面部1aの他方の端部に接続される。側面部1b及び側面部1cは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置1を安定させる。側面部1b及び側面部1cは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。
前面部1aは、装着時に利用者の目と対向する面に表示部32a及び表示部32bを備える。表示部32aは、装着時に利用者の右目と対向する位置に配設され、表示部32bは、装着時に利用者の左目と対向する位置に配設される。表示部32aは、右目用の画像を表示し、表示部32bは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部32a及び表示部32bを備えることにより、ウェアラブル装置1は、両眼の視差を利用した3次元表示を実現することができる。
表示部32a及び表示部32bは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部32a及び表示部32bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部32a及び表示部32bを設けてもよい。表示部32a及び表示部32bは、利用者の右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてよい。
前面部1aは、表示部32a及び表示部32bが設けられている面とは反対側の面に撮像部40及び撮像部42を備える。撮像部40は、前面部1aの一方の端部(装着時の右目側)の近傍に配設され、撮像部42は、前面部1aの他方の端部(装着時の左目側)の近傍に配設される。撮像部40は、利用者の右目の視界に相当する範囲の画像を取得する。撮像部42は、利用者の左目の視界に相当する範囲の画像を取得する。視界とは、例えば、利用者が正面を見ているときの視界を意味する。
ウェアラブル装置1は、利用者が視認している前景に各種情報を視認させる機能を有する。前景とは、利用者の前方の風景を意味する。ウェアラブル装置1は、表示部32a及び表示部32bが表示を行っていない場合、表示部32a及び表示部32bを透して前景を利用者に視認させる。ウェアラブル装置1は、表示部32a及び表示部32bが表示を行っている場合、表示部32a及び表示部32bを透した前景と、表示部32a及び表示部32bの表示内容とを利用者に視認させる。ウェアラブル装置1は、3次元的な情報を表示部32a及び表示部32bに表示させてよい。
図1及び図2では、ウェアラブル装置1が、眼鏡のような形状を有する例を示したが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、ゴーグルの形状を有してよい。ウェアラブル装置1は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってよい。
次に、図3を参照しながら、ウェアラブル装置1の機能的な構成について説明する。図3は、ウェアラブル装置1のブロック図である。図3に示すように、ウェアラブル装置1は、操作部13と、制御部22と、記憶部24と、表示部32a及び32bと、撮像部40及び42と、検出部44と、測距部46とを有する。操作部13は、ウェアラブル装置1の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
表示部32a及び32bは、液晶ディスプレイ(Liquid Crystal Display)、有機EL(Organic Electro−Luminessence)パネル等の半透過または透過の表示デバイスを備える。表示部32a及び32bは、制御部22から入力される制御信号に従って各種の情報を表示する。表示部32a及び32bは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。
撮像部40及び42は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部40及び42は、撮像した画像を信号に変換して制御部22へ出力する。
検出部44は、撮像部40及び42の撮像範囲及び撮像範囲の周囲近傍(或いは、前景)に存在する現実の物体(所定物)を検出する。検出部44は、例えば、撮像範囲に存在する現実の物体のうち、予め登録された形状(例えば、人間の手、指等の形状)にマッチする物体(前景を遮蔽する遮蔽物、所定物等に相当する)を検出する。検出部44は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲(形状及び大きさ)を検出するように構成されてよい。
検出部44は、撮像範囲に存在する現実の物体を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、撮像範囲に存在する現実の物体を検出するセンサである。検出部44は、複数の検出結果に基づいて、例えば、撮像範囲内から撮像範囲外への物体の移動を検出する。また、検出部44は、撮像範囲よりも広い範囲に存在する現実の物体を検出可能であってよい。
測距部46は、現実の物体までの距離を測定する。現実の物体までの距離は、ウェアラブル装置1を装着している利用者のそれぞれの目の位置を基準として目毎に測定される。このため、測距部46が距離を測定する基準位置がそれぞれの目の位置とずれている場合には、測距部46の測定値は、そのずれに応じて、目の位置までの距離を表すように補正される。
測距部46は、現実の物体までの距離を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、現実の物体までの距離を検出するセンサである。後述する制御部22は、測距部46の検出結果に基づいて、ウェアラブル装置1と所定物(例えば、利用者の上肢)との、利用者の前後方向における距離を算出することができる。
本実施形態においては、撮像部40及び42は、検出部44及び測距部46を兼ねる。すなわち、撮像部40及び42は、撮像される画像を解析することによって、撮像範囲内の物体を検出する。また、撮像部40及び42は、撮像される画像を解析することによって、撮像範囲内の物体と自装置との距離の変化を推定する。或いは、撮像部40及び42は、撮像範囲内の物体が自装置により近い位置へ移動したか、或いは、より遠い位置に移動したかを検出する。さらに、測距部46としての撮像部40及び42は、撮像部40によって撮像される画像に含まれる物体と撮像部42によって撮像される画像に含まれる物体とを比較することにより、物体との距離を測定(算出)してもよい。
制御部22は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部22は、記憶部24に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をCPUに実行させる。そして、制御部22は、CPUによる命令の実行結果に応じて、メモリ及び記憶部24に対してデータの読み書きを行ったり、表示部32a、32b等の動作を制御したりする。CPUが命令を実行するに際しては、メモリに展開されているデータや検出部44を介して検出される操作がパラメータや判定条件の一部として利用される。
記憶部24は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部24に記憶されるプログラムには、制御プログラム24aが含まれる。記憶部24に記憶されるデータには、撮像データ24bが含まれる。記憶部24は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム24a、撮像データ24bは、記憶媒体に記憶されていてもよい。また、制御プログラム24aは、無線通信または有線通信によってサーバ装置等の他の装置から取得されてもよい。
制御プログラム24aは、ウェアラブル装置1を稼働させるための各種制御に関する機能を提供する。制御プログラム24aが提供する機能には、撮像部40及び42の撮像を制御する機能、表示部32a、32bの表示を制御する機能等が含まれる。
制御プログラム24aは、検出処理部25と、表示制御部26とを含む。検出処理部25は、撮像部40及び42の撮像範囲に存在する現実の物体を検出するための機能を提供する。検出処理部25が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。表示制御部26は、表示部32a及び32bの表示状態と撮像範囲との対応関係を管理するための機能を提供する。制御プログラム24aは、撮像部40及び42が撮像した撮像画像や、検出部44の検出結果等から、現実の物体の動作の有無又は動作の種類を検出する機能が含まれる。
撮像データ24bは、撮像部40及び42によって撮像範囲を撮像した画像を示すデータである。撮像データ24bは、撮像部40及び42によって撮像された画像を合成したデータでもよいし、撮像部40及び42のそれぞれの画像を示すデータでもよい。撮像データ24bには、静止画データと動画データとが含まれる。
次に、図4及び図5を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する撮像機能に基づく制御の例について説明する。図4は、ウェアラブル装置1による撮像機能の例を示す図である。図5は、ウェアラブル装置1による撮像機能の他の例を示す図である。以下の説明においては、同様の構成要素には同一の符号を付し、重複する説明は省略することがある。
図4及び図5において、視認内容は、利用者がウェアラブル装置1を頭部に装着した状態で、表示部32a及び32bを透して視認している撮像範囲R内の前景100を示している。撮像部40及び42の状態は、視認内容に対応した撮像部40及び42の状態を示している。撮像部40及び42は、例えば、未起動状態、撮像待機状態、撮像状態といった状態を有する。未起動状態は、撮像部40及び42が起動していない状態である。撮像待機状態は、撮像部40及び42による撮像画像の取得を待機している状態である。撮像状態は、撮像部40及び42による撮像画像を取得する状態である。撮像範囲Rは、撮像部40及び42の撮像範囲を合成した範囲である。
図4に示すステップS10では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100を視認している。なお、本実施形態では、撮像範囲Rの外側の前景100については省略しているが、利用者は、ウェアラブル装置1の前面部1a(フレーム)と撮像範囲Rとの間でも前景100を視認している。図4に示す例では、ウェアラブル装置1は、撮像範囲Rのフレームを表示していない。このため、利用者は、撮像範囲Rのフレームは視認していない。ウェアラブル装置1は、ステップS10として、撮像部40及び42の未起動状態を維持したまま、検出部44による物体の検出を行っている。
ステップS11では、利用者は、人差し指を立てた状態の右手Hを、ウェアラブル装置1の前方の右側から中央に向かって移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲R内にて視認している。撮像範囲R内にて視認しているとは、撮像範囲Rに相当する利用者の前方の空間を視認していることを意味している。
ウェアラブル装置1は、ステップS11として、検出部44によって右手Hを検出すると、検出した右手Hの位置の変化に基づいて、右手Hが撮像範囲R外から撮像範囲R内へ移動したかを判定する。撮像範囲R内へ移動したことを検出した場合、ウェアラブル装置1は、撮像部40及び42を起動させることで、撮像部40及び42を未起動状態から撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS12では、利用者は、右手Hをウェアラブル装置1の前方の中央付近まで移動させると、ウェアラブル装置1の中央付近で折り返し、ウェアラブル装置1の右側に向かった逆方向に移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R外へ向かって移動する右手Hと前景100とを撮像範囲Rにて視認している。
ウェアラブル装置1は、ステップS12として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定すると、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
このように、ウェアラブル装置1は、利用者の上肢が撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動したことを契機に、撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、上肢をウェアラブル装置1の前方で移動させるジェスチャを行うだけで、撮像部40及び42によって前方の画像を撮像することができる。例えば、シャッターチャンスが突然発生しても、利用者は、咄嗟に上記のジェスチャを行うことでシャッターチャンスに撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。なお、本明細書における「上肢」とは、人の腕や手を意味し、上腕、前腕、手、又は指の内の少なくとも1つを含んでいるものと定義される。
ウェアラブル装置1は、検出部44によって撮像範囲R内に利用者の上肢を検出した場合に、撮像部40及び42を起動させる。これにより、ウェアラブル装置1は、利用者が撮像するタイミングで撮像部40及び42を起動させるので、省電力化を図ることができる。例えば、ウェアラブル装置1は、大容量のバッテリを搭載することが困難なメガネタイプ、ヘッドマウントタイプの装置に有効的に応用される。
図5に示す例は、上記の図4に示す例を変形し、ウェアラブル装置1が利用者の上肢の移動軌跡に基づいて、撮像する焦点を検出する場合の制御の例を示している。
図5に示すステップS11では、利用者は、人差し指を立てた状態の右手Hを、ウェアラブル装置1の前方の右側から中央に向かって移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲R内に視認している。
ウェアラブル装置1は、ステップS11として、検出部44によって右手Hを検出すると、右手Hの位置の変化に基づいて、右手Hが撮像範囲R外から撮像範囲R内へ移動したかを判定する。撮像範囲R内へ移動したことを検出した場合、ウェアラブル装置1は、撮像部40及び42を起動させることで、撮像部40及び42を未起動状態から撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS12では、利用者は、撮像したい前景100の焦点位置まで右手Hを移動させると、当該焦点位置で右手Hを折り返し、ウェアラブル装置1の右側に向かった逆方向に移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を焦点位置から撮像範囲R外へ向かって移動する右手Hと前景100とを撮像範囲Rに視認している。
ウェアラブル装置1は、ステップS12として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定すると、保存している映像データ70に基づいて、右手Hの撮像範囲R内における移動軌跡Lを推定する。
例えば、ウェアラブル装置1は、右手Hの指先等に着目して、撮像範囲R外に至る移動軌跡Lを推定する。ウェアラブル装置1は、推定した移動軌跡Lに基づいて、利用者が右手Hを撮像範囲R外へ移動させる開始位置を推定する。開始位置の推定方法は、例えば、撮像範囲R外へ移動する前の移動軌跡Lの変化点に基づいて推定する方法を含む。開始位置の推定方法は、例えば、右手Hが所定時間停止後に移動を再開した位置を移動軌跡Lの変化点と見なしてよい。また、開始位置の推定方法は、右手Hが撮像範囲R外へ移動した該右手Hの所定位置から移動軌跡Lを遡って、該軌跡の方向が初めて変化する位置を移動軌跡Lの変化点と見なしてよい。
ウェアラブル装置1は、ステップS13として右手Hの移動軌跡Lに基づいて焦点位置Lcを推定すると、撮像部40及び42の焦点を当該焦点位置Lcに設定し、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、設定された焦点で前景100を撮像する。ここで、焦点位置Lcは、例えば上述した移動軌跡Lの変化点である。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、当該撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
また、焦点位置Lcの規定方法には、移動軌跡Lの変化点に基づいて推定する方法以外の方法が採られてよい。例えば、検出部44及び測距部46の検出結果に基づいて、撮像範囲R内における右手Hの前方方向(或いは前方方向とは反対の方向)への移動を検出した後に、右手Hが撮像範囲R外へ移動したことを検出した場合には、右手Hの前方方向への移動を検出した位置が焦点位置Lcであると見なされてよい。
このように、ウェアラブル装置1は、利用者の上肢が撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動したことを契機に、上肢の移動軌跡Lに応じた焦点で撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、上肢をウェアラブル装置1の前方で移動させるジェスチャを行うだけで、撮像部40及び42によって前方の画像を指定した焦点で撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
図6を参照しながら、ウェアラブル装置1による撮像に関する制御の処理手順について説明する。図6は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図6に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図6に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図6に示すように、ウェアラブル装置1の制御部22は、ステップS101として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していない場合(ステップS102,No)、ステップS101の処理を再実行する。
上肢を検出した場合(ステップS102,Yes)、制御部22は、処理をステップS103に進める。制御部22は、ステップS103として、撮像部40及び42を起動させる。制御部22は、ステップS104として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。
制御部22は、ステップS105として、ステップS104の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS106,No)、制御部22は、ステップS104以降の処理を再実行する。
撮像範囲R外へ移動した場合(ステップS106,Yes)、制御部22は、処理をステップS107に進める。制御部22は、ステップS107として、合焦位置を設定する。具体的には、制御部22は、予め設定された初期値である焦点位置を設定する。あるいは、制御部22は、上肢の移動軌跡Lに基づいて焦点位置Lcを推定し、当該焦点位置Lcを設定する。
制御部22は、ステップS108として、撮像画像71を取得する。具体的には、制御部22は、ステップS107で設定した焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS109として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図6に示す処理手順を終了する。
次に、図7及び図8を参照しながら、制御プログラム24aが提供する撮像機能に基づく制御の例について説明する。図7は、ウェアラブル装置1による静止画の撮像に係る制御の例を示す図である。
ウェアラブル装置1は、図7に示すステップS20として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、静止画と動画を利用者に選択させるアイコン51及び52を表示部32a及び32bに表示させる。図7に示す例では、ウェアラブル装置1は、撮像範囲Rの左側に静止画を示すアイコン51、右側に動画を示すアイコン52を表示している。本実施形態では、ウェアラブル装置1は、アイコン51及び52を撮像範囲R内に表示する場合について説明するが、撮像範囲R外に表示してもよい。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS20では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン51及び52を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン51及び52を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
ステップS21では、静止画を撮像したい場合に、利用者は、撮像範囲R内の右手Hがアイコン51を通過して撮像範囲R外となるように、右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方をアイコン51側から撮像範囲R外へ移動する右手Hと前景100とを撮像範囲Rに視認している。
ウェアラブル装置1は、ステップS21として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定し、かつ、右手Hがアイコン51を通過したことを検出した場合(或いは、右手Hの移動方向が静止画のアイコン51へ向かう方向であったことを検出した場合)、静止画の撮像が利用者によって選択されたと判定する。ウェアラブル装置1は、撮像部40及び42を撮像状態とし、静止画で前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100の静止画を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、当該撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
図8は、ウェアラブル装置1による動画の撮像に係る制御の例を示す図である。ウェアラブル装置1は、図8に示すステップS20として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、静止画と動画とを利用者に選択させるアイコン51及び52を表示部32a及び32bに表示させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS20では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン51及び52を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン51及び52を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
ステップS22では、動画を撮像したい場合に、利用者は、撮像範囲R内に位置する右手Hがアイコン52を通過した後に撮像範囲R外に位置するように、右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を動画のアイコン52側から撮像範囲R外へ移動する右手Hと前景100とを撮像範囲Rに視認している。
ウェアラブル装置1は、ステップS22として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定し、かつ、右手Hがアイコン52を通過したことを検出した場合(或いは、右手Hの移動方向が静止画のアイコン52へ向かう方向であったことを検出した場合)、動画の撮像開始が利用者によって選択されたと判定する。ウェアラブル装置1は、撮像部40及び42を動画撮像状態とし、動画での前景100の撮像を開始させる。撮像部40及び42は、予め設定された焦点で動画による前景100の撮像を開始する。
ステップS23では、撮影している動画を停止したい場合に、利用者は、撮像範囲R外の右手Hがアイコン52を通過して撮像範囲R内となるように、右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方をアイコン52側の撮像範囲R外から撮像範囲R内へ移動する右手Hと前景100とを撮像範囲Rに視認している。なお、本実施形態では、利用者は、アイコン52を通過して撮像範囲R内へ右手Hを移動させる場合について説明するが、これに限定されない。例えば、利用者は、アイコン52を通過せずに、右手Hを撮像範囲R内へ移動させてよい。
ウェアラブル装置1は、ステップS23として、検出部44の検出結果に基づいて、右手Hが撮像範囲R外から撮像範囲R内へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R内へ移動したと判定した場合に、動画の撮像終了が利用者によって選択されたと判定する。ウェアラブル装置1は、撮像部40及び42を撮像終了状態とし、動画の撮像を停止させる。ウェアラブル装置1は、撮像部40及び42が撮像した動画の撮像画像72を取得し、当該撮像画像72を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
このように、ウェアラブル装置1は、利用者の上肢が撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動したことを検出した場合に、当該上肢の移動方向に基づいて、動画で撮像するか静止画で撮像するかの撮像モードを切り換える。これにより、利用者は、撮像範囲R内へ向かう上肢の移動方向を切り換えるだけで、撮像部40及び42の撮影モードを切り換えることができる。その結果、ウェアラブル装置1は、撮影モードを切り換えるためのスイッチ、インターフェース等を設ける必要がなくなり、撮像部40及び42の操作性及び利便性を向上させることができる。
なお、動画像の撮影中においては、例えば、所定の操作を行うことにより、ズーム処理を行えるようにしてもよい。また、ズーム処理の他にも、所定の操作によって、取得する動画像の明るさを変更できるようにしてもよい。また、ウェアラブル装置1がマイクを備え、動画像の取得中にユーザの音声等を集音可能である場合等においては、動画像の撮影中に所定の操作を行うことにより、音声信号の増幅度合(集音量)を変更できるようにしてもよい。所定の操作としては、例えば、蔓のような形状を有する側面部(1b又は1c)に利用者の接触を検出可能なタッチセンサを配設し、該側面部に指を接触させたまま任意の方向へ移動させる操作(スライド操作)を行う操作であってよい。この場合、例えば、ユーザにとって後方から前方へ指をスライドさせるとズームイン処理を行い、ユーザにとって前方から公報へ指をスライドさせるとズームアウト処理を行う、等の態様が採られてよい。
また、上記の他にも、動画像の撮影中に検出部44の検出範囲における所定範囲に、ユーザの上肢が在ることを検出したことに基づいて、所定の操作がなされたものと判定する構成であってもよい。このとき、検出部44の検出範囲と表示部の表示領域との所定の対応付けを行い、検出部44の検出範囲内における上肢の位置によって、表示部の表示領域における位置を指定可能とする構成とした場合には、表示部の表示領域における所定位置がユーザによって指定されたことに基づいて、所定の操作がなされたものと判定してもよい。また、表示部32a及び32bの表示領域における所定領域に動画像撮影に関する操作の旨を示したアイコンを表示し、該アイコンの表示領域内においてユーザの上肢による位置指定がなされたときに、該アイコンに基づく操作を実行するようにしてもよい。
上記の本実施形態では、ウェアラブル装置1は、撮像モードの切り換えを誘導するアイコン51及び52を表示部32a及び32bに表示する場合について説明したが、これに限定されない。例えば、表示措置1は、アイコン51及び52を表示せずに、予め定めた撮像範囲R外への移動方向で撮像モードを切り換えるように構成されてよい。
なお、上記のウェアラブル装置1は、上肢が撮像範囲R内から撮像範囲R外へ、アイコン51及び52が設けられていない撮像範囲Rの上部及び下部から上肢が撮像範囲R外へ移動した場合に、撮像を中止するように構成されてよい。
上記の本実施形態では、ウェアラブル装置1は、撮像モードの切り換えを誘導するアイコン51及び52を表示部32a及び32bに表示する場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、アイコン51及び52を表示せずに、予め定めた撮像範囲R外への移動方向で撮像モードを切り換えるように構成されてよい。
図9を参照しながら、ウェアラブル装置1による静止画、動画の撮像に関する制御の処理手順について説明する。図9は、ウェアラブル装置1による静止画、動画の撮像制御に係る処理手順を示すフローチャートである。図9に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図9に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図9に示すように、ウェアラブル装置1の制御部22は、ステップS201として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS202,No)、ステップS201の処理を再実行する。
上肢を検出した場合(ステップS202,Yes)、制御部22は、処理をステップS203に進める。制御部22は、ステップS203として、撮像部40及び42を起動させる。制御部22は、ステップS204として、表示部32a及び32bにアイコン51及び52を表示させる。
制御部22は、ステップS205として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS206として、ステップS205の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS207,No)、制御部22は、ステップS205以降の処理を再実行する。
撮像範囲R外へ移動した場合(ステップS207,Yes)、制御部22は、処理をステップS208に進める。制御部22は、ステップS208として、上肢の移動方向が静止画のアイコン51方向であるかを判定する。具体的には、制御部22は、撮像部40及び42の映像データ70に基づいて、上肢がアイコン51を通過して撮像範囲R外に移動したことを検出した場合に、静止画のアイコン51方向であると判定する。
静止画のアイコン51方向である場合(ステップS209,Yes)、制御部22は、処理をステップS210に進める。制御部22は、ステップS210として、合焦位置を設定する。具体的には、制御部22は、予め設定された初期値である焦点位置を設定する。
制御部22は、ステップS211として、静止画である撮像画像71を取得する。具体的には、制御部22は、ステップS210で設定した焦点で撮像部40及び42に前景100を静止画で撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS217として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図9に示す処理手順を終了する。
静止画のアイコン51方向ではない場合(ステップS209,No)、制御部22は、処理をステップS212に進める。制御部22は、ステップS212として、撮像部40及び42による動画の撮像を開始させる。
制御部22は、ステップS213として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS214,No)、ステップS213の処理を再実行する。
上肢を検出した場合(ステップS214,Yes)、制御部22は、処理をステップS215に進める。制御部22は、ステップS215として、撮像部40及び42による動画の撮像を終了させる。制御部22は、ステップS216として、動画である撮像画像72を取得する。具体的には、制御部22は、撮像部40及び42が撮像した動画の撮像画像72を取得し、当該撮像画像72を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS217として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図9に示す処理手順を終了する。
次に、図10及び図11を参照しながら、制御プログラム24aが提供する撮像機能に基づく制御の例について説明する。図10は、ウェアラブル装置1によるズーム撮像に係る制御の例を示す図である。
ウェアラブル装置1は、図10に示すステップS31として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS31では、利用者は、ウェアラブル装置1に接近した状態で、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R外から撮像範囲R内へ移動する右手Hの人差し指Fと前景100とを撮像範囲Rに視認している。その後、利用者は、右手Hをウェアラブル装置1の近傍から前方方向へ離すように移動させている。
ウェアラブル装置1は、ステップS32として、検出部44及び測距部46の検出結果に基づいて、撮像範囲R内における右手Hの前方方向への移動を検出すると、右手Hまでの距離を検出し、検出した距離に基づいたズーム処理を実行する。ズーム処理は、例えば、検出した距離と変換テーブルとに基づいて、撮像範囲Rにおけるズームインまたはズームアウトするズーム範囲R1を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、特定したズーム範囲R1を表示部32a及び32bに表示させる。
ステップS32では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R内の前方方向へ移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1を視認している。その後、利用者は、撮像範囲R内の前方へ移動させた右手Hを撮像範囲R外へ向けて移動させている。
ウェアラブル装置1は、ステップS33として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定すると、撮像部40及び42を撮像状態とし、特定したズーム領域R1に焦点位置を設定して前景100を撮像させる。撮像部40及び42は、設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
ステップS33では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R内の前方方向へ移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1が消去されるのを視認している。
上記の実施形態では、ウェアラブル装置1は、自装置から上肢が離れる距離に応じて撮像範囲Rを拡大させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、自装置から上肢が近付く距離に応じて撮像範囲Rを縮小させてもよい。
このように、ウェアラブル装置1は、撮像範囲Rにおける自装置と上肢との距離の変化を推定し、距離の変化に応じて撮像範囲Rの拡大縮小率を変更し、上肢が撮像範囲R外へ移動したことを契機に、撮像部40及び42が変更した拡大縮小率で撮像した撮像画像71を取得する。これにより、利用者は、撮像範囲R内で上肢と自装置との距離を変化させるだけで、撮像範囲Rの拡大縮小率を変更することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
図11は、ウェアラブル装置1によるズーム撮像に係る制御の他の例を示す図である。ウェアラブル装置1は、図11に示すステップS41として、検出部44によって左手H1が撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。なお、本実施形態では、利用者は、左手H1で操作する場合について説明するが、右手Hで操作してもよい。
また、ウェアラブル装置1は、ズーム処理を行う実施形態においては、ズーム範囲R1を撮像範囲と見なし、該ズーム範囲R1内からズーム範囲R1外へ上肢が移動したことを契機に、撮像部40及び撮像部42が撮像した撮像画像71を取得する構成としてもよい。
ステップS41では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に左手H1を移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R外から撮像範囲R内へ移動する左手H1と前景100とを撮像範囲Rに視認している。その後、利用者は、撮像範囲R内において、左手H1の形状をズーム機能に対応した所定形状に変化させている。本実施形態では、所定形状は、左手H1を開いた形状としているが、これに限定されない。
ウェアラブル装置1は、ステップS42として、検出部44の検出結果に基づいて、左手H1を開く動作を検出する。ウェアラブル装置1は、左手H1を開く動作を検出すると、ズーム処理を実行する。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、現在のズーム範囲R1を表示部32a及び32bに表示させる。
ステップS42では、利用者は、表示部32a及び32bを透して、開く動作を行っている左手H1と前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1を視認している。その後、利用者は、撮像範囲R内において、開いた状態の左手H1を回転させる所定動作を行っている。
ウェアラブル装置1は、ステップS43として、検出部44の検出結果に基づいて、左手H1を回転させる所定動作を検出する。ウェアラブル装置1は、左手H1を回転させる所定動作を検出すると、その回転量に基づいたズーム処理を実行する。ズーム処理は、例えば、検出した左手H1の回転量と変換テーブルとに基づいて、撮像範囲Rにおけるズームインするズーム範囲R1を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、特定したズーム範囲R1を表示部32a及び32bに表示させる。
ステップS43では、利用者は、表示部32a及び32bを透して、回転動作を行っている左手H1と前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示され、回転量に応じて変化するズーム範囲R1を視認している。その後、ズーム範囲R1は所望のサイズに変化すると、利用者は、開いた状態の左手H1を撮像範囲R外へ向けて移動させている。
ウェアラブル装置1は、ステップS44として、検出部44の検出結果に基づいて、左手H1が撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、左手H1が撮像範囲R外へ移動したと判定すると、撮像部40及び42を撮像状態とし、特定したズーム領域R1に焦点位置を設定して前景100を撮像させる。撮像部40及び42は、設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
ステップS44では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R内の前方方向へ移動する左手H1と前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1が消去されるのを視認している。
上記の実施形態では、ウェアラブル装置1は、開いた状態の左手H1の回転量に基づいて撮像範囲Rを拡大させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、開いた状態の左手H1の回転方向に基づいて拡大縮小を切り換えるように構成されてもよい。例えば、ウェアラブル装置1は、左手H1であるか右手Hであるかに基づいて、拡大縮小を切り換えるように構成されてもよい。
このように、ウェアラブル装置1は、撮像範囲Rにおける上肢の所定動作を検出し、検出した所定動作に応じて撮像範囲Rの拡大縮小率を変更し、上肢が撮像範囲R外へ移動したことを契機に、撮像部40及び42が変更した拡大縮小率で撮像した撮像画像71を取得する。これにより、利用者は、撮像範囲R内で上肢を変化させるだけで、撮像範囲Rの拡大縮小率を変更することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
図12を参照しながら、ウェアラブル装置1によるズーム撮像に関する制御の処理手順について説明する。図12は、ウェアラブル装置1によるズームの撮像制御に係る処理手順を示すフローチャートである。図12に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図12に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図12に示すように、ウェアラブル装置1の制御部22は、ステップS301として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS302,No)、ステップS301の処理を再実行する。
上肢を検出した場合(ステップS302,Yes)、制御部22は、処理をステップS303に進める。制御部22は、ステップS303として、撮像部40及び42を起動させる。
制御部22は、ステップS304として、撮像範囲R内における上肢の所定動作を検出する。具体的には、制御部22は、検出部44の検出結果に基づいて、例えば、上肢が前方方向に前後する動作、上肢の形状を変化させる動作等を検出した場合に、所定動作を検出したと判定する。
所定動作を検出した場合(ステップS305,Yes)、制御部22は、処理をステップS306に進める。制御部22は、ステップS306として、撮像部40及び42によるズーム処理を実行する。具体的には、制御部22は、検出した所定動作と変換テーブルとに基づいて、撮像部40及び42がズームイン、ズームアウトする撮像範囲Rにおけるズーム範囲R1を特定し、特定した結果を記憶部24に記憶する。制御部22は、ステップS307として、ステップS306で特定したズーム範囲R1を表示部32a及び32bに表示させる。
制御部22は、ステップS308として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS309として、ステップS308の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS310,No)、制御部22は、ステップS304以降の処理を再実行する。
撮像範囲R外へ移動した場合(ステップS310,Yes)、制御部22は、処理をステップS311に進める。制御部22は、ステップS311として、合焦位置を設定する。具体的には、制御部22は、予め設定された初期値である焦点位置を設定する。あるいは、制御部22は、ズーム範囲R1に対応した焦点位置Lcを推定し、当該焦点位置Lcを設定する。
制御部22は、ステップS312として、撮像画像71を取得する。具体的には、制御部22は、ステップS311で設定した焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS313として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図12に示す処理手順を終了する。
所定動作を検出していない場合(ステップS305,No)、制御部22は、既に説明したステップS308以降の処理を実行する。その後、制御部22は、図12に示す処理手順を終了する。
次に、図13を参照しながら、制御プログラム24aが提供する撮像機能に基づく他の制御の例について説明する。図13は、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の例を示す図である。
図13に示すステップS51では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100を視認している。利用者は、撮像範囲Rのフレームは視認していない。ウェアラブル装置1は、ステップS51として、撮像部40及び42の未起動状態を維持したまま、検出部44による物体の検出を行っている。
ステップS52では、利用者は、人差し指Fのみが撮像範囲Rに入るように、人差し指Fをウェアラブル装置1の前方の右側から中央に向かって移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する人差し指Fと前景100とを撮像範囲Rに視認している。
ウェアラブル装置1は、ステップS52として、検出部44によって人差し指Fを検出すると、人差し指Fの位置に基づいて撮像範囲R外から撮像範囲R内へ移動したかを判定する。撮像範囲R内へ移動したことを検出した場合、ウェアラブル装置1は、撮像部40及び42を起動させることで、撮像部40及び42を未起動状態から撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ウェアラブル装置1は、ステップS53として、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。プレビュー画像60の範囲は、撮像範囲Rと同じサイズであってもよいし、撮像範囲Rよりも狭い範囲であってもよい。図13に示す例では、ウェアラブル装置1は、撮像範囲R内の右上にプレビュー画像60を表示する場合について説明するが、これに限定されない。例えば、プレビュー画像60は、前景100における、人差し指Fと重畳しない位置に表示されてもよい。このようにすることで、ウェアラブル装置1は、例えば、利用者が人差し指Fの動作に基づいてズーム処理等を実行させる際に、前景100における該人差し指Fの位置を把握させやすくすることができる。
ステップS53では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する人差し指Fと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。利用者は、プレビュー画像60に自身の人差し指Fが表示されていることを認識する。その後、ステップS54では、利用者は、人差し指Fがプレビュー画像60から消失するように、人差し指Fを撮像範囲R外へ向けて移動させている。
ウェアラブル装置1は、ステップS54として、検出部44の検出結果に基づいて、人差し指Fがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動したかを判定する。ウェアラブル装置1は、人差し指Fが範囲外へ移動したと判定すると、プレビュー画像60から人差し指Fが消失しているため、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
このように、ウェアラブル装置1は、撮像範囲Rにプレビュー画像60を表示し、プレビュー画像60から上肢が消失したことを検出すると、撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、プレビュー画像60を視認しながら、上肢を消失させるように移動させるだけで、撮像部40及び42によって前方の画像を撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
図14を参照しながら、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の処理手順について説明する。図14は、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の処理手順を示すフローチャートである。図14に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図14に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図14に示すように、ウェアラブル装置1の制御部22は、ステップS401として、撮像範囲R内で上肢を検出したかを判定する。制御部22は、上肢を検出していない場合(ステップS402,No)、ステップS401の処理を再実行する。
上肢を検出した場合(ステップS402,Yes)、制御部22は、処理をステップS403に進める。制御部22は、ステップS403として、撮像部40及び42を起動させる。制御部22は、ステップS404として、表示部32a及び32bを制御して、プレビュー画面60を撮像範囲R内に表示させる。
制御部22は、ステップS405として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS406として、ステップS405の検出結果に基づいて、上肢がプレビュー画像60の範囲内から範囲外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てがプレビュー画像60の範囲外へ移動したことを検出した場合に、プレビュー画像60の範囲外へ移動したと判定する。
プレビュー画像60の範囲外へ移動していない場合(ステップS407,No)、制御部22は、処理をステップS408に進める。制御部22は、ステップS408として、表示部32a及び32bにプレビュー画像60の表示を更新させる。その後、制御部22は、ステップS405以降の処理を再実行する。
プレビュー画像60の範囲外へ移動した場合(ステップS407,Yes)、制御部22は、処理をステップS409に進める。制御部22は、ステップS409として、撮像画像71を取得する。具体的には、制御部22は、予め設定された焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS410として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図14に示す処理手順を終了する。
次に、図15を参照しながら、制御プログラム24aが提供する撮像機能に基づく他の制御の例について説明する。図15は、ウェアラブル装置1によるプレビュー画像を用いたズーム撮像に係る制御の例を示す図である。
ウェアラブル装置1は、図15に示すステップS61として、検出部44によって人差し指Fが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。ウェアラブル装置1は、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。
ステップS61では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100を視認している。利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。ステップS61では、利用者は、ズームを予定しているズーム範囲R2に対応した位置まで人差し指Fを、撮像範囲R内の前方方向へ移動させている。
ステップS62では、利用者は、ズーム予定範囲R2に対応した位置まで人差し指Fを移動することにより、人差し指Fが撮像範囲R内に位置しかつ予定するズーム範囲R2から外れている。
ウェアラブル装置1は、ステップS62として、検出部44及び測距部46の検出結果に基づいて、人差し指Fの前方方向への移動を検出すると、人差し指Fまでの距離を検出し、検出した距離に基づいたズーム処理を実行する。ズーム処理は、例えば、検出した距離と変換テーブルとに基づいて、撮像範囲Rにおけるズームインするズーム範囲R2を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像部40及び42の焦点を変更する。ウェアラブル装置1は、ズームした映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。ステップS62では、ズーム処理によってプレビュー画面60から人差し指Fが消失している。なお、ウェアラブル装置1は、このときの人差し指Fの消失によっては、撮像部40及び42による撮像画像71の取得が実行されるものではない。これについては後述する。
ステップS63では、利用者は、プレビュー画面60が所望のズームになっていると、プレビュー画像60から消失した人差し指Fを、再びプレビュー画面60に表示させるように移動させる。その後、利用者は、人差し指Fがプレビュー画像60に表示されると、再び人差し指Fをプレビュー画像60から消失させる。
ウェアラブル装置1は、ステップS63として、検出部44及び測距部46の検出結果に基づいて、人差し指Fがズーム範囲R2外からズーム範囲R2内へ移動し、その後、ズーム範囲R2外へ移動したことを検出する。人差し指Fがズーム範囲R2外への移動を検出すると、ウェアラブル装置1は、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、既に設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
このように、ウェアラブル装置1は、撮像範囲Rにおいて、ズーム処理によってプレビュー画面60(ズーム範囲)から人差し指Fが消失した場合、撮像画像71を取得しない。その後、ウェアラブル装置1は、上肢がプレビュー画像60内からプレビュー画像60外へ移動したことを契機に、撮像部40及び42が変更した拡大縮小率で撮像した撮像画像71を取得する。これにより、ウェアラブル装置1は、利用者によって撮像範囲R内で上肢と自装置との距離が変化されて、撮像範囲Rから上肢が消失するように変更されても、当該撮像範囲Rの撮像画像71は取得しない。その結果、ウェアラブル装置1は、撮像画像71を取得する契機の検出精度を向上させることができる。
図16を参照しながら、ウェアラブル装置1によるプレビュー画像を用いたズーム撮像に係る制御の処理手順について説明する。図16は、ウェアラブル装置1によるプレビュー画像を用いたズーム撮像に係る制御の処理手順を示すフローチャートである。図16に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図16に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図16に示すように、ウェアラブル装置1の制御部22は、ステップS501として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS502,No)、制御部22は、ステップS501の処理を再実行する。
上肢を検出した場合(ステップS502,Yes)、制御部22は、処理をステップS503に進める。制御部22は、ステップS503として、撮像部40及び42を起動させる。制御部22は、ステップS504として、表示部32a及び32bにプレビュー画面60を撮像範囲R内に表示させる。
制御部22は、ステップS505として、撮像範囲R内における上肢の所定動作を検出する。具体的には、制御部22は、検出部44の検出結果に基づいて、例えば、上肢が前方方向に前後する動作を検出した場合に、所定動作を検出したと判定する。
所定動作を検出した場合(ステップS506,Yes)、制御部22は、処理をステップS507に進める。制御部22は、ステップS507として、撮像部40及び42によるズーム処理を実行する。具体的には、制御部22は、検出した所定動作と変換テーブルとに基づいて、撮像部40及び42がズームイン、ズームアウトする撮像範囲Rにおけるズーム範囲R2を特定し、特定した結果を記憶部24に記憶する。制御部22は、ステップS508として、ズーム範囲R2にズーム後のプレビュー画像60を撮像範囲R内に表示させる。具体的には、制御部22は、ズーム後の撮像部40及び42の映像データ70を、撮像範囲R内となるように、プレビュー画面60を表示部32a及び32bに表示させる。
制御部22は、ステップS509として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS510として、ステップS509の検出結果に基づいて、上肢がプレビュー画像60の範囲内から範囲外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てがプレビュー画像60の範囲外へ移動したことを検出した場合に、プレビュー画像60の範囲外へ移動したと判定する。
プレビュー画像60の範囲外へ移動していない場合(ステップS511,No)、制御部22は、ステップS505以降の処理を再実行する。プレビュー画像60の範囲外へ移動した場合(ステップS511,Yes)、制御部22は、処理をステップS512に進める。制御部22は、ステップS512として、撮像画像71を取得する。具体的には、制御部22は、既に設定されている焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS513として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図16に示す処理手順を終了する。
所定動作を検出していない場合(ステップS506,No)、制御部22は、処理をステップS514に進める。制御部22は、ステップS514として、表示部32a及び32bにプレビュー画像60の表示を更新させる。その後、制御部22は、既に説明したステップS509以降の処理を再実行する。
本出願の開示する実施形態は、発明の要旨及び範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
例えば、図3に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
上記の実施形態では、ウェアラブル装置1は、撮像部40及び42の撮像画像71を取得すると、撮像部40及び42を停止させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、利用者から撮像部40及び42の停止を要求された場合、撮像部40及び42を停止させるように構成されてもよい。上記のウェアラブル装置1は、撮像部40及び42の撮像画像71を取得した場合に、撮像画像71の取得を利用者に通知するように構成されてもよい。
上記のウェアラブル装置1は、撮像部40及び42の起動アイコンを表示部32a及び32bに表示し、当該起動アイコンに対する所定のジェスチャを検出した場合に、撮像部40及び42を起動するように構成されてもよい。上記のウェアラブル装置1は、常時、撮像部40及び42を起動待機状態とするように構成されてもよい。上記のウェアラブル装置1は、側面部1bまたは側面部1cに操作部13を設け、当該操作部13に対する所定の操作に応じて、撮像部40及び42の起動及び停止を制御するように構成されてもよい。
また、上記のウェアラブル装置1によるプレビュー画像60を用いた撮像に係る制御の例においては、ウェアラブル装置1は、撮像範囲Rにおいて、ズーム処理によってプレビュー画面60(ズーム範囲R1)から人差し指Fが消失した場合、撮像画像71を取得せず、その後、上肢がプレビュー画像60内からプレビュー画像60外へ移動したことを契機に、撮像画像71を取得する構成を示したが、これに限定されない。例えば、ウェアラブル装置1は、人差し指Fを中心としたズーム処理を行う構成としてもよい。このような構成とすることにより、ウェアラブル装置1は、ズーム処理によってプレビュー画像60(ズーム範囲R1)から人差し指Fが消失するといったことがなくなる。
また、上記の実施形態は、撮像範囲Rに存在する遮蔽物が利用者の上肢であるものとして説明してきたが、前述したように、遮蔽物は利用者の上肢のみに限定されない。例えば、遮蔽物は、利用者が持つ所定物であってもよい。ここで利用者が持つ所定物は、例えば、ペン等の棒状物である。また、ここで利用者が持つ所定物は、ユーザが把持する携帯電話機等の携帯電子機器であったり、利用者の上肢に装着される腕時計型端末等の電子機器であってよい。このような構成とすることで、例えば、携帯電話機がウェアラブル装置1と通信可能である場合に、携帯電話機に対する所定操作によって、ウェアラブル装置1の撮像部40及び42による撮像内容(明るさ等)が変更され、携帯電話機を把持している上肢を撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動させることによって、撮像内容が変更された状態で、撮像画像が取得される。
次に、図17を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する制御の第3例について説明する。図17は、ウェアラブル装置1の制御プログラム24aが提供する制御の例について説明するための図である。
ウェアラブル装置1は、図17に示すステップS130として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、アイコン53〜55を表示部32a及び32bに表示させる。アイコン53は、例えば、撮像部40及び42による静止画像の撮像を実行する旨の画像である。アイコン54は、例えば、撮像部40及び42による動画像の撮像を実行する旨の画像である。アイコン55は、例えば、撮像部40及び42の撮像待機状態を解除する(撮像を中止する)旨の画像である。アイコン53〜55は、撮像範囲Rの右辺に沿った領域において、それぞれが並列配置されて表示されている。本実施形態では、ウェアラブル装置1は、アイコン53〜55を撮像範囲R内に表示する場合について説明するが、撮像範囲R外に表示してもよい。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS130では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン53〜55を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン53〜55を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
ここで、静止画を撮像したい場合に、利用者は、撮像範囲R内の右手Hの予め設定された部分(或いは上肢における所定領域とも称する)がアイコン53を通過して撮像範囲R外となるように、右手Hを移動させればよい。ここで、右手Hの予め設定された部分とは、例えば、右手Hの人差し指における第1関節よりも指先に近い部分や右手Hの人差し指の爪であってよいし、右手H全体であってよい。このとき、ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hの予め設定された部分がアイコン53を通過して撮像範囲R外へ移動したと判定する。そして、ウェアラブル装置1は、撮像部40及び42を撮像状態とし、静止画で前景100を撮像させる。
また、動画を撮像したい場合に、利用者は、右手Hの予め設定された部分がアイコン54を通過して撮像範囲R外となるように、右手Hを移動させればよい。このとき、ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hの予め設定された部分がアイコン54を通過して撮像範囲R外へ移動したと判定する。そして、ウェアラブル装置1は、撮像部40及び42を撮像状態とし、動画での撮像を開始する。
また、撮像を実行させることなく撮像待機状態を解除させたい場合に、利用者は、右手Hの予め設定された部分がアイコン55を通過して撮像範囲R外となるように、右手Hを移動させればよい。このとき、ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hの予め設定された部分がアイコン55を通過して撮像範囲R外へ移動したと判定する。そして、ウェアラブル装置1は、撮像部40及び42の撮像待機状態を解除する。
ここで、アイコン53〜55のそれぞれは、ステップS130に示すように、右手Hの予め設定された部分よりも大きい画像として表示部32a及び32bに表示されている。右手Hの予め設定された部分は、例えば、右手Hの人差し指における第1関節よりも指先に近い部分等を含む。このような構成とすることで、ウェアラブル装置1は、右手Hの予め登録された部分が、アイコン53〜55の内の複数のアイコンを通過し難くなり、利用者の所望とする1つのアイコンに基づく機能を実行させ易くすることができる。
なお、右手Hの予め設定された部分は、上記の他にも、例えば、指の付け根(第3関節)から指先に至る部分であってよい。また、右手Hの予め設定された部分は、指の指先、第1関節、第2関節、第3関節の内の何れか2つを選定して、該2つの間の部分を、予め設定された部分としてよい。また、指或いは手の大きさに基づいた所定の大きさを有する円形状(或いは楕円形状、或いは四角形状、等)の領域を予め設定された部分としてよい。そして、予め設定された部分は、利用者が視認可能なように、所定の画像として表示部32a及び32bに表示されてよい。
次に、ステップS131に示すように、利用者が、右手Hをウェアラブル装置1により近い位置に移動させると、撮像範囲R内には、右手Hの人差し指Fのみが視認される。このとき、右手Hの人差し指Fは、ステップS130における人差し指よりも大きい状態で視認される。即ち、撮像待機状態の撮像部40及び42から逐次伝送される撮像画像(一時的に記憶部24に保存される映像データ70)における人差し指Fの大きさが、ステップS130の場合における人差し指と比較して大きくなる。このとき、ウェアラブル装置1は、ステップS131に示すように、アイコン53〜55の画像を、ステップS130の場合において表示されるアイコン53〜55よりも大きい画像として表示部32a及び32bに表示させる。ステップS131において、ウェアラブル装置1は、アイコン53〜55をステップS130におけるアイコン53〜55の画像の大きさよりも大きい画像として表示させるために、該アイコン53〜55の表示位置をステップS130における表示位置から変更する。ステップS131に示すように、アイコン53は、撮像範囲Rの右辺に沿った領域に、アイコン54は、撮像範囲Rの上辺に沿った領域に、アイコン55は、撮像範囲Rの左辺に沿った領域に、それぞれ表示される。ここで、ステップS131におけるアイコン53〜55のそれぞれは、右手Hの予め設定された部分(例えば、人差し指Fにおける第1関節よりも指先に近い部分)よりも大きい画像として表示部32a及び32bに表示されている。このような構成とすることで、ウェアラブル装置1は、右手Hの予め登録された部分が、アイコン53〜55の内の複数のアイコンを跨った状態で通過して該複数のアイコンが選択されてしまう、といったことを生じ難くすることができる。即ち、ウェアラブル装置1は、利用者が所望とする1つのアイコンを選択し易くすることができる。なお、本実施形態においては、上記のようにアイコン53〜55の大きさを変更する処理を変更処理と称する。
ステップS131にて説明したように、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢(所定物)を検出し、撮像画像中における上肢の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行う。これにより、ウェアラブル装置1は、ユーザの上肢(或いは上肢における所定領域)の移動によってアイコンを選択する構成において、上肢(或いは上肢における所定領域)によって利用者が所望とする1つのアイコンを選択し易いように、該アイコンの大きさを変更でき、使い勝手が良くなる。
また、上述したように、ウェアラブル装置1は、上肢(或いは上肢における所定領域)よりもアイコンの大きさが大きくなるように該アイコンを表示部32a及び32bに表示してよい。即ち、制御部22は、利用者が表示部32a及び32bにて視認するアイコン(表示部が表示する所定の画像)が、利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)よりも大きくなるように、アイコンの大きさを変更する。
これにより、ウェアラブル装置1は、例えば、上肢(或いは上肢における所定領域)とアイコン(表示部が表示する所定の画像)とが重畳することによってアイコンに基づく機能を実行させる構成において、上肢の所定部分が複数の画像に重畳することによって複数のアイコンが選択されてしまう、といったことを生じ難くすることができる。
このとき、制御部22は、予め設定された撮像部40及び42の撮像範囲Rと、撮像画像中の上肢(或いは上肢における所定領域)の大きさと、に基づいて、利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)の大きさを推定する構成であってもよい。
なお、上記構成における「利用者が表示部32a及び32bにて視認するアイコン(画像)の大きさ」は、表示領域の全域(撮像範囲Rの全域)に対するアイコン(画像)の表示領域の割合として仮想的に規定されてよい。一方で、「利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)の大きさ」は、撮像画像の全域(撮像範囲Rの全域)に対する該撮像画像中の上肢(或いは上肢における所定領域)の領域の割合として仮想的に規定されてよい。そして、これらの規定に基づいて得られる、「利用者が表示部32a及び32bにて視認するアイコン(画像)の大きさ」と「利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)の大きさ」とに基づいて、アイコン(画像)の大きさが変更されてよい。
上述したように、ウェアラブル装置1は、撮像画像中の上肢(或いは上肢における所定領域)よりもアイコンの大きさが大きくなるように該アイコンを表示部32a及び32bに表示してよい。このとき、「アイコンの大きさが上肢(或いは上肢における所定領域)よりも大きい」とは、例えば、互いに直交する2方向(例えば縦方向と横方向)の何れにおいても、アイコンが上肢(或いは上肢における所定領域)よりも大きいこと、としてよい。また、「アイコンの大きさが上肢(或いは上肢における所定領域)よりも大きい」とは、例えば、互いに直交する2方向(例えば縦方向と横方向)の内の何れか一方の方向において、アイコンが上肢(或いは上肢における所定領域)よりも大きいこと、としてよい。この場合、例えば図17のステップS131のように、撮像範囲Rの横方向における端領域にアイコンを表示する場合(アイコン53、55の場合)には、縦方向における該アイコンの大きさが上肢(或いは上肢における所定領域)よりも大きくなるようにしてよい。撮像範囲Rの横方向における端領域にアイコンを表示する場合は、該アイコンを通過させつつ撮像範囲R外へと移動させるために、上肢を横方向へ移動させる。従って、ウェアラブル装置1は、上肢の移動方向とは垂直な方向(縦方向)におけるアイコンの大きさが上肢(或いは上肢における所定領域)よりも大きくなるようにすれば、該上肢(或いは上肢における所定領域)が複数の画像に重畳することによって複数のアイコンが選択されてしまう、といったことを生じ難くすることができる。同様に、ウェアラブル装置1は、撮像範囲Rの縦方向における端領域にアイコンを表示する場合(アイコン54の場合)には、横方向における該アイコンの大きさが上肢よりも大きくなるようにしてよい。
また、ステップS131にて説明したように、ウェアラブル装置1は、制御部22がアイコン53〜55(表示画像)の大きさの変更に伴って、該アイコン53〜55(表示画像)の表示位置を変更する構成を有していてよい。
図18を参照しながら、ウェアラブル装置1による制御の処理手順について説明する。図18は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図18に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図18に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図18に示すように、ウェアラブル装置1の制御部22は、ステップS1101として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していない場合、(ステップS1102,No)、ステップS1101の処理を再実行する。
制御部22は、上肢を検出した場合(ステップS1102,Yes)、処理をステップS1103に進める。制御部22は、ステップS1103として、撮像部40及び42を起動させる。制御部22は、ステップS1104として、表示部32a及び32bにアイコン53〜55を表示させる。
制御部22は、ステップS1105として、撮像部40及び42の映像データ70から逐次伝送される撮像画像(一時的に記憶部24に保存される映像データ70)中の上肢(或いは上肢における所定領域)の大きさを検出する。ここで、上肢(或いは上肢における所定領域)の大きさは、撮像画像全域に対する上肢(或いは上肢における所定領域)の割合であってよい。
制御部22は、ステップS1106として、ステップS1105の検出結果に基づいて、上肢(或いは上肢における所定領域)の大きさが変化したかを判定する。制御部22は、上肢(或いは上肢における所定領域)の大きさが変化していないと判定した場合(ステップS1106,No)、処理をステップS1108へ進める。
制御部22は、ステップS1106において、上肢(或いは上肢における所定領域)の大きさが変化したと判定した場合(ステップS1106,Yes)、ステップS1107として、変化した上肢(或いは上肢における所定領域)の大きさに基づいてアイコン53〜55の大きさ及び位置を変更する。制御部22は、ステップS1107における処理を終えた後、ステップS1108の処理へ移行する。
制御部22は、ステップS1108として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS1109として、ステップS1108の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS1110,No)、制御部22は、ステップS1108以降の処理を再実行する。なお、制御部22は、撮像範囲R外へ移動していない場合(ステップS1110,No)に、ステップS1108以降の処理を再実行する代わりに、ステップS1105以降の処理を再実行するようにしてもよい。
撮像範囲R外へ移動した場合(ステップS1110,Yes)、制御部22は、処理をステップS1111へ進める。制御部22は、ステップS1111として、上肢(或いは上肢の所定部分)が通過したアイコンの種類を判定する。制御部22は、ステップS1112として、上肢(或いは上肢における所定領域)が静止画のアイコン53(撮像部40及び42による静止画像の撮像を実行する旨の画像)を通過したと判定した場合(ステップS1112,Yes)、ステップS1113へ処理を進める。制御部22は、ステップS1113として、静止画である撮像画像を取得する。このとき、制御部22は、例えば、予め設定した焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像を取得し、取得した撮像画像を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS1121として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図18に示す処理手順を終了する。
他方、ステップS1112において、制御部22は、上肢(或いは上肢における所定領域)が静止画のアイコン53を通過したと判定していない場合(ステップS1112,No)、ステップS1114へ処理を進める。制御部22は、ステップS1114として、上肢(或いは上肢における所定領域)が動画のアイコン54(撮像部40及び42による動画像の撮像を実行する旨の画像)を通過したと判定した場合(ステップS1114,Yes)、ステップS1115へ処理を進める。制御部22は、ステップS1115として、撮像部40及び42による動画の撮像を開始させる。制御部22は、ステップS1116として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していないと判定した場合(ステップS1117,No)、制御部22は、ステップS1116の処理を再実行する。
制御部22は、上肢を検出したと判定した場合(ステップS1117,Yes)、処理をステップS1118に進める。制御部22は、ステップS1118として、撮像部40及び42による動画の撮像を終了させる。制御部22は、ステップS1119として、動画である撮像画像を取得する。具体的には、制御部22は、撮像部40及び42が撮像した動画である撮像画像を取得し、当該撮像画像を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS1121として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図18に示す処理手順を終了する。
他方、ステップS1114において、制御部22は、上肢が動画のアイコン54を通過していないと判定した場合(ステップS1114,No)、ステップS1120へ処理を進める。制御部22は、ステップS1120として、上肢が撮像停止のアイコン55(撮像部40及び42の撮像待機状態を解除する旨の画像)を通過したと判定した場合(ステップS1120,Yes)、ステップS1121へ処理を進める。制御部22は、ステップS1121として、撮像部40及び42を停止させる。撮像部40及び42が中止すると、制御部22は、図18に示す処理手順を終了する。
ステップS1120において、制御部22は、上肢が撮像停止のアイコン55を通過しないと判定した場合(ステップS1120,No)、ステップS1108の処理を再実行する。即ち、制御部22は、上肢が撮像範囲R外に移動した際に該上肢がアイコン53〜55のいずれも通過しなかった場合には、撮像画像の取得を行うことなく、かつ撮像待機状態を維持する。これにより、ウェアラブル装置1は、撮像範囲R外に移動した上肢が撮像範囲R内に移動した際に、撮像部40及び42を再度起動させる処理を省略させることができる。
なお、図17、図18の例では、ウェアラブル装置1において、撮像中止のアイコン55(撮像部40及び42の撮像待機状態を解除する旨の画像)が表示される構成を有していたが、これに限定されない。撮像中止のアイコン55が表示されない他の構成が採用されてもよい。例えば、上肢が撮像範囲R外に移動した際に該上肢が所定のアイコン(上記のアイコン53,54等)を通過しなかった場合には、ウェアラブル装置1は、撮像部40及び42を中止させる構成としてもよい。
また、図17、図18の例では、撮像画像中の上肢の大きさに基づいて変更処理(表示画像の大きさを変更する処理)を行う構成を示したが、これに限定されない。本実施形態に係る他の例として、ウェアラブル装置1は、測距部46によって、ユーザの前後方向におけるウェアラブル装置1(自装置)と上肢(所定物)との距離を検出し、該距離が変化したことを検出すると、該距離の変化に応じた変更処理を行う構成であってもよい。例えば、ウェアラブル装置1と上肢との距離が小さくなる程、撮像画像範囲R内において視認される上肢の大きさ(或いは、撮像画像中に含まれる上肢の撮像画像全域に対する大きさ)が大きくなるため、該上肢(右手H)の予め登録された部分よりも大きい画像に変更されれば、予め登録された部分による画像の選択操作が行われ易い。
また、上記実施形態において、ウェアラブル装置1の制御部22は、撮像画像中の所定物(上肢)の所定領域の大きさが第1の大きさ以上である場合には、該所定領域の大きさに応じて表示画像の大きさを変更する処理を行わないようにしてもよい。例えば、ウェアラブル装置1は、利用者がウェアラブル装置1に触れる等の、操作とは異なる動作を行うことによって、不当に大きい大きさで上肢が撮像画像にて検出される場合には、表示画像の大きさの変更を行わないので、利用者が煩わしい思いをさせないで済む。
なお、ウェアラブル装置1の制御部22は、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が第2距離以下である場合には、該距離に応じて表示画像の大きさを変更する処理を行わないようにする構成であってもよい。
また、ウェアラブル装置1の制御部22は、撮像画像中の所定物(上肢)の所定領域の大きさが第2の大きさ以下である場合には、該所定領域の大きさに応じて表示画像の大きさを変更する処理を行わないようにしてもよい。例えば、利用者の前方に居る他者の上肢を検出する等の、不当に小さい大きさで上肢が撮像画像にて検出される場合には、表示画像の大きさの変更を行わないので、利用者が煩わしい思いをしないで済む。
また、ウェアラブル装置1の制御部22は、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が第1距離以上である場合には、該距離に応じて表示画像の大きさを変更する処理を行わないようにする構成であってもよい。
以下に種々の変形例を示す。上記の実施形態では、複数アイコン53〜55の大きさの変更に伴って、該アイコン53〜55の表示位置を変更する構成が例示されたが、これに限定されない。例えば、制御部22は、撮像画像中に検出する上肢が右上肢か左上肢かを判定し、判定結果に応じて、複数アイコン(画像)の表示位置を変更してもよい。
例えば、制御部22は、上肢が右上肢であると判定した場合に、複数のアイコンを表示部32a及び32bの表示領域(或いは撮像範囲R)における右側の端辺に沿うように並列させて表示する。この表示状態において、制御部22は、上肢が左上肢であると判定した場合に、アイコン53〜55を表示部32a及び32bの表示領域(或いは撮像範囲R)における左側の端辺に沿うように並列させて表示するようにしてよい。また、上肢が右上肢であると判定した場合で、かつ、撮像画像中における上肢の大きさが所定以上の大きさとなっている場合には、制御部22は、例えば、複数のアイコンを表示部32a及び32bの表示領域における右側の端辺に沿う領域と下側の端辺に沿う領域とに分けて表示するようにしてもよい。一方、上肢が左上肢であると判定した場合で、かつ、撮像画像中における上肢の大きさが所定以上の大きさとなっている場合には、制御部22は、例えば、複数のアイコンを表示部32a及び32bの表示領域における左側の端辺に沿う領域と下側の端辺に沿う領域とに分けて表示するようにしてよい。
また、上記のように、ウェアラブル装置1は、アイコン53〜55の大きさの変更の有無や、撮像画像中に検出する上肢が右上肢か左上肢か、に依らず、アイコン53〜55を適切な位置に表示してもよい。例えば、ウェアラブル装置1は、制御部22が、アイコン53〜55を表示領域(或いは撮像範囲R)における下側に表示させてよい。本実施形態に係るウェアラブル装置1は頭部に装着されるものであるため、通常、利用者の上肢がウェアラブル装置1の撮像範囲Rの下側に位置する。この場合、利用者が上肢を撮像範囲R内に位置させるために上肢を上方向に上げる必要があり、一方で利用者が上肢を撮像範囲R内に移動させるために上肢を下方向へ下げる動作は行い易い。従って、アイコン53〜55(表示画像)を表示領域(或いは撮像範囲R)における下側に表示させる構成は、利用者にとって使い勝手がよい。
また、ウェアラブル装置1は、制御部22が、上肢が撮像範囲R内に進入したことを検出すると、撮像範囲Rにおける、上肢が進入した側の端辺を判定し、アイコン53〜55(画像)を表示部32a及び32bの表示領域(或いは撮像範囲R)における判定された端辺側に表示してよい。例えば、制御部22は、上肢が撮像範囲Rの右側から進入した場合には、表示部32a及び32bの表示領域(或いは撮像範囲R)における右側にアイコン53〜55を表示する。
また、アイコンの表示位置は、該アイコンの内容に依って適切な位置に表示されてもよい。例えば、表示するアイコンが、上記のアイコン55(撮像中止のアイコン)である場合、アイコン55は、撮像範囲Rにおける右上角部(或いは左上角部)等の比較的小さな領域に表示されてよい。このようにすれば、利用者が意図的に上肢を移動させない場合は、上肢がアイコン55を通過し難くなる。ここで、ウェアラブル装置1は、例えば、農作業等における作業手順を動画像として記録する場合に応用されてよい。例えば、ウェアラブル装置1を装着した利用者が実際の作業を行いつつ、該装着されたウェアラブル装置1によって、作業を動画像として取得されてよい。このような場合、作業中(動画像の取得中)において、該作業によって上肢が撮像範囲R内から撮像範囲R外へ移動してしまったとしても、アイコン55(撮像中止のアイコン)を通過し難いため、誤ったタイミングで作業記録を終了させずに済む。
また、作業手順を動画像として記録する場合において、実際の作業を行う利用者が皆、手際良く動画像の記録を行える者とは限らない。例えば、人によっては、動画の記録が伴うことによって、作業が通常よりも冗長となってしまい、記録した動画の内容が冗長なものとなってしまいかねない。このような場合、図17、図18で例示したように、ウェアラブル装置1は、上肢が撮像範囲R外に移動した際に該上肢がアイコンのいずれをも通過しなかった場合には、動画像の取得を中断し、上肢が撮像範囲R内に進入したときに再開すればよい。その結果、ウェアラブル装置1は、記録したい作業とは関係のない時間帯での動画像の記録を省くことができ、冗長な動画を作成してしまわずに済む。また、ウェアラブル装置1は、動画像の中断を行うためのアイコン(中断アイコン)を新たに設けてもよい。この場合、ウェアラブル装置1は、上肢が中断アイコンを通過しつつ撮像範囲R内から撮像範囲R外へ移動した場合には、動画像の記録を中断し、一方で、上肢が中断アイコンを通過しつつ撮像範囲R外から撮像範囲R内へ移動した場合には、動画像の記録を再開する構成であってよい。
上記の実施形態では、ウェアラブル装置1の制御部22が複数のアイコン53〜55の内、上肢(或いは上肢における所定領域)が通過したアイコンに基づく機能を実行する構成を例示したが、これに限定されない。例えば、ウェアラブル装置1における、制御部22が、複数のアイコン53〜55の内、上肢(或いは上肢における所定領域)が所定時間以上重畳したアイコンが選択されたものとみなして該アイコンに基づく機能を実行するようにする構成であってもよい。このような構成を採用する場合においては、前述したように、アイコンを撮像範囲R外に表示するようにすれば、撮像画像の取得に際して該撮像画像中に上肢が入り込まずに済む。
上記の実施形態では、アイコンに基づく機能が、撮像画像(撮像待機状態の撮像部40及び42から逐次伝送される映像データ70)の取得処理方法に係る機能(静止画像の取得、動画像の取得、撮像待機状態の解除、等)である場合を例示したがこれに限定されない。例えば、アイコンに基づく機能が、撮像部40及び42が取得する撮像画像71に対する処理方法に係る機能であってもよい。例えば、取得した撮像画像を所定のフォルダに保存する機能を示すアイコン(フォルダを模したアイコン等)や、電子メール作成画面に移行する(撮像画像を電子メールへの添付データとする)機能を示すアイコンや、電子掲示板、ブログ、SNS(Social Networking Service)等の画面に移行する(撮像画像を電子掲示板、ブログ、SNS等で使用する)機能を示すアイコン等が挙げられる。
また、本実施形態におけるウェアラブル装置1は、撮像画像中における上肢の大きさの変化、或いは、自装置と上肢との距離の変化に応じた所定の変更処理として、表示画像(アイコン)の大きさを変更する。上記の例では、表示画像(アイコン)の大きさの変更として、表示画像(アイコン)の表示領域の大きさを変更する構成を示したが、本実施形態ではこれに限定されない。他の変更処理の例を図19に示す。
図19は、各種の変更処理を行う例を示す図である。図19では、撮像画像中における上肢の大きさの変化、或いは、自装置と上肢との距離の変化に応じて、各種の変更処理を行う例を示している。図19では、変更処理として3つのパターンを表として示している。図19は、表の上段に、撮像部42及び44が撮像する撮像画像71の内容を示している。図19は、左側には撮像画像71中の上肢が大きい(自装置と上肢との距離が小さい)場合を示している。図19は、右側には撮像画像71中の上肢が小さい(自装置と上肢との距離が小さい)場合を示している。図19は、表の下段には、表示部32a及び32bが表示する表示画像56を示している。表示画像56は、例えば、文字情報と写真(或いはイラスト等)とを含む画像である。
パターン1では、変更処理として、上肢の位置に依らずに表示画像56を拡大縮小する例が示されている。撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56は、(1−1)の状態から(1−2)の状態へと遷移し、表示画像56の中心を拡大縮小中心とした拡大表示がなされている。ここで、表示画像56は、撮像画像71中における上肢の大きさの変化量に比例した拡大率にて拡大表示される。なお、図19に示す例では、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56を拡大する構成が例示されているが、これに限定されない。例えば、図19に示す例は、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56を縮小する構成であってよい。なお、図19では、表示画像56が拡大されて(1−2)の状態において表示される部分が、(1−1)の状態では仮想の破線として示されている。
パターン2では、変更処理として、上肢の位置に依って表示画像56を拡大縮小する例が示されている。撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56は、(2−1)の状態から(2−2)の状態へと遷移し、表示画像56の上肢の所定領域(例えば指先位置)を拡大縮小中心とした拡大表示がなされている。(2−1)の状態では、表示画像56において上肢の所定領域(例えば指先位置)によって指定される位置が破線の仮想線で示されている。従って、実際には視認されるように表示されるものではないが、これに限定されず、本実施形態では、視認可能な画像(カーソル)として表示される構成が採られてもよい。なお、図19に示す例では、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56が拡大される構成が例示されているが、これに限定されない。例えば、図19に示す例は、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56を縮小する構成であってもよい。
パターン3では、変更処理として、上肢の位置に依って定められる所定領域57に含まれる文字のみを拡大縮小する例が示されている。撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56は、(3−1)の状態から(3−2)の状態へと遷移し、領域57に含まれる文字の拡大表示がなされている。なお、図19に示す例では、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、領域57を拡大する構成を例示しているが、これに限定されない。例えば、図19に示す例は、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、領域57を縮小する構成であってよい。
変更処理は、パターン1〜3の他にも種々の態様が採られてよい。例えば、表示画像が文字情報と写真(或いはイラスト等)とを含む画像である場合に、変更処理として、写真を拡大することなく文字情報のみを拡大する構成であってよいし、文字情報を拡大することなく写真のみを拡大する構成であってよい。
また、変更処理として、上記に例示した表示画像の表示態様の変更の他に、アプリケーションの起動時において、表示されるスライダー(例えば、つまみ状の操作部分)を拡大縮小してよい。例えば、スライダーは、楽曲再生アプリケーションの起動時において、楽曲の再生時の音量を変更するための変更バーを含む。例えば、スライダーは、動画再生アプリケーションの起動時において、データの再生箇所を表示すると共に、所定操作によって再生箇所を変更するためのシークバーを含む。このような場合、例えば、変更処理は、撮像部40及び42の撮像範囲Rや検出部44の検出範囲における座標位置と表示部32a及び32bの表示領域における座標位置とを対応付けてもよい。変更処理は、表示領域においてスライダーが表示される座標位置と対応する撮像範囲R(検出範囲)の所定位置に上肢が在ることに基づいて、スライダーが選択される状態としてもよい。そして、変更処理は、スライダーが選択された状態で上肢が移動すると、撮像範囲R(検出範囲)での上肢の位置座標の移動に基づいて、表示領域におけるスライダーの表示位置を移動させる。そして、変更処理は、スライダーの表示位置の移動に基づいて、音量や再生箇所を変更させる。
ここで、例えば、変更処理は、撮像画像中における上肢の大きさがより大きくなると、スライダーを拡大させる、即ち、スライダーの表示位置と見なされる座標の領域を拡大させる。従って、ウェアラブル装置1は、撮像範囲R(検出範囲)における、上肢によってスライダーを選択可能な範囲が拡大される。
また、上記の実施形態では、変更処理として、表示画像の拡大縮小を行う例を示したが、変更処理はこれに限定されない。例えば、ウェアラブル装置1において楽曲再生がなされている場合に、撮像画像中における上肢の大きさの変化、或いは、自装置と上肢との距離の変化に応じた所定の変更処理として、楽曲の再生音量、再生速度、曲調等を複数のパターンの内の何れかに変更できるようにしてもよい。また、例えば、変更処理は、ウェアラブル装置1の撮像部40及び42が撮像画像を取得する際のISO感度、ホワイトバランス、シャッタースピード、絞り値、被写界深度、焦点距離、等を変更できるようにしてもよい。
ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像中の上肢の所定動作によって、所定画像の拡大縮小処理を実行する構成を有していてもよい。本実施形態では、以下に説明する点が上記の実施形態とは異なる。
図20を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する制御の例について説明する。図20は、ウェアラブル装置1の制御プログラム24aが提供する制御の例について説明するための図である。図20に示す例は、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の例である。
ウェアラブル装置1は、図20に示すステップS140として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ウェアラブル装置1は、ステップS140として、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。プレビュー画像60の範囲は、撮像範囲Rと同じサイズであってもよいし、撮像範囲Rよりも狭い範囲としてもよい。図20に示す例では、ウェアラブル装置1は、撮像範囲R内の右上にプレビュー画像60を表示する場合について説明する。ステップS140では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100とプレビュー画像60とを視認している。
ステップS141では、利用者は、表示部32a及び32bを透して視認している撮像範囲Rにおいて、利用者から見てプレビュー画像60と重畳する位置まで右手Hを移動させている。このとき利用者の右手Hは、人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態となっている。
ステップS142では、利用者は、右手Hがプレビュー画像60と重畳している状態で、人差し指と親指とを互いに離す動作を行っている。そして、ウェアラブル装置1は、人差し指と親指とが互いに離れる動作を検出したことによって、プレビュー画像60を拡大している。即ち、人差し指と親指とが互いに離れる動作は、プレビュー画像60の拡大処理を実行させるための動作である。ウェアラブル装置1は、人差し指と親指とが互いに離れた距離に基づいた拡大率にて画像を拡大する。なお、人差し指と親指とが互いに接触した状態から、人差し指と親指とが互いに離れる動作ではなく、元々人差し指と親指とが離れた状態から、人差し指と親指とがより離れる動作も拡大処理を実行させるための動作としてよい。
また、ウェアラブル装置1は、人差し指と親指とが互いに近づく動作を検出した場合には、プレビュー画像60の縮小処理を実行してもよい。
ステップS142にて説明したように、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢或いは上肢の所定領域(右手H、或いは、右手Hの予め登録された部分)を検出し、撮像画像中の上肢或いは上肢の所定動作によって表示部32a及び32bが表示する画像の拡大縮小処理(変更処理)を実行することができる。これにより、ウェアラブル装置1は、画像を利用者が所望とする大きさに変更でき、ひいては使い勝手が良くなる。
再度、ステップS142を参照すると、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。利用者は、プレビュー画像60に自身の右手Hが表示されていることを認識する。その後、ステップS143では、利用者は、右手Hがプレビュー画像60から消失するように、右手Hを撮像範囲R外へ向けて移動させている。
ウェアラブル装置1は、ステップS143として、検出部44の検出結果に基づいて、右手Hがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動したかを判定する。ウェアラブル装置1は、右手Hが範囲外へ移動したと判定すると、プレビュー画像60から右手Hが消失しているため、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
なお、右手Hがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動すると、プレビュー画像60から上肢が消失するため、利用者は、プレビュー画像60を視認しながら、上肢を消失させるように移動させるだけで、撮像部40及び42によって前方の画像を撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
次に、図21A乃至図21Dを参照し、上肢の動作に基づいて表示画像の大きさを変更する(画像を拡大縮小する)構成の例を詳細に説明する。図21A乃至図21Dは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。図21A及び21Bと図21C及び21Dとでは、ウェアラブル装置1と上肢(手)との間の長さが互いに異なる場合が示されている。図21A及び図21Cには、ぞれぞれ、上記のプレビュー画像60を上肢の所定動作によって拡大させる様子が示されている。なお、図21A及び図21Cでは、拡大される前のプレビュー画像60を破線で示し、拡大された後のプレビュー画像61を実線で示している。図21B及び図21Dには、ウェアラブル装置1と上肢(右手H)とのユーザの前後方向における距離Lを示す模式図が示されている。
図21A乃至図21Dにおいても、図20で説明した内容と同様に、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢(所定物)を検出するとともに、上肢の所定動作(人差し指と親指とが互いに離れる動作)を検出する。そして、ウェアラブル装置1は、人差し指と親指とが互いに離れる動作に基づいてプレビュー画像60の拡大縮小処理を実行する。拡大縮小処理は、所定の拡大縮小率で画像の大きさを変更するものであるため、変更処理と称する。そして、拡大縮小処理(変更処理)における拡大縮小率Mを変更率と称する。ここで、拡大縮小処理における拡大縮小率Mは、人差し指と親指とが互いに離れる距離Dに応じて変更される。即ち、拡大縮小率Mは、式1(式1:拡大縮小率M=aD×100(aは定数))として規定される。ここで、距離Dは、例えば、撮像部40及び42が撮像する撮像画像中における人差し指の先端部の所定位置と親指の先端部の所定位置との間の直線距離である。従って、利用者が人差し指と親指とをより大きい距離だけ離間させれば、より大きい拡大率にてプレビュー画像60が拡大されることとなる。
本実施形態に係るウェアラブル装置1は、上記構成において、さらに、拡大縮小処理(変更処理)における拡大縮小率M(変更率)を、撮像画像中の上肢(或いは上肢における所定領域)の大きさPに応じて変更する構成を有していてよい。即ち、上肢(或いは上肢における所定領域)の大きさPに基づいて換算される換算値をP’とすれば、拡大縮小率Mは、式2(式2;拡大縮小率M=aD×P’×100(aは定数))として規定される。ここで、換算値P’は、上肢(或いは上肢における所定領域)の大きさPがより大きい値となる程、より小さい値となるように規定される。ウェアラブル装置1は、上肢(或いは上肢における所定領域)の大きさPと換算値P’との変換テーブルを記憶部24に記憶しておき、検出した大きさPに基づいて、変換テーブルを参照し、換算値P’を取得する。
図21C及び図21Dの場合における上肢(右手H)は、図21A及び図21Bの場合よりもウェアラブル装置1に近い位置に在る(図21D等参照)。そして、上肢(右手H)は、図21A及び図21Bの場合よりも大きい状態で視認される(図21C参照)。ウェアラブル装置1は、撮像画像中の上肢(右手H)の大きさPから、変換テーブルを参照して、図21A及び図21Bの場合における換算値Pa’と図21C及び図21Dの場合における換算値Pb’とをそれぞれ取得する。なお、換算値Pb’は、図21A及び図21Bの場合における換算値Pa’よりも小さい値となる。
ここで、例えば、図21A及び図21Bの場合と図21C及び図21Dの場合とにおいて、利用者が、同一の距離W(現実空間における距離)だけ親指と人差し指とを離したとすると(即ち、同一の動作を行ったとすると)、図21A及び図21Bの場合においては、撮像画像から人差し指と親指とが離れる距離Daが制御部22により検出され、一方で、図21C及び図21Dの場合においては、Daよりも大きい距離Dbが制御部22により検出される。そして、上記式1(換算値P’に依らない算出式)の算出手段によれば、図21C及び図21Dの場合においては、図21A及び図21Bの場合における拡大率Maよりも大きい拡大率Mbによってプレビュー画像60が拡大される。
しかしながら本実施形態に係るウェアラブル装置1によれば、式2(換算値P’に依る算出手段)が適用されてもよい。上記式2を適用すると、図21C及び図21Dの場合において、図21A及び図21Bの場合における換算値Pa’よりも小さい換算値Pb’が乗ぜられた拡大率Mbにてプレビュー画像60が拡大されるので、拡大後のプレビュー画像61の大きさを図21A及び図21Bの場合における拡大後のプレビュー画像61に、より近くすることができる。なお、図21A乃至図21Dにおいては、MaとMbとが同一となるように換算値Pa’とPb’とが設定されている場合が例示されている。
以上に説明してきたように、本実施形態に係るウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から所定物(上肢(或いは上肢における所定領域)を検出するとともに該所定物の所定動作(人差し指と親指とが離れる動作)を検出すると、該所定動作に伴う所定物の変位(距離D)に応じた所定の変更処理(画像の拡大縮小処理)を行う制御部22を備えるウェアラブル装置1である。ウェアラブル装置1は、撮像画像中の所定物の大きさに応じて、変更処理における、所定物の単位変位当りの変更率(拡大縮小率M)が変更されるものである。これにより、例えば、上肢がウェアラブル装置1から遠い位置に在る場合と、上肢がウェアラブル装置1から近い位置に在る場合と、で該上肢の所定動作(ジェスチャ)に基づく表示制御を概略同じにすることができるので、ひいては使い勝手が良くなる。
なお、上記の例では、撮像画像中の上肢の大きさに基づいて変更処理における変更率(拡大縮小率)が変更される構成を示したが、これに限定されない。例えば、上記のウェアラブル装置1は、測距部46によって検出された、ユーザの前後方向におけるウェアラブル装置1(自装置)と上肢(所定物)との距離Lに基づいて、変更率(拡大縮小率)が変更される構成としてもよい。
この場合、ウェアラブル装置1は、ウェアラブル装置1(自装置)と上肢(所定物)との距離Lに基づいて換算される換算値をL’(距離Lから換算値L’を取得するための変換テーブルは記憶部にて記憶される)とすれば、拡大縮小率Mは、式3(式3;拡大率M=aD×L’×100(aは定数))として規定される。ここで、換算値L’は、ウェアラブル装置1(自装置)と上肢(所定物)との距離Lがより大きい値となる程、より大きい値となるように規定される。
図21C及び図21Dの場合における上肢(右手H)は、図21A及び図21Bの場合よりもウェアラブル装置1に近い位置に在る(図21D参照)。そして、上肢(右手H)は、図21A及び図21Bの場合よりも大きい状態で視認される(図21C参照)。ウェアラブル装置1は、自装置と上肢(右手H)との距離Lから、変換テーブルを参照して、図21A及び図21Bの場合における換算値La’と図21C及び図21Dの場合における換算値Lb’とをそれぞれ取得する。換算値Lb’は、図21A及び図21Bの場合における換算値La’よりも小さい値となる。
そして、上記式3を適用すると、図21C及び図21Dの場合において、図21A及び図21Bの場合における換算値La’よりも小さい換算値Lb’が乗ぜられた拡大率Mbにてプレビュー画像60が拡大される。その結果、ウェアラブル装置1は、拡大後のプレビュー画像61の大きさを図21A及び図21Bの場合における拡大後のプレビュー画像61により近くすることができる。
図22を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明する。図22は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図20に示す例では、上肢の所定動作によってプレビュー画像を拡大縮小する処理を説明したが、図22に示す例では、上肢の所定動作によってズーム処理を行う例を説明する。
ウェアラブル装置1は、図22に示すステップS150として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ウェアラブル装置1は、ステップS150として、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。図22に示す例では、ウェアラブル装置1は、撮像範囲R内の右上にプレビュー画像60を表示する。
ステップS151では、利用者は、右手Hの人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態を取っている。
ステップS152では、利用者は、右手Hが撮像範囲R内におけるプレビュー画像60と重畳しない位置で、人差し指と親指とを互いに離す動作を行っている。そして、ウェアラブル装置1は、ステップS152として、人差し指と親指とが互いに離れる動作を検出したことによって、ズーム処理(変更処理)を実行する。ウェアラブル装置1は、人差し指と親指とが互いに離れた距離を検出し、検出した距離に基づいたズーム処理を行う。ズーム処理は、例えば、検出した距離と変換テーブルとに基づいて、撮像範囲Rにおけるズームインまたはズームアウトするズーム範囲を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、特定したズーム範囲を表示部32a及び32bに表示させてもよい。なお、人差し指と親指とが互いに接触した状態から、人差し指と親指とが互いに離れる動作のみがズーム処理を実行させるための動作に該当するのではなく、人差し指と親指とが互いに離れた状態から、人差し指と親指とがより離れる動作もズーム処理を実行させるための動作に該当する。
また、ウェアラブル装置1は、人差し指と親指とが互いに近づく動作を検出した場合には、プレビュー画像60の縮小処理を実行してもよい。
ステップS152にて説明したように、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢或いは上肢の所定部分(右手H、或いは、右手Hの予め登録された部分)を検出し、撮像画像中の上肢或いは上肢の所定動作によってズーム処理を実行することができる。これにより、ウェアラブル装置1は、利用者が所望とする大きさで映像データ70を取得することができ、ひいては使い勝手が良くなる。
再度、ステップS152を参照すると、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。利用者は、プレビュー画像60に自身の右手Hが表示されていることを認識する。その後、ステップS153では、利用者は、右手Hがプレビュー画像60から消失するように、右手Hを撮像範囲R外へ向けて移動させている。
ウェアラブル装置1は、ステップS153として、検出部44の検出結果に基づいて、右手Hがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動したかを判定する。ウェアラブル装置1は、右手Hが範囲外へ移動したと判定すると(或いは、プレビュー画像60から右手Hが消失したと判定すると)、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
このように、ウェアラブル装置1は、撮像範囲Rにプレビュー画像60を表示し、プレビュー画像60から右手H(上肢)が消失したことを検出すると、撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、プレビュー画像60を視認しながら、上肢を消失させるように移動させるだけで、撮像部40及び42によって前方の画像を撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
図22に示す例では、図20に示す例と同様にして、ウェアラブル装置1が、撮像部40及び42が撮像する撮像画像から所定物(上肢(或いは上肢における所定領域))を検出するとともに該所定物の所定動作(人差し指と親指とが離れる動作)を検出し、該所定動作に基づいた変更処理(ズーム処理)を実行する制御部22を備えるウェアラブル装置1である。ウェアラブル装置1は、変更処理における変更率(ズーム率)が撮像画像中の所定物の大きさに応じて変更されるものであってもよい。これにより、例えば、上肢がウェアラブル装置1から遠い位置に在る場合と、上肢がウェアラブル装置1から近い位置に在る場合と、で該上肢の所定動作(ジェスチャ)に基づく撮像制御(ズーム処理)を概略同じにすることができるので、ひいては使い勝手が良くなる。
なお、ウェアラブル装置1は、前述と同様に、他の例として、測距部46によって検出された、ユーザの前後方向におけるウェアラブル装置1(自装置)と上肢(所定物)との距離Lに基づいて、変更率(ズーム率)が変更される構成としてもよい。
図23は、撮像画像中の上肢の大きさP(或いは、上肢と自装置との距離L)と、換算値P’(或いは、L’)と、が対応付けられた変換テーブルの一例を示す図である。以下、撮像画像中の上肢の大きさPに基づく変更処理に関する例を述べる。
図23には、2つのパターンを示している。パターンP1は、撮像画像中の上肢の大きさPが段階的に変化するにつれて、換算値が段階的に変化すると共に、上肢の単位移動距離(例えば、人差し指と親指とが1cm離れるとき)における画像の拡大縮小率(変更率)が段階的に変化する例が示されている。即ち、パターンP1は、換算値を適用した変更率にて変更処理がなされるパターンである。しかしながら本実施形態においては、パターンP1に限定されない。パターンP2は、撮像画像中の上肢の大きさPが所定の範囲内にある間は、変更率に基づく変更処理の実行を行わない例である。例えば、撮像画像中の上肢の大きさPが21%以上の場合には、換算値を適用せず、即ち、変更率に基づく変更処理の実行を行わず、他の変更処理を行う。他の変更処理としては、所定画像の互いに対向する2つの角を、人差し指の指先の位置と親指の指先の位置に合わせるように(添わせるように)、該表示画像の大きさを変更する処理である。なお、パターンP2は、撮像画像中の上肢の大きさPが20%以下の場合には、前述のパターンP1と同様、変更率に基づく変更処理を実行する。
図24を参照しながら、ウェアラブル装置1による制御の処理手順について説明する。図24は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図24に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図24に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図24に示すように、ウェアラブル装置1の制御部22は、ステップS1201として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していない場合、(ステップS1202,No)、制御部22は、ステップS1201の処理を再実行する。
上肢を検出した場合(ステップS1202,Yes)、制御部22は、処理をステップS1203に進める。制御部22は、ステップS1203として、撮像部40及び42を起動させる。制御部22は、ステップS1204として、表示部32a及び32bにプレビュー画像60を表示させる。
制御部22は、ステップS1205として、撮像部40及び42の映像データ70から逐次伝送される撮像画像(一時的に記憶部24に保存される映像データ70)中の上肢(或いは上肢における所定領域)の大きさを検出する。ここで、上肢(或いは上肢における所定領域)の大きさは、撮像画像全域に対する上肢(或いは上肢における所定領域)の割合としてよい。
制御部22は、ステップS1206として、ステップS1205の検出結果に基づいて、上肢の大きさが変化したかを判定する。上肢の大きさが変化していないと判定された場合(ステップS1206,No)、制御部22は、処理を後述するステップS1208へ進める。
制御部22は、ステップS1206において、上肢の大きさが変化したと判定した場合(ステップS1206,Yes)、ステップS1207として、変化した上肢の大きさに基づいた変更率を設定する。制御部22は、ステップS1207における処理を終えた後、ステップS1208の処理へ移行する。
制御部22は、ステップS1208として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の所定動作を検出したかを判定する。ここで、所定動作とは、例えば、人差し指と親指とを離す(或いは近づける)動作であり、後述するステップS1213で判定する上肢の移動動作は該当しない。上肢の所定動作を検出していないと判定された場合(ステップS1208,No)、制御部22は、処理を後述するステップS1213へ進める。
制御部22は、ステップS1208において、上肢の所定動作を検出したと判定した場合(ステップS1208,Yes)、ステップS1209として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の位置を検出する。
制御部22は、ステップS1210において、ステップS1209で検出された上肢の位置が撮像範囲R内におけるプレビュー画像60と重畳する位置であるかを判定する。上肢の位置がプレビュー画像60と重畳する位置にあると判定された場合(ステップS1210,Yes)、制御部22は、処理をステップS1211へ進める。制御部22は、ステップS1211として、プレビュー画像60の大きさを変更する(拡大縮小処理を行う)。ここで、プレビュー画像60の拡大縮小処理は、ステップS1207において設定された変更率(拡大縮小率)に基づいて実行される。制御部22は、ステップS1211における処理を終えた後、処理を後述するステップS1213へ進める。
一方、ステップS1210において、上肢の位置がプレビュー画像60と重畳する位置にあると判定されなかった場合(ステップS1210,No)、制御部22は、処理をステップS1212へ進める。制御部22は、ステップS1212として、撮像部40及び42によるズーム処理を実行する。ここで、ズーム処理は、ステップS1207において設定された変更率(ズーム率)に基づいて実行される。制御部22は、ステップS1212における処理を終えた後、処理をステップS1213へ進める。
制御部22は、ステップS1213として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS1214として、ステップS1213の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していないと判定した場合(ステップS1214,No)、制御部22は、ステップS1213以降の処理を再実行する。
撮像範囲R外へ移動したと判定した場合(ステップS1214,Yes)、制御部22は、処理をステップS1215へ進める。制御部22は、ステップS1215として、撮像画像を取得する。具体的には、制御部22は、予め設定された焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS1216として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図24に示す処理手順を終了する。
図25を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図25は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図25は、図20の場合と同様、ウェアラブル装置1によるプレビュー画像の拡大縮小処理を行う制御の例である。
図25に示すステップS160において、利用者は、表示部32a及び32bを透して視認している撮像範囲Rにおいて、利用者から見てプレビュー画像60と重畳する位置まで右手Hを移動させている。このとき利用者の右手Hは、人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態となっている。なお、ステップS160においては、検出部44によって右手Hが撮像範囲R内に進入したことが検出され、撮像部40及び42が撮像待機状態となっている。このとき、ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS161では、利用者は、右手Hがプレビュー画像60と重畳している状態で、人差し指と親指とを互いに離す動作を行っている。そして、ウェアラブル装置1は、人差し指と親指とが互いに離れる動作を検出したことによって、プレビュー画像60を拡大している。このとき、ウェアラブル装置1は、人差し指と親指とが離れる方向(第1方向;T1)を検出し、該方向T1を一時的に記憶する。ここで、第1方向T1は、人差し指が親指から離れる方向であってもよいし、親指が人差し指から離れる方向であってもよい。
次に、ステップS162において、利用者は、上肢を第1方向T1と所定角度以上で交わる第2方向T2へ移動させている(ステップS62において、第2方向T2は、第1方向T1と略直交する方向である)。このとき、ウェアラブル装置1は、上肢が第2方向T2へ移動したことを検出する。そして、ウェアラブル装置1は、第2方向T2への上肢の移動の検出を契機に、人差し指と親指とが互いに離れる動作が完了したものと判定する。
このような構成を有することにより、ウェアラブル装置1は、画像の拡大縮小操作に関与する動作(人差し指と親指とを第1方向に離す動作)に相互作用し難い動作(上肢の第2方向へ移動)に基づいて、拡大縮小操作を完了させることができるため、操作が煩わしくならず、ひいては使い勝手が良くなる。
下記に種々の変形例を示す。
上記の実施形態では、画像の拡大縮小操作を行うための動作と、画像の拡大縮小操作を完了するための動作と、を互いに異なる方向への動作によって区別させる構成としたが、これに限定されない。
図26を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図26は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図26は、図20の場合と同様、ウェアラブル装置1によるプレビュー画像の拡大縮小処理を行う制御の例である。図26に示す例では、各ステップ毎に、表示部32a及び32bの表示内容(表示領域における、撮像範囲Rと重畳する領域での表示内容)と、ウェアラブル装置1と上肢との距離Lと、をそれぞれ示している。ウェアラブル装置1と上肢とのユーザの前後方向における距離Lは、測距部46によって検出される。
ステップS170において、利用者は、表示部32a及び32bを透して視認している撮像範囲Rにおいて、利用者から見てプレビュー画像60と重畳する位置まで右手Hを移動させている。このとき利用者の右手Hは、人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態となっている。ウェアラブル装置1は、ステップS170として、検出部44によって右手Hが撮像範囲R内に進入したことを検出し、撮像部40及び42を撮像待機状態としている。このとき、ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。なお、ステップS170において、ウェアラブル装置1と上肢(右手H)との距離は、距離L1である。
ステップS171では、利用者は、右手Hがプレビュー画像60と重畳している状態で、人差し指と親指とを互いに離す動作を行っている。ウェアラブル装置1は、ステップS171として、人差し指と親指とが互いに離れる動作を検出したことによって、プレビュー画像60をプレビュー画像61へ拡大している。なお、ステップS171において、ウェアラブル装置1と上肢(右手H)との距離は、ステップS170と同様、距離L1である。
ステップS172では、利用者は、右手HをステップS171の場合よりも手前に移動させている。ウェアラブル装置1と上肢(右手H)との距離は、距離L1よりも小さい距離L2となっている。この状態では、ウェアラブル装置1は、所定動作(人差し指と親指とを離す動作)がなされたことを検出しても、プレビュー画像60の拡大縮小処理を実行しない。
このように、図26等に示す例に係る構成によれば、ウェアラブル装置1は、自装置と上肢(所定物)とのユーザの前後方向における距離Lが異なる第1状態と第2状態とを区別して検出する。ウェアラブル装置1は、第1状態(距離L1の状態)において、プレビュー画像60(オブジェクト)に対する所定の処理(人差し指と親指とを離す(或いは近づける)動作によってプレビュー画像60を拡大縮小させる処理)を実行可能にする。一方で、ウェアラブル装置1は、第2状態(距離L2の状態)において、前記処理を実行不可能にする。
このような構成を有することにより、ウェアラブル装置1は、画像の拡大縮小操作に関与する指の動作とは区別される他の動作(上肢をウェアラブル装置1に近づく方向或いは遠ざかる方向に移動させる動作)によって、拡大縮小操作を完了させることができるため、操作が煩わしくならず、ひいては使い勝手が良くなる。
なお、図26等に示す例では、自装置と上肢(所定物)との距離Lが異なる第1状態と第2状態とを区別するに際して、測距部46による距離Lの検出の代わりに、撮像部40及び42によって撮像される撮像画像中における上肢の大きさに基づいて、自装置と上肢(所定物)との距離を推定する構成としてもよい。
そして、図26等に示す例では、所定の処理として画像の拡大縮小処理を例示したが、これに限定されず、他の処理にも適用されてよい。例えば、オブジェクトに対する所定の処理は、オブジェクトのドラッグ操作を行う処理であってもよい。この場合の一例を、図26におけるウェアラブル装置1と上肢との距離の模式図を参照して説明する。ウェアラブル装置1と上肢との距離Lが所定距離L2である状態において、ウェアラブル装置1は、ドラッグ操作を実行不可能な状態とする。利用者が、ウェアラブル装置1から遠ざかる方向に上肢を移動させる動作(上肢を奥に押し込む動作)を行うことで、ウェアラブル装置1は、距離Lが距離L2よりも大きい距離L1となった場合に、ドラッグ操作を実行可能な状態としてよい。このようにすると、利用者が上肢を奥に押し込む動作を行っている場合には、ドラッグ操作を行うことができ、利用者が所望とする位置において、利用者が上肢を手前に引く動作を行うことによって、オブジェクトをドロップする(選択状態を解除する)ことができる。ドラッグ操作は、例えば、上肢がオブジェクトの表示位置に所定時間以上、重畳したことによって、オブジェクトが選択された状態と見なされ、該選択された状態で、上肢の位置の移動に追従してオブジェクトの表示位置を移動させる操作を含む。
上記の実施形態では、ウェアラブル装置1は、撮像画像中における上肢の大きさ(或いは、ウェアラブル装置1と上肢との距離)に基づいて、表示するアイコンの大きさや、画像の拡大縮小処理(変更処理)における拡大縮小率(変更率)を変更する構成を例示したが、これに限定されない。
図27を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図27は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図27は、ウェアラブル装置1の表示領域の変更を行う制御の例である。図27に示す例では、各ステップ毎に、表示部32a及び32bの表示内容(表示領域における、撮像範囲Rと重畳する領域での表示内容)と、ウェアラブル装置1と上肢との距離Lと、をそれぞれ示している。ウェアラブル装置1と上肢とのユーザの前後方向における距離Lは、測距部46によって検出される。
ステップS180において、上肢(右手H)は、ウェアラブル装置1から前方へ距離L1の位置に在る。このとき、ウェアラブル装置1は、ウェアラブル装置1と上肢とが距離L1であることに応じて、表示部32a及び32bの表示適用領域を領域81としている。表示適用領域は、撮像範囲R内の上肢の位置に基づき、該位置を含む領域となっている。領域81内には、上肢(右手H)が重畳することによって所定処理を実行させることが可能なアイコン群58が表示されている。
ステップS181では、利用者は、上肢(右手H)をステップS180の場合よりも手前に移動させている。ウェアラブル装置1と上肢(右手H)との距離は、距離L1よりも小さい距離L2となっている。このとき、利用者が表示部32a及び32bを介して視認する上肢(右手H)の大きさが、ステップS180の場合よりも大きくなる。そして、ウェアラブル装置1は、ウェアラブル装置1と上肢との距離が距離L2であること(上肢(右手H)が大きく視認されていること)に応じて、表示適用領域を領域81よりも大きい領域82としている。なお、領域82内には、上肢(右手H)が重畳することによって所定処理を実行させることが可能なアイコン群58が表示されている。
このようにウェアラブル装置1は、ウェアラブル装置1と上肢との距離Lの変化に基づいて、利用者が表示部32a及び32bを介して視認する上肢(右手H)の大きさの変化を推定し、該推定した大きさに基づいて、表示適用領域の大きさを変更する。このような構成により、表示部32a及び32bの表示領域における所定箇所に上肢(右手H)を重畳させる等によって操作を行うに際して、上肢(右手H)の大きさによって、適切な範囲を操作領域にすることができるので、上肢(右手H)を大きく動かすことなく、操作を行うことが可能となる。
なお、図27に示す例では、ウェアラブル装置1は、測距部46による距離Lの検出の代わりに、撮像部40及び42によって撮像される撮像画像中における上肢の大きさに基づいて、表示適用領域の大きさを変更する構成としてもよい。
上記の実施形態では、変更処理が表示画像の拡大縮小処理や、ズーム処理である場合を例示したがこれに限定されない。例えば、変更処理は、棒状の操作領域を有する変更バーを用いた処理であってもよい。例えば、変更バーは、楽曲再生アプリケーションの起動時において、楽曲の再生時の音量を変更するための変更バーや、動画再生アプリケーションの起動時において、データの再生箇所を表示すると共に、所定操作によって再生箇所を変更するためのシークバー、等を含む。例えば、変更処理は、撮像画像中に検出される上肢の大きさ(撮像画像全体に対する、上肢の領域の割合)が所定値以上である場合には、第1長さを有する変更バーを表示部32a及び32bに表示し、撮像画像中に検出される上肢の大きさが所定値未満である場合には、第1長さよりも小さい第2長さを有する変更バーを表示部32a及び32bに表示してよい。このような構成により、変更バーに表示されたスライダー(例えば、つまみ状の操作部分)を上肢の位置の移動に基づいてスライドさせるに際して、上肢の移動可能範囲に適した範囲で、スライドさせることができる。例えば、利用者が表示部32a及び32bを介して視認する上肢(右手H)の大きさが不当に大きい場合には、上肢の僅かな動作(上肢の位置の僅かな移動)によって、スライダーが不当に大きな距離移動してしまうが、本実施形態に係るウェアラブル装置1ではこのようなことが起こり難くなる。
上記の実施形態における「変更処理」とは、例えば、所定機能の実行に関し、連続的又は段階的に変化する、物理量、設定値、パラメータ、又は利用者によって実感される感覚量等を変更する処理である。例えば、変更処理の対象は、撮像機能に係る露出補正における補正値、ISO感度、ホワイトバランス、シャッタースピード、絞り値、被写界深度、焦点距離、ズーム率、楽曲再生等における音量、動画再生等における再生箇所、マイク等の集音量、表示画像の大きさ、表示位置、表示画像の拡大縮小操作における拡大縮小率、等を含む。なお、所定状態を有した指の数に基づいて、複数の選択対象(例えば、複数の表示画像)の内の何れかを選択する処理は「変更処理」に含まれない。
次に、図28を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図28は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例を説明するための図である。
ウェアラブル装置1は、図28に示すステップS230として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、アイコン65、66を表示部32a及び32bに表示させる。アイコン65は、例えば、撮像機能の1つである。アイコン65は、ISO感度を変更する機能を示した表示画像である。アイコン66は、例えば、撮像機能の1つである。アイコン66は、露出補正における補正値を変更する機能を示した表示画像である。本実施形態では、ウェアラブル装置1は、アイコン65、66を撮像範囲R内に表示する場合について説明するが、撮像範囲R外に表示してもよい。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
ステップS230では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン65、66を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン65、66を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
ステップS230において、利用者は、右手Hの人差し指を伸展させている。ここで、指が伸展しているとは、指が所定状態を有していることを意味する。そして、例えば、ステップS230に示すような人差し指のみが伸展している場合においては、該人差し指の所定領域を、表示部32a及び32bの表示領域の所定位置を指定可能なポインタとして機能させてもよい。ここで、人差し指の所定領域とは、例えば、人差し指における第1関節よりも指先に近い部分や右手Hの人差し指の爪等と規定されてもよい。
ステップS230において、利用者は、人差し指の所定領域を表示部32a及び32bの表示領域におけるアイコン65に重畳させている。利用者は、撮像範囲R内において人差し指の所定領域がアイコン65に重畳していることを視認している。このとき、ウェアラブル装置1は、撮像範囲Rと表示部32a及び32bの表示領域とを略一致させている。従って、ウェアラブル装置1は、人差し指の所定領域とアイコン65とが重畳しているように利用者が視認していることを認識する。ウェアラブル装置1は、人差し指の所定領域がアイコン65に重畳したことに基づいて、アイコン65を選択状態にする。なお、人差し指の所定領域がアイコン65に所定時間以上重畳したことに基づいてアイコン65が選択される構成であってもよい。アイコン65が選択状態となると、ウェアラブル装置1は、ステップS231に移る。
ステップS231において、ウェアラブル装置1は、アイコン65が選択されたことに基づいて、新たな表示画像である一覧67を表示する。一覧67は、アイコン65の表示内容(ISO感度の変更機能)に基づいた設定値の一覧である。設定値の種類は、後述するが、伸展した指の本数によってそれぞれが選択可能なように、5以下の種類に規定されている。ステップS231の例では、設定値は、4種類に規定されている。各設定値には、それぞれ番号が付されている。なお、一覧67は、必ずしも、各設定値に番号が付されている構成である必要はない。ステップS231では、ステップS232と同様に、所定状態(伸展している状態)を有した指の数が1(人差し指のみ)であることに基づいて、4種類の設定値の内、1番目(一番上段)の設定値(400)が設定されている。なお、ステップS231において、一覧67は、ステップS230におけるアイコン66に重畳する位置に表示されているが、これ以外の位置に表示されてもよい。
次に、ステップS232に示すように、利用者が人差し指に加えて、中指、薬指を伸展させたとする。すると、所定状態(伸展している状態)を有した指の数が3に変化したことに基づいて、4種類の設定値の内、3番目の設定値(1600)が設定される。
次に、ステップS233に示すように、利用者は、右手Hが撮像範囲R内から撮像範囲R外へ移動させる。このとき利用者は、伸展している指の数を変えることなく右手Hを移動させている。ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定すると、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、ステップS32で設定されたISO感度(1600)にて前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
上記のように、ウェアラブル装置1における制御部22は、検出部44としての撮像部40及び42の検出結果から上肢における所定状態を有した指(伸展した指)の数を検出し、該指の数に基づいて、所定機能に関する変更処理(上記の例では、撮像機能におけるISO感度の変更)を実行する。これにより、ウェアラブル装置1は、簡易で直感的な動作によって操作が可能となる。ここで、変更処理は、上記のISO感度の変更以外にも、所定機能の実行内容に関する所定の設定値を変更可能な如何なる処理であってもよい。
なお、上記の実施形態では、撮像範囲R内における人差し指の所定領域の位置に基づいて表示領域の所定位置を指定する構成としたが、これに限定されない。例えば、撮像部40及び42以外の検出部44の検出範囲内における人差し指の所定領域の位置に基づいて表示領域の所定位置を指定する構成(ポインタとして機能させる構成)であってもよい。
次に、図29を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図29は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例を説明するための図である。
ウェアラブル装置1は、図29に示すステップS240として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、図28に示す例と同様にして、アイコン65、66を表示部32a及び32bに表示させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。利用者は、表示部32a及び32bにアイコン65、66を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。
ステップS240において、利用者は、右手Hの人差し指を伸展させている。そして、人差し指の所定領域(人差し指における第1関節よりも指先に近い部分)を、表示部32a及び32bの表示領域の所定位置を指定可能なポインタとして機能させているものとする。
ステップS240において、利用者は、人差し指の所定領域を表示部32a及び32bにおけるアイコン65の表示領域に重畳させている。ウェアラブル装置1は、人差し指の所定領域とアイコン65とが重畳しているように利用者が視認していることを認識し、これを契機として、アイコン65に基づく機能に関する変更処理を実行可能な状態にする。
ステップS241において、ウェアラブル装置1は、図28に示す例と同様にして、アイコン65の表示内容(ISO感度の変更機能)に基づいた設定値の一覧67を表示する。一覧67は、伸展した指の本数によってそれぞれが選択可能なように、5以下の種類に規定されている。ここで、利用者は、人差し指の所定領域を表示部32a及び32bにおけるアイコン65の表示領域に重畳させている状態(アイコン65に基づく変更処理を実行可能な状態)において、人差し指に加えて、中指、薬指を伸展させている。すると、ウェアラブル装置1は、所定状態(伸展している状態)を有した指の数が3に変化したことに基づいて、4種類の設定値の内、3番目の設定値(1600)を変更する。
ステップS240、S241において、ウェアラブル装置1における制御部22は、撮像部40及び42が撮像する撮像画像から、人差し指の所定領域が現実の第1所定空間に含まれるかを判定している。ここで、第1所定空間は、利用者が表示部32a及び32bを介して、アイコン65と重畳して視認し得る空間である。言い換えると、ウェアラブル装置1における制御部22は、利用者が、人差し指の所定領域とアイコン65の表示領域とが重畳しているように視認しているか否かを判定する。そして、人差し指の所定領域が第1所定空間に含まれる、即ち、ウェアラブル装置1は、人差し指の所定領域がアイコン61の表示領域と重畳しているように利用者によって視認されていると判定した場合に、図28に示す例と同様に変更処理を実行可能にする。
次に、ステップS242において、利用者は、人差し指の所定領域をアイコン66の表示領域に重畳させる。このとき、ウェアラブル装置1における制御部22は、利用者が表示部32a及び32bを介してアイコン66と重畳して視認し得る空間(第1所定空間)に人差し指の所定領域があると判定する。そして、制御部22は、変更処理を実行可能にする。ステップS242において、ウェアラブル装置1は、アイコン66の表示内容(露出補正機能)に基づいた設定値の一覧68を表示する。ステップS242に示す例では、制御部22は、所定状態(伸展している状態)を有した指の数が4であることに基づいて、一覧68の露出補正における5種類の設定値の内、4番目の設定値(+1)が設定される。
以上のように、ウェアラブル装置1における制御部22は、上肢の所定部分が現実の第1所定空間に含まれるかを判定し、上肢の所定部分が現実の第1所定空間に含まれると判定した場合に、変更処理の実行を許可にする。これにより、利用者が意図して上肢の所定部分を第1所定空間に位置させる場合以外は、変更処理を行わないので、誤操作を減らすことが出来る。
なお、上記の例では、ウェアラブル装置1は、撮像部40及び42によって撮像される撮像画像より、現実の空間における上肢(或は上肢の所定領域)の位置を検出する構成を示しているが、これに限定されない。例えば、ウェアラブル装置1は、撮像部40及び42以外の検出部44によって、現実の空間中における上肢の位置が検出されてもよい。このとき、例えば、利用者の前方の空間を、該前方方向をz軸とした3次元座標系で定義し、該空間における上肢の位置(x、y)を検出し、表示領域における所定位置に対応づけることで、上肢の位置によって、表示部32a及び32bの表示領域における所定位置の指定を行えるようにしてもよい。
図30を参照しながら、ウェアラブル装置1による制御の処理手順の一例について説明する。図30は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図30に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図30に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
図30に示すように、ウェアラブル装置1の制御部22は、ステップS2101として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していないと判定した場合(ステップS2102,No)、制御部22は、ステップS2101の処理を再実行する。
上肢を検出したと判定した場合(ステップS2102,Yes)、制御部22は、処理をステップS2103に進める。制御部22は、ステップS2103として、撮像部40及び42を起動させる。制御部22は、ステップS2104として、表示部32a及び32bにアイコン65、66を表示させる。
制御部22は、ステップS2105として、撮像部40及び42の映像データ70から逐次伝送される撮像画像から、現実の空間における上肢の所定領域の位置を推定する。次に、ステップS2106において、ステップS2105で推定した上肢の位置に基づいて、上肢の所定領域が現実の第1所定空間に含まれるかを判定する。言い換えると、制御部22は、人差し指の所定領域がアイコン65の表示領域と重畳しているように、利用者によって視認されているか否かを判定する。
上肢が第1所定空間に含まれると判定した場合(ステップS2106,Yes)、制御部22は、処理をステップS2107に進める。一方、上肢が第1所定空間に含まれないと判定した場合(ステップS2106,No)、ステップS2105の処理を再実行する。
制御部22は、ステップS2107として、変更処理を実行可能な状態とする。この場合、制御部22は、設定値の一覧67を表示部32a及び32bに表示させる。
制御部22は、ステップS2108として、所定状態を有した指の数を検出する。そして、制御部22は、ステップS2109として、所定状態を有した指の数に基づいて、変更処理を実行する。具体的には、制御部22は、撮像機能に関する設定値を、所定状態を有した指の数に基づいた設定値に変更する。
制御部22は、ステップS2110として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS2111として、ステップS2110の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していないと判定した場合(ステップS2111,No)、制御部22は、ステップS2110以降の処理を再実行する。
撮像範囲R外へ移動したと判定した場合(ステップS2111,Yes)、制御部22は、処理をステップS2112へ進める。制御部22は、ステップS2112として、撮像画像を取得する。具体的には、制御部22は、ステップS2109において設定された設定値にて、撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS2113として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図30に示す処理手順を終了する。
上記の図28及び図29に示す例では、ウェアラブル装置1は、上肢の所定部分が撮像機能に関するアイコン65(或は66)に重畳したことを契機に変更処理を実行可能とする構成を示したが、これに限定されない。例えば、ウェアラブル装置1は、上肢の所定部分が撮像範囲R(或は検出部44の検出範囲)に進入したことを契機に、該進入時における所定状態を有した指の数に基づいて変更処理を実行してもよい。これにより、変更処理される機能が予め定められている場合には、利用者がこれを把握しておくことで、表示画像等を確認しながら行う必要などなく操作できる。また、変更処理は、撮像機能に関する処理のみに限定されない。例えば、ウェアラブル装置1が所定の表示画像を表示している場合に、変更処理として、所定状態を有した指の数に基づいて表示画像を拡大縮小してもよい。また、表示画像が文字情報と写真(或いはイメージ図)とからなる場合に、所定状態を有した指の数に基づいて文字情報のみを拡大する構成であってもよいし、所定状態を有した指の数に基づいて写真のみを拡大する構成であってもよい。また、伸展した指をポインタとして機能させ、該伸展した指の所定領域の現実空間における位置(或いは、伸展した指の所定領域の撮像画像中における位置)によって表示部32a及び32bの表示領域の所定位置を指定可能とした場合に、該指定した位置を含む所定の表示領域のみを拡大縮小できるようにしてもよい。
また、変更処理としては、例えば、楽曲再生アプリケーションの起動時において、楽曲の再生時の音量を、伸展した指の数に基づいて変更する処理であってもよい。
また、変更処理としては、例えば、動画再生アプリケーションの起動時において、データの再生箇所を、伸展した指の数に基づいて変更する処理であってもよい。
また、上記の実施形態では、所定状態を有した指として、伸展した指の数を検出する構成を示したが、これに限定されない。例えば、指の曲げられている状態を所定状態としてもよい。ここで、指が曲げられているとは、指の関節(第1〜第3関節の内のいずれの関節でもよい。)が所定角度以上曲げられていることとしてよい(一方で、指の関節が所定角度未満しか曲げられていない場合には、指が伸展しているものと見なしてもよい)。指が曲げられている状態が所定時間以上継続している場合に、所定状態を有しているものと見なしてもよいし、指が伸展している状態から指が曲げられている状態へ遷移したことをもって所定状態を有したものと見なしてもよい。
また、ウェアラブル装置1は、上肢の所定部分が撮像範囲R(或は検出部44の検出範囲)に進入したことを検出すると、該検出時(上肢の進入時)における所定状態を有した指の数に基づいた変更処理を実行しないようにしてもよい。例えば、ウェアラブル装置1は、制御部22が、上肢の所定部分が現実の第2所定空間(撮像範囲R)に進入したかを判定し、上肢の所定部分が現実の前記第2所定空間に進入したと判定した場合には、該進入した時点における前記所定状態を有した指の数に基づいた前記変更処理を実行しない構成を有していてもよい。この場合、利用者が上肢を撮像範囲R内に進入させた時点で不意に変更処理がなされる、といったことを生じさせずに済む。
また、ウェアラブル装置1は、伸展した指が5指の内の複数の指である場合、該複数の指の組み合わせが所定の組み合わせであるかを判定し、所定の組み合わせである場合には、所定状態を有した指の数に基づいた変更処理に替えて他の処理を実行するようにしてもよい。
また、ウェアラブル装置1は、伸展した指が5指の内の複数の指である場合、該複数の指の組み合わせが所定の組み合わせであるかを判定し、組み合わせが所定の組み合わせである場合には、第1所定時間内に伸展した指が所定の動作をしたかを判定し、該所定の動作をした場合には、前記所定状態を有した指の数に基づいた前記変更処理に替えて該所定の動作に基づく処理を実行するようにしてもよい。
例えば、伸展している指が人差し指と親指である場合、伸展した指の数が2であることに基づいた変更処理を行うのではなく、他の処理として、人差し指と親指とを互いに離す、或いは互いに近づける動作を利用者が行うことによって、表示画像等を拡大縮小する処理を行えるようにしてもよい。
また、例えば、伸展している指が人差し指と親指であると検出した場合、該検出時から第1所定時間内に、人差し指と親指の所定の動作として、人差し指の所定部分と親指の所定部分とを互いに離す、或いは互いに近づける動作がなされるかを判定し、該動作がなされたと判定した場合には、該動作に基づく他の処理(表示画像等を拡大縮小する処理等)を行えるようにしてもよい。また、伸展している指が人差し指と親指であると検出した時から第1所定時間内に、人差し指の所定部分と親指の所定部分とを互いに離す、或いは互いに近づける動作がなされなかった場合には、伸展した指の数に基づく変更処理を実行してもよい。
また、ウェアラブル装置1における制御部22は、伸展した指の数及び現実の空間における上肢の位置が所定時間以上、変化しなかった場合に、変更処理を実行するようにしてもよい。これにより、利用者が意図せず指の伸展動作を行った場合、又は、意図せず上肢の位置を止めた場合のみにおいては変更処理がなされないので誤操作を招く可能性を低減することができる。
また、ウェアラブル装置1における制御部22は、上肢における指の伸展動作がなされたことを契機に、前記変更処理を実行可能な状態とし、変更処理が実行可能な状態であるときに、上肢における指の伸展動作が再度なされたことを契機に、変更処理を実行するようにしてもよい。これにより、例えば、利用者がウェアラブル装置1に変更処理を実行させるための操作として、指の伸展動作(最初の伸展動作)を行ったとしても、該操作によっては変更処理が行なわれず、次の伸展動作によって変更処理が行われるので、最初の伸展動作によって不意に変更処理される、といったことがなくなる。
また、上記の実施形態では、上肢が撮像範囲R内から撮像範囲R外へ移動したことを契機に、撮像画像の取得処理を実行する構成を示した。ここで、制御部22は、上肢が撮像範囲R内から撮像範囲R外へ移動したことによって、伸展した指の数が変化した場合には、該変化した指の数に基づく変更処理は実行しないようにしてもよい。具体的には、上肢が撮像範囲R内から撮像範囲R外へ移動することによって、上肢(右手H等でもよい)の一部が撮像範囲R外に在る場合は、伸展した指の数に変化があっても、これに基づく変更処理は実行しない。すなわち、上肢(右手H等でもよい)が撮像範囲R内にある状態での、伸展した指の数を記憶しておき、上肢(右手H等でもよい)が撮像範囲R外に移動した後も、その数に基づいて変更処理に適用する。
また、上記の実施形態では、片手(右手H)のみにおいて、所定状態を取り得る指が1〜5であることに依って、設定値を5段階(5種類)に分ける構成を示したが、これに限定されず、例えば、設定値を10段階(或いは、6〜9段階)に分け、両手における所定状態を有した指の数に基づいて、変更処理を行えるようにしてもよい。
また、上記の実施形態では、片手(右手H)のみにおいて、所定状態を取り得る指が1〜5であることに依って、設定値を5段階に分ける構成を示したが、これに限定されない。例えば、設定値を4段階に分け、所定状態を有する指の数が2〜5の何れかである場合に、該数に基づいて、4段階の内の何れかの設定値に変更される構成としてもよい。この場合、所定状態を有した指の数が1である場合には、該指の移動に基づいて表示部32a及び32bの表示領域の所定位置を指定するためのポインタとして機能させてよい。
また、上記の実施形態では、所定状態を有した指の数が多くなるにつれてより大きい設定値が設定される、即ち、所定状態を有した指の数の大小と設定される設定値の大小とが対応付けられている例を示したが、これに限定されない。所定状態を有した指の数が多くなるにつれてより小さい設定値が設定される構成であってもよい。また、所定状態を有した指の数の大小と設定される設定値の大小とが対応付けられておらず、ランダムに対応付けられていてもよい。
また、上記実施形態において、ウェアラブル装置1は、撮像画像中の所定物(上肢)の所定領域の大きさが所定の大きさ以上である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。例えば、利用者がウェアラブル装置1に触れる等の、操作とは異なる動作を行うことによって、不当に大きい大きさで上肢が撮像画像にて検出される場合には、変更処理を行わないので、利用者が煩わしい思いをしないで済む。
また、ウェアラブル装置1は、測距部46の検出結果から算出される、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が所定距離以下である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。
また、ウェアラブル装置1の制御部22は、撮像画像中の所定物(上肢)の所定領域の大きさが所定の大きさ未満である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。例えば、利用者の前方に居る他者の上肢を検出する等の、不当に小さい大きさで上肢が撮像画像にて検出される場合には、変更処理を行わないので、利用者が煩わしい思いをしないで済む。
また、ウェアラブル装置1は、測距部46の検出結果から算出される、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が所定距離以上である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。
上記の実施形態では、ウェアラブル装置1が、眼鏡形状を有する例を示してきたが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していてもよい。或いは、ウェアラブル装置1は、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していてもよい。
上記の実施形態では、表示部が利用者の左右の目の前に設けられる一対の表示部32a、32bを有している構成を例示してきたが、これに限定されず、表示部は、利用者の左右の目の内の一方の前に設けられる一つの表示部を有している構成であってもよい。
また、上記の実施形態では、正面部の縁部が、表示部32a、32bの表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部32a、32bの表示領域の縁の一部のみを囲っている構成であってもよい。
また、上記の実施形態では、利用者の上肢として手や指を撮像部(或いは検出部)によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても同様にして検出可能である。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
1 ウェアラブル装置
1a 前面部
1b 側面部
1c 側面部
13 操作部
22 制御部
24 記憶部
24a 制御プログラム
24b 撮像データ
25 検出処理部
26 表示制御部
32a、32b 表示部
40、42 撮像部
44 検出部
46 測距部
71 撮像画像
R 撮像範囲

Claims (12)

  1. 頭部に装着可能なウェアラブル装置であって、
    ユーザの眼前に配置される表示部と、
    ユーザの前方の景色を撮像する撮像部と、
    前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、
    前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
    ウェアラブル装置。
  2. 前記変更率は、前記撮像画像中の前記所定物の大きさが大きくなる程、小さくなる
    請求項に記載のウェアラブル装置。
  3. 前記所定物は、ユーザの上肢であり、
    前記制御部は、前記上肢における一の指と他の指とが離れる動作、或いは、前記上肢における一の指と他の指とが近づく動作を前記所定動作として検出する
    請求項又はに記載のウェアラブル装置。
  4. 前記制御部は、前記変更処理として、前記表示部が表示する表示画像の大きさを変更する処理を行い、
    前記撮像画像中の前記所定物の大きさが所定の範囲内にある場合は、前記変更率に基づく前記変更処理の実行を行わず、
    前記上肢における一の指の位置と他の指の位置とに基づく他の変更処理を行う
    請求項に記載のウェアラブル装置。
  5. 前記表示画像の互いに対向する2つの角部のそれぞれが、前記一の指の位置と他の指の位置のそれぞれに対応するように、該表示画像の大きさを変更する
    請求項に記載のウェアラブル装置。
  6. 前記制御部は、前記一の指と他の指とが離れる、或いは、前記一の指と他の指とが近づく第1方向を検出し、
    前記所定動作がなされた後に、前記第1方向と所定角度以上で交わる方向に前記上肢が移動したことを検出したことを契機に前記所定動作が完了したものと判定する
    請求項に記載のウェアラブル装置。
  7. 頭部に装着可能なウェアラブル装置であって、
    ユーザの眼前に配置される表示部と、
    ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、
    現実に存在する物体を検出する検出部と、
    前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、
    前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
    ウェアラブル装置。
  8. 前記変更率は、前記自装置と所定物との間の距離が大きくなる程、大きくなる
    請求項に記載のウェアラブル装置。
  9. ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
    撮像部によってユーザの前方の景色を撮像するステップと、
    前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、
    前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
    制御方法。
  10. ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、
    撮像部によってユーザの前方の景色を撮像するステップと、
    前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、
    前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
    制御プログラム。
  11. ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
    ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、
    検出部によって現実に存在する物体を検出するステップと、
    前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、
    前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
    制御方法。
  12. ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、
    ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、
    検出部によって現実に存在する物体を検出するステップと、
    前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、
    前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
    制御プログラム。
JP2017502443A 2015-02-25 2016-02-24 ウェアラブル装置、制御方法及び制御プログラム Active JP6409118B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2015035830 2015-02-25
JP2015035830 2015-02-25
JP2015068613 2015-03-30
JP2015068614 2015-03-30
JP2015068614 2015-03-30
JP2015068613 2015-03-30
PCT/JP2016/055522 WO2016136838A1 (ja) 2015-02-25 2016-02-24 ウェアラブル装置、制御方法及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018178108A Division JP6652613B2 (ja) 2015-02-25 2018-09-21 ウェアラブル装置、制御方法、制御プログラム及び撮像装置

Publications (2)

Publication Number Publication Date
JPWO2016136838A1 JPWO2016136838A1 (ja) 2017-09-14
JP6409118B2 true JP6409118B2 (ja) 2018-10-17

Family

ID=56789310

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2017502443A Active JP6409118B2 (ja) 2015-02-25 2016-02-24 ウェアラブル装置、制御方法及び制御プログラム
JP2018178108A Active JP6652613B2 (ja) 2015-02-25 2018-09-21 ウェアラブル装置、制御方法、制御プログラム及び撮像装置
JP2020008939A Pending JP2020080543A (ja) 2015-02-25 2020-01-23 撮像装置、方法及びプログラム
JP2021005989A Pending JP2021073579A (ja) 2015-02-25 2021-01-18 電子機器、方法及びプログラム
JP2022123447A Pending JP2022140636A (ja) 2015-02-25 2022-08-02 ウェアラブル装置、方法及びプログラム

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2018178108A Active JP6652613B2 (ja) 2015-02-25 2018-09-21 ウェアラブル装置、制御方法、制御プログラム及び撮像装置
JP2020008939A Pending JP2020080543A (ja) 2015-02-25 2020-01-23 撮像装置、方法及びプログラム
JP2021005989A Pending JP2021073579A (ja) 2015-02-25 2021-01-18 電子機器、方法及びプログラム
JP2022123447A Pending JP2022140636A (ja) 2015-02-25 2022-08-02 ウェアラブル装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US10477090B2 (ja)
JP (5) JP6409118B2 (ja)
WO (1) WO2016136838A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6409118B2 (ja) * 2015-02-25 2018-10-17 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2016157418A1 (ja) * 2015-03-31 2016-10-06 パイオニア株式会社 表示制御装置、情報処理装置、表示制御方法並びに表示制御用プログラム及び記録媒体
JP6400197B2 (ja) * 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置
US10043487B2 (en) * 2015-06-24 2018-08-07 Samsung Electronics Co., Ltd. Apparatus and method for split screen display on mobile device
WO2018150831A1 (ja) * 2017-02-16 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2018185830A1 (ja) * 2017-04-04 2018-10-11 株式会社オプティム 情報処理システム、情報処理方法、情報処理装置、及びプログラム
US11077360B2 (en) 2017-04-28 2021-08-03 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
JP7239132B2 (ja) * 2018-03-30 2023-03-14 Necソリューションイノベータ株式会社 モーション判定装置、モーション判定方法、及びプログラム
WO2020145212A1 (en) * 2019-01-11 2020-07-16 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
JP2020113974A (ja) * 2019-01-11 2020-07-27 株式会社リコー 撮像装置、方法およびプログラム
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
JP7478291B1 (ja) 2023-08-08 2024-05-02 ユーソナー株式会社 情報処理システム、情報処理装置、プログラム、アプリケーションソフトウェア、端末装置及び情報処理方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006856B2 (ja) * 1998-11-02 2007-11-14 富士フイルム株式会社 電子カメラシステム及びその制御方法
JP3867039B2 (ja) * 2002-10-25 2007-01-10 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005047331A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 制御装置
JP2006279793A (ja) 2005-03-30 2006-10-12 Fuji Photo Film Co Ltd カメラ用クレードル及び撮影システム
US8217895B2 (en) * 2006-04-28 2012-07-10 Mtekvision Co., Ltd. Non-contact selection device
JP4203863B2 (ja) 2007-07-27 2009-01-07 富士フイルム株式会社 電子カメラ
JP5262681B2 (ja) 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
JP2010213057A (ja) * 2009-03-11 2010-09-24 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体
JP5299127B2 (ja) * 2009-07-01 2013-09-25 カシオ計算機株式会社 撮像装置及びプログラム
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
JP5641970B2 (ja) * 2011-02-18 2014-12-17 シャープ株式会社 操作装置、再生装置及びテレビ受信装置
JP5769277B2 (ja) * 2011-04-27 2015-08-26 Necソリューションイノベータ株式会社 入力装置、入力方法及びプログラム
JP5885395B2 (ja) 2011-04-28 2016-03-15 オリンパス株式会社 撮影機器及び画像データの記録方法
JP2013190941A (ja) * 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
JP6136090B2 (ja) * 2012-03-13 2017-05-31 株式会社ニコン 電子機器、及び表示装置
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
JP5962403B2 (ja) * 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
WO2014128751A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
US20140282275A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
JP2013210643A (ja) * 2013-04-26 2013-10-10 Sony Corp 表示装置、表示方法
JP2014241099A (ja) * 2013-06-12 2014-12-25 株式会社ニコン 撮像装置
US9367169B2 (en) * 2014-03-31 2016-06-14 Stmicroelectronics Asia Pacific Pte Ltd Method, circuit, and system for hover and gesture detection with a touch screen
JP6409118B2 (ja) * 2015-02-25 2018-10-17 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems

Also Published As

Publication number Publication date
JP6652613B2 (ja) 2020-02-26
US10477090B2 (en) 2019-11-12
JP2022140636A (ja) 2022-09-26
WO2016136838A1 (ja) 2016-09-01
JP2020080543A (ja) 2020-05-28
JP2021073579A (ja) 2021-05-13
US20180063397A1 (en) 2018-03-01
JPWO2016136838A1 (ja) 2017-09-14
JP2019036974A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6409118B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP6400197B2 (ja) ウェアラブル装置
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
KR20220040493A (ko) 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
CN110506249B (zh) 信息处理设备、信息处理方法和记录介质
JP2019175510A (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
JP5766957B2 (ja) ジェスチャ入力装置
JP7009096B2 (ja) 電子機器およびその制御方法
CN113709410A (zh) 基于mr眼镜的人眼视觉能力增强的方法、系统及设备
WO2013190906A1 (ja) 表示制御装置および撮像装置ならびに表示制御方法
JP7059934B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109644235B (zh) 用于提供混合现实图像的方法、设备和计算机可读介质
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
JP7459798B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
JP2019179080A (ja) 情報処理装置、情報処理方法およびプログラム
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
JP6817350B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP2015056825A (ja) 撮像装置、その制御方法及びプログラム
KR20240091221A (ko) 미디어를 캡처 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR101920319B1 (ko) 이미지 촬영을 위한 휴대용 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180921

R150 Certificate of patent or registration of utility model

Ref document number: 6409118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150