JP6062123B1 - 情報表示装置及び情報表示方法 - Google Patents

情報表示装置及び情報表示方法 Download PDF

Info

Publication number
JP6062123B1
JP6062123B1 JP2016547119A JP2016547119A JP6062123B1 JP 6062123 B1 JP6062123 B1 JP 6062123B1 JP 2016547119 A JP2016547119 A JP 2016547119A JP 2016547119 A JP2016547119 A JP 2016547119A JP 6062123 B1 JP6062123 B1 JP 6062123B1
Authority
JP
Japan
Prior art keywords
gesture
unit
operator
information
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016547119A
Other languages
English (en)
Other versions
JPWO2016170872A1 (ja
Inventor
亜紀 高柳
亜紀 高柳
雅志 神谷
雅志 神谷
雄大 中村
雄大 中村
内藤 正博
正博 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6062123B1 publication Critical patent/JP6062123B1/ja
Publication of JPWO2016170872A1 publication Critical patent/JPWO2016170872A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

情報表示装置は、表示制御部(25)と、ジェスチャー検出部(10)と、ジェスチャー情報に基づいて操作者のジェスチャーの識別を行い、識別の結果に基づく信号を出力するジェスチャー識別部(23)と、操作者(2)と表示部(30)との間の距離を推測する距離推測部(21)と、推測された距離が第1の設定距離を超えているときにジェスチャー識別部(23)によって識別可能なジェスチャーの個数が、推測された距離が第1の設定距離以下であるときにジェスチャー識別部(23)によって識別可能なジェスチャーの個数より少なくなるように、ジェスチャー識別部(23)によって識別可能なジェスチャーを設定する識別機能設定部(22)とを有する。

Description

本発明は、操作者(ユーザー)が行うジェスチャーによって操作者の指示が入力される情報表示装置及び情報表示方法に関するものである。
近年、テレビ(放送受信機)、PC(Personal Computer)、カーナビゲーションシステム、及びデジタルサイネージシステム等のユーザーインタフェースとして、ジェスチャーUI(User Interface)が採用され始めている。ジェスチャーUIは、操作者の身体の動き及び身体の形状(例えば、手の動き、手の形状、指の動き、及び指の形状等)のようなジェスチャーにより、操作者が機器を操作することを可能にする。例えば、手の動きに応じて表示部(ディスプレイ)の画面上のポインタを移動させるハンドポインティングを利用するジェスチャーUIは、操作者が手でポインタ位置を指し示すというジェスチャーを行うと、このジェスチャーに応じて画面上のポインタを移動させる。
ジェスチャーUIは、RGB(赤、緑、青)カメラなどの撮像装置又はToF(Time of Flight)センサ等のようなジェスチャー検出部(センサ部)を用いることによって操作者のジェスチャーを検出(撮像)する。ジェスチャーUIは、操作者を撮像することによって得られた画像データを解析してジェスチャーを識別(特定)し、ジェスチャーが意味する指示内容を示す信号を出力する。しかし、操作者がジェスチャー検出部(センサ部)から離れるほど、撮像によって生成された各フレームの画像における操作者のサイズは小さくなり、操作者のジェスチャーによる身体の部位の移動量も小さくなる。このように、操作者がジェスチャー検出部から離れた位置にいる場合には、ジェスチャーUIは、身体の部位の小さな移動に基づいてジェスチャーを識別(特定)し、ジェスチャーが示す指示内容を示す信号を出力しなければならない。このため、ジェスチャーUIでは、操作者がジェスチャー検出部から離れたときに、ジェスチャーを誤って識別(特定)する又はジェスチャーを識別することができないという問題が発生する。
また、特許文献1は、画像処理装置において、ジェスチャー検出部としての撮像装置によって生成された画像における検出対象の位置及び大きさに基づいて、操作対象領域を設定することを提案している。この画像処理装置では、操作者の手又は顔を検出対象とすることによって、設定される操作対象領域とこの操作対象領域に含まれる操作者の手又は顔の大きさとの比率は、一定に保たれる。これにより、操作者による操作性が向上する。
特開2013−257762号公報
しかしながら、上記いずれの従来技術においても、操作者がジェスチャー検出部から離れるほど、撮像によって生成された各フレームの画像における操作者のサイズは小さくなるので、ジェスチャーUIによるジェスチャーの誤識別が発生しやすくなるという問題がある。
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、操作者が情報表示装置から離れた位置にいる場合であっても、操作者のジェスチャーの誤識別が発生し難い情報表示装置及び情報表示方法を提供することを目的とする。
本発明に係る情報表示装置は、表示部に情報を表示させる表示制御部と、操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出部と、前記ジェスチャー検出部で生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を出力するジェスチャー識別部と、前記操作者と前記表示部との間の距離を推測する距離推測部と、予め決められた第1の設定距離を記憶し、前記距離が前記第1の設定距離を超えているときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別部によって識別可能なジェスチャーを設定する識別機能設定部と、を有することを特徴とする。
本発明に係る情報表示方法は、表示部に情報を表示させる情報表示装置が実行する情報表示方法であって、操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出ステップと、前記ジェスチャー検出ステップにおいて生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を生成するジェスチャー識別ステップと、前記操作者と前記表示部との間の距離を推測する距離推測ステップと、前記距離が予め決められた第1の設定距離を超えているときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別ステップにおいて識別可能なジェスチャーを設定する識別機能設定ステップと、を有することを特徴とする。
本発明においては、操作者が情報表示装置の表示部から離れた位置にいる場合に、識別可能なジェスチャーの個数が少なくなるように、識別可能なジェスチャーを設定する。このように、本発明によれば、操作者が表示部から離れた位置にいる場合に、例えば、身体の移動量の小さいジェスチャーを識別可能なジェスチャーから除外することによって、操作者のジェスチャーの誤識別を発生し難くすることができる。
本発明の実施の形態1に係る情報表示装置の使用状態を示す概略図である。 実施の形態1に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態1に係る情報表示装置が、操作者を撮像することによって取得した画像の一例を示す図である。 実施の形態1に係る情報表示装置の動作状態を示す概略図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の一例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 (a)及び(b)は、実施の形態1に係る情報表示装置の表示部に表示された画像の遷移(操作者が表示部に近い位置にいる場合)を示す図である。 (a)及び(b)は、実施の形態1に係る情報表示装置の表示部に表示された画像の遷移(操作者が表示部から遠い位置にいる場合)を示す図である。 (a)から(c)は、実施の形態1に係る情報表示装置の使用状態を示す概略図である。 実施の形態1に係る情報表示装置における初期設定を示すフローチャートである。 実施の形態1に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態2に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態3に係る情報表示装置の使用状態を示す概略図である。 実施の形態3に係る情報表示装置の構成を概略的に示すブロック図である。 本発明の実施の形態4に係る情報表示装置の使用状態を示す概略図である。 実施の形態4に係る情報表示装置の構成を概略的に示すブロック図である。 本発明の実施の形態5に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態5の変形例に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態5に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態6に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態6に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態7に係る情報表示装置の使用状態を示す概略図である。 実施の形態7に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態7に係る情報表示装置の動作を示すフローチャートである。 実施の形態1から7に係る情報表示装置の変形例の構成を示すハードウェア構成図である。
《1》実施の形態1
《1−1》構成
図1は、本発明の実施の形態1に係る情報表示装置1の使用状態を示す概略図である。図1に示されるように、情報表示装置1は、ディスプレイとしての表示部30と、撮像装置(カメラ)又はToFなどの撮像部としてのジェスチャー検出部(センサ部)10とを備えている。情報表示装置1は、操作者(ユーザー)2が行うジェスチャーによって、情報表示装置1を操作するジェスチャーUIを備えている。実施の形態1においては、ジェスチャー検出部10は、情報表示装置1の本体上部に取り付けられている。ただし、ジェスチャー検出部10は、情報表示装置1の本体内部に収納されてもよいし、情報表示装置1の本体の近傍に備えられてもよい。また、ジェスチャー検出部10と情報表示装置1の本体との位置関係を示す情報を情報表示装置1が保持する場合には、ジェスチャー検出部10は、情報表示装置1の本体から離れた位置に備えられてもよい。操作者2は、操作者2の身体の動き及び形状(例えば、手2A及び指2Bによる予め決められた動作及びポーズ、又は、顔2Cの表情など)であるジェスチャーによって、情報表示装置1に指示情報を入力する。ジェスチャーとしては、例えば、操作者2が、手2Aを右横方向に動かす動作、手2Aを左横方向に動かす動作、手2Aを上方向に動かす動作、手2Aを下方向に動かす動作、指2Bで指し示す動作、手2Aと指2Bでピースサインを形成する動作等を挙げることができる。
図2は、実施の形態1に係る情報表示装置1の構成を概略的に示すブロック図である。情報表示装置1は、実施の形態1に係る情報表示方法を実施することができる装置である。図2に示されるように、情報表示装置1は、撮像部であるジェスチャー検出部10と、制御部20とを備えている。また、情報表示装置1は、ディスプレイとしての表示部30と、メモリなどの記憶部40とを備えてもよい。制御部20は、距離推測部21と、識別機能設定部22と、ジェスチャー識別部(ジェスチャー判定部)23と、表示制御部25とを有している。また、情報表示装置1は、機能実行部24を有してもよい。
ジェスチャー検出部10は、操作者2によって行われるジェスチャーGEに基づくジェスチャー情報G1を生成する。例えば、ジェスチャー検出部10は、操作者2のジェスチャーGEを撮像し、ジェスチャーGEに応じた画像データを含むジェスチャー情報G1を生成する。画像データは、例えば、時間順に並ぶ複数フレームの静止画像データ、又は、動画像データである。なお、実施の形態1においては、ジェスチャー検出部10が撮像部である場合を説明するが、ジェスチャー検出部10は、操作者2のジェスチャーに応じたジェスチャー情報を生成することができる装置であれば、操作者2の身体の一部に装備される操作装置(実施の形態4で説明される)などのような他の装置であってもよい。
ジェスチャー識別部23は、ジェスチャー検出部10で生成されたジェスチャー情報G1に基づいてジェスチャーの識別(特定)を行い、この識別の結果に基づく信号G2を出力する。ここで、ジェスチャーの識別とは、操作者2が行うジェスチャーがどのような指示内容を示すジェスチャーであるかを特定する処理のことである。
ジェスチャー識別部23は、ジェスチャー検出部10によって生成された画像データからジェスチャーの動きパターンを検出する。このとき、ジェスチャー識別部23は、時間順に並ぶ複数フレームの静止画像データ又は動画像データから、操作者2の身体の部位を含む検出領域の変位を解析することによって、ジェスチャーの動きパターンを検出する。
また、ジェスチャー検出部10が被写体の奥行きの情報を取得することができるステレオカメラである場合には、ジェスチャー識別部23は、操作者2の身体の部位を含む検出領域の3次元位置を推測することによって、ジェスチャーの動きパターンを検出する。
また、ジェスチャー検出部10が1つのレンズを有する単眼カメラである場合には、ジェスチャー識別部23は、距離推測部21で推測した距離D0と、検出領域の画像データとに基づいて、ジェスチャーの動きパターンを検出する。
記憶部40は、複数の基準ジェスチャーと複数の基準ジェスチャーの各々に対応する指示内容とを関連付けたジェスチャーデータベース(DB)40aを記憶している。ジェスチャー識別部23は、検出した動きパターンとジェスチャーDB40aとして記憶されている複数の基準ジェスチャーの各々とを比較し、記憶された複数の基準ジェスチャーから、検出した動きパターンに対応するものを特定する。ジェスチャー識別部23は、特定された基準ジェスチャーに関連付けられた指示内容が、操作者2の指示内容であると判定する。なお、ジェスチャーDB40aとして記憶部40に記憶されるジェスチャー及び指示内容は、予め記憶されている。また、操作者2が、ジェスチャーとこれに対応する指示内容を決定し、ジェスチャーDB40aとして記憶部40に記憶させることも可能である。
距離推測部21は、ジェスチャー検出部10から出力されたジェスチャー情報G1に基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測して、距離D0を示す距離情報G3を識別機能設定部22及び表示制御部25に与える。図1に示されるように、実施の形態1においては、操作者2と表示部30との間の距離は、操作者2とジェスチャー検出部10との間の距離に等しいか、又は、操作者2とジェスチャー検出部10との間の距離と一定の関係があり、算出可能である。例えば、距離推測部21は、画像データに含まれる操作者2の身体の特定部位を検出領域として検出し、各フレームの画像における検出領域の大きさに基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測(算出)する。ただし、距離推測部21は、他の方法で距離D0を算出してもよい。
図3は、実施の形態1に係る情報表示装置1のジェスチャー検出部10が、操作者2を撮像することによって取得した画像200の一例を示す図である。距離推測部21は、画像200に含まれる操作者2の手2Aを、検出領域201として検出する。ここで、距離推測部21は、画像に含まれる色の情報から操作者の肌の色を検出し、操作者の身体の特定部位を検出領域としている。また、検出領域が顔である場合には、顔の部位(目、鼻、口等)を判定した後に、顔全体の領域を判定することも可能である。また、距離推測部21は、画像中に探索窓を設けて、分類器により顔の領域か否かを判定する方法により、顔を判定するなどの、他の方法を採用してもよい。例えば、操作者2の顔と手2Aの両方を検出領域としても良い。距離推測部21は、画像200における検出領域201の大きさに基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測(算出)する。
距離推測部21による、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0の推測としては、距離D0を推測する場合と、操作者2が、予め決められた基準距離よりも表示部30に近い位置にいるか又は遠い位置にいるかを判定する場合とがある。
操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測(算出)する場合、距離推測部21は、画像200における検出領域201の大きさと距離D0との間の相関データを、予め記憶しておく。距離推測部21は、この相関データに基づいて、生成された画像200における検出領域201の大きさから、距離D0を推測(算出)する。検出領域201の大きさは、検出領域201の面積、又は、検出領域201の縦の長さLv及び横の長さLhの少なくとも一方により導出可能である。
操作者2が、予め決められた基準位置よりも表示部30に近い位置にいるか又は遠い位置にいるかを判定する場合、距離推測部21は、操作者2がジェスチャーを行う予定である位置を基準位置として、その基準位置及び基準位置における画像200における検出領域201の大きさを相関データとして予め記憶しておく。距離推測部21は、相関データに基づいて、生成された画像200における検出領域201の大きさから、操作者2が基準位置よりも近い位置にいるか又は遠い位置にいるかを判定する。この場合には、制御部20における計算量が低減される。
識別機能設定部22は、予め決められた第1の設定距離D1を記憶し、距離D0が第1の設定距離を超えているときにジェスチャー識別部23によって識別可能なジェスチャーの個数が、距離D0が第1の設定距離D1以下であるときに、ジェスチャー識別部23によって識別可能なジェスチャーの個数より少なくなるように、ジェスチャー識別部23によって識別可能なジェスチャーを設定する。第1の設定距離D1は、情報表示装置1の使用を開始する際に予め設定される。
識別機能設定部22は、距離D0が第1の設定距離D1以下である場合、ジェスチャー識別部23によって識別可能なジェスチャーを制限しない。このとき、情報表示装置1の動作状態を、全機能モードという。識別機能設定部22は、識別可能なジェスチャーをジェスチャー識別部23に通知し、情報表示装置1の動作状態を表示制御部25に通知する。
識別機能設定部22は、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、ジェスチャー識別部23によって識別可能なジェスチャーを制限する。ここで、制限された識別可能なジェスチャーは、操作者2の利用頻度の高い機能のためのジェスチャーである。このとき、情報表示装置1の動作状態を、制限機能モードという。
識別機能設定部22は、距離D0が第2の設定距離D2より大きい場合、ジェスチャー識別部23によって識別可能なジェスチャーをさらに制限する。ここで、さらに制限された識別可能なジェスチャーは、操作者2の利用頻度のさらに高い機能のためのジェスチャーである。このとき、情報表示装置1の動作状態を、特定機能モードという。
識別機能設定部22で基準となる距離D2は、ジェスチャー識別部23でのジェスチャーの認識が困難である距離とする。この距離D2は、ジェスチャー検出部10で使用されるカメラの解像度といったセンサ性能、分光フィルタ情報、MTF(Modulation Transfer Function)等のレンズ性能、照明光の色及び照度といった照明環境の情報、並びに、検出対象物の大きさ及び色情報、のいずれか又は全てをもとに設定される。
機能実行部24は、ジェスチャー識別部23から出力された信号G2に基づく機能を実行する。また、機能実行部24は、機能を実行した結果を、表示制御部25に通知する。
表示制御部25は、表示部30の表示動作を制御する。例えば、表示制御部25は、操作メニューを生成し、操作メニューを表示部30に表示させる。表示制御部25は、識別機能設定部22によって設定された動作状態が、全機能モード、制限機能モード、特定機能モードのいずれであるかに応じて、表示部30の表示レイアウト、及び、表示内容を設定する。また、表示制御部25は、距離推測部21によって推測(算出)された距離D0に基づいて、表示部30に表示される文字、アイコン、及びポインタのサイズを調整してもよい。例えば、表示制御部25は、距離D0が小さい場合は、表示される文字、アイコン、及びポインタのサイズを小さくし、距離D0が大きくなるにつれて、表示される文字、アイコン、及びポインタのサイズを大きくする。このようにすることで、アイコン、文字、及びポインタ等の視認性が保たれる。また、表示制御部25は、機能実行部24から通知された結果を表示部30に表示させる。
《1−2》動作
図4は、実施の形態1に係る情報表示装置1の動作状態を示す概略図である。図4は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0と、操作者2が情報表示装置1をジェスチャー操作するときに、情報表示装置1によって識別可能(使用可能)なジェスチャーの種類と、情報表示装置1の状態との関係を示す。図4の例では、情報表示装置1をジェスチャー操作するときに、識別可能(使用可能)なジェスチャーが、3種類のジェスチャーGE1、GE2、GE3に分類されている。3種類のジェスチャーは、情報表示装置1による識別の容易さが異なる。例えば、第1の種類のジェスチャーGE1は、操作者2が手を振る動作であるスワイプであり、第2の種類のジェスチャーGE2は、操作者2が指で方向又は位置を示す動作であるポインティングであり、第3の種類のジェスチャーGE3は、操作者2が手の形状を特定の形状にするポーズである。第1の種類のジェスチャーGE1は、手2A等の身体の特定部位の移動方向のみで判別され得るジェスチャーである。これに対し、第3の種類のジェスチャーGE3は、手2A等の身体の特定部位の移動方向のみでは判別不可能であり、身体の特定部位の変位量まで解析しなければ判別することができない。このように、第2の種類のジェスチャーGE2は、少し認識され難いジェスチャーであり、第3の種類のジェスチャーGE3は、最も認識され難いジェスチャーである。
距離D0が第1の設定距離D1以下である場合(すなわち、情報表示装置1が全機能モードである場合)、情報表示装置1をジェスチャー操作するときに、操作者2はすべての種類のジェスチャーGE1、GE2、GE3を用いることができる。距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合(すなわち、情報表示装置1の状態が制限機能モードである場合)、操作者2は、第1の種類のジェスチャーGE1及び第2の種類のジェスチャーGE2を用いることができるが、第3の種類のジェスチャーGE3を用いることができない。距離D0が第2の設定距離D2を超えている場合(すなわち、情報表示装置1の状態が特定機能モードである場合)、操作者2は、第1の種類のジェスチャーGE1を用いることができるが、第2の種類のジェスチャーGE2及び第3の種類のジェスチャーGE3を用いることができない。
図5は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の一例を示す図である。図5は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合の、表示内容の一例を示す。この場合、表示部30の画面31全体に、映像コンテンツに基づく視聴番組画像301が表示されている。また、画面31の左下には、「MENU」アイコン302が表示されている。ここで、情報表示装置1が操作者2の予め決められたジェスチャー(操作メニューを含む表示内容に遷移することを指示内容とするジェスチャー)を識別した場合、又は、操作者2が「MENU」アイコン302を選択する操作を行った場合、図5に示される表示は、操作メニューを含む表示内容(図6)に遷移する。
図6は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の他の例を示す図である。図6は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合の、表示内容の例を示す。図6は、図5の表示内容から遷移した後の表示内容を示す。図6においては、画面31は4つの領域に分割されている。画面31の左上の領域には、映像コンテンツに基づく視聴番組画像301が表示される。また、画面31の右上の領域には、現在視聴中の視聴番組画像301についての情報を示すコンテンツ情報303が表示される。また、画面31の左下には、操作メニューとしてのコンテンツ設定情報304が表示される。画面31の中央の右下側には、操作メニューとしてのアプリケーションメニュー情報305が表示される。コンテンツ設定情報304は、視聴番組画像301に対する操作情報、すなわち、チャネル切り替え、音量調整、録画及び再生、画質及び音質変更、通信方式等の情報を含む。アプリケーションメニュー情報305は、情報表示装置1が持つアプリケーションを選択するためのアイコンを含む情報を示す。また、「番組に戻る」アイコン306は、図6の表示内容から図5の表示内容に遷移するためのアイコンである。
操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合、情報表示装置1は、全機能モードである。図6に示される操作メニューである、コンテンツ設定情報304及びアプリケーションメニュー情報305は、全機能モードにおいて操作者2が操作可能な機能に関する情報である。
表示部30の画面31に示されるアイコン、文字、及びポインタは、距離D0が小さい場合はサイズが小さくなり、距離D0が大きくなるにつれてサイズが大きくなる構成とすることができる。これにより、操作者2は、情報表示装置1が、操作者2と情報表示装置1との間の距離を把握していることを認識することができる。言い換えれば、情報表示装置1が距離D0を認識していることを、アイコン、文字、及びポインタ等のサイズを通して、操作者2にフィードバックすることができる。
なお、画面31におけるアイコン、文字、及びポインタの最適なサイズは、情報表示装置1において、予め設定されている。そのため、情報表示装置1においては、これらのサイズが変更される場合であっても、画面31における各情報のレイアウトが崩れたり、アイコン、文字、及びポインタが表示された画面31の領域からはみ出したりする等、視認性が損なわれるほどの変化が生じないように設定されている。
図7は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の他の例を示す図である。図7は、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合の、表示の一例を示す。この場合、画面31の領域は、分割されていない。映像コンテンツに基づく視聴番組画像301は、背景画像として画面31の全体に示されている。また、アプリケーションメニュー情報305は、視聴番組画像301を背景として、画面31の全体に示されている。
距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、情報表示装置1は、機能制限モードである。機能制限モードにおいて、操作者2がジェスチャー操作することができる機能は、利用頻度が高い機能に制限される。視聴番組画像301に対する操作情報は、操作者2の利用頻度が低い機能に関するものである。そのため、図7に示されるように、図6において示されていたコンテンツ設定情報304は、機能制限モードでは表示されていない。また、図6において示されていたコンテンツ情報303も、必ずしも操作者2にとって利用頻度が高い情報ではないため、図7に示されるように、機能制限モードでは表示されていない。なお、図7において、「映画」アイコン305Aは、情報表示装置1に映画の映像コンテンツを表示させるためのアイコンである。図7においては、「映画」アイコン305Aが、ポインタとしての矢印によって選択されている様子が示されている。
このように、機能制限モードでは、表示部30には、操作者2の利用頻度の低い情報は表示されず、操作者2の利用頻度の高いアプリケーションメニュー情報305が表示部30の画面31全体に大きく表示されることになる。このため、表示部30から離れたとしても、操作者2は、表示部30の表示内容を視認することができる。また、利用頻度の高い情報が表示されるため、操作者2が情報表示装置1を操作する場合、情報表示装置1の操作性を保つことができる。
なお、機能制限モードにおいて表示部30に表示される内容は、アプリケーションメニュー情報305に限定されない。例えば、操作者2が予め頻繁に使用する項目を選択して順位付けを行い、情報表示装置1が、順位情報に基づいて表示部30に表示される内容を決定してもよい。
また、情報表示装置1が操作者2のジェスチャーによって使用された操作項目をカウントし、カウントの結果を記憶しておくことによって、情報表示装置1は、機能制限モードで表示される内容を決定することも可能である。
図8は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の他の例を示す図である。図8における「映画」アイコン305Bは、ポインタ(矢印)によって選択される代わりに、「映画」アイコン305Bの枠が太枠になっている。このように、距離D0に応じて、選択されたアイコンの表示を変更することができる。なお、距離D0に応じて、「映画」アイコン305A(305B)又はアプリケーションメニュー情報305に含まれる他のアイコン及び文字等のサイズが変更される構成とすることもできる。
図9は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示された画像の他の例を示す図である。図9は、距離D0が第2の設定距離D2を超えているときに、表示部30の画面31に表示される画像の例を示す。図9に示される例においては、表示部30の画面31全体に、映像コンテンツに基づく視聴番組画像301が表示されている。
距離D0が第2の設定距離D2を超えている場合には、情報表示装置1は、特定機能モードである。特定機能モードにおいて、操作者2がジェスチャー操作することができる機能は、利用頻度がより高い機能、例えば、操作者2が視聴中の映像コンテンツに関する、チャネル切り替え及び音量の変更等に制限される。このため、特定機能モードにおいて、表示部30の画面31には、操作メニューを含む表示内容に遷移するための「MENU」アイコン302(図5)は、表示されない。このように、情報表示装置1の機能は操作者2の利用頻度の高い機能に制限され、表示部30には操作者2の利用頻度が低い情報は表示されない。このように、操作者2が表示部30からさらに離れたとしても、不必要な情報が表示されないため、表示部30の表示内容が操作者に視認しづらくなる状況を回避することができる。
図10(a)及び(b)は、実施の形態1に係る情報表示装置1による表示内容の遷移を示す図である。図10(a)及び(b)は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合に、情報表示装置1の表示部30の表示内容が遷移する様子を示す。図10(a)における表示部30の表示内容は、図5に示される表示部30の表示内容と同じである。また、図10(b)に示される表示部30の表示内容は、図6に示される表示部30の表示内容と同じである。操作者2が、ジュスチャーを行って図10(a)の表示部30の「MENU」アイコン302を選択すると、表示部30の表示内容は、図10(a)の表示内容から図10(b)の表示内容に遷移する。また、操作者2がジェスチャーを行い、「番組に戻る」アイコン306(図6)を選択すると、図10(b)に示される表示部30の表示内容から、図10(a)に示される表示部30の表示内容に遷移する。
図11(a)及び(b)は、実施の形態1に係る情報表示装置1による表示内容の遷移を示す図である。図11(a)及び(b)は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合に、情報表示装置1の表示部30の表示内容が遷移する様子を示す。図11(a)における表示部30の表示内容は、図5に示される表示部30の表示内容と同じである。また、図11(b)に示される表示部30の表示内容は、図7に示される表示部30の表示内容と同じである。操作者2がジュスチャーを行い、図5に示される「MENU」アイコン302を選択すると、図11(a)に示される表示部30の表示内容から、図11(b)に示される表示部30の表示内容に遷移する。また、操作者2がジェスチャーを行い、図7に示される「番組に戻る」アイコン306を選択すると、図13(b)に示される表示部30の表示内容から、図11(a)に示される表示部30の表示内容に遷移する。
図12(a)から(c)は、実施の形態1に係る情報表示装置1の使用状態を示す概略図である。図12(a)は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第2の設定距離D2を超えている場合に、情報表示装置1の表示部30の表示内容を示す。また、図12(b)及び(c)は、操作者2が行うジェスチャーの一例を示す。図12(a)における表示部30の表示内容は、図9における表示部30の表示内容と同じである。操作者2は、図11(b)に示されるように、チャネルを切り替えるときは、左右スワイプ(手2Aを矢印方向である左又は右に移動させる)を行う。また、音量を調節するときは、上下スワイプ(手2Aを矢印方向である上又は下に移動させる)を行う。
このように、操作者2は、表示部30に示される操作メニューによらずに、利用頻度が高いチャネル切替及び音量調整の機能を、ジェスチャーのみで操作することが可能となる。また、このときに使用されるジェスチャーであるスワイプは、情報表示装置1によって容易に識別されるジェスチャーである。そのため、操作者2と情報表示装置1との間の距離が大きい場合でも、情報表示装置1によって誤識別される可能性を低くすることができる。
なお、距離D0が第2の設定距離D2を超える場合に、操作者2が操作可能な機能は、チャネル切替及び音量調整に限られない。だだし、操作者2が用いることができるジェスチャーは、操作者2の手2A等の特定部位の変移量によって識別されるものではなく、移動方向によって識別されるものであることが望ましい。
図13は、実施の形態1に係る情報表示装置1における初期設定を示すフローチャートである。情報表示装置1は、第1の設定距離D1を設定する(ステップS1)。情報表示装置1は、ジェスチャー検出部10(又は表示部30)から第1の設定距離D1だけ離れた位置にいる操作者2の手2A、指2B、及び顔2C等を、ジェスチャー検出部10によって撮像し、撮像した画像に含まれる手2A、指2B、及び顔2C等の大きさを記憶する。ここで、情報表示装置1が記憶するものは、図3の検出領域201に示されるように、手2A、指2B、及び顔2Cを検出領域とした場合の検出領域の面積、縦の長さLv、及び横の長さLh等である。次に、情報表示装置1は、第2の設定距離D2を設定する(ステップS2)。情報表示装置1は、ステップS1と同様に、ジェスチャー検出部10(又は表示部30)から第2の設定距離D2だけ離れた位置にいる操作者2を撮像し、検出領域の面積等を記憶する。
図14は、実施の形態1に係る情報表示装置1の動作を示すフローチャートである。ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。予め決められたジェスチャーは手2Aによるポーズでもよいし、手2Aによる動きでもよい。ジェスチャー検出部10は、操作者2のジェスチャーを撮像し画像データを生成する。なお、以下の説明においては、生成された画像データには操作者1人のみが撮像されているものとするが、本発明はこれに限定されない。本発明は、画像データに複数人が含まれている場合にも適用可能である。画像データに複数人が含まれている場合には、例えば、最初に身体の予め決められた部位を検出した人物についてジェスチャー認識を行う方法、又はすべての人物についてジェスチャー認識を行う方法が適用される。
次に、情報表示装置1は、図13に示される初期設定、すなわち、第1の設定距離D1及び第2の設定距離D2の設定(ステップS1及びS2)が完了しているかを判断する(ステップS11)。初期設定がされていない場合、情報表示装置1は、図13に示される初期設定を行う(ステップS12)。
次に、距離推測部21は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。情報表示装置1は、距離D0が第1の設定距離D1以下の場合、処理をステップS15に進め、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、処理をステップS16に進め、距離D0が第2の設定距離D2を超える場合、処理をステップS17に進める(ステップS14)。
距離D0が第1の設定距離D1以下の場合、識別機能設定部22は、情報表示装置1の動作状態を全機能モードにする(ステップS15)。距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、識別機能設定部22は、情報表示装置1の動作状態を機能制限モードにする(ステップS16)。距離D0が第2の設定距離D2を超える場合、識別機能設定部22は、情報表示装置1の動作状態を特定機能モードにする(ステップS17)。
次に、表示制御部25は、情報表示部1aの動作状態に基づいて、映像コンテンツ及び操作メニューが表示されるレイアウトを変更し、表示部30に表示させる。また、表示制御部25は、距離D0に基づいて、表示部30に表示される文字、アイコン、及びポインタのサイズを調整する(ステップS18)。
ジェスチャー識別部23は、操作者2のジェスチャーが示す動きパターンと識別機能設定部22によって制限された識別可能なジェスチャーとに基づいて、ジェスチャーの識別を行う(ステップS19)。ジェスチャー識別部23は、ジェスチャーDB40aを参照して、操作者2の指示内容を判定する。このとき、ジェスチャーの識別に要する時間が制限時間を超える場合、又は操作者2がリモコン等によって情報表示装置1を操作する場合、ジェスチャー識別部23は、ジェスチャー識別処理を停止する(ステップS22)。
操作者2のジェスチャーの指示内容が判定されると、機能実行部24は、指示内容に基づく機能を実行する(ステップS20)。
情報表示装置1は、操作者2のジェスチャーによる操作が終了するかどうか判断する(ステップS21)。操作者2の操作がある場合(ステップS21でNO)、ジェスチャー識別部23は、操作者2のジェスチャーの識別を行う。
《1−3》効果
以上に説明したように、実施の形態1に係る情報表示装置1においては、操作者2が情報表示装置1の表示部30から離れた位置(例えば、第1の設定距離D1よりも離れた位置)にいる場合に、識別可能なジェスチャーの個数が少なくなるように、識別可能なジェスチャーを設定する。このように、実施の形態1に係る情報表示装置1によれば、操作者2が表示部30から離れた位置にいる場合に、例えば、身体の移動量の小さいジェスチャーを識別可能なジェスチャーから除外することによって、操作者2のジェスチャーの誤識別を発生し難くすることができる。
また、実施の形態1に係る情報表示装置1においては、操作者2が情報表示装置1の表示部30から離れた位置(例えば、第1の設定距離D1よりも離れた位置)にいる場合に、識別可能なジェスチャーを利用頻度の高い機能のためのジェスチャーに制限する。このように、実施の形態1に係る情報表示装置1によれば、操作者2が表示部30から離れた位置にいる場合に、識別可能なジェスチャーを少なくしている(例えば、操作者の利用頻度の高い機能についてのジェスチャーに制限している)ので、操作者2のジェスチャーの誤識別を発生し難くすることができる。
また、実施の形態1に係る情報表示装置1においては、操作者2が情報表示装置1の表示部30から離れた位置(例えば、第1の設定距離D1よりも離れた位置)にいる場合に、表示部30に表示される画像のレイアウトを変更し、アイコン、文字、及びポインタ等の操作メニューを拡大して表示している。このように、実施の形態1に係る情報表示装置1によれば、操作者2が表示部30から離れた位置にいる場合であっても、操作メニューが拡大表示されるので、操作者2による表示部30の表示内容の見やすさ(視認性)及び操作のし易さ(操作性)の低下を抑制することができる。
なお、上記説明においては、第1の設定距離D1及び第2の設定距離D2を用いて、動作状態を切り替える例を示した。しかし、情報表示装置1は、第1の設定距離D1又は第2の設定距離D2のいずれか一方のみを用いる方法を採用してもよいし、又は、3つ以上の設定距離を用いる方法を採用してもよい。
《2》実施の形態2
実施の形態1においては、操作者2のジェスチャーが情報表示装置1によって識別(判定)されなかった場合、情報表示装置1のジェスチャー識別判定処理は停止し(図14のステップS22)、再度、ジェスチャーによる操作が行われる。これに対し、実施の形態2においては、ジェスチャーが識別されないことを表示部30に表示する。なお、実施の形態2における情報表示装置の構成は、実施の形態1に係る情報表示装置1の構成と同じである。したがって、実施の形態2の説明に際しては、図1をも参照する。
図15は、本発明の実施の形態2に係る情報表示装置の動作を示すフローチャートである。図15においては、図14に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。
ジェスチャー識別部23は、操作者2のジェスチャーが示す動きパターンと識別機能設定部22によって制限された識別可能なジェスチャーとに基づいて、ジェスチャーの識別を行う(ステップS19)。ここで、実施の形態2においては、操作者2のジェスチャーから指示内容を判定できない場合、その原因に応じた処理を行う。操作者2によって行われたジェスチャーが、ジェスチャーDB40aに記憶された複数の基準ジェスチャーのうち対応する基準ジェスチャーがないと判定された場合、ジェスチャー識別部23は、機能実行部24を介して、操作者2のジェスチャーが識別不能であることを表示制御部25に通知する。表示制御部25は、表示部30に、ジェスチャーが識別不能であることを表示させる(ステップS23)。ジェスチャーの識別に要する時間が制限時間を超える場合、又は操作者2がリモコン等によって情報表示装置1を操作する場合、ジェスチャー識別部23は、ジェスチャー識別処理を停止する(ステップS22)。
以上に説明したように、実施の形態2においては、ジェスチャーが識別されない場合に、表示部30にジェスチャーが識別不能であることを表示する。表示部30による表示により、操作者2は、ジェスチャーが識別されなかったことを把握することができる。このため、操作者2は、再度ジェスチャーを行う、又はリモコン等のデバイスにより操作する、を選択することができる。この結果、操作者2のジェスチャーが情報表示装置1によって識別されない場合でも、情報表示装置1の操作性が著しく低下したと操作者2によって認識されることを回避することができる。
なお、実施の形態2に係る情報表示装置及び情報表示方法は、上記以外の点を除き、実施の形態1の装置及び方法と同じである。
《3》実施の形態3
実施の形態1においては、ジェスチャー検出部10が情報表示装置1の本体(表示部30の上部)に設置されていた。実施の形態3においては、ジェスチャー検出部が表示部(ディスプレイ)30を備えた情報表示部から離れた位置に設けられている場合を説明する。
図16は、本発明の実施の形態3に係る情報表示装置100の使用状態を示す概略図である。図16において、図1(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図1における符号と同じ符号が付されている。図16に示されるように、情報表示装置100は、表示部30を有する情報表示部1aと、ジェスチャー検出部10aとを備えている。操作者2は、ジェスチャーを行い、情報表示部1aを操作する。実施の形態3においては、ジェスチャー検出部10aが情報表示部1aから離れた位置、例えば、部屋の壁面等に設けられている。
図17は、実施の形態3に係る情報表示装置100の構成を概略的に示すブロック図である。図17において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付されている。図17に示されるように、情報表示装置100は、ジェスチャー検出部10aと、情報表示部1aとを有する。
ジェスチャー検出部10aは、撮像部13と送信部11とを備えている。撮像部13は、操作者2のジェスチャーGEを撮像して、画像データを生成する。送信部11は、撮像部13によって生成された画像データを、情報表示部1aの受信部12に送信する。
情報表示部1aの受信部12は、ジェスチャー検出部10aの送信部11から送信された画像データを受信し、受信された画像データを制御部20へ送る。送信部11と受信部12との間の通信方式は、例えば、Bluetooth(登録商標)、赤外線通信、及びWi−Fi通信等の無線通信、及び、有線通信のいずれであってもよい。
実施の形態3においては、ジェスチャー検出部10aは、操作者2のジェスチャーを検出することができる位置に固定される。また、情報表示部1aは、ジェスチャー検出部10aが固定されている位置を示す位置情報(例えば、XYZ座標で示される)及び情報表示部1aの表示部30の位置を示す位置情報(例えば、XYZ座標で示される)を保持している。このため、距離推測部21は、上述の位置情報と受信部12から受け取った画像データとに基づいて、操作者2と表示部30との間の距離を推測(算出)することができる。また、ジェスチャー識別部23は、受信部12から受け取った画像データに含まれる操作者2の身体の部位(検出領域)の変位を解析することにより、動きパターンを検出することができる。
このように、ジェスチャー検出部10aが情報表示部1aから離れた位置に設けられている場合でも、操作者2と表示部30との間の距離を推測することができる。推測した距離に応じて表示部30における表示内容が変更されるため、情報表示装置100は、操作者2が情報表示部1aを操作する際の良好な操作性を保つことができる。
また、情報表示部1aがジェスチャー検出部10を搭載していない場合でも、情報表示部1aのソフトウェアを更新することにより、ジェスチャー検出部10と情報表示部1aとを組み合わせて、実施の形態3に係る情報表示装置を構成することが可能である。このように、実施の形態3に係る情報表示装置は、従来の情報表示装置にも適用することができる。
なお、実施の形態3に係る情報表示装置及び情報表示方法は、上記以外の点を除き、実施の形態1又は2の装置及び方法と同じである。
《4》実施の形態4
実施の形態3においては、ジェスチャー検出部10aが予め決められた位置に固定され、且つ、ジェスチャー検出部10aによる検出対象(撮像対象)が操作者2である場合を説明した。実施の形態4においては、ジェスチャーを行う操作者2の身体にジェスチャー検出部としての操作装置を装着し(例えば、操作者が操作装置を手に持ち)、且つ、ジェスチャー検出部としての操作装置による検出対象(撮像対象)が、例えば、情報表示装置の表示部である場合を説明する。
図18は、本発明の実施の形態4に係る情報表示装置100aの使用状態を示す概略図である。図18において、図16(実施の形態3)に示される構成要素と同一又は対応する構成要素には、図16における符号と同じ符号が付されている。図18に示されるように、情報表示装置100aは、表示部30を有する情報表示部1bと、ジェスチャー検出部としての操作装置10bとを備えている。操作者2は、操作装置10bを身体に取り付けた状態(例えば、手に持った状態)でジェスチャーを行うことによって、情報表示部1bの受信部12(後述の図19に示される)に操作信号を入力する。操作者2は、例えば、操作装置10bを、左横に向けて、右横に向けて、上に向けて、又は、下に向けて移動させる(振る)、或いは、操作装置10bで空間に文字及びマークを描くなどのようなジェスチャーにより、情報表示部1bに操作信号を入力する。操作装置10bの形状及びサイズは、図18に示されるものに限定されず、他の形状であってもよい。
図19は、実施の形態4に係る情報表示装置100aの構成を概略的に示すブロック図である。図19においては、図17(実施の形態3)に示される構成要素と同一又は対応する構成要素には、図17に示される符号と同じ符号が付されている。
操作装置10bは、認識センサとしての撮像部15と、特徴抽出部14と、送信部11とを備えている。撮像部15は、操作者2がジェスチャーを行う間、情報表示部1bを含む領域を被写体として撮像して、画像データを生成する。撮像部15は、例えば、RGBカメラ及びToFセンサである。また、RGBカメラは、情報表示部1bとの通信機能を実現するためのソフトウェアがインストールされたスマートフォン等の携帯情報端末に搭載されたカメラであってもよい。
特徴抽出部14は、撮像部15によって生成された画像データから、操作者2が行ったジェスチャーの特徴を抽出する。ジェスチャーの特徴は、画像データに含まれる撮像されたある物体(対象物)について、時間順に並ぶ複数枚の静止画像データ又は動画像データにおける対象物の変移量を解析することにより、操作装置10bの動きベクトル(操作装置10bの動きの軌跡)として抽出される。特徴抽出部14は、撮像部15によって生成された画像データに含まれる対象物として、情報表示部1bの表示部30を用いることができる。特徴抽出部14は、生成された画像データ、ジェスチャーの特徴、及び表示部30の領域についての情報を、送信部11へ送る。
送信部11は、生成された画像データ、ジェスチャーの特徴、及び情報表示部1bの表示部30の領域についての情報を、情報表示部1bの受信部12に向けて送信する。
このように、実施の形態4に係る情報表示装置100aは、操作者2が操作装置10bを手に持ちながらジェスチャーを行うことによって、操作者2と表示部30との間の距離を推測することができる。情報表示装置100aは、推測された距離に応じて表示内容が変更されるため、操作者が情報表示装置を操作する際の操作性を保つことができる。
また、実施の形態3と同様に、情報表示部1bが撮像部15を搭載していない場合でも、情報表示部1bのソフトウェアを更新することにより、撮像部15と情報表示部1bとを組み合わせて、実施の形態4に係る情報表示装置を構成することが可能である。このように、実施の形態4に係る情報表示装置は、従来の情報表示装置に適用することができる。
なお、実施の形態4に係る情報表示装置及び情報表示方法は、上記以外の点を除き、実施の形態3の装置及び方法と同じである。
《5》実施の形態5
実施の形態1から4においては、操作者2がジェスチャー操作を行う場所の環境(例えば、照明の状況及び自然光の状況など)及び情報表示装置1(又は情報表示部1a、1b)が設置される場所の環境(例えば、照明の状況、自然光の状況など)により、情報表示装置1によって生成された画像データが、揺れ、照明、及び自然光(外光)等の外乱による影響を受けた場合、情報表示装置1が操作者2によるジェスチャー操作の内容を誤認識するおそれが増加する。これに対し、実施の形態5に係る情報表示装置1cは、外乱検出部26を備えることにより、外乱の影響による誤認識を抑制し、ジェスチャー操作による情報表示装置1cの操作性を向上させている。以下、実施の形態5に係る情報表示装置1c及びその変形例に係る情報表示装置1dについて、図20及び図21を参照して説明する。
図20は、本発明の実施の形態5に係る情報表示装置1cの構成を概略的に示すブロック図である。図20において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付されている。図20に示されるように、実施の形態5に係る情報表示装置1cは、制御部20cが外乱検出部26を有する点及び制御部20cの距離推測部21cの処理内容の点において、実施の形態1に係る情報表示装置1と異なる。
外乱検出部26は、ジェスチャー検出部10における撮像によって生成された複数フレームの画像(複数枚の画像データ)G1における動きを検出し、この検出された動きの中に、定められたある一定の期間における規則的な動きが含まれている場合、この規則的な動きを外乱(例えば、振動、照明の状況の変化、及び自然光の状況の変化など)と判断し、この判断に基づくフィルタ情報G5(外乱による影響を除去する処理に使われる情報)を生成する。
外乱検出部26により生成されたフィルタ情報G5は、距離推測部21cへ送られる。距離推測部21cは、ジェスチャー検出部10から受け取ったフィルタ情報G5に基づいて、複数フレームの画像(複数枚の画像データ)G1における動きを補正する。より具体的に言えば、距離推測部21cは、複数フレームの画像(複数枚の画像データ)G1から、外乱による影響である規則的な動きの成分を除去することによって、外乱による影響の無い(又は外乱による影響が軽減された)複数フレームの画像(複数枚の画像データ)G3を生成する。
図21は、実施の形態5の変形例に係る情報表示装置1dの構成を概略的に示すブロック図である。図21において、図20に示される構成要素と同一又は対応する構成要素には、図20における符号と同じ符号が付されている。図21に示されるように、情報表示装置1dは、制御部20dの外部の構成として外乱検出部26dを有する点において、実施の形態5に係る情報表示装置1cと異なる。情報表示装置1dの制御部20dは、情報表示装置1cの制御部20cと同じ制御を行う。
外乱検出部26dは、ジェスチャー検出部10における撮像によって生成された複数フレームの画像(複数枚の画像データ)G1における動きを検出し、この検出された動きの中に、定められたある一定の期間における規則的な動きが含まれている場合、この規則的な動きを外乱(例えば、加速度、振動、傾斜、照明の状況の変化、及び自然光の状況の変化など)と判断し、この判断に基づくフィルタ情報G5(外乱による影響を除去する処理に使われる情報)を生成する。このように、外乱検出部26dは、制御部20dの外部に新たに設置されるものであり、例えば、加速度、振動、傾斜、照明の状況、及び自然光の状況等の外乱を検知することができる加速度センサ、振動センサ、傾斜センサ、光学センサ等であっても良い。
外乱検出部26dにより生成されたフィルタ情報G5は、距離推測部21dへ送られる。距離推測部21dは、ジェスチャー検出部10から受け取ったフィルタ情報G5に基づいて、複数フレームの画像(複数枚の画像データ)G1における動きを補正する。より具体的に言えば、距離推測部21dは、複数フレームの画像(複数枚の画像データ)G1から、外乱による影響である規則的な動きの成分を除去することによって、外乱による影響の無い(又は外乱による影響が軽減された)複数フレームの画像(複数枚の画像データ)G3を生成する。
図22は、実施の形態5における情報表示装置1c及び1dの動作を示すフローチャートである。図22において、図14(実施の形態1)に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。図22に示される処理は、ステップS24及びS25を有する点において、図14に示される処理と異なる。以下に図22を参照して、情報表示装置1cの動作の主要箇所を説明する。
図22に示されるように、ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。
次に、外乱検出部26は、外乱の検出処理を行う(ステップS24)。外乱検出部26が外乱を検出した場合(ステップS24においてYES)には、距離推測部21cは、画像データG1から外乱に起因する規則的な動きの成分を除去することによって外乱の影響を補正する(ステップS25)。外乱検出部26が外乱を検出しなかった場合(ステップS24においてNO)には、距離推測部21cは、外乱の影響を補正する処理を行わずに、処理をステップS11に進める。ステップS11以降の処理は、図14(実施の形態1)に示される処理と同じである。
なお、図22に示されるフローチャートでは、ジェスチャー検出が開始(ステップS10)された後に、外乱検出(ステップS24)を行っているが、外乱検出(ステップS24)を行った後にジェスチャー検出を開始(ステップS10)してもよい。
また、上記以外の点を除き、実施の形態5に係る情報表示装置1c及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。また、上記以外の点を除き、実施の形態5の変形例に係る情報表示装置1d及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。
実施の形態5に係る情報表示装置1c,1d及び情報表示方法によれば、外乱の影響を軽減できるので、ジェスチャー認識の精度を向上させることができる。
《6》実施の形態6
実施の形態1から5においては、操作者2を特定することなく、ジェスチャー検出部10によりジェスチャーを検出し距離を測定する構成について説明した。これに対し、実施の形態6では、操作者認識部27がジェスチャー検出部10で生成された画像(画像データ)G1から、ジェスチャー操作を行う操作者2を特定(認識)し、事前に登録された操作者2の身体部位の大きさ情報を用いて距離を測定する場合について説明する。
図23は、本発明の実施の形態6に係る情報表示装置1eの構成を概略的に示すブロック図である。図23において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付されている。図23に示されるように、情報表示装置1eは、制御部20eが操作者認識部27を有する点及び制御部20eの距離推測部21eの処理内容の点において、実施の形態1に係る情報表示装置1と異なる。
操作者認識部27は、識別機能設定部22に初期設定情報(予め決められた第1の設定距離D1及び第2の設定距離D2)を記憶させる際に、操作者2の顔画像(顔画像データ)と操作者2の属性情報とを互いに関連付けて(紐付けして)、予め記憶する。操作者認識部27で記憶される属性情報は、大人又は子供、男性又は女性、年代(年齢)、国籍など、操作者2の属性を判別するための情報を含む。属性情報は、初期設定時に登録される顔、体格、手の大きさ、及び肌の色等のように、ジェスチャー検出部10の撮影によって生成される画像中に写る身体の一部から推定されるものであっても良く、又は、設定時に操作者2により選択されるものであっても良い。
操作者認識部27で記憶される操作者2の属性情報と、距離推測部21eで推測される距離情報とに応じて、表示制御部25により制御される文字、アイコン、ポインタのサイズ、表示内容を変化させることができる。
図24は、実施の形態6に係る情報表示装置1eの動作を示すフローチャートである。図24において、図14に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。図24に示される処理は、ステップS26、S27、及びS28を有する点において、図14に示される処理と異なる。以下に図24を参照して、情報表示装置1eの動作の主要箇所を説明する。
図24に示されるように、ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。次に、情報表示装置1eは、図13に示される初期設定、すなわち、第1の設定距離D1及び第2の設定距離D2の設定(ステップS1及びS2)が完了しているかを判断する(ステップS11)。初期設定がされていない場合、情報表示装置1eは、図13に示される初期設定を行う(ステップS12)。
次に、操作者認識部27は、ジェスチャーの検出が開始され、操作者登録を含む初期設定がされているか確認されると(ステップS10、S11、S12)、操作者認識処理を行う(ステップS26)。操作者2が認識されると(ステップS26においてYES)、操作者認識部27は、操作者2を設定し、操作者2の設定に基づく表示設定情報G4と画像データG1とを距離推測部21eに送る(ステップS27)。操作者2の認識ができない場合(ステップS26においてNO)、操作者認識部27は、ゲスト設定情報を設定し、ゲスト設定情報と画像データG1とを距離推測部21eに送る(ステップS28)。
次に、距離推測部21eは、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。図24におけるステップS13以降の処理は、図14(実施の形態1)に示されるステップS13以降の処理と同じである。
このように、操作者認識部27により操作者2を識別(特定)する処理を行い、操作者2の属性情報と画像データG1とに基づいて距離推測部21eにおける処理を行うことにより、表示部30に操作者2の識別情報をも表示させることができる。この場合には、情報表示装置1eから同じ距離だけ離れた位置に複数の人がいる場合であっても、情報表示装置1eが複数の人の中の誰を操作者2として認識しているかを、操作者2自身に伝えることができる。このため、操作者2は、情報表示装置1eをジェスチャー操作する際に、良好な操作性を得ることができる。
実施の形態6に係る情報表示装置1e及び情報表示方法によれば、複数の者がいる場合であって、操作者2を特定してジェスチャー認識することができるので、ジェスチャー認識の精度を向上させることができる。
なお、上記以外の点を除き、実施の形態6に係る情報表示装置1e及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。
《7》実施の形態7
実施の形態1から4において、距離推測部21は、ジェスチャー検出部10から出力されたジェスチャー情報G1に基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測するが、操作者2がジェスチャー検出部10(又は表示部30)の左側又は右側のいずれの側にいるかを判別していない。これに対し、実施の形態7に係る情報表示装置1fは、図25に示されるように、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0だけでなく、操作者2がジェスチャー検出部10(又は表示部30)の正面中央位置の左側又は右側のいずれの側にいるかを判別する。すなわち、情報表示装置1fは、2人の者(操作者2と他の者3)がいる場合に、操作者2がジェスチャー検出部10の正面中央位置の左側又は右側のいずれの側にいるかを判別することができる機能を備えている。
図26は、本発明の実施の形態7に係る情報表示装置1fの構成を概略的に示すブロック図である。図26において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付される。図23に示されるように、情報表示装置1eは、制御部20fの距離推測部21fが左右判別部21faを有する点及び制御部20fの距離推測部21fの処理内容の点において、実施の形態1に係る情報表示装置1と異なる。
左右判別部21faは、ジェスチャー検出部10で撮像され生成される各フレーム画像中に写る検出領域(操作者2が検出された領域)が画像を左右に2分割した場合に、操作者2が2分割された領域の内の右側にあるか左側にあるかを判別する。これにより、左右判別部21faは、操作者2がフレーム画像を左側と右側に2分割された領域の内の、右側にいるか左側にいるかを判別することができる。
左右判別部21faは、ジェスチャー検出部10又は表示部30の位置を基準としたとき、ジェスチャー検出部10から操作者2までの距離の測定と、操作者2がフレーム画像を左右に2分割した場合における、右側にいるか左側にいるかの判別をすることができる。例えば、左右判別部21faは、車内空間において、操作者2が運転席に座っている運転手(右ハンドル車の場合には、ジェスチャー検出部10から見て左側)、又は、助手席に座っている者(右ハンドル車の場合には、ジェスチャー検出部10から見て右側)、又は、後部座席に座っている者(後部座席のジェスチャー検出部10から見て右側又は左側)のいずれであるかを判別することができる。
図27は、本発明の実施の形態7に係る情報表示装置の動作を示すフローチャートである。図27において、図14に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。図27に示される処理は、ステップS29及びS30を有する点及びステップS30の判断結果に基づいて、ステップS14、S15、S16、S17の処理又はステップS14a、S15a、S16a、S17aの処理のいずれかを行う点において、図14に示される処理と異なる。以下に図27を参照して、情報表示装置1fの動作の主要箇所を説明する。
図27に示されるように、ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。次に、情報表示装置1fは、図13に示される初期設定、すなわち、第1の設定距離D1及び第2の設定距離D2の設定(ステップS1及びS2)が完了しているかを判断する(ステップS11)。初期設定がされていない場合、情報表示装置1は、図13に示される初期設定を行う(ステップS12)。
次に、距離推測部21fは、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。次に、左右判別部21faは、距離D0が推測(ステップS13)された後、ジェスチャー検出部10aで撮像し生成されたフレーム画像から、操作者2が表示部30から見て左側又は右側のいずれの側にいるかを判定する(ステップS29)。
操作者2が表示部30から見て左側又は右側のいずれの側にいるかを判別することができれば、情報表示装置1fは、左側又は右側の距離D0に基づくいずれかのモードに移行する(ステップS30)。なお、操作者2が表示部30から見て左側又は右側のいずれの側にいるかを判別することができなかった場合は、予め決められた処理(例えば、ステップS14〜S17又はステップS14a〜S17a)を選択し、判別ができなかったことを表示制御部25に通知し、表示部30に表示してもよい。また、操作者2が、表示部30から見て左側又は右側のいずれの側にいること、或いは、判別できなかったことを、表示部30に表示しても良い。
実施の形態7に係る情報表示装置1fにおいては、距離推測部21fは、左右判別部21faを有し、例えば、操作者2が運転席に座る操作者2であるか、助手席に座る操作者2であるかを判別することにより、表示制御部25により制御される表示内容を切り替えることができる。例えば、操作者2が運転席に座る者である場合には、情報表示装置1fは、ジェスチャー操作が可能な全ての操作を表示部30に表示し、操作者2が助手席に座る者である場合には、情報表示装置1fは、ジェスチャー操作が可能な操作のうちの安全に関係しない機能のみ(制限された機能)を表示部30に表示させることができる。
次に、距離推測部21fは、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。次に、距離推測部21fは、ステップS29及びS30において、操作者2が左側にいると判別した場合には、情報表示装置1fは、距離D0が第1の設定距離D1以下であれば、処理をステップS15に進め、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下であれば、処理をステップS16に進め、距離D0が第2の設定距離D2を超える場合、処理をステップS17に進める(ステップS14)。また、距離推測部21fは、ステップS29及びS30において、操作者2が右側にいると判別した場合には、情報表示装置1fは、距離D0が第1の設定距離D1以下であれば、処理をステップS15aに進め、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下であれば、処理をステップS16aに進め、距離D0が第2の設定距離D2を超える場合、処理をステップS17aに進める(ステップS14a)。なお、ステップS15a、S16a、S17aは、操作者2が右側にいる点を除いて、ステップS15、S16、S17と同等の処理である。
実施の形態7に係る情報表示装置1f及び情報表示方法によれば、操作者2が情報表示装置1fから見てどの方向にいるのかを判別することができ、判別された方向(例えば、左側又は右側)に応じて操作内容(表示部30における表示内容)を切り替えることができる。
上記以外の点を除き、実施の形態7に係る情報表示装置1f及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。
《8》変形例
図28は、上記実施の形態1から7に係る情報表示装置の変形例の構成を示すハードウェア構成図である。実施の形態1から7に係る情報表示装置は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて(例えば、コンピュータにより)実現することができる。この場合には、図2、図17、及び図19に示される記憶部40は、図28におけるメモリ91に相当し、図2、図17、及び図19に示される制御部20は、図28におけるプログラムを実行するプロセッサ92に相当する。なお、図2、図17、及び図19に示される制御部20の一部を、図28におけるメモリ91とプロセッサ92とによって実現してもよい。なお、本発明は、本発明の趣旨を逸脱しない範囲で、変更することが可能である。
上記実施の形態1から7に係る情報表示装置の構成を、組み合わせることが可能である。例えば、実施の形態5の外乱の抑制機能、実施の形態6の操作者認識結果を利用して距離を求める機能、及び実施の形態7の操作者のいる方向(装置から見て左側又は右側)に応じて表示内容を切り替える機能、を任意に組み合わせることが可能である。
(産業上の利用可能性)
本発明は、例えば、テレビ、PC、カーナビゲーションシステム、リアシートエンターテインメントシステム(RSE)、駅及び空港等に設置されるデジタルサイネージシステム等のような各種の情報表示装置に適用可能である。
1,1c,1d,1e,1f 情報表示装置、 1a,1b 情報表示部、 2 操作者、 10,10a ジェスチャー検出部、 10b 操作装置、 11 送信部、 12 受信部、 14 特徴抽出部、 20,20c,20d,20e,20f 制御部、 21,21c,21d,21e,21f 距離推測部、 21fa 左右判別部、 22 識別機能設定部、 23 ジェスチャー識別部、 24 機能実行部、 25 表示制御部、 26 外乱検出部、 27 操作者認識部、 30 表示部、 31 画面。

Claims (19)

  1. 複数の人のうち一名を操作者として認識した結果を表示部に表示させる表示制御部と、
    操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出部と、
    前記ジェスチャー検出部で生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を出力するジェスチャー識別部と
    め決められた第1の設定距離を記憶し、前記操作者と前記表示部との間の距離が前記第1の設定距離を超えているときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別部によって識別可能なジェスチャーを設定する識別機能設定部と、
    前記操作者の顔画像と前記操作者の属性情報とを互いに関連付けて記憶し、前記操作者を特定する操作者認識部と、
    前記操作者認識部によって特定された前記操作者の属性情報と前記ジェスチャー情報とに基づいて前記距離を推測する距離推測部と
    を有することを特徴とする情報表示装置。
  2. 前記表示制御部は、前記距離に応じて、前記表示部に表示される情報を変更させることを特徴とする請求項1に記載の情報表示装置。
  3. 前記表示制御部は、前記距離に応じて、前記表示部に表示される画像のレイアウトを変更させることを特徴とする請求項2に記載の情報表示装置。
  4. 前記表示制御部は、前記距離に応じて、前記表示部に表示される文字、アイコン、及びポインタの内の少なくとも1つのサイズを変更させることを特徴とする請求項2に記載の情報表示装置。
  5. 前記表示制御部は、前記距離が前記第1の設定距離を超えているときに、前記距離が前記第1の設定距離以下であるときに前記表示部に表示されていた情報の一部を、拡大表示させることを特徴とする請求項1に記載の情報表示装置。
  6. 前記表示制御部は、前記距離が前記第1の設定距離を超えているときに、前記距離が前記第1の設定距離以下であるときに前記表示部に表示されていた文字、アイコン、及びポインタの内の少なくとも1つを、拡大表示させることを特徴とする請求項5に記載の情報表示装置。
  7. 前記表示制御部は、前記識別機能設定部によって設定された前記識別可能なジェスチャーに応じて、前記表示部に表示される情報を変更させることを特徴とする請求項1から6のいずれか1項に記載の情報表示装置。
  8. 前記識別機能設定部は、
    前記第1の設定距離よりも大きい第2の設定距離を予め記憶し、
    前記距離が予め決められた前記第2の設定距離を超えているときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数が、前記距離が前記第2の設定距離以下であるときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別部によって識別可能なジェスチャーを設定する
    ことを特徴とする請求項1から7のいずれか1項に記載の情報表示装置。
  9. 前記表示制御部は、前記距離が前記第2の設定距離を超えているときに、前記距離が前記第1の設定距離を超えており且つ前記第2の設定距離以下であるときに前記表示部に表示されていた情報と異なる情報を前記表示部に表示させることを特徴とする請求項8に記載の情報表示装置。
  10. 前記ジェスチャー検出部は、前記操作者のジェスチャーの撮像を行い、
    前記ジェスチャー情報は、前記撮像によって生成された画像データである
    ことを特徴とする請求項1から9のいずれか1項に記載の情報表示装置。
  11. 前記ジェスチャー検出部は、前記操作者の身体に保持され、前記表示部の撮像を行い、前記撮像によって生成された画像データを送信する操作装置を有することを特徴とする請求項1から10のいずれか1項に記載の情報表示装置。
  12. 前記距離推測部は、前記ジェスチャー検出部から出力された画像データに基づいて前記操作者と前記表示部との間の距離を推測することを特徴とする請求項10又は11に記載の情報表示装置。
  13. 前記距離推測部は、前記操作者が、前記表示部を中心にして左側又は右側のいずれの側にいるかを判別する左右判別部を有し、
    前記表示制御部は、前記左右判別部による判別結果に基づいて、前記表示部の表示内容を切り替える
    ことを特徴とする請求項10から12のいずれか1項に記載の情報表示装置。
  14. 前記ジェスチャー検出部における撮像によって生成された複数フレームの画像における動きを検出し、検出された前記動きの中に、定められたある一定の期間における規則的な動きが含まれている場合、前記規則的な動きを外乱と判断し、前記判断に基づくフィルタ情報を生成する外乱検出部をさらに有し、
    前記距離推測部は、前記フィルタ情報に基づいて、複数フレームの画像における動きを補正する
    ことを特徴とする請求項10から13のいずれか1項に記載の情報表示装置。
  15. 複数の基準ジェスチャーを示す基準ジェスチャー情報と前記複数の基準ジェスチャーに対応する指示内容とをジェスチャーデータベースとして記憶する記憶部をさらに有し、
    前記ジェスチャー識別部は、前記ジェスチャー検出部から出力された前記ジェスチャー情報と前記記憶部に記憶されている前記基準ジェスチャー情報との比較を行い、前記比較の結果に基づいて、前記ジェスチャーの識別を行う
    ことを特徴とする請求項1から14のいずれか1項に記載の情報表示装置。
  16. 前記ジェスチャー識別部による前記識別の結果に基づく機能を実行する機能実行部をさらに有することを特徴とする請求項1から15のいずれか1項に記載の情報表示装置。
  17. 前記機能実行部は、前記ジェスチャー識別部による前記識別の結果に基づく信号を前記表示制御部に出力することを特徴とする請求項16に記載の情報表示装置。
  18. 前記表示部をさらに有することを特徴とする請求項1から17のいずれか1項に記載の情報表示装置。
  19. 表示部に情報を表示させる情報表示装置が実行する情報表示方法であって、
    複数の人のうち一名を操作者として認識した結果を表示部に表示させる表示制御ステップと、
    操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出ステップと、
    前記ジェスチャー検出ステップにおいて生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を出力するジェスチャー識別ステップと
    前記操作者と前記表示部との間の距離が予め定められた第1の設定距離を超えているときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別ステップにおいて識別可能なジェスチャーを設定する識別機能設定ステップと、
    前記操作者の顔画像と前記操作者の属性情報とを互いに関連付けて記憶し、前記操作者を特定する操作者認識ステップと、
    前記操作者認識ステップにおいて特定された前記操作者の属性情報と前記ジェスチャー情報とに基づいて前記距離を推測する距離推測ステップと
    を有することを特徴とする情報表示方法。
JP2016547119A 2015-04-20 2016-03-14 情報表示装置及び情報表示方法 Active JP6062123B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015085523 2015-04-20
JP2015085523 2015-04-20
PCT/JP2016/057900 WO2016170872A1 (ja) 2015-04-20 2016-03-14 情報表示装置及び情報表示方法

Publications (2)

Publication Number Publication Date
JP6062123B1 true JP6062123B1 (ja) 2017-01-18
JPWO2016170872A1 JPWO2016170872A1 (ja) 2017-04-27

Family

ID=57144095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547119A Active JP6062123B1 (ja) 2015-04-20 2016-03-14 情報表示装置及び情報表示方法

Country Status (5)

Country Link
US (1) US20180046254A1 (ja)
JP (1) JP6062123B1 (ja)
CN (1) CN107533366B (ja)
DE (1) DE112016001815T5 (ja)
WO (1) WO2016170872A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462140B1 (ko) * 2021-10-12 2022-11-03 (주)알피바이오 분배 장치 및 이를 구비하는 소형캡슐이 충진된 경질캡슐 제조 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3392740A4 (en) * 2015-12-18 2018-12-19 Sony Corporation Information processing device, information processing method, and program
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP2019159936A (ja) * 2018-03-14 2019-09-19 沖電気工業株式会社 第1の情報処理システム、第2の情報処理システムおよび第3の情報処理システム
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
CN109920309B (zh) * 2019-01-16 2023-02-03 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端
CN111603072A (zh) * 2019-02-22 2020-09-01 合盈光电(深圳)有限公司 以手势驱动的调理机
JP2020149152A (ja) * 2019-03-11 2020-09-17 株式会社デンソーテン 制御装置および制御方法
JP7304184B2 (ja) * 2019-03-27 2023-07-06 株式会社Subaru 車両の非接触操作装置、および車両
CN111736693B (zh) * 2020-06-09 2024-03-22 海尔优家智能科技(北京)有限公司 智能设备的手势控制方法及装置
JP2022132905A (ja) * 2021-03-01 2022-09-13 本田技研工業株式会社 ジェスチャ認識装置、移動体、ジェスチャ認識方法、およびプログラム
JP7511943B2 (ja) 2022-01-25 2024-07-08 株式会社Liberaware 飛行体
CN114898409B (zh) * 2022-07-14 2022-09-30 深圳市海清视讯科技有限公司 数据处理方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124525A1 (en) * 2010-11-12 2012-05-17 Kang Mingoo Method for providing display image in multimedia device and thereof
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2013047918A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 電子装置、生体画像認証装置、生体画像認証プログラムおよび生体画像認証方法
JP2014016912A (ja) * 2012-07-11 2014-01-30 Institute Of Computing Technology Of The Chinese Acadamy Of Sciences 画像処理装置、画像処理方法、および、画像処理プログラム
WO2014083669A1 (ja) * 2012-11-30 2014-06-05 日立マクセル株式会社 映像表示装置、及びその設定変更方法、設定変更プログラム
JP2014206866A (ja) * 2013-04-12 2014-10-30 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563996A (en) * 1992-04-13 1996-10-08 Apple Computer, Inc. Computer note pad including gesture based note division tools and method
WO2011155192A1 (ja) * 2010-06-08 2011-12-15 パナソニック株式会社 映像生成装置、方法及び集積回路
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
CN202133990U (zh) * 2011-06-25 2012-02-01 北京播思软件技术有限公司 一种可准确定位光标的移动终端
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
US9830073B2 (en) * 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124525A1 (en) * 2010-11-12 2012-05-17 Kang Mingoo Method for providing display image in multimedia device and thereof
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2013047918A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 電子装置、生体画像認証装置、生体画像認証プログラムおよび生体画像認証方法
JP2014016912A (ja) * 2012-07-11 2014-01-30 Institute Of Computing Technology Of The Chinese Acadamy Of Sciences 画像処理装置、画像処理方法、および、画像処理プログラム
WO2014083669A1 (ja) * 2012-11-30 2014-06-05 日立マクセル株式会社 映像表示装置、及びその設定変更方法、設定変更プログラム
JP2014206866A (ja) * 2013-04-12 2014-10-30 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462140B1 (ko) * 2021-10-12 2022-11-03 (주)알피바이오 분배 장치 및 이를 구비하는 소형캡슐이 충진된 경질캡슐 제조 시스템

Also Published As

Publication number Publication date
WO2016170872A1 (ja) 2016-10-27
JPWO2016170872A1 (ja) 2017-04-27
US20180046254A1 (en) 2018-02-15
CN107533366A (zh) 2018-01-02
DE112016001815T5 (de) 2017-12-28
CN107533366B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
JP6062123B1 (ja) 情報表示装置及び情報表示方法
US9746931B2 (en) Image processing device and image display device
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
WO2014054211A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
US9405373B2 (en) Recognition apparatus
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR20150076627A (ko) 차량 운전 학습 시스템 및 방법
US9823815B2 (en) Information processing apparatus and information processing method
US20180316911A1 (en) Information processing apparatus
US20170010797A1 (en) Gesture device, operation method for same, and vehicle comprising same
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016038621A (ja) 空間入力システム
WO2018061413A1 (ja) ジェスチャ検出装置
US10928919B2 (en) Information processing device and information processing method for virtual objects operability
KR20140079160A (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
WO2014103217A1 (ja) 操作装置、及び操作検出方法
US12087256B2 (en) Head mounted display and setting method
KR20130023787A (ko) 영상 촬영 장치 및 그 제어방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
US20230222738A1 (en) Information processing apparatus, information processing method, and program
JP2014048775A (ja) 注視位置特定装置、および注視位置特定プログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161213

R150 Certificate of patent or registration of utility model

Ref document number: 6062123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250