JP5641970B2 - 操作装置、再生装置及びテレビ受信装置 - Google Patents
操作装置、再生装置及びテレビ受信装置 Download PDFInfo
- Publication number
- JP5641970B2 JP5641970B2 JP2011033804A JP2011033804A JP5641970B2 JP 5641970 B2 JP5641970 B2 JP 5641970B2 JP 2011033804 A JP2011033804 A JP 2011033804A JP 2011033804 A JP2011033804 A JP 2011033804A JP 5641970 B2 JP5641970 B2 JP 5641970B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- gesture
- recording
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、操作信号を生成する操作装置、再生装置及びテレビ受信装置に関する。
リモコン（リモートコントローラ）により遠隔操作される電子機器が普及している。一方、リモコンを使用せずに、ユーザのジェスチャから電子機器の操作命令を決定する画像認識装置がある（例えば、特許文献１参照）。
しかしながら、特許文献１に記載の画像認識装置は、多くの装置と広い空間とを必要とし、簡易に電子機器を操作するには不向きである。例えば、可搬型電子機器を操作する場合、ユーザは可搬型電子機器の近傍に位置することが多く、ジェスチャ入力のために広い空間を確保することは困難である。また、個々のユーザには夫々ジェスチャに癖があり、電子機器はジェスチャ入力に基づく操作命令を常に受け付けることができるとは限らない。
本発明は斯かる事情に鑑みてなされたものである。その目的は、簡易な構成で、ジェスチャ入力を学習することができる操作装置、再生装置及びテレビ受信装置を提供することである。
本願に係る操作装置は、被写体を撮像する撮像手段と、該撮像手段が撮像した被写体に係る画像に基づいて該被写体の特徴量を算出する算出手段と、該算出手段が算出した被写体の特徴量に基づいて、被写体の特徴量及び被操作機器の操作に関する情報が関連付けて記録された記録部から該情報を検索する検索手段とを備え、該検索手段が検索した前記情報に基づいて、前記被操作機器を操作するための信号を生成する操作装置において、前記検索手段が前記情報の検索に失敗した場合、前記算出手段が算出した被写体の特徴量及び前記被操作機器の操作に関する情報を関連付けて前記記録部に記録する手段と、前記撮像手段が撮像した画像又は前記算出手段が算出した被写体の特徴量を表示する手段とを備えることを特徴とする。
本願に係る操作装置では、被写体の特徴量と被操作機器を操作する情報とが関連付けて記録された記録部を備えている。検索手段は、算出された被写体の特徴量に基づいて、記録部から被操作機器を操作する情報を検索する。操作装置は、検索手段が検索に失敗した場合、算出された被写体の特徴量と、被操作機器を操作する情報とを関連付けて記録部に記録する。
本願に係る操作装置では、撮像した被写体の画像又はその画像に基づいて算出された被写体の特徴量を表示する手段を備えている。
本願に係る再生装置は、前記検索手段が前記情報の検索に失敗した場合、前記撮像手段により新たに撮像された被写体に係る画像に基づいて、前記算出手段が算出した被写体の特徴量及び前記被操作機器の操作に関する情報を関連付けて前記記録部に記録する手段を備えることを特徴とする。
本願に係る操作装置では、検索手段が検索に失敗した場合、新たに撮像された被写体に係る画像に基づいて算出された被写体の特徴量と、被操作機器を操作する情報とを関連付けて記録部に記録する。
本願に係る操作装置は、前記被写体の特徴量は該被写体の移動軌跡又は形状であることを特徴とする。
本願に係る操作装置では、撮像した被写体に係る画像に基づいて、該被写体の移動軌跡又は形状を算出する。
本願に係る操作装置は、前記算出手段が算出した被写体の移動軌跡の形状又は該被写体の形状を簡略化する簡略化手段を備え、前記検索手段は、前記簡略化手段が簡略化した被写体の移動軌跡の形状又は該被写体の形状に基づいて、前記記録部から前記情報を検索するようにしてあることを特徴とする。
本願に係る操作装置では、算出した被写体の移動軌跡の形状又は被写体の形状を簡略化し、簡略化した被写体の移動軌跡の形状又は被写体の形状に基づいて、記録部から被操作機器の操作に関する情報を検索する。
本願に係る再生装置は、被写体を撮像する撮像手段と、該撮像手段が撮像した被写体に係る画像に基づいて該被写体の特徴量を算出する算出手段と、該算出手段が算出した被写体の特徴量に基づいて、被写体の特徴量及び被操作情報が関連付けて記録された記録部から該被操作情報を検索する検索手段と、記録媒体に記録された画像データを再生する再生手段とを備え、前記検索手段が検索した被操作情報に基づいて、前記再生手段により記録媒体に記録された画像データを再生する再生装置において、前記検索手段が被操作情報の検索に失敗した場合、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段と、前記再生手段が再生した画像データに基づく画像を表示する表示手段とを備え、該表示手段は前記撮像手段が撮像した画像又は前記算出手段が算出した被写体の特徴量を表示するようにしてあることを特徴とする。
本願に係る再生装置では、被写体の特徴量と被操作情報とが関連付けて記録された記録部を備えている。検索手段は、移動する被写体の画像に基づいて算出された被写体の特徴量に基づいて、記録部から被操作情報を検索する。再生装置は、検索手段が検索した被操作情報に基づいて、記録媒体に記録された画像データを再生する。再生装置は、検索手段が検索に失敗した場合、算出された被写体の特徴量と、被操作情報とを関連付けて記録部に記録する。
本願に係る再生装置では、記録媒体に記録された画像データに基づく画像を表示する表示手段を備えている。表示手段は、撮像した被写体の画像又はその画像に基づいて算出された被写体の特徴量を表示する。
本願に係る再生装置は、前記検索手段が被操作情報の検索に失敗した場合、前記撮像手段により新たに撮像された被写体の画像に基づいて、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段を備えることを特徴とする。
本願に係る再生装置では、再生装置は、検索手段が検索に失敗した場合、新たに撮像された被写体に係る画像に基づいて算出された被写体の特徴量と、被操作情報とを関連付けて記録部に記録する。
本願に係るテレビ受信装置は、被写体を撮像する撮像手段と、該撮像手段が撮像した被写体に係る画像に基づいて該被写体の特徴量を算出する算出手段と、該算出手段が算出した被写体の特徴量に基づいて、被写体の特徴量及び被操作情報が関連付けて記録された記録部から該被操作情報を検索する検索手段と、テレビ放送を受信する受信部とを備え、前記検索手段が検索した被操作情報に基づいて、前記受信部が受信するチャンネルの切り替え、該受信部により受信されたテレビ放送に係る画像又は音声の調整量を操作するテレビ受信装置において、前記検索手段が被操作情報の検索に失敗した場合、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段と、前記受信部が受信したテレビ放送に係る画像を表示する表示部を備え、該表示部は前記撮像手段が撮像した画像又は前記算出手段が算出した被写体の特徴量を表示するようにしてあることを特徴とする。
本願に係るテレビ受信装置では、被写体の特徴量と被操作情報とが関連付けて記録された記録部を備えている。検索手段は、移動する被写体の画像に基づいて算出された被写体の特徴量に基づいて、記録部から被操作情報を検索する。テレビ受信装置は、検索手段が検索した被操作情報に基づいて、テレビ放送の受信チャンネルの切り替え、テレビ放送に係る画像又は音声の調整量を操作する。テレビ受信装置は、検索手段が検索に失敗した場合、算出された被写体の特徴量と、被操作情報とを関連付けて記録部に記録する。
本願に係るテレビ受信装置では、受信したテレビ放送に係る画像を表示する表示部を備えている。表示部は、撮像した被写体の画像又はその画像に基づいて算出された被写体の特徴量を表示する。
本願に係るテレビ受信装置は、前記検索手段が被操作情報の検索に失敗した場合、前記撮像手段により新たに撮像された被写体の画像に基づいて、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段を備えることを特徴とする。
本願に係るテレビ受信装置では、検索手段が検索に失敗した場合、新たに撮像された被写体に係る画像に基づいて算出された被写体の特徴量と、被操作情報とを関連付けて記録部に記録する。
本願に係る操作装置等によれば、簡易な構成で、ジェスチャ入力を学習することができる。
以下、本発明の一実施例における操作装置を、実施の形態を示す図面に基づいて説明する。本実施形態に係る操作装置は、被操作機器（以下、本実施の形態では「電子機器」をいう）を操作するインタフェース装置である。操作装置が操作する対象の電子機器、例えば記録再生装置、テレビ受信装置、携帯電話機、電子レンジ、コンピュータ等である。以下では、電子機器の例として、記録再生装置を挙げて説明する。操作装置は、記録再生装置に内蔵されていてもよいし、記録再生装置と有線又は無線により接続される外部の装置でもよい。以下では、操作装置を記録再生装置に内蔵された操作部として説明する。
なお、本発明は、以下の実施の形態に限定されるものではない。
なお、本発明は、以下の実施の形態に限定されるものではない。
実施の形態１
図１は、記録再生装置１の構成を示すブロック図である。記録再生装置（再生装置）１は、ポータブル型の記録再生装置であり、操作部（操作装置）２、表示部３、信号処理部４、ディスクドライブ部（再生手段）５及びＨＤＤ部（再生手段）６を含む。
なお、記録再生装置１は、図示しないリモコンを含んでいてもよい。
図１は、記録再生装置１の構成を示すブロック図である。記録再生装置（再生装置）１は、ポータブル型の記録再生装置であり、操作部（操作装置）２、表示部３、信号処理部４、ディスクドライブ部（再生手段）５及びＨＤＤ部（再生手段）６を含む。
なお、記録再生装置１は、図示しないリモコンを含んでいてもよい。
操作部２は、制御部（算出手段、検索手段、記録する手段、表示する手段、表示手段、簡略化手段）２１、第１カメラ（撮像手段）２２、第２カメラ（撮像手段）２３、カメラ信号受信部２４、記録部２５及びタイマ２６を含む。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等のプロセッサであり、操作部２の各構成部を制御する。制御部２１は、ジェスチャ入力を受け付け、受け付けたジェスチャ入力に対応する操作信号を生成する。制御部２１は、生成した操作信号を信号処理部４に出力する。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等のプロセッサであり、操作部２の各構成部を制御する。制御部２１は、ジェスチャ入力を受け付け、受け付けたジェスチャ入力に対応する操作信号を生成する。制御部２１は、生成した操作信号を信号処理部４に出力する。
第１カメラ２２及び第２カメラ２３はデジタルカメラであり、例えばＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラである。第１カメラ２２及び第２カメラ２３は、表示部３から見て画面方向を撮像するように表示部３に設置されている。第１カメラ２２及び第２カメラ２３の配置位置は、ユーザが表示部３の画面に対向した場合、被写体（以下、本実施の形態では「ユーザの手」をいう）が撮像範囲に入るように調整されている。また、第１カメラ２２及び第２カメラ２３は、互いに離れた位置に配置されることにより、ユーザの手を立体画像として撮像することができる。例えば、第１カメラ２２及び第２カメラ２３は、夫々表示部３の上部及び側部に離れて配設される。第１カメラ２２及び第２カメラ２３は、カメラ信号受信部２４と有線により接続されている。第１カメラ２２及び第２カメラ２３は、撮像した画像の画像信号をカメラ信号受信部２４に送信する。
なお、第１カメラ２２又は第２カメラ２３は、魚眼カメラ又はパン・チルト・ズームカメラ（ＰＴＺカメラ）であってもよい。魚眼カメラは広い撮像空間を確保することができる。ＰＴＺカメラの場合、手部領域が拡大されることにより、ユーザはジェスチャ入力のためにカメラ正面に接近する必要がなくなる。
また、第１カメラ２２又は第２カメラ２３は、赤外線カメラであってもよい。あるいは第１カメラ２２又は第２カメラ２３は、赤外線フィルタを装着したカメラであってもよい。これにより、撮像空間の明るさに関係なく、第１カメラ２２又は第２カメラ２３はユーザのジェスチャをとらえることができる。
第１カメラ２２及び第２カメラ２３は、カメラ信号受信部２４と無線により接続されてもよい。
また、第１カメラ２２又は第２カメラ２３は、赤外線カメラであってもよい。あるいは第１カメラ２２又は第２カメラ２３は、赤外線フィルタを装着したカメラであってもよい。これにより、撮像空間の明るさに関係なく、第１カメラ２２又は第２カメラ２３はユーザのジェスチャをとらえることができる。
第１カメラ２２及び第２カメラ２３は、カメラ信号受信部２４と無線により接続されてもよい。
カメラ信号受信部２４は、第１カメラ２２及び第２カメラ２３から画像信号を受信するインタフェースである。カメラ信号受信部２４は、受信した画像信号を制御部２１に出力する。
記録部２５は、不揮発性メモリ及び揮発性メモリから構成され、制御部２１が実行するプログラム、作業変数、一時的な情報及び恒常的な情報を記録する。不揮発性メモリは、例えば、書き換え可能なフラッシュメモリ、ＦｅＲＡＭ（Ferroelectric RAM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＵＶ−ＥＰＲＯＭ（Ultra-Violet Erasable Programmable Read Only Memory）等である。揮発性メモリは、ＲＡＭ（Random Access Memory）である。
記録部２５は、フレームバッファを兼ねており、第１カメラ２２及び第２カメラ２３が撮像した画像のフレームを記録する。記録部２５には、入力操作に係る画面情報も記録されている。
記録部２５は、フレームバッファを兼ねており、第１カメラ２２及び第２カメラ２３が撮像した画像のフレームを記録する。記録部２５には、入力操作に係る画面情報も記録されている。
記録部２５は、ハンドファイル１Ｆ及びジェスチャテーブル１Ｔを記録している。ハンドファイル１Ｆは、第１カメラ２２又は第２カメラ２３が撮像した様々な手の画像を記録したファイルである。ジェスチャテーブル１Ｔは、第１カメラ２２又は第２カメラ２３が撮像した、手のジェスチャにより描かれる軌跡（移動軌跡）と記録再生装置１に対する被操作情報（以下、本実施の形態では「操作命令」をいう）とを対応付けて記録したテーブルである。
タイマ２６は、日時を計時し、計時した日時を制御部２１に出力する。
制御部２１、カメラ信号受信部２４、記録部２５及びタイマ２６は、システムバス２ｂ上に接続されている。システムバス２ｂは、信号処理部４のシステムバス４ｂと図示しないインタフェースを介して接続されている。
制御部２１、カメラ信号受信部２４、記録部２５及びタイマ２６は、システムバス２ｂ上に接続されている。システムバス２ｂは、信号処理部４のシステムバス４ｂと図示しないインタフェースを介して接続されている。
表示部３は、記録再生装置１が再生した画像を表示する画面を備えており、その画面は例えば液晶（ＬＣＤ；Liquid Crystal）、プラズマ、有機ＥＬ（Electro-Luminescence）、ＦＥＤ（Field Emission Display）、ＳＥＤ（Surface-conduction Electron-emitter Display）等のディスプレイである。また、表示部３は、入力された音声信号に基づいて音声を出力するスピーカ（図示せず）を有している。
信号処理部４は、制御部４１、記録部４２、インタフェース部４３、デジタル信号処理部４４、デコーダ４５、画像処理部４６、第１インタフェース部４７及び第２インタフェース部４８を含む。
制御部４１は、ＣＰＵ、ＭＰＵ等のプロセッサであり、信号処理部４の各構成部を制御する。
記録部４２は、不揮発性メモリ及び揮発性メモリから構成され、制御部４１が実行するプログラム、作業変数、一時的な情報及び恒常的な情報を記録する。
記録部４２は、不揮発性メモリ及び揮発性メモリから構成され、制御部４１が実行するプログラム、作業変数、一時的な情報及び恒常的な情報を記録する。
インタフェース部４３は、外部のデジタルチューナ（受信部）Ｔ、外部の記録再生装置等と接続され、これら外部の装置からＭＰＥＧ−２ＰＳ（Program Stream）、ＭＰＥＧ−２ＴＳ（Transport Stream）等のデジタルのストリームデータを受け付ける。インタフェース部４３が受け付けるストリームデータは、ネットワークに接続されたサーバ装置、ケーブルテレビの回線等に由来する信号がエンコードされたデジタルデータでもよい。インタフェース部４３は、受け付けたストリームデータをデジタル信号処理部４４に出力する。
デジタル信号処理部４４は、インタフェース部４３からストリームデータを受け付ける。デジタル信号処理部４４は、受け付けたストリームデータに対して多重ストリームの分離処理を行う。また、デジタル信号処理部４４は、分離したパケットについてデジタル放送用のスクランブルを解除する処理等を行う。
デジタル信号処理部４４は、受け付けたストリームデータに係る画像コンテンツが視聴される場合、データ処理を施したストリームデータをデコーダ４５に出力する。また、デジタル信号処理部４４は、受け付けたストリームデータに係る画像コンテンツを記録する場合、データ処理を施したストリームデータをディスクドライブ部５又はＨＤＤ部６に出力する。
デジタル信号処理部４４からデコーダ４５への出力と、デジタル信号処理部４４からディスクドライブ部５又はＨＤＤ部６への出力とは、両方同時に実行されてもよく、何れか一方のみが実行されてもよい。また、デコーダ４５へ出力されるストリームデータと、ディスクドライブ部５又はＨＤＤ部６へ出力されるストリームデータとは、同じであってもよいし、異なっていてもよい。
デコーダ４５は、デジタル信号処理部４４、ディスクドライブ部５又はＨＤＤ部６から符号化されたストリームデータを受け付ける。デコーダ４５は受け付けたストリームデータを画像信号及び音声信号に復号化し、復号化した画像信号及び音声信号を画像処理部４６に出力する。
画像処理部４６は、デコーダ４５から画像信号及び音声信号を受け付け、受け付けた画像信号に対して画素の補間、色調整等の画像処理を行う。画像処理部４６は、画像処理を施した画像信号及び音声信号を、図示しないインタフェースを介して、ＬＶＤＳ（low voltage differential signaling）により表示部３に出力する。
第１インタフェース部４７は、ＳＡＴＡ（Serial Advanced Technology Attachment）規格又はＡＴＡ（Advanced Technology Attachment）規格のインタフェースであり、ディスクドライブ部５と接続されている。
第２インタフェース部４８は、ＳＡＴＡ規格又はＡＴＡ規格のインタフェースであり、ＨＤＤ部６と接続されている。
制御部４１は、第１インタフェース部４７又は第２インタフェース部４８を介して夫々ディスクドライブ部５又はＨＤＤ部６との間でデータの交換をする。
第２インタフェース部４８は、ＳＡＴＡ規格又はＡＴＡ規格のインタフェースであり、ＨＤＤ部６と接続されている。
制御部４１は、第１インタフェース部４７又は第２インタフェース部４８を介して夫々ディスクドライブ部５又はＨＤＤ部６との間でデータの交換をする。
制御部４１、記録部４２、デジタル信号処理部４４、デコーダ４５、第１インタフェース部４７及び第２インタフェース部４８は、システムバス４ｂ上に接続されている。システムバス４ｂは、操作部２のシステムバス２ｂと図示しないインタフェースを介して接続されている。
ディスクドライブ部５は、インタフェース部５１及びディスクドライブ５２を含む。
インタフェース部５１は、ＳＡＴＡ規格又はＡＴＡ規格のインタフェースであり、第１インタフェース部４７と接続されている。
ディスクドライブ５２には、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc、登録商標）等の可搬性を有するディスク（記録媒体）Ｄが着脱可能に挿入される。ディスクドライブ５２は、ディスクＤに記録された画像及び音声データを読み出し、インタフェース部５１を介して信号処理部４に出力する。ディスクドライブ５２は、自身に入力された画像及び音声データを挿入されたディスクＤに記録する。
インタフェース部５１は、ＳＡＴＡ規格又はＡＴＡ規格のインタフェースであり、第１インタフェース部４７と接続されている。
ディスクドライブ５２には、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc、登録商標）等の可搬性を有するディスク（記録媒体）Ｄが着脱可能に挿入される。ディスクドライブ５２は、ディスクＤに記録された画像及び音声データを読み出し、インタフェース部５１を介して信号処理部４に出力する。ディスクドライブ５２は、自身に入力された画像及び音声データを挿入されたディスクＤに記録する。
ＨＤＤ部６は、インタフェース部６１及びハードディスク（記録媒体）６２を含む。
インタフェース部６１は、ＳＡＴＡ規格又はＡＴＡ規格のインタフェースであり、第２インタフェース部４８と接続されている。
ハードディスク６２は、記録された画像及び音声データを読み出し、インタフェース部６１を介して信号処理部４に出力する。ハードディスク６２は、自身に入力された画像及び音声データを記録する。
インタフェース部６１は、ＳＡＴＡ規格又はＡＴＡ規格のインタフェースであり、第２インタフェース部４８と接続されている。
ハードディスク６２は、記録された画像及び音声データを読み出し、インタフェース部６１を介して信号処理部４に出力する。ハードディスク６２は、自身に入力された画像及び音声データを記録する。
制御部２１又は制御部４１の内、いずれか一方はなくてもよい。かかる場合、残りの制御部が記録再生装置１全体の制御を行う。
同様に、記録部２５又は記録部４２の内、いずれか一方はなくてもよい。かかる場合、残りの記録部が記録再生装置１全体の動作及び制御に係る情報を記録する。
記録再生手段として、ディスクドライブ部５のみを利用する場合、ＨＤＤ部６及び信号処理部４の第２インタフェース部４８はなくてもよい。あるいは、記録再生手段として、ＨＤＤ部６のみを利用する場合、ディスクドライブ部５及び信号処理部４の第１インタフェース部４７はなくてもよい。
同様に、記録部２５又は記録部４２の内、いずれか一方はなくてもよい。かかる場合、残りの記録部が記録再生装置１全体の動作及び制御に係る情報を記録する。
記録再生手段として、ディスクドライブ部５のみを利用する場合、ＨＤＤ部６及び信号処理部４の第２インタフェース部４８はなくてもよい。あるいは、記録再生手段として、ＨＤＤ部６のみを利用する場合、ディスクドライブ部５及び信号処理部４の第１インタフェース部４７はなくてもよい。
次に、記録再生装置１の動作の概略について説明する。
図２及び図３は、記録再生装置１による処理の手順の概要を示すフローチャートである。操作部２は、指を含む手のジェスチャを撮像する（ステップＳ１０１）。操作部２は、撮像した画像から指先の位置を逐次算出することにより指先の軌跡を取得する（ステップＳ１０２）。操作部２は、取得した指先の軌跡に基づいて、ジェスチャテーブル１Ｔを検索し、記録再生装置１を操作する操作命令を検索する（ステップＳ１０３）。操作部２は、操作命令の検索に成功したか否か判定する（ステップＳ１０４）。
図２及び図３は、記録再生装置１による処理の手順の概要を示すフローチャートである。操作部２は、指を含む手のジェスチャを撮像する（ステップＳ１０１）。操作部２は、撮像した画像から指先の位置を逐次算出することにより指先の軌跡を取得する（ステップＳ１０２）。操作部２は、取得した指先の軌跡に基づいて、ジェスチャテーブル１Ｔを検索し、記録再生装置１を操作する操作命令を検索する（ステップＳ１０３）。操作部２は、操作命令の検索に成功したか否か判定する（ステップＳ１０４）。
操作部２は、操作命令の検索に成功したと判定した場合（ステップＳ１０４：ＹＥＳ）、所定時間経過したか否か判定する（ステップＳ１０５）。操作部２は、所定時間経過したと判定した場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１１３に処理を進める。操作部２は、所定時間経過していないと判定した場合（ステップＳ１０５：ＮＯ）、ステップＳ１０１に処理を戻す。
操作部２は、操作命令の検索に成功しなかったと判定した場合（ステップＳ１０４：ＮＯ）、再度のジェスチャを促す通知を表示部３に表示する（ステップＳ１０６）。操作部２は、指のジェスチャを再び撮像する（ステップＳ１０７）。操作部２は、撮像した画像から指先の位置を逐次算出することにより指先の軌跡を取得する（ステップＳ１０８）。操作部２は、後述する操作命令登録画面を表示する（ステップＳ１０９）。操作部２は、ユーザが操作命令登録画面から選択した操作命令を特定する（ステップＳ１１０）。操作部２は、取得した指先の軌跡と特定した操作命令とを対応付けてジェスチャテーブル１Ｔに記録する（ステップＳ１１１）。操作部２は、記録した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４に出力し（ステップＳ１１２）、ステップＳ１１４に処理を移す。
なお、操作命令の検索に成功しなかったと判定した場合（ステップＳ１０４：ＮＯ）、ステップＳ１０６からステップＳ１０８までの処理を省略してもよい。ステップＳ１１１では、操作部２はステップＳ１０２で取得した指先の軌跡とステップＳ１１０で特定した操作命令とを対応付けてジェスチャテーブル１Ｔに記録する。これにより、ステップＳ１０４で検索に失敗したと判定されたジェスチャをジェスチャテーブル１Ｔに記録することで、ユーザによる操作の癖を操作部２に学習させることができる。
操作部２は、所定時間経過したと判定した場合（ステップＳ１０５：ＹＥＳ）、検索した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４に出力する（ステップＳ１１３）。信号処理部４は、操作信号を受け付け、受け付けた操作信号に対応する処理を実行し（ステップＳ１１４）、処理を終了する。
上述のように、操作部２は、ジェスチャに基づいて操作命令の検索に失敗した場合（ステップＳ１０４：ＮＯ）、新たなジェスチャ又は検索に失敗した初めのジェスチャに基づく指先の軌跡と操作命令とを対応付けて記録する学習機能を有している。
上述のように、操作部２は、ジェスチャに基づいて操作命令の検索に失敗した場合（ステップＳ１０４：ＮＯ）、新たなジェスチャ又は検索に失敗した初めのジェスチャに基づく指先の軌跡と操作命令とを対応付けて記録する学習機能を有している。
なお、操作部２は、ステップＳ１０５において、所定時間経過していないと判定した場合（ステップＳ１０５：ＮＯ）、新たなジェスチャを撮像したか否か判定してもよい。
図４は、記録再生装置１による処理の手順の概要を示すフローチャートである。図４は、図２に代わり、新たなジェスチャの撮像に関する判定処理を付加した処理の手順の他例を示すフローチャートである。
操作部２は、所定時間経過していないと判定した場合（ステップＳ１０５：ＮＯ）、新たなジェスチャを撮像したか否か判定する（ステップＳ１１５）。操作部２は、新たなジェスチャを撮像したと判定した場合（ステップＳ１１５：ＹＥＳ）、ステップＳ１０２に処理を戻す。操作部２は、新たなジェスチャを撮像していないと判定した場合（ステップＳ１１５：ＮＯ）、ステップＳ１０５に処理を戻す。
図４は、記録再生装置１による処理の手順の概要を示すフローチャートである。図４は、図２に代わり、新たなジェスチャの撮像に関する判定処理を付加した処理の手順の他例を示すフローチャートである。
操作部２は、所定時間経過していないと判定した場合（ステップＳ１０５：ＮＯ）、新たなジェスチャを撮像したか否か判定する（ステップＳ１１５）。操作部２は、新たなジェスチャを撮像したと判定した場合（ステップＳ１１５：ＹＥＳ）、ステップＳ１０２に処理を戻す。操作部２は、新たなジェスチャを撮像していないと判定した場合（ステップＳ１１５：ＮＯ）、ステップＳ１０５に処理を戻す。
なお、ステップＳ１０５及びステップＳ１１５の処理は、誤動作を防止するための処理である。ユーザがジェスチャ入力後、すぐに新たなジェスチャ入力を行う場合、後から行ったジェスチャがユーザの真の意志を示していると考えられる。そこで、操作部２は、ジェスチャ入力後、新たなジェスチャ入力がないことを確認するため、所定時間待機する（ステップＳ１０５及びステップＳ１１５：ＮＯ）。操作部２は、所定時間経過する前に、新たなジェスチャ入力があった場合（ステップＳ１１５：ＹＥＳ）、ステップＳ１０２に処理を戻す。
記録再生装置１の動作の詳細について説明する。
操作部２の記録部２５には、予めハンドファイル１Ｆとジェスチャテーブル１Ｔとが記録されている。
図５は、ハンドファイル１Ｆの内容の一例を示す説明図である。図５は、右手の形状の一例を示している。ハンドファイル１Ｆには、人差し指１本のみを伸ばした手の画像、人差し指及び親指の２本を伸ばした手の画像、人差し指及び親指を丸めた手の画像等が記録されている。ハンドファイル１Ｆに記録されている画像は、右手と相似の形状をなす左手の形状も含む。また、ハンドファイル１Ｆに記録されている画像は、各手の形状が指の曲がり具合、撮像方向、撮像位置等に応じて異なる画像を含む。これらの手は、手のひらを表示部３の画面に向けて第１カメラ２２又は第２カメラ２３により撮像したものである。
操作部２の記録部２５には、予めハンドファイル１Ｆとジェスチャテーブル１Ｔとが記録されている。
図５は、ハンドファイル１Ｆの内容の一例を示す説明図である。図５は、右手の形状の一例を示している。ハンドファイル１Ｆには、人差し指１本のみを伸ばした手の画像、人差し指及び親指の２本を伸ばした手の画像、人差し指及び親指を丸めた手の画像等が記録されている。ハンドファイル１Ｆに記録されている画像は、右手と相似の形状をなす左手の形状も含む。また、ハンドファイル１Ｆに記録されている画像は、各手の形状が指の曲がり具合、撮像方向、撮像位置等に応じて異なる画像を含む。これらの手は、手のひらを表示部３の画面に向けて第１カメラ２２又は第２カメラ２３により撮像したものである。
図６及び図７は、ジェスチャテーブル１Ｔの内容の一例を示す説明図である。図６の上段は、左から右へ向かって、再生開始、再生中の再生停止、再生中の再生一時停止の各操作命令に対応する指先の軌跡を示している。図６の下段は、左から右へ向かって、録画準備、録画準備中の録画開始、録画中の録画停止、録画中の録画一時停止の各操作命令に対応する指先の軌跡を示している。
操作部２は、ジェスチャの方向を判別して操作命令を特定することができる。図７の上段は、左から右へ向かって、音量増大、音量低下、消音の各操作命令に対応する指先の軌跡を示している。音量増大の操作命令は、右斜め上方向に直線を描くジェスチャに対応する。音量低下の操作命令は、右斜め下方向に直線を描くジェスチャに対応する。消音の操作命令は、下方向に直線を描くジェスチャに対応する。図７の下段は、左から右へ向かって、ホームメニュー表示、画像拡大、画像縮小の各操作命令に対応する指先の軌跡を示している。画像拡大の操作命令は、右斜め方向に人差し指と親指との間の距離を広げるジェスチャの軌跡に対応する。画像縮小の操作命令は、右斜め方向に人差し指と親指との間の距離を縮めるジェスチャの軌跡に対応する。サイズを変更する対象の画像は、動画でもよいし静止画でもよい。あるいは、サイズを変更する対象の画像は、一時的に再生停止した場合の画像でもよい。図７の例は、ジェスチャの方向を示す矢印を含むが、実際のジェスチャテーブル１Ｔに記録された軌跡は矢印を含まず、ジェスチャテーブル１Ｔには軌跡の方向を示す他の情報が含まれる。この他の情報は、例えば軌跡と整合的なベクトルである。
操作部２は、ジェスチャの方向を判別して操作命令を特定することができる。図７の上段は、左から右へ向かって、音量増大、音量低下、消音の各操作命令に対応する指先の軌跡を示している。音量増大の操作命令は、右斜め上方向に直線を描くジェスチャに対応する。音量低下の操作命令は、右斜め下方向に直線を描くジェスチャに対応する。消音の操作命令は、下方向に直線を描くジェスチャに対応する。図７の下段は、左から右へ向かって、ホームメニュー表示、画像拡大、画像縮小の各操作命令に対応する指先の軌跡を示している。画像拡大の操作命令は、右斜め方向に人差し指と親指との間の距離を広げるジェスチャの軌跡に対応する。画像縮小の操作命令は、右斜め方向に人差し指と親指との間の距離を縮めるジェスチャの軌跡に対応する。サイズを変更する対象の画像は、動画でもよいし静止画でもよい。あるいは、サイズを変更する対象の画像は、一時的に再生停止した場合の画像でもよい。図７の例は、ジェスチャの方向を示す矢印を含むが、実際のジェスチャテーブル１Ｔに記録された軌跡は矢印を含まず、ジェスチャテーブル１Ｔには軌跡の方向を示す他の情報が含まれる。この他の情報は、例えば軌跡と整合的なベクトルである。
図６及び図７に示したジェスチャはあくまで一例である。どのようなジェスチャをどのような操作命令に対応させるかということは自由であり、新規にジェスチャを記録再生装置１の操作命令に登録することも可能である。
図８は、ジェスチャによる軌跡及び操作命令をジェスチャテーブル１Ｔに登録する処理の手順を示すフローチャートである。図８の処理は、ジェスチャ入力を可能にするための前準備に該当する。なお、以下のステップＳ２０１からステップＳ２０５までの処理は、ステップＳ２０６の判定結果に基づいて、繰り返し実行される。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５から読み込み、手部領域を抽出する（ステップＳ２０１）。手部領域を抽出するために、撮像した画像に対して輪郭を抜き出すエッジ抽出、肌色抽出、背景差分法等が利用されてよい。制御部２１は、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ２０２）。ステップＳ２０２において、制御部２１はユーザのジェスチャが１本指のジェスチャか２本指のジェスチャかも決定する。
制御部２１は、決定した手の位置及び形状から指先位置を算出する（ステップＳ２０３）。ステップＳ２０３において、制御部２１は、ジェスチャが２本指のジェスチャである場合、人差し指と親指との指先位置を算出する。
なお、制御部２１は、１本指のジェスチャである場合、指先位置の代りに手部領域の重心位置を算出してもよい。かかる場合、制御部２１は手部領域の重心位置の軌跡を算出する。
なお、制御部２１は、１本指のジェスチャである場合、指先位置の代りに手部領域の重心位置を算出してもよい。かかる場合、制御部２１は手部領域の重心位置の軌跡を算出する。
制御部２１は、算出した１つ又は２つの指先位置を配列に格納して記録部２５に記録する（ステップＳ２０４）。制御部２１は、現時点までの指先の軌跡を算出し、算出した軌跡を記録部２５に記録する（ステップＳ２０５）。すなわち、制御部２１は前回に記録部２５に記録した指先位置を読み出し、ステップＳ２０３で算出した指先位置との差から指先位置の移動量及び移動方向（ベクトル）を算出する。制御部２１は、新しく算出した指先位置の移動量及び移動方向に基づいて、新たな軌跡部分を算出する。制御部２１は、前回に記録した軌跡に新たな軌跡部分を継ぎ足す計算を実行する。制御部２１は、新たな軌跡部分が継ぎ足された軌跡を現時点までの指先の軌跡として、記録部２５に記録する。
制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したか否か判定する（ステップＳ２０６）。ここで、ジェスチャテーブル１Ｔに登録するための指先の軌跡とは、ユーザがジェスチャ入力を開始してから終了するまでの間に指先が描いた軌跡のことである。従って、ステップＳ２０６において、制御部２１はジェスチャ入力の終了を判定する。例えば、その判定方法として、制御部２１は取得した軌跡の長さ（本発明では、「距離」をいう）が所定時間継続して所定値の範囲内にある場合、ジェスチャ入力は終了したと判定する。
制御部２１は、指先の軌跡を取得していないと判定した場合（ステップＳ２０６：ＮＯ）、ステップＳ２０１に処理を戻す。制御部２１は、指先の軌跡を取得したと判定した場合（ステップＳ２０６：ＹＥＳ）、操作命令登録画面を表示する（ステップＳ２０７）。
図９は、操作命令登録画面７の一例を示す説明図である。操作命令登録画面７の上段から下段に向かって、例えば再生開始、録画準備、音量増大及びホームメニュー表示等の各種操作命令を選択するボタン群が表示されている。操作命令の選択は、記録再生装置１の例えばリモコンを操作して操作命令登録画面７のボタンを押下することにより行われる。あるいは、操作命令は、ジェスチャ入力により選択されてもよい。例えば、ユーザは所望のボタンの前に手を移動させ、丸を描くジェスチャをする。制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像から手の位置がどのボタンの前にあるか判定し、丸の軌跡を検出した場合、該当するボタンから選択された操作命令を特定してもよい。
制御部２１は、ユーザが操作命令登録画面７から選択した操作命令を特定する（ステップＳ２０８）。制御部２１は、取得した軌跡と特定した操作命令とを対応付けてジェスチャテーブル１Ｔに記録し（ステップＳ２０９）、処理を終了する。
図１０、図１１及び図１２は、記録再生装置１による処理の手順の詳細を示すフローチャートである。なお、以下のステップＳ３０１からステップＳ３０５までの処理は、これら以降の判定処理に基づいて、繰り返し実行される。また、ステップＳ３１２からステップＳ３１６までの処理は、ステップＳ３１７の判定処理に基づいて、繰り返し実行される。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５から読み込み、手部領域を抽出する（ステップＳ３０１）。制御部２１は、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ３０２）。制御部２１は決定した手の位置及び形状から指先位置を算出する（ステップＳ３０３）。制御部２１は、算出した１つ又は２つの指先位置を配列に格納して記録部２５に記録する（ステップＳ３０４）。制御部２１は、現時点までの指先の軌跡を算出し、算出した軌跡を記録部２５に記録する（ステップＳ３０５）。
制御部２１は、ジェスチャテーブル１Ｔを検索するための指先の軌跡を取得したか否か判定する（ステップＳ３０６）。ここで、ジェスチャテーブル１Ｔを検索するための指先の軌跡とは、ユーザがジェスチャ入力を開始してから終了するまでの間に指先が描いた軌跡のことである。従って、ステップＳ３０６において、制御部２１はジェスチャ入力の終了を判定する。例えば、その判定方法として、制御部２１は取得した軌跡が所定時間継続して所定値の範囲内にある場合、ジェスチャ入力は終了したと判定する。
制御部２１は、ジェスチャテーブル１Ｔを検索するための指先の軌跡を取得していないと判定した場合（ステップＳ３０６：ＮＯ）、ステップＳ３０１に処理を戻す。制御部２１は、ジェスチャテーブル１Ｔを検索するための指先の軌跡を取得したと判定した場合（ステップＳ３０６：ＹＥＳ）、取得した軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索する（ステップＳ３０７）。
制御部２１は、ジェスチャテーブル１Ｔから操作命令の検索に成功したか否か判定する（ステップＳ３０８）。制御部２１は、操作命令の検索に成功したと判定した場合（ステップＳ３０８：ＹＥＳ）、タイマ２６の計時に基づいて、所定時間経過したか否か判定する（ステップＳ３０９）。制御部２１は、所定時間経過したと判定した場合（ステップＳ３０９：ＹＥＳ）、ステップＳ３２２に処理を進める。
制御部２１は、所定時間経過していないと判定した場合（ステップＳ３０９：ＮＯ）、新たなジェスチャを撮像したか否か判定する（ステップＳ３１０）。制御部２１は、ステップＳ３１０において、ステップＳ３０１以降と同様の処理を実行し、手部領域の抽出に成功した場合、取得した軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索し、操作命令の検索に成功したときは、新たなジェスチャを撮像したと判定する。すなわち、所定時間経過時点での撮像範囲内での最終位置をジェスチャ操作の終了位置と判定する。
あるいは、制御部２１は、ステップＳ３０５において指先位置の移動量が所定値より大きい場合、ユーザが新たなジェスチャを始めたとして、その旨のフラグを設定する。制御部２１は、ステップＳ３１０において当該フラグを参照し、新たなジェスチャを撮像したか否か判定してもよい。
あるいは、制御部２１は、ステップＳ３０５において指先位置の移動量が所定値より大きい場合、ユーザが新たなジェスチャを始めたとして、その旨のフラグを設定する。制御部２１は、ステップＳ３１０において当該フラグを参照し、新たなジェスチャを撮像したか否か判定してもよい。
制御部２１は、新たなジェスチャを撮像したと判定した場合（ステップＳ３１０：ＹＥＳ）、ステップＳ３０１に処理を戻す。制御部２１は、新たなジェスチャを撮像していないと判定した場合（ステップＳ３１０：ＮＯ）、ステップＳ３０９に処理を戻す。
制御部２１は、操作命令の検索に成功しなかったと判定した場合（ステップＳ３０８：ＮＯ）、再度のジェスチャを促す通知を表示部３に表示する（ステップＳ３１１）。
なお、ステップＳ３１１において、制御部２１は表示部３への通知表示と同時に又は別にユーザに対して音声による注意を喚起してもよい。
ステップＳ３１１は、詳細には再度のジェスチャを促す通知を表示部３に表示する旨の信号を、制御部２１が信号処理部４に送信する処理である。信号処理部４は、当該信号を受信し、再度のジェスチャを促す通知を表示部３に表示する。この通知を受けて、ユーザは第１カメラ２２及び第２カメラ２３の前で再びジェスチャを行う。
なお、ステップＳ３１１において、制御部２１は表示部３への通知表示と同時に又は別にユーザに対して音声による注意を喚起してもよい。
ステップＳ３１１は、詳細には再度のジェスチャを促す通知を表示部３に表示する旨の信号を、制御部２１が信号処理部４に送信する処理である。信号処理部４は、当該信号を受信し、再度のジェスチャを促す通知を表示部３に表示する。この通知を受けて、ユーザは第１カメラ２２及び第２カメラ２３の前で再びジェスチャを行う。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５から読み込み、手部領域を抽出する（ステップＳ３１２）。制御部２１は、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ３１３）。
制御部２１は、決定した手の位置及び形状から指先位置を算出する（ステップＳ３１４）。制御部２１は、算出した１つ又は２つの指先位置を配列に格納して記録部２５に記録する（ステップＳ３１５）。制御部２１は、現時点までの指先の軌跡を算出し、算出した軌跡を記録部２５に記録する（ステップＳ３１６）。制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したか否か判定する（ステップＳ３１７）。
制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得していないと判定した場合（ステップＳ３１７：ＮＯ）、ステップＳ３１２に処理を戻す。制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したと判定した場合（ステップＳ３１７：ＹＥＳ）、操作命令登録画面７を表示する（ステップＳ３１８）。
制御部２１は、ユーザが操作命令登録画面７から選択した操作命令を特定する（ステップＳ３１９）。制御部２１は、取得した軌跡と特定した操作命令とを対応付けてジェスチャテーブル１Ｔに記録する（ステップＳ３２０）。制御部２１は、記録した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４の制御部４１に出力する（ステップＳ３２１）。次に、制御部２１又は記録再生装置１は、ステップＳ３２３に処理を移す。
制御部２１は、所定時間経過したと判定した場合（ステップＳ３０９：ＹＥＳ）、検索した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４の制御部４１に出力する（ステップＳ３２２）。信号処理部４の制御部４１は、操作信号を受け付け、受け付けた操作信号に対応する処理を実行し（ステップＳ３２３）、処理を終了する。
記録再生装置１の操作部２によれば、簡易な構成で、ジェスチャ入力を学習することができる。
ジェスチャ入力により電子機器に操作命令を入力する場合、リモコンは不要である。そのため、リモコンの所在が不明になった場合であっても、ジェスチャ入力は電子機器の操作を可能にする。また、ジェスチャ入力は、タッチパネル、ボタン等に指を接触させないので、指に水、油、泥等が付着している場合又はタッチパネル、ボタン等を触りたくない場合でも電子機器に操作命令を入力することができる。しかし、ジェスチャ入力は、予め決められたジェスチャパターン以外のジェスチャを用いて電子機器に操作命令を入力することができない。
図１３は、指によるジェスチャの軌跡の一例を示す説明図である。ユーザ毎にジェスチャに癖がある場合がある。そのため、図１３の上図が正方形として、図１３の中央図が水平線として、又は図１３の下図が正三角形としてジェスチャ入力される可能性がある。図６及び図７の軌跡が操作命令と対応付けてジェスチャテーブル１Ｔに登録されている場合、制御部２１は、操作命令の検索に失敗するおそれがある。しかし、記録再生装置１の操作部２は、操作命令の検索に失敗した場合、ユーザによる新たなジェスチャを操作命令と対応付けて、ジェスチャテーブル１Ｔに追加登録する。この学習機能により、記録再生装置１は、ユーザ毎に癖のあるジェスチャであっても、次回から制御部２１は操作命令の検索に成功し、ジェスチャ入力からユーザが所望する処理を実行することができる。すなわち、記録再生装置１の誤動作は低減される。
ジェスチャ入力により電子機器に操作命令を入力する場合、リモコンは不要である。そのため、リモコンの所在が不明になった場合であっても、ジェスチャ入力は電子機器の操作を可能にする。また、ジェスチャ入力は、タッチパネル、ボタン等に指を接触させないので、指に水、油、泥等が付着している場合又はタッチパネル、ボタン等を触りたくない場合でも電子機器に操作命令を入力することができる。しかし、ジェスチャ入力は、予め決められたジェスチャパターン以外のジェスチャを用いて電子機器に操作命令を入力することができない。
図１３は、指によるジェスチャの軌跡の一例を示す説明図である。ユーザ毎にジェスチャに癖がある場合がある。そのため、図１３の上図が正方形として、図１３の中央図が水平線として、又は図１３の下図が正三角形としてジェスチャ入力される可能性がある。図６及び図７の軌跡が操作命令と対応付けてジェスチャテーブル１Ｔに登録されている場合、制御部２１は、操作命令の検索に失敗するおそれがある。しかし、記録再生装置１の操作部２は、操作命令の検索に失敗した場合、ユーザによる新たなジェスチャを操作命令と対応付けて、ジェスチャテーブル１Ｔに追加登録する。この学習機能により、記録再生装置１は、ユーザ毎に癖のあるジェスチャであっても、次回から制御部２１は操作命令の検索に成功し、ジェスチャ入力からユーザが所望する処理を実行することができる。すなわち、記録再生装置１の誤動作は低減される。
制御部２１は、ユーザのジェスチャから取得した軌跡の形状を簡略化し、簡略化した軌跡の形状に基づいてジェスチャテーブル１Ｔから操作命令を検索してもよい。例えば、制御部２１は、図１３の中央図を略水平な直線に簡略化する。あるいは、制御部２１は、例えば角が不明瞭な多角形を丸に設定する。これにより、制御部２１はジェスチャテーブル１Ｔにおけるヒット率を上昇させることができる。
また、簡略化した軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索することに成功した場合、制御部２１は簡略化前の軌跡と検索に成功した操作命令とを関連付けてジェスチャテーブル１Ｔに追加登録してもよい。これにより、ユーザは操作命令登録画面７から操作命令を選択する手間を省くことができ、操作部２は自動学習機能を有することになる。
簡略化した軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索することに失敗した場合であっても、簡略化した軌跡に近い軌跡と対応する複数の操作命令を操作命令登録画面７に表示してもよい。これにより、操作命令登録画面７に表示される操作命令の数を、例えば図９に示した数より少なくすることができる。
例えば、ユーザは丸を描いたつもりでも、簡略化した軌跡の形状は丸にならないことが考えられる。しかし、その場合であっても、制御部２１は簡略化した軌跡の形状と丸との一致度を算出する。制御部２１は、算出した一致度が所定割合より高い場合、ジェスチャテーブル１Ｔに丸と対応付けて記録されている操作命令の全て、例えば再生開始、録画開始の２つを操作命令登録画面７に表示する。あるいは、制御部２１は、再生開始、録画開始に加えて、丸に形状が似た正五角形と対応付けられた操作命令も操作命令登録画面７に表示してもよい。
上述の処理により、操作命令登録画面７に表示される操作命令の数が減らされるため、操作命令を選択するユーザの負荷を低減することができる。
例えば、ユーザは丸を描いたつもりでも、簡略化した軌跡の形状は丸にならないことが考えられる。しかし、その場合であっても、制御部２１は簡略化した軌跡の形状と丸との一致度を算出する。制御部２１は、算出した一致度が所定割合より高い場合、ジェスチャテーブル１Ｔに丸と対応付けて記録されている操作命令の全て、例えば再生開始、録画開始の２つを操作命令登録画面７に表示する。あるいは、制御部２１は、再生開始、録画開始に加えて、丸に形状が似た正五角形と対応付けられた操作命令も操作命令登録画面７に表示してもよい。
上述の処理により、操作命令登録画面７に表示される操作命令の数が減らされるため、操作命令を選択するユーザの負荷を低減することができる。
ハンドファイル１Ｆに記録された画像は、人差し指又は親指以外の画像を含まない。指のパターンを上記の人差し指又は親指に限定することにより、制御部２１が実行するテンプレートマッチングの処理を軽減することができる。
なお、上述の人差し指、親指は、ジェスチャ入力で使用する指の一例である。制御部２１のスペックに応じて、ハンドファイル１Ｆに記録する画像の種類及び数は、変更されてよい。
なお、上述の人差し指、親指は、ジェスチャ入力で使用する指の一例である。制御部２１のスペックに応じて、ハンドファイル１Ｆに記録する画像の種類及び数は、変更されてよい。
ハンドファイル１Ｆには、人差し指及び親指が伸ばされた２本指の手のパターンが含まれる。また、ジェスチャテーブル１Ｔには、図７の下段の中央及び右端に例示した２本指によるジェスチャの軌跡が含まれている。従って、記録再生装置１は、人差し指及び親指の２本指によるジェスチャを操作命令に割り当てることができる。なお、上述の人差し指及び親指は、２本指によるジェスチャ入力で使用する指の一例である。例えば、記録再生装置１の操作部２は、左手の人差し指と右手の人差し指との夫々のジェスチャを組み合わせたジェスチャに基づくジェスチャ入力を受け付けてもよい。そのためには、制御部２１は１つの画像から２つの手部領域を独立して抽出すればよい。
記録再生装置１の操作部２は、撮像手段として、２つの第１カメラ２２及び第２カメラ２３を有している。第１カメラ２２及び第２カメラ２３は、離れた位置に設置されることにより、ユーザの手及び指を３次元で撮像することができる。従って、操作部２は奥行方向のジェスチャも扱うことが可能である。ユーザのジェスチャには乱れがあり、３次元で検出したジェスチャを仮想的な２次元平面に投影した方が、ジェスチャの検出精度は向上する場合がある。この仮想的な２次元平面は表示部３の画面と平行な平面でもよいし、立体的なジェスチャの軌跡に最も一致する平面でもよい。
あるいは、３次元で検出したジェスチャを仮想的な２次元平面に投影するのではなく、３次元分布の指先の軌跡により操作命令を特定してもよい。制御部２１の処理能力が高い場合、２次元よりも情報量が増大した３次元分布の指先の軌跡を制御部２１に処理させても大きな負荷とはならない。
例えば、予めジェスチャテーブル１Ｔに、３次元分布の指先の軌跡と操作命令とを関連付けて記録しておく。制御部２１は、第１カメラ２２及び第２カメラ２３が撮像した２つの画像から３次元の指先位置を算出する。制御部２１は、算出した３次元の指先位置に基づいて３次元における指先の軌跡を算出する。制御部２１は、算出した３次元における指先の軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索する。
また、操作部２は、２つのカメラを有することにより、仮に一方のカメラに不具合が生じた場合、残りの他のカメラを用いてユーザのジェスチャを撮像することができる。
例えば、予めジェスチャテーブル１Ｔに、３次元分布の指先の軌跡と操作命令とを関連付けて記録しておく。制御部２１は、第１カメラ２２及び第２カメラ２３が撮像した２つの画像から３次元の指先位置を算出する。制御部２１は、算出した３次元の指先位置に基づいて３次元における指先の軌跡を算出する。制御部２１は、算出した３次元における指先の軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索する。
また、操作部２は、２つのカメラを有することにより、仮に一方のカメラに不具合が生じた場合、残りの他のカメラを用いてユーザのジェスチャを撮像することができる。
図８のステップＳ２０１及び図１０のステップＳ３０１において、制御部２１は手部領域の抽出から処理を開始する。かかる場合、制御部２１は処理を開始するために、手部領域を監視し続けなければならない。そこで、制御部２１は、所定の信号を受け付けた場合、処理を開始してもよい。
例えば、第１カメラ２２又は第２カメラ２３を赤外線カメラとする。制御部２１は、ユーザが第１カメラ２２又は第２カメラ２３に手を接近させた場合、第１カメラ２２又は第２カメラ２３が所定値より大きな赤外線強度を検出したときに、処理を開始してもよい。あるいは、第１カメラ２２及び第２カメラ２３と別に、赤外線センサを表示部３に設置してもよい。
あるいは、記録再生装置１にマイクを設け、当該マイクを介して所定値以上の音声波形の振幅を検出した場合に、制御部２１はジェスチャ入力の受付処理を開始してもよい。
例えば、第１カメラ２２又は第２カメラ２３を赤外線カメラとする。制御部２１は、ユーザが第１カメラ２２又は第２カメラ２３に手を接近させた場合、第１カメラ２２又は第２カメラ２３が所定値より大きな赤外線強度を検出したときに、処理を開始してもよい。あるいは、第１カメラ２２及び第２カメラ２３と別に、赤外線センサを表示部３に設置してもよい。
あるいは、記録再生装置１にマイクを設け、当該マイクを介して所定値以上の音声波形の振幅を検出した場合に、制御部２１はジェスチャ入力の受付処理を開始してもよい。
図８のステップＳ２０４又は図１０のステップＳ３０４において、制御部２１はタイマ２６から受け付けた日時とともに指先位置を記録部２５に記録してもよい。制御部２１は、配列に格納した指先位置と日時とからユーザのジェスチャ動作速度を算出する。これにより、同じジェスチャであっても、速い動作と遅い動作とに異なる操作命令を振り分けることができる。例えば、制御部２１は、水平に直線を描くジェスチャに対して、ユーザが所定速度より速く直線を描いた場合は再生停止の信号を生成し、所定速度より遅く直線を描いた場合は再生一時停止の信号を生成する。
ジェスチャ入力のためのジェスチャは単純なものが好ましい。また、ポータブル型の記録再生装置に手のジェスチャ入力をする場合、手のジェスチャを行う空間は狭い。そのような狭い空間で行われる単純な手のジェスチャの種類には限りがあるため、ジェスチャに対応させる操作命令の数も限られる。しかし、ジェスチャの動作速度の違いをジェスチャの形態に組み合わせることにより、ジェスチャの種類が増大し、ジェスチャに対応させる操作命令の数も増やすことができる。その際、ジェスチャの速度の違いを人間の感覚と整合する操作に対応させてもよい。例えば、再生画像の早送り速度をジェスチャの速度に比例して変更してもよい。また、ジェスチャの動作方向が逆になった場合、巻き戻しによって画像の再生箇所を戻してもよい。
ジェスチャ入力のためのジェスチャは単純なものが好ましい。また、ポータブル型の記録再生装置に手のジェスチャ入力をする場合、手のジェスチャを行う空間は狭い。そのような狭い空間で行われる単純な手のジェスチャの種類には限りがあるため、ジェスチャに対応させる操作命令の数も限られる。しかし、ジェスチャの動作速度の違いをジェスチャの形態に組み合わせることにより、ジェスチャの種類が増大し、ジェスチャに対応させる操作命令の数も増やすことができる。その際、ジェスチャの速度の違いを人間の感覚と整合する操作に対応させてもよい。例えば、再生画像の早送り速度をジェスチャの速度に比例して変更してもよい。また、ジェスチャの動作方向が逆になった場合、巻き戻しによって画像の再生箇所を戻してもよい。
操作部２が受け付けるジェスチャの種類を絞り込むために、ジェスチャによる軌跡の組み合わせを操作命令と対応付けてジェスチャテーブル１Ｔに記録してもよい。例えば、丸と三角とを続けて描くジェスチャが行われた場合、所定の操作命令を実行するようにしてもよい。
図８のステップＳ２０６及び図１０のステップＳ３０６において、夫々制御部２１はジェスチャテーブル１Ｔに登録する指先の軌跡又はジェスチャテーブル１Ｔから検索する指先の軌跡を取得したか否か判定する。かかる判定方法は、ジェスチャ入力の終了に係る判定を含み、この判定には様々な形態が利用されてよい。
一例として、ジェスチャ終了の判定時はこぶしを握り、じゃんけんの「グー」のようなポーズを１秒以上継続するなど、ジェスチャ入力終了の判定基準となる取り決めをデフォルトの命令として記録部２５に記録しておく。あるいは、ユーザが手を第１カメラ２２又は第２カメラ２３の前から他の場所へ移動した場合、ジェスチャ入力は終了するものと決めておいてもよい。かかる場合、制御部２１は第１カメラ２２又は第２カメラ２３が撮像した画像から手部領域を抽出することができない。そこで、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像から手部領域を抽出することができない場合、ジェスチャ入力に係る軌跡の全てを取得したと判定してもよい。
あるいは、ジェスチャ入力の終了を示す特定のジェスチャを決めておいてもよい。例えば、人差し指と親指とを接触させるポーズをジェスチャ入力の終了ポーズに決め、該終了ポーズをハンドファイル１Ｆに予め記録しておく。制御部２１は、手部領域を抽出した場合、常に終了ポーズの手の形状についてテンプレートマッチングを行う。制御部２１は、手の形状が終了ポーズと一致した場合、ジェスチャが終了したと判定する。
さらには、ジェスチャ入力の終了を示す特定のジェスチャは、ポーズではなく指又は手による特定の動作であってもよい。例えば、制御部２１は、指又は手による動作が表示部３に対して前後方向であることを判定した場合、ジェスチャが終了したと判定する。
一例として、ジェスチャ終了の判定時はこぶしを握り、じゃんけんの「グー」のようなポーズを１秒以上継続するなど、ジェスチャ入力終了の判定基準となる取り決めをデフォルトの命令として記録部２５に記録しておく。あるいは、ユーザが手を第１カメラ２２又は第２カメラ２３の前から他の場所へ移動した場合、ジェスチャ入力は終了するものと決めておいてもよい。かかる場合、制御部２１は第１カメラ２２又は第２カメラ２３が撮像した画像から手部領域を抽出することができない。そこで、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像から手部領域を抽出することができない場合、ジェスチャ入力に係る軌跡の全てを取得したと判定してもよい。
あるいは、ジェスチャ入力の終了を示す特定のジェスチャを決めておいてもよい。例えば、人差し指と親指とを接触させるポーズをジェスチャ入力の終了ポーズに決め、該終了ポーズをハンドファイル１Ｆに予め記録しておく。制御部２１は、手部領域を抽出した場合、常に終了ポーズの手の形状についてテンプレートマッチングを行う。制御部２１は、手の形状が終了ポーズと一致した場合、ジェスチャが終了したと判定する。
さらには、ジェスチャ入力の終了を示す特定のジェスチャは、ポーズではなく指又は手による特定の動作であってもよい。例えば、制御部２１は、指又は手による動作が表示部３に対して前後方向であることを判定した場合、ジェスチャが終了したと判定する。
制御部２１は、ジェスチャの軌跡を取得するために、手の位置及び形状から指先位置を算出した。しかし、第１カメラ２２又は第２カメラ２３が次々と撮像する画像の前後フレームを比較し、その差分を求めることによりジェスチャに基づく軌跡を取得してもよい。かかる場合、撮像対象の手は、げんこつでもよいし、人差し指及び親指以外の指を伸ばした状態の手でもよい。また、撮像対象は手に限らず、例えばペンであってもよい。
図８に、ジェスチャによる軌跡及び操作命令をジェスチャテーブル１Ｔに登録する処理を示した。図８の処理では、ジェスチャによる軌跡を算出するために、第１カメラ２２又は第２カメラ２３でジェスチャを撮像したが、他のカメラでジェスチャを撮像してもよい。あるいは、ジェスチャテーブル１Ｔに予め登録する軌跡は、カメラで撮像した画像に基づく軌跡ではなく、例えばＣＡＤ（Computer-Aided Design）を用いて描かれた図形あるいは模様であってもよい。
実施の形態２
実施の形態２は、表示部の画面に第１カメラ２２又は第２カメラ２３が撮像した画像をモニタ表示する形態に関する。
図１４は、実施の形態２に係る記録再生装置１０の構成を示すブロック図である。操作部（操作装置）２０は、表示部２７を含む。表示部２７は、システムバス２ｂに接続されている。
実施の形態２は、表示部の画面に第１カメラ２２又は第２カメラ２３が撮像した画像をモニタ表示する形態に関する。
図１４は、実施の形態２に係る記録再生装置１０の構成を示すブロック図である。操作部（操作装置）２０は、表示部２７を含む。表示部２７は、システムバス２ｂに接続されている。
表示部２７の構成は、表示部３の構成と同じである。
表示部２７は、デジタルチューナＴ、ディスクドライブ部５又はＨＤＤ部６に基づく画像信号及び音声信号を信号処理部４の画像処理部４６から受け付ける。表示部２７は、受け付けた画像信号及び音声信号に基づいて、画像を画面に表示し、音声をスピーカから出力する。
表示部２７は、デジタルチューナＴ、ディスクドライブ部５又はＨＤＤ部６に基づく画像信号及び音声信号を信号処理部４の画像処理部４６から受け付ける。表示部２７は、受け付けた画像信号及び音声信号に基づいて、画像を画面に表示し、音声をスピーカから出力する。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号を表示部２７に出力する。あるいは、第１カメラ２２又は第２カメラ２３が撮像した画像は、制御部２１を介在せずに、直接表示部２７に表示されてもよい。
図１５は、表示部２７の画面２７１の一例を示す説明図である。表示部２７の上枠中央部分には第１カメラ２２が設置されている。表示部２７の右枠中央部分には第２カメラ２３が設置されている。画面２７１の右上角部には、子画面２７２が表示されている。画面２７１に対する子画面２７２の大きさは、所定のサイズに設定してもよいし、ユーザが変更できるようにしてもよい。
表示部２７の画面２７１には、例えばディスクドライブ部５からの再生画像が表示されている。一方、子画面２７２には、第１カメラ２２又は第２カメラ２３が撮像した画像が表示されている。
表示部２７の画面２７１には、例えばディスクドライブ部５からの再生画像が表示されている。一方、子画面２７２には、第１カメラ２２又は第２カメラ２３が撮像した画像が表示されている。
制御部２１は、指先の軌跡を算出した場合、当該認識した軌跡を第１カメラ２２又は第２カメラ２３が撮像した画像に重畳して子画面２７２に表示する。制御部２１は、この軌跡をユーザが認識しやすい色で子画面２７２に表示してもよい。ユーザは子画面２７２に表示される軌跡をモニタしながら、ジェスチャ入力を行う。
ここで表示部２７に表示される指先の軌跡は、ユーザがジェチャにより軌跡を描き始めてから描き終わるまでの一連の動作に伴うものである。この軌跡はユーザのジェスチャに追随し、子画面２７２上に連続的に描かれる。
ここで表示部２７に表示される指先の軌跡は、ユーザがジェチャにより軌跡を描き始めてから描き終わるまでの一連の動作に伴うものである。この軌跡はユーザのジェスチャに追随し、子画面２７２上に連続的に描かれる。
なお、子画面２７２は、なくてもよい。かかる場合、制御部２１は、指先の軌跡を算出した場合、当該軌跡を第１カメラ２２又は第２カメラ２３が撮像した画像に重畳して表示部２７の画面２７１に表示する。その際、第１カメラ２２又は第２カメラ２３が撮像した画像及び制御部２１が算出した指先の軌跡は、ディスクドライブ部５又はＨＤＤ部６に基づく画像に重ねて表示部２７の画面２７１に表示されてもよい。
上述の場合、制御部２１は第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び算出した指先の軌跡を、信号処理部４の制御部４１に出力する。制御部４１は受け付けた第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡を、デコーダ４５を介して画像処理部４６に出力する。画像処理部４６は、受け付けた第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡を、子画面２７２の画像として処理し、処理した画像信号を表示部２７に出力する。かかる場合、表示部２７の画面２７１にはディスクドライブ部５又はＨＤＤ部６に基づく画像が表示され、子画面２７２には第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡が表示される。
あるいは、画像処理部４６は、第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡が、ディスクドライブ部５又はＨＤＤ部６に基づく画像と重なるように画像信号を処理し、処理した画像信号を表示部２７に出力する。かかる場合、表示部２７の画面２７１には、ディスクドライブ部５又はＨＤＤ部６に基づく画像と、第１カメラ２２又は第２カメラ２３が撮像した画像と、指先の軌跡とが重なった状態で表示される。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡とは別に、操作用の入力画面に係る画像信号及び音声信号を生成し、表示部２７に出力する。例えば、制御部２１は操作命令登録画面７の情報を記録部２５から読み込み、操作命令登録画面７の画像信号を表示部２７に出力する。
かかる場合、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像及び算出した指先の軌跡を、操作用の入力画面に含まれる子画面画像として処理して表示部２７に表示してもよい。あるいは、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像及び算出した指先の軌跡を、操作用の入力画面に重なる画像に処理して表示部２７に表示してもよい。
かかる場合、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像及び算出した指先の軌跡を、操作用の入力画面に含まれる子画面画像として処理して表示部２７に表示してもよい。あるいは、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像及び算出した指先の軌跡を、操作用の入力画面に重なる画像に処理して表示部２７に表示してもよい。
操作用の入力画面と、第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡とを重畳する画像処理は、信号処理部４の画像処理部４６が行ってもよい。かかる場合、制御部２１は操作用の入力画面に係る情報を記録部２５から読み込み、読み込んだ操作用の入力画面に係る情報から画像信号を抽出し、信号処理部４の制御部４１に出力する。また、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び算出した指先の軌跡を、信号処理部４の制御部４１に出力する。
信号処理部４の制御部４１は、受け付けた操作用の入力画面に係る画像信号、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡を、デコーダ４５を介して画像処理部４６に出力する。画像処理部４６は、操作用の入力画面に係る画像信号、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡を、受け付ける。画像処理部４６は、第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡が子画面２７２として操作用の入力画面に含まれる画像信号を生成し、生成した画像信号を表示部２７に出力する。あるいは、画像処理部４６は、第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡を、操作用の入力画面に重なる画像に処理して表示部２７に出力してもよい。
信号処理部４の制御部４１は、受け付けた操作用の入力画面に係る画像信号、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡を、デコーダ４５を介して画像処理部４６に出力する。画像処理部４６は、操作用の入力画面に係る画像信号、第１カメラ２２又は第２カメラ２３が撮像した画像の画像信号及び指先の軌跡を、受け付ける。画像処理部４６は、第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡が子画面２７２として操作用の入力画面に含まれる画像信号を生成し、生成した画像信号を表示部２７に出力する。あるいは、画像処理部４６は、第１カメラ２２又は第２カメラ２３が撮像した画像及び指先の軌跡を、操作用の入力画面に重なる画像に処理して表示部２７に出力してもよい。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像から手部領域を抽出できない場合、注意通知を表示部２７に表示する。この注意通知は、例えば「人差し指を出して下さい」、「手をカメラに近づけて下さい」、「手をカメラから離して下さい」、「手のひらをカメラに向けて下さい」等である。
制御部２１は、注意通知表示と同時に又は別に音声によりユーザに対して上記の注意を喚起してもよい。
制御部２１は、注意通知表示と同時に又は別に音声によりユーザに対して上記の注意を喚起してもよい。
図１６及び図１７は、ジェスチャによる軌跡及び操作命令をジェスチャテーブル１Ｔに登録する処理の手順を示すフローチャートである。なお、以下のステップＳ４０２からステップＳ４０８までの処理は、ステップＳ４０９における判定処理に基づいて、繰り返し実行される。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を表示部２７に表示する（ステップＳ４０１）。なお、第１カメラ２２又は第２カメラ２３が撮像した画像は、ジェスチャ入力の処理が終了するまで継続して表示部２７に表示される。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５から読み込み、手部領域を抽出したか否か判定する（ステップＳ４０２）。制御部２１は、手部領域を抽出していないと判定した場合（ステップＳ４０２：ＮＯ）、表示部２７に注意通知を表示し（ステップＳ４０３）、ステップＳ４０２に処理を戻す。制御部２１は、手部領域を抽出したと判定した場合（ステップＳ４０２：ＹＥＳ）、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ４０４）。
なお、ステップＳ４０１は、ステップＳ４０２とステップＳ４０４との間に移動してもよい。すなわち、制御部２１は、手部領域を抽出したと判定した場合（ステップＳ４０２：ＹＥＳ）、第１カメラ２２又は第２カメラ２３が撮像した画像を表示部２７に表示してもよい。これにより、ジェスチャ入力の受付準備が整った場合にのみ、第１カメラ２２又は第２カメラ２３が撮像した画像が表示部２７に表示される。
制御部２１は決定した手の位置及び形状から指先位置を算出する（ステップＳ４０５）。制御部２１は、算出した１つ又は２つの指先位置を配列に格納して記録部２５に記録する（ステップＳ４０６）。制御部２１は現時点までの指先の軌跡を算出し、算出した軌跡を記録部２５に記録する（ステップＳ４０７）。制御部２１は、算出した軌跡を第１カメラ２２又は第２カメラ２３が撮像した画像に重畳して表示部２７に表示する（ステップＳ４０８）。
制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したか否か判定する（ステップＳ４０９）。制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得していないと判定した場合（ステップＳ４０９：ＮＯ）、ステップＳ４０２に処理を戻す。制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したと判定した場合（ステップＳ４０９：ＹＥＳ）、操作命令登録画面７を表示する（ステップＳ４１０）。
制御部２１は、ユーザが操作命令登録画面７から選択した操作命令を特定する（ステップＳ４１１）。制御部２１は、取得した軌跡と特定した操作命令とを対応付けてジェスチャテーブル１Ｔに記録し（ステップＳ４１２）、処理を終了する。
図１８及び図１９は、記録再生装置１０による処理の手順を示すフローチャートである。なお、図１８及び図１９では、図１０、図１１及び図１２における処理と重複する一部の処理を省略している。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を表示部２７に表示する（ステップＳ５０１）。なお、第１カメラ２２又は第２カメラ２３が撮像した画像は、ジェスチャ入力の処理が終了するまで継続して表示部２７に表示される。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５から読み込み、手部領域を抽出したか否か判定する（ステップＳ５０２）。制御部２１は、手部領域を抽出していないと判定した場合（ステップＳ５０２：ＮＯ）、表示部２７に注意通知を表示し（ステップＳ５０３）、ステップＳ５０２に処理を戻す。制御部２１は、手部領域を抽出したと判定した場合（ステップＳ５０２：ＹＥＳ）、現時点までの指先の軌跡を算出し、算出した軌跡を第１カメラ２２又は第２カメラ２３が撮像した画像に重畳して表示部２７に表示する（ステップＳ５０４）。
制御部２１は、ジェスチャテーブル１Ｔを検索するための指先の軌跡を取得したか否か判定する（ステップＳ５０５）。制御部２１は、ジェスチャテーブル１Ｔを検索するための指先の軌跡を取得していないと判定した場合（ステップＳ５０５：ＮＯ）、ステップＳ５０２に処理を戻す。制御部２１は、ジェスチャテーブル１Ｔを検索するための指先の軌跡を取得したと判定した場合（ステップＳ５０５：ＹＥＳ）、取得した軌跡に基づいてジェスチャテーブル１Ｔから操作命令を検索する（ステップＳ５０６）。
制御部２１は、ジェスチャテーブル１Ｔから操作命令の検索に成功したか否か判定する（ステップＳ５０７）。制御部２１は、操作命令の検索に成功したと判定した場合（ステップＳ５０７：ＹＥＳ）、タイマ２６の計時に基づいて、所定時間経過したか否か判定する（ステップＳ５０８）。制御部２１は、所定時間経過したと判定した場合（ステップＳ５０８：ＹＥＳ）、ステップＳ５１６に処理を進める。
制御部２１は、所定時間経過していないと判定した場合（ステップＳ５０８：ＮＯ）、新たなジェスチャを撮像したか否か判定する（ステップＳ５０９）。制御部２１は、新たなジェスチャを撮像したと判定した場合（ステップＳ５０９：ＹＥＳ）、ステップＳ５０２に処理を戻す。制御部２１は、新たなジェスチャを撮像していないと判定した場合（ステップＳ５０９：ＮＯ）、ステップＳ５０８に処理を戻す。
制御部２１は、操作命令の検索に成功しなかったと判定した場合（ステップＳ５０７：ＮＯ）、再度のジェスチャを促す通知を表示部２７に表示する（ステップＳ５１０）。制御部２１は、現時点までの指先の軌跡を算出し、算出した軌跡を第１カメラ２２又は第２カメラ２３が撮像した画像に重畳して表示部２７に表示する（ステップＳ５１１）。制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したか否か判定する（ステップＳ５１２）。
制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得していないと判定した場合（ステップＳ５１２：ＮＯ）、ステップＳ５１１に処理を戻す。制御部２１は、ジェスチャテーブル１Ｔに登録するための指先の軌跡を取得したと判定した場合（ステップＳ５１２：ＹＥＳ）、操作命令登録画面７を表示する（ステップＳ５１３）。
制御部２１は、取得した軌跡とユーザが操作命令登録画面７から選択した操作命令とを対応付けてジェスチャテーブル１Ｔに記録する（ステップＳ５１４）。制御部２１は、記録した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４の制御部４１に出力する（ステップＳ５１５）。次に、制御部２１又は記録再生装置１０は、ステップＳ５１７に処理を移す。
制御部２１は、所定時間経過したと判定した場合（ステップＳ５０８：ＹＥＳ）、検索した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４の制御部４１に出力する（ステップＳ５１６）。信号処理部４の制御部４１は、操作信号を受け付け、受け付けた操作信号に対応する処理を実行し（ステップＳ５１７）、処理を終了する。
なお、制御部２１が操作命令の検索に成功しなかったと判定した場合（ステップＳ５０７：ＮＯ）、ステップＳ５１０からステップＳ５１２までの処理は、省略されてもよい。かかる場合、ステップＳ５１４において、制御部２１はステップＳ５０４で算出した指先の軌跡とユーザが操作命令登録画面７から選択した操作命令とを対応付けてジェスチャテーブル１Ｔに記録する。すなわち、ジェスチャテーブル１Ｔに登録されていない軌跡は、操作命令の検索に失敗する。しかし、検索に失敗した軌跡をジェスチャテーブル１Ｔに新規登録することにより、前回操作命令の検索に失敗した軌跡は、次回からは操作命令の検索に成功するようになる。つまり、操作部２０は、最初操作命令の検索に失敗した軌跡に対応するジェスチャをユーザの癖として学習する。
あるいは、制御部２１が操作命令の検索に成功しなかったと判定した場合（ステップＳ５０７：ＮＯ）、操作部２０は操作命令の検索に失敗した軌跡を自動的にジェスチャテーブル１Ｔに登録する機能を有していてよい。
例えば、制御部２１は、操作命令の検索に成功しなかったと判定した場合（ステップＳ５０７：ＮＯ）、操作命令の検索に成功しなかった（つまり失敗した）軌跡を記録部２５に記録し、処理を終了する。操作命令の検索に成功しなかった軌跡の数が所定数に達した場合、制御部２１は、タイマ２６の計時に基づいて所定時間になった場合、次の処理を実行する。
制御部２１は、操作命令の検索に成功しなかった軌跡を、ジェスチャテーブル１Ｔに記録されている軌跡の形状との類似度に基づいて、グループに分ける。例えば、制御部２１は、丸の形状からのずれの度合いが所定値以内にある軌跡のグループ、三角の形状からのずれの度合いが所定値以内にある軌跡にあるグループ等に分ける。そして、夫々のグループに属する軌跡と、グルーピングの基となる丸、三角等に対応する操作命令とを関連付けてジェスチャテーブル１Ｔに記録する。
例えば、制御部２１は、操作命令の検索に成功しなかったと判定した場合（ステップＳ５０７：ＮＯ）、操作命令の検索に成功しなかった（つまり失敗した）軌跡を記録部２５に記録し、処理を終了する。操作命令の検索に成功しなかった軌跡の数が所定数に達した場合、制御部２１は、タイマ２６の計時に基づいて所定時間になった場合、次の処理を実行する。
制御部２１は、操作命令の検索に成功しなかった軌跡を、ジェスチャテーブル１Ｔに記録されている軌跡の形状との類似度に基づいて、グループに分ける。例えば、制御部２１は、丸の形状からのずれの度合いが所定値以内にある軌跡のグループ、三角の形状からのずれの度合いが所定値以内にある軌跡にあるグループ等に分ける。そして、夫々のグループに属する軌跡と、グルーピングの基となる丸、三角等に対応する操作命令とを関連付けてジェスチャテーブル１Ｔに記録する。
記録再生装置１０の操作部２０によれば、ユーザは第１カメラ２２又は第２カメラ２３が撮像した画像を表示部２７により見ることができる。
ジェスチャ入力を実行するためには、ユーザの手が第１カメラ２２又は第２カメラ２３の撮像空間内に存在する必要がある。また、ユーザの手が第１カメラ２２又は第２カメラ２３に近すぎても遠すぎても、第１カメラ２２又は第２カメラ２３は操作命令を特定可能な精度で手のジェスチャを撮像することができない。しかし、記録再生装置１０の操作部２０によれば、ユーザはジェスチャ及び指先の軌跡を示すモニタ画像を見ることによりジェスチャ入力の経過又は結果を確認することができる。これにより、ユーザは記録再生装置１０へのジェスチャ入力に失敗した場合でも、自らのジェスチャ動作を修正することが容易となる。
ジェスチャ入力を実行するためには、ユーザの手が第１カメラ２２又は第２カメラ２３の撮像空間内に存在する必要がある。また、ユーザの手が第１カメラ２２又は第２カメラ２３に近すぎても遠すぎても、第１カメラ２２又は第２カメラ２３は操作命令を特定可能な精度で手のジェスチャを撮像することができない。しかし、記録再生装置１０の操作部２０によれば、ユーザはジェスチャ及び指先の軌跡を示すモニタ画像を見ることによりジェスチャ入力の経過又は結果を確認することができる。これにより、ユーザは記録再生装置１０へのジェスチャ入力に失敗した場合でも、自らのジェスチャ動作を修正することが容易となる。
表示部２７に表示される第１カメラ２２又は第２カメラ２３が撮像した画像は、左右が逆転した画像であってもよい。
第１カメラ２２又は第２カメラ２３が撮像した画像が左右逆転されずに表示部２７に表示される場合、表示部２７に表示されるジェスチャの方向は、ユーザにとって自らの動作方向と左右が逆になる。これはユーザにとって奇異に感じられる場合がる。そこで、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像が左右逆転した鏡像のように見えるように画像処理を施してもよい。あるいは、第１カメラ２２又は第２カメラ２３が撮像した画像が信号処理部４を介して表示部２７に表示される場合、制御部２１は第１カメラ２２又は第２カメラ２３が撮像した画像が左右逆転した鏡像のように見えるように、信号処理部４に指示を与えてもよい。
また同様に、制御部２１は、指先の軌跡についても左右逆転した軌跡を表示部２７に表示してもよい。
第１カメラ２２又は第２カメラ２３が撮像した画像が左右逆転されずに表示部２７に表示される場合、表示部２７に表示されるジェスチャの方向は、ユーザにとって自らの動作方向と左右が逆になる。これはユーザにとって奇異に感じられる場合がる。そこで、制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像が左右逆転した鏡像のように見えるように画像処理を施してもよい。あるいは、第１カメラ２２又は第２カメラ２３が撮像した画像が信号処理部４を介して表示部２７に表示される場合、制御部２１は第１カメラ２２又は第２カメラ２３が撮像した画像が左右逆転した鏡像のように見えるように、信号処理部４に指示を与えてもよい。
また同様に、制御部２１は、指先の軌跡についても左右逆転した軌跡を表示部２７に表示してもよい。
実施の形態１及び２では、記録再生装置１、１０は第１カメラ２２及び第２カメラ２３の２台のカメラを備えている。しかし、記録再生装置１、１０は、１台のカメラのみを備えてもよい。
実施の形態２は以上の如きであり、その他は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態３
実施の形態３は、指のポーズと指のジェスチャとを組み合わせて、記録再生装置を操作する形態に関する。
図２０は、実施の形態３に係る記録再生装置１００の構成を示すブロック図である。記録再生装置１００の構成は、実施の形態２に係る記録再生装置１０の構成と、操作部２００に含まれる記録部２５０が異なることを除き、同じである。
実施の形態３は、指のポーズと指のジェスチャとを組み合わせて、記録再生装置を操作する形態に関する。
図２０は、実施の形態３に係る記録再生装置１００の構成を示すブロック図である。記録再生装置１００の構成は、実施の形態２に係る記録再生装置１０の構成と、操作部２００に含まれる記録部２５０が異なることを除き、同じである。
記録部２５０には、ハンドファイル１Ｆ及びジェスチャテーブル１Ｔの他に、ポーズジェスチャテーブル２Ｔが記録されている。ポーズジェスチャテーブル２Ｔは、ハンドファイル１Ｆに記録された手の様々なポーズと、ポーズジェスチャテーブル２Ｔに記録された様々なジェスチャにより描かれる軌跡との組み合わせに対して、記録再生装置１００を操作する操作命令を関連付けて記録している。
図２１は、ポーズジェスチャテーブル２Ｔの内容の一例を示す説明図である。図２１の上段は再生開始の操作命令に対応する指のポーズの形状と指のジェスチャによる軌跡とを示している。下段は録画開始の操作命令に対応する指のポーズの形状と指のジェスチャによる軌跡とを示している。記録再生装置１００に再生開始の操作命令を入力する場合、まず人差し指を伸ばしたポーズを所定時間継続する。その後、丸を描くジェスチャをする。記録再生装置１００に録画開始の操作命令を入力する場合、まず人差し指及び中指を伸ばしたＶサインポーズを所定時間継続する。その後、丸を描くジェスチャをする。
なお、記録再生装置１００に操作命令を入力する場合、ユーザが行うポーズとジェスチャとの順序はどちらが先でも後でもよい。
なお、記録再生装置１００に操作命令を入力する場合、ユーザが行うポーズとジェスチャとの順序はどちらが先でも後でもよい。
指のポーズの形状及び指のジェスチャによる軌跡とは、ポーズジェスチャテーブル２Ｔに記録されていても、記録されていなくてもよい。例えば、ポーズジェスチャテーブル２Ｔに指のポーズの形状及び指のジェスチャによる軌跡を記録しない場合、指のポーズの形状及び指のジェスチャによる軌跡を夫々ハンドファイル１Ｆ及びジェスチャテーブル１Ｔに記録する。ポーズジェスチャテーブル２Ｔは、指のポーズの形状を記録しない代わりに、ハンドファイル１Ｆの主キーの値を記録する。ポーズジェスチャテーブル２Ｔは、指のジェスチャによる軌跡を記録しない代わりに、ジェスチャテーブル１Ｔの主キーの値を記録する。ポーズジェスチャテーブル２Ｔは、ハンドファィル１Ｆの主キーの値と、ポーズジェスチャテーブル２Ｔの主キーの値と、操作命令とを対応づけて記録する。かかる場合、制御部２１は、ポーズの形状及びジェスチャの軌跡についてテンプレートマッチングを行う場合、夫々ハンドファイル１Ｆ及びジェスチャテーブル１Ｔにアクセスする。そして、制御部２１は、操作命令に関してはポーズジェスチャテーブル２Ｔから取得する。
図２２及び図２３は、記録再生装置１００による処理の手順を示すフローチャートである。ここでは、ユーザは手のポーズを第１カメラ２２又は第２カメラ２３に撮像させた後、手のジェスチャを第１カメラ２２又は第２カメラ２３に撮像させるものとする。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５０から読み込み、手部領域を抽出する（ステップＳ６０１）。制御部２１は、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ６０２）。制御部２１は、所定時間待機する（ステップＳ６０３）。ここでの所定時間は、例えば１秒である。
制御部２１は、第１カメラ２２又は第２カメラ２３が撮像した画像を記録部２５０から読み込み、手部領域を抽出する（ステップＳ６０１）。制御部２１は、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ６０２）。制御部２１は、所定時間待機する（ステップＳ６０３）。ここでの所定時間は、例えば１秒である。
制御部２１は、第１カメラ２２又は第２カメラ２３が新たに撮像した画像を記録部２５０から読み込み、手部領域を抽出する（ステップＳ６０４）。制御部２１は、ハンドファイル１Ｆに記録された画像とのテンプレートマッチングにより、手の位置及び形状を決定する（ステップＳ６０５）。制御部２１は、ステップＳ６０２で決定した手の位置及び形状並びにステップＳ６０５で決定した手の位置及び形状が夫々同一か否か判定する（ステップＳ６０６）。
ステップＳ６０６の判定処理は、入力されたデータが手のポーズであるか否かを判定する処理である。手のジェスチャの場合、手の位置が動いていくが、手のポーズの場合、手の位置は変わらない。また、手のジェスチャの場合、手の形状は変化する場合があるが、手のポーズの場合、手の形状は所定時間経過した後も変わらない。そこで、制御部２１は、所定時間経過前後の手の位置及び形状を比較し、これらが同一である場合、ユーザは手のポーズを第１カメラ２２又は第２カメラ２３に撮像させたものと判定する。
なお、ステップＳ６０６において、制御部２１が同一であると判定する場合、比較対象である所定時間経過前後の手の位置及び形状は完全一致しなくてもよい。人間がとるポーズは、時間経過に伴い多少変化することが普通なので、手の位置及び形状の差が所定範囲内にある場合、制御部２１はステップＳ６０６において同一と判定する。
なお、ステップＳ６０６において、制御部２１が同一であると判定する場合、比較対象である所定時間経過前後の手の位置及び形状は完全一致しなくてもよい。人間がとるポーズは、時間経過に伴い多少変化することが普通なので、手の位置及び形状の差が所定範囲内にある場合、制御部２１はステップＳ６０６において同一と判定する。
制御部２１は、ステップＳ６０６で同一でないと判定した場合（ステップＳ６０６：ＮＯ）、所定の通知を表示部２７に表示し（ステップＳ６０７）、ステップＳ６０１に処理を戻す。ここでの所定の通知は、例えば「１秒間ポーズを静止して下さい」である。制御部２１は、ステップＳ６０６で同一であると判定した場合（ステップＳ６０６：ＹＥＳ）、ポーズジェスチャテーブル２ＴからステップＳ６０２又はステップＳ６０５で決定した手の形状を検索する（ステップＳ６０８）。
制御部２１は、手の形状の検索に成功したか否か判定する（ステップＳ６０９）。制御部２１は、手の形状の検索に成功したと判定した場合（ステップＳ６０９：ＹＥＳ）、ステップＳ６１５に処理を進める。制御部２１は、手の形状の検索に成功しなかったと判定した場合（ステップＳ６０９：ＮＯ）、再度のポーズを促す通知を表示部２７に表示する（ステップＳ６１０）。手の形状の検索に成功しない場合、この手の形状とジェスチャの軌跡とに基づいてポーズジェスチャテーブル２Ｔから操作命令を検索しても、操作命令の検索は失敗する。
制御部２１は、手のポーズを再び撮像する（ステップＳ６１１）。制御部２１は、撮像した画像から手の形状を抽出する（ステップＳ６１２）。
制御部２１は、手のポーズを再び撮像する（ステップＳ６１１）。制御部２１は、撮像した画像から手の形状を抽出する（ステップＳ６１２）。
制御部２１は、図示しない操作命令登録画面を表示部２７に表示する（ステップＳ６１３）。ここでの操作命令登録画面は、例えば図８の各ボタンにジェスチャの軌跡を重畳した画面である。制御部２１は、ユーザにより操作命令登録画面のいずれかのボタンが選択された場合、新たなレコードをポーズジェスチャテーブル２Ｔに記録する（ステップＳ６１４）。ここでの新たなレコードとは、新たに撮像したポーズの形状と、ボタンに表示されたジェスチャの軌跡と、ボタンに表示された操作命令とを対応付けたレコードである。
制御部２１は、ジェスチャ処理を実行する（ステップＳ６１５）。ジェスチャ処理は、第１カメラ２２又は第２カメラ２３が撮像した画像からジェスチャの軌跡を取得し、ポーズジェスチャテーブル２Ｔから、上述の手のポーズ及び取得したジェスチャの軌跡に基づいて操作命令を検索する処理を含む。また、ジェスチャ処理は、検索した操作命令に対応する操作信号を生成し、生成した操作信号を信号処理部４の制御部４１に出力する処理を含む。ジェスチャ処理は、取得したジェスチャの軌跡がポーズジェスチャテーブル２Ｔに登録されていない場合、新たにジェスチャを撮像し、操作命令と対応付けて手のポーズ及びジェスチャの軌跡をポーズジェスチャテーブル２Ｔに記録する処理を含む。すなわち、ジェスチャ処理は、ジェスチャ入力を学習する処理を含む。
ジェスチャ処理は、具体的には例えば図１８及び図１９のステップＳ５０１からステップＳ５１６までの処理に該当する。ただし、ジェスチャ処理における検索対象テーブル及び新規登録対象テーブルは、ジェスチャテーブル１Ｔではなく、ポーズジェスチャテーブル２Ｔである。
ジェスチャ処理は、具体的には例えば図１８及び図１９のステップＳ５０１からステップＳ５１６までの処理に該当する。ただし、ジェスチャ処理における検索対象テーブル及び新規登録対象テーブルは、ジェスチャテーブル１Ｔではなく、ポーズジェスチャテーブル２Ｔである。
信号処理部４の制御部４１は、操作信号を制御部２１から受け付け、受け付けた操作信号に対応する処理を実行し（ステップＳ６１６）、処理を終了する。
記録再生装置１００によれば、静止した手のポーズと移動する手のジェスチャによる軌跡とに基づいて、操作命令に対応した処理を実行することができる。また、手のポーズが予めポーズジェスチャテーブル２Ｔに登録されておらず、検索に失敗した場合、記録再生装置１００は新たに撮像した画像から取得した手のポーズをポーズジェスチャテーブル２Ｔに新規登録する。これにより、記録再生装置１００はポーズ入力について、学習機能を有する。
制御部２１は、ユーザのポーズから取得した手の形状を簡略化し、簡略化した手の形状に基づいてポーズジェスチャテーブル２Ｔから操作命令を検索してもよい。これにより、制御部２１は、ポーズジェスチャテーブル２Ｔにおけるヒット率を上昇させることができる。
実施の形態３は以上の如きであり、その他は実施の形態１、２と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
１、１０、１００ 記録再生装置（再生装置）
２、２０、２００ 操作部（操作装置）
２１ 制御部（算出手段、検索手段、記録する手段、表示する手段、表示手段、簡略化手段）
２２ 第１カメラ（撮像手段）
２３ 第２カメラ（撮像手段）
２５、２５０ 記録部
３、２７ 表示部
５ ディスクドライブ部（再生手段）
６ ＨＤＤ部（再生手段）
６２ ハードディスク（記録媒体）
１Ｔ ジェスチャテーブル
２Ｔ ポーズジェスチャテーブル
Ｔ デジタルチューナ（受信部）
Ｄ ディスク（記録媒体）
２、２０、２００ 操作部（操作装置）
２１ 制御部（算出手段、検索手段、記録する手段、表示する手段、表示手段、簡略化手段）
２２ 第１カメラ（撮像手段）
２３ 第２カメラ（撮像手段）
２５、２５０ 記録部
３、２７ 表示部
５ ディスクドライブ部（再生手段）
６ ＨＤＤ部（再生手段）
６２ ハードディスク（記録媒体）
１Ｔ ジェスチャテーブル
２Ｔ ポーズジェスチャテーブル
Ｔ デジタルチューナ（受信部）
Ｄ ディスク（記録媒体）
Claims (8)
- 被写体を撮像する撮像手段と、
該撮像手段が撮像した被写体に係る画像に基づいて該被写体の特徴量を算出する算出手段と、
該算出手段が算出した被写体の特徴量に基づいて、被写体の特徴量及び被操作機器の操作に関する情報が関連付けて記録された記録部から該情報を検索する検索手段と
を備え、
該検索手段が検索した前記情報に基づいて、前記被操作機器を操作するための信号を生成する操作装置において、
前記検索手段が前記情報の検索に失敗した場合、前記算出手段が算出した被写体の特徴量及び前記被操作機器の操作に関する情報を関連付けて前記記録部に記録する手段と、
前記撮像手段が撮像した画像又は前記算出手段が算出した被写体の特徴量を表示する手段と
を備えることを特徴とする操作装置。 - 前記検索手段が前記情報の検索に失敗した場合、前記撮像手段により新たに撮像された被写体に係る画像に基づいて、前記算出手段が算出した被写体の特徴量及び前記被操作機器の操作に関する情報を関連付けて前記記録部に記録する手段
を備えることを特徴とする請求項１に記載の操作装置。 - 前記被写体の特徴量は該被写体の移動軌跡又は形状である
ことを特徴とする請求項１又は２に記載の操作装置。 - 前記算出手段が算出した被写体の移動軌跡の形状又は該被写体の形状を簡略化する簡略化手段を備え、
前記検索手段は、前記簡略化手段が簡略化した被写体の移動軌跡の形状又は該被写体の形状に基づいて、前記記録部から前記情報を検索するようにしてある
ことを特徴とする請求項３に記載の操作装置。 - 被写体を撮像する撮像手段と、
該撮像手段が撮像した被写体に係る画像に基づいて該被写体の特徴量を算出する算出手段と、
該算出手段が算出した被写体の特徴量に基づいて、被写体の特徴量及び被操作情報が関連付けて記録された記録部から該被操作情報を検索する検索手段と、
記録媒体に記録された画像データを再生する再生手段と
を備え、
前記検索手段が検索した被操作情報に基づいて、前記再生手段により記録媒体に記録された画像データを再生する再生装置において、
前記検索手段が被操作情報の検索に失敗した場合、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段と、
前記再生手段が再生した画像データに基づく画像を表示する表示手段とを備え、
該表示手段は前記撮像手段が撮像した画像又は前記算出手段が算出した被写体の特徴量を表示するようにしてある
ことを特徴とする再生装置。 - 前記検索手段が被操作情報の検索に失敗した場合、前記撮像手段により新たに撮像された被写体の画像に基づいて、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段
を備えることを特徴とする請求項５に記載の再生装置。 - 被写体を撮像する撮像手段と、
該撮像手段が撮像した被写体に係る画像に基づいて該被写体の特徴量を算出する算出手段と、
該算出手段が算出した被写体の特徴量に基づいて、被写体の特徴量及び被操作情報が関連付けて記録された記録部から該被操作情報を検索する検索手段と、
テレビ放送を受信する受信部と
を備え、
前記検索手段が検索した被操作情報に基づいて、前記受信部が受信するチャンネルの切り替え、該受信部により受信されたテレビ放送に係る画像又は音声の調整量を操作するテレビ受信装置において、
前記検索手段が被操作情報の検索に失敗した場合、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段と、
前記受信部が受信したテレビ放送に係る画像を表示する表示部を備え、
該表示部は前記撮像手段が撮像した画像又は前記算出手段が算出した被写体の特徴量を表示するようにしてある
ことを特徴とするテレビ受信装置。 - 前記検索手段が被操作情報の検索に失敗した場合、前記撮像手段により新たに撮像された被写体の画像に基づいて、前記算出手段が算出した被写体の特徴量及び被操作情報を関連付けて前記記録部に記録する手段
を備えることを特徴とする請求項７に記載のテレビ受信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033804A JP5641970B2 (ja) | 2011-02-18 | 2011-02-18 | 操作装置、再生装置及びテレビ受信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033804A JP5641970B2 (ja) | 2011-02-18 | 2011-02-18 | 操作装置、再生装置及びテレビ受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012175282A JP2012175282A (ja) | 2012-09-10 |
| JP5641970B2 true JP5641970B2 (ja) | 2014-12-17 |
Family
ID=46977775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011033804A Expired - Fee Related JP5641970B2 (ja) | 2011-02-18 | 2011-02-18 | 操作装置、再生装置及びテレビ受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5641970B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6004474B2 (ja) * | 2012-10-04 | 2016-10-12 | アルパイン株式会社 | 機器制御装置 |
| JP6029478B2 (ja) * | 2013-01-30 | 2016-11-24 | 三菱電機株式会社 | 入力装置、情報処理方法、及び情報処理プログラム |
| JP6195893B2 (ja) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | 形状認識装置、形状認識プログラム、および形状認識方法 |
| JP6120754B2 (ja) * | 2013-11-27 | 2017-04-26 | 京セラドキュメントソリューションズ株式会社 | 表示入力装置およびそれを備えた画像形成装置 |
| JP6460862B2 (ja) * | 2014-03-20 | 2019-01-30 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
| JP6335696B2 (ja) * | 2014-07-11 | 2018-05-30 | 三菱電機株式会社 | 入力装置 |
| CN104202640B (zh) * | 2014-08-28 | 2016-03-30 | 深圳市国华识别科技开发有限公司 | 基于图像识别的智能电视交互控制系统和方法 |
| JP6516467B2 (ja) * | 2014-12-19 | 2019-05-22 | 国立大学法人 鹿児島大学 | 認証処理装置及び認証処理方法、認証情報登録装置及び認証情報登録方法 |
| US10477090B2 (en) * | 2015-02-25 | 2019-11-12 | Kyocera Corporation | Wearable device, control method and non-transitory storage medium |
| JP6194327B2 (ja) * | 2015-02-27 | 2017-09-06 | 西日本電信電話株式会社 | 認証システム、認証方法及びプログラム |
| JP6094638B2 (ja) * | 2015-07-10 | 2017-03-15 | カシオ計算機株式会社 | 処理装置及びプログラム |
| JP2017227966A (ja) * | 2016-06-20 | 2017-12-28 | 株式会社東海理化電機製作所 | ジェスチャ判定装置 |
| JP6687749B2 (ja) * | 2016-10-28 | 2020-04-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、制御方法、プログラム、及び記録媒体 |
| WO2018198272A1 (ja) | 2017-04-27 | 2018-11-01 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、情報処理システム、制御方法、及びプログラム |
| JP2019012485A (ja) * | 2017-07-01 | 2019-01-24 | 株式会社ラブ・ボート | ユーザインターフェース |
| US11130050B2 (en) | 2017-10-16 | 2021-09-28 | Sony Interactive Entertainment Inc. | Information processing system, controller device, and information processing apparatus |
| JP6623366B1 (ja) | 2019-03-27 | 2019-12-25 | 株式会社ＭＡＲＵＩ−ＰｌｕｇＩｎ | 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011209773A (ja) * | 2010-03-26 | 2011-10-20 | Seiko Epson Corp | ジェスチャ・コマンド処理装置、ジェスチャ・コマンド処理方法、およびプログラム |
-
2011
- 2011-02-18 JP JP2011033804A patent/JP5641970B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012175282A (ja) | 2012-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5641970B2 (ja) | 操作装置、再生装置及びテレビ受信装置 | |
| US11223757B2 (en) | Video recording device and camera function control program | |
| CN108292364B (zh) | 在全向视频中的跟踪感兴趣对象 | |
| EP3143477B1 (en) | System and method for providing haptic feedback to assist in capturing images | |
| EP2924539B1 (en) | Display device and operating method thereof using gestures | |
| CN105814522B (zh) | 基于运动识别来显示虚拟输入设备的用户界面的设备和方法 | |
| EP3125524A1 (en) | Mobile terminal and method for controlling the same | |
| US20100134411A1 (en) | Information processing apparatus and information processing method | |
| JP2011081480A (ja) | 画像入力システム | |
| KR20180018561A (ko) | 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법 | |
| EP3438935A1 (en) | Information processing device, information processing method, program | |
| JP7110443B2 (ja) | 撮影方法及び撮影装置、電子機器、記憶媒体 | |
| JP2003316510A (ja) | 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。 | |
| CN105282441A (zh) | 拍照方法及装置 | |
| CN105631804A (zh) | 图片处理方法及装置 | |
| CN109661809A (zh) | 显示设备 | |
| CN104168422A (zh) | 处理图像的方法及装置 | |
| US20230405435A1 (en) | Home training service providing method and display device performing same | |
| EP2753094B1 (en) | Method and apparatus for controlling contents in electronic device | |
| CN104662889B (zh) | 用于在便携式终端中进行拍摄的方法和设备 | |
| CN105528078A (zh) | 控制电子设备的方法及装置 | |
| US20200106967A1 (en) | System and method of configuring a virtual camera | |
| US20160267945A1 (en) | Data reproduction apparatus, control method for data reproduction apparatus, and recording medium storing control program | |
| EP2921937A1 (en) | Multimedia apparatus, method of controlling multimedia apparatus, and program of controlling multimedia apparatus | |
| WO2018192094A1 (zh) | 场景展示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5641970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |