WO2013168732A1 - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- WO2013168732A1 WO2013168732A1 PCT/JP2013/062913 JP2013062913W WO2013168732A1 WO 2013168732 A1 WO2013168732 A1 WO 2013168732A1 JP 2013062913 W JP2013062913 W JP 2013062913W WO 2013168732 A1 WO2013168732 A1 WO 2013168732A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- pattern information
- vibration
- image
- vibration pattern
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
電子機器(1)は、画像を表示する表示部(20)と、振動制御情報に基づいて筐体を振動させる振動部(22)と、画像からオブジェクトを抽出し、抽出した前記オブジェクトに応じて前記振動制御情報を生成する振動制御情報生成部(40)とを備える。
Description
本発明は、電子機器に関する。
本願は、2012年5月8日に出願された特願2012-106716号に基づき優先権を主張し、その内容をここに援用する。
本願は、2012年5月8日に出願された特願2012-106716号に基づき優先権を主張し、その内容をここに援用する。
従来、画像を表示する表示手段と、筐体に振動させる発振手段とを備えた携帯通信端末が知られている(例えば、特許文献1参照)。
しかしながら、特許文献1に開示された発振手段は、単なる報知手段であって、表示画像に応じて筐体を振動させることはできないという問題がある。
本発明の一態様である電子機器は、画像を表示する表示部と、振動制御情報に基づいて筐体を振動させる振動部と、画像からオブジェクトを抽出し、抽出した前記オブジェクトに応じて前記振動制御情報を生成する振動制御情報生成部とを備えることを特徴とする。
本発明の態様によれば、表示画像に応じて筐体を振動させることができる。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について説明する。図1は、本発明の第1の実施形態による電子機器1の機能ブロック図の一例である。電子機器1は、再生時に、後述の振動制御情報を生成する。
電子機器1は、図1に示すように、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30、振動制御情報生成部40、通信部50、出力制御部60、及び、画像記憶部90を備える。出力制御部60は、表示制御部62、音声制御部64、及び、振動制御部66を備える。
以下、図面を参照しながら本発明の実施形態について説明する。図1は、本発明の第1の実施形態による電子機器1の機能ブロック図の一例である。電子機器1は、再生時に、後述の振動制御情報を生成する。
電子機器1は、図1に示すように、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30、振動制御情報生成部40、通信部50、出力制御部60、及び、画像記憶部90を備える。出力制御部60は、表示制御部62、音声制御部64、及び、振動制御部66を備える。
操作部10は、ユーザ操作を受け付ける。操作部10の一例は、筐体に配置された種々のボタン、表示部20に表示された種々のボタンである。操作部10は、マイク14、撮像部30、振動制御情報生成部40、通信部50、出力制御部60、及び、画像記憶部90にユーザ指示を出力する。例えば、操作部10は、画像の再生を指示するユーザ操作を受け付けた場合、出力制御部60に再生指示を出力する。
撮像部30は、例えば、カメラユニットであって、ユーザからの指示に基づいて、被写体を撮像し、撮像画像を生成する。例えば、撮像部30は、測距部12によって測定された被写体迄の距離にピントを合わせて被写体を撮像する。なお、図1の例では、撮像部30と別個に測距部12を有しているが、測距部12は、撮像部30の一部であってもよい。
測距部12は、例えば、撮像部30からの指示に基づいて被写体迄の距離を測定する。
測距部12の測距方式は、特に限定しないが、例えば、レーザーを利用して距離を測定してもよいし、オートフォーカス(例えば、コントラスト方式、位相差方式)を利用して距離を測定してもよい。なお、上述の如く、測距部12は、撮像部30の一部であってもよい。
測距部12の測距方式は、特に限定しないが、例えば、レーザーを利用して距離を測定してもよいし、オートフォーカス(例えば、コントラスト方式、位相差方式)を利用して距離を測定してもよい。なお、上述の如く、測距部12は、撮像部30の一部であってもよい。
画像記憶部90は、静止画像を記憶する。画像記憶部90内に記憶される静止画像は、例えば、撮像部30から得る静止画像(以下、撮像静止画像とも称する)、通信部50が外部(例えば、ネットワーク上のサーバ、外部記憶媒体)から得る静止画像(以下、受信静止画像とも称する)である。
また、画像記憶部90は、動画像(映像のみ/映像+音声)を記憶する。画像記憶部90内に記憶される動画像は、例えば、撮像部30及びマイク14から得る動画像(以下、撮像動画像とも称する)、通信部50が外部から得る動画像(以下、受信動画像とも称する)である。
また、画像記憶部90は、音声(例えば、音、声、楽曲)を記憶する。画像記憶部90内に記憶される音声は、例えば、マイク14から得る音声(以下、録音音声とも称する)、通信部50が外部から得る音声(以下、受信音声とも称する)である。
また、画像記憶部90は、動画像(映像のみ/映像+音声)を記憶する。画像記憶部90内に記憶される動画像は、例えば、撮像部30及びマイク14から得る動画像(以下、撮像動画像とも称する)、通信部50が外部から得る動画像(以下、受信動画像とも称する)である。
また、画像記憶部90は、音声(例えば、音、声、楽曲)を記憶する。画像記憶部90内に記憶される音声は、例えば、マイク14から得る音声(以下、録音音声とも称する)、通信部50が外部から得る音声(以下、受信音声とも称する)である。
通信部50は、外部(例えば、ネットワーク上のサーバ、外部記憶媒体)と通信する。
例えば、通信部50は、外部から静止画像(受信静止画像)、動画像(受信動画像)、音声(受信音声)を受信する。また、通信部50は、振動パターン情報(後述)を受信する。マイク14は、音声(情報)を取得する。
例えば、通信部50は、外部から静止画像(受信静止画像)、動画像(受信動画像)、音声(受信音声)を受信する。また、通信部50は、振動パターン情報(後述)を受信する。マイク14は、音声(情報)を取得する。
振動制御情報生成部40は、表示部20による画像表示中(再生中)に、表示中の画像(表示しようとする画像)からオブジェクトを抽出し、抽出したオブジェクトに応じた振動制御情報を生成する。
具体的には、振動制御情報生成部40は、画像記憶部90に記憶されている画像(静止画像/動画像)を再生するときに、再生画像(再生しようとする画像)からオブジェクトを抽出し、抽出したオブジェクトに応じた振動制御情報を生成する。また、振動制御情報生成部40は、上述の如く生成した振動制御情報を、再生画像とともに出力制御部60に出力する。
なお、振動制御情報とは、振動部22を振動させるための制御情報である。また、振動制御情報生成部40の詳細は後述する。
具体的には、振動制御情報生成部40は、画像記憶部90に記憶されている画像(静止画像/動画像)を再生するときに、再生画像(再生しようとする画像)からオブジェクトを抽出し、抽出したオブジェクトに応じた振動制御情報を生成する。また、振動制御情報生成部40は、上述の如く生成した振動制御情報を、再生画像とともに出力制御部60に出力する。
なお、振動制御情報とは、振動部22を振動させるための制御情報である。また、振動制御情報生成部40の詳細は後述する。
表示制御部62は、画像記憶部90に記憶されている画像(静止画像/動画像)を振動制御情報生成部40から取得し、表示部20への出力を制御する。表示部20は、表示制御部62の制御に従って、画像記憶部90に記憶されている画像を表示する。なお、表示制御部62は、撮像部30が生成するスルー画像について、表示部20への出力を制御してもよい。
音声制御部64は、画像記憶部90に記憶されている音声(動画像の音声部分も含む)を振動制御情報生成部40から取得し、スピーカ16への出力を制御する。スピーカ16は、音声制御部64の制御に従って、画像記憶部90に記憶されている音声を出力する。
振動制御部66は、振動制御情報生成部40から出力される振動制御情報に基づいて、振動部22を振動させる。振動部22は、振動制御部66の制御に従って、筐体を振動させる。即ち、振動部22は、表示部20による画像表示中に振動制御情報生成部40によって生成された振動制御情報に基づいて筐体を振動させる。なお、振動部22の一例は、振動モータである。
図2は、振動制御情報生成部40の機能ブロック図の一例である。振動制御情報生成部40は、図2に示すように、振動パターン情報生成部41、振動パターン情報更新部42、オブジェクト抽出部45、振動パターン情報選択部46、選択振動パターン情報修正部47、振動パターン情報記憶部49を備える。
図3A、3Bは、振動パターン情報記憶部49に記憶される情報の一例である。
図3A、3Bは、振動パターン情報記憶部49に記憶される情報の一例である。
振動パターン情報記憶部49は、オブジェクト毎の所定の振動パターン情報を記憶する。振動パターン情報とは、振動制御情報の基礎となる情報である。具体的には、電子機器1は、振動制御情報として振動パターン情報をそのまま利用、若しくは、振動パターン情報を修正(加工)して振動制御情報として利用する。
振動パターン情報記憶部49は、具体的には、人の属性に応じた所定の振動パターン情報を記憶する。例えば、振動パターン情報記憶部49は、図3A、3Bに示すように、インデックス「動作(B)-性別(S)-年齢層(A)」に対応付けて、振動パターン情報(SP01~SP17)を記憶する。
図3Aに示した動作「歩く(B=1)」は、人が歩いている状態(但し、赤ちゃんは、はいはいの状態)に適用する振動パターン情報(SP01、SP02、SP03、SP04、SP05、SP06、SP07)である。図3Bに示した動作「走る(B=2)」は、人が走っている状態に適用する振動パターン情報(SP12、SP13、SP14、SP15、SP16、SP17)である。
図4は、振動パターン情報を説明するための説明図であって、各振動パターン情報を適用した場合に生じる筐体の振動の様子を模式的に表したものである。
図4は、振動パターン情報を説明するための説明図であって、各振動パターン情報を適用した場合に生じる筐体の振動の様子を模式的に表したものである。
図3A、3Bに示した性別「男性(S=1)」は、男性の動作に適用する振動パターン情報(SP01、SP02、SP04、SP06、SP12、SP14、SP16)である。図3A、3Bに示した性別「女性(S=2)」は、女性の動作に適用する振動パターン情報(SP01、SP03、SP05、SP07、SP13、SP15、SP17)である。
図3A、3Bに示した年齢層「赤ちゃん(A=1)」は、赤ちゃんの動作に適用する振動パターン情報(SP01)である。年齢層「幼稚園児(A=2)」は、幼稚園児の動作に適用する振動パターン情報(SP02、SP03、SP12、SP13)である。年齢層「小学生児童(A=3)」は、小学生児童の動作に適用する振動パターン情報(SP04、SP05、SP14、SP15)である。年齢層「中学生以上(大人)(A=4)」は、中学生以上(大人含む)の動作に適用する振動パターン情報(SP06、SP07、SP16、SP17)である。
赤ちゃんの歩く動作の振動パターン情報は、性別を問わず、SP01としている(図3A参照)。また、赤ちゃんの走る動作の振動パターン情報は、規定していない(図3B参照)。
各振動パターン情報は、各動作において生じそうな音若しくは振動、又は、各動作から想起される音若しくは振動を表現する振動を筐体に発生させるものである。例えば、インデックス「歩く(B=1)-男性(S=1)-小学生児童(A=3)」によって特定される振動パターン情報「SP04」は、小学生男児が歩く際に生じそうな音若しくは振動、又は、小学生男児が歩く動作から想起される音若しくは振動を表現する振動を筐体に発生させるものである。
なお、図3A、3B及び図4に示す振動パターン情報によれば、例えば、振動パターン情報「SP02」と振動パターン情報「SP04」の振幅の差にて示した様に、年齢層(A)が高い場合に適用する振動パターン情報による筐体の振動は、年齢層(A)が低い場合に適用する振動パターン情報による筐体の振動よりも大きい。
また、例えば、振動パターン情報「SP02」と振動パターン情報「SP03」の振幅の差にて示した様に、性別(S)が男性の場合に適用する振動パターン情報による筐体の振動は、性別(S)が女性の場合に適用する振動パターン情報による筐体の振動よりも大きい。
また、例えば、振動パターン情報「SP06」と振動パターン情報「SP16」の周波数の差にて示した様に、走る動作(B)の場合に適用する振動パターン情報による筐体の振動は、歩く動作(B)の場合に適用する振動パターン情報による筐体の振動よりも早い。
また、例えば、振動パターン情報「SP02」と振動パターン情報「SP03」の振幅の差にて示した様に、性別(S)が男性の場合に適用する振動パターン情報による筐体の振動は、性別(S)が女性の場合に適用する振動パターン情報による筐体の振動よりも大きい。
また、例えば、振動パターン情報「SP06」と振動パターン情報「SP16」の周波数の差にて示した様に、走る動作(B)の場合に適用する振動パターン情報による筐体の振動は、歩く動作(B)の場合に適用する振動パターン情報による筐体の振動よりも早い。
なお、振動パターン情報記憶部49は、予め(出荷時から)、振動パターン情報を記憶していてもよいし、振動パターン情報更新部42によって登録(追加)されたものを記憶してもよい。また、振動パターン情報記憶部49に記憶されている振動パターン情報は、振動パターン情報更新部42によって更新(変更)、又は、削除される。
振動パターン情報更新部42は、振動パターン情報記憶部49に振動パターン情報を登録(追加)、更新(変更)、又は、削除する。例えば、振動パターン情報更新部42は、通信部50が外部から受信した振動パターン情報をインデックスに対応付けて振動パターン情報記憶部49に登録する。また、振動パターン情報更新部42は、振動パターン情報生成部41が生成した振動パターン情報をインデックスに対応付けて振動パターン情報記憶部49に登録する。
振動パターン情報生成部41は、画像記憶部90に記憶されている動画像内の音に基づいて、振動パターン情報を生成する。具体的には、振動パターン情報生成部41は、画像記憶部90に記憶されている動画像(映像+音声)から音声のリズム(ピッチ)を抽出する。例えば、振動パターン情報生成部41は、幼稚園の運動会の駆けっこを撮像した動画像(映像+音声)の音声部分(例えば、幼稚園児(男児)が走る足音)から幼稚園児(男児)の走るリズムを抽出する。
次いで、振動パターン情報生成部41は、抽出したリズムに合わせて筐体を振動させる振動パターン情報を、特定のインデックス(動作(B)-性別(S)-年齢層(A))の振動パターン情報として生成する。例えば、振動パターン情報生成部41は、幼稚園児(男児)の走るリズムに合わせて筐体を振動させる振動パターン情報を、幼稚園児(男児)が走る振動パターン情報(図3BのSP12)として生成する。
次いで、振動パターン情報生成部41は、抽出したリズムに合わせて筐体を振動させる振動パターン情報を、特定のインデックス(動作(B)-性別(S)-年齢層(A))の振動パターン情報として生成する。例えば、振動パターン情報生成部41は、幼稚園児(男児)の走るリズムに合わせて筐体を振動させる振動パターン情報を、幼稚園児(男児)が走る振動パターン情報(図3BのSP12)として生成する。
なお、振動パターン情報生成部41は、オブジェクト抽出部45からの通知によって、インデックスを特定する。
つまり、振動パターン情報生成部41は、動画像からリズムを抽出する際に、この動画像をオブジェクト抽出部45に出力する。オブジェクト抽出部45は、この動画像の映像部分からオブジェクトとして人を認識する。更に、オブジェクト抽出部45は、人の属性、及び、動作を認識し(詳細は後述)、認識結果(即ち、インデックス)を振動パターン情報生成部41に通知する。
これにより、振動パターン情報生成部41は、何れのインデックスに対応する振動パターン情報を生成するのかについて認識することができる。
つまり、振動パターン情報生成部41は、動画像からリズムを抽出する際に、この動画像をオブジェクト抽出部45に出力する。オブジェクト抽出部45は、この動画像の映像部分からオブジェクトとして人を認識する。更に、オブジェクト抽出部45は、人の属性、及び、動作を認識し(詳細は後述)、認識結果(即ち、インデックス)を振動パターン情報生成部41に通知する。
これにより、振動パターン情報生成部41は、何れのインデックスに対応する振動パターン情報を生成するのかについて認識することができる。
オブジェクト抽出部45は、画像記憶部90に記憶されている画像からオブジェクトを抽出する。
具体的には、オブジェクト抽出部45は、振動パターン情報生成部41がリズムを抽出する際に(即ち、振動パターン情報の生成時に)、画像記憶部90から読み出された動画像の映像部分から人をオブジェクトとして抽出する。更に、オブジェクト抽出部45は、人の属性、及び、人の動作を認識する(即ち、振動パターン情報のインデックスを認識する)。そして、オブジェクト抽出部45は、認識結果であるインデックスを振動パターン情報生成部41に出力する。
なお、オブジェクト抽出部45は、振動パターン情報記憶部49にインデックスとして登録されていない人の属性、及び、人の動作を認識した場合、新規インデックスをユーザに登録させる画面を表示部20に出力し、操作部10を介して入力されたインデックス(例えば、幼稚園児がぐるぐる回っている動作)を振動パターン情報生成部41に通知してもよい。
具体的には、オブジェクト抽出部45は、振動パターン情報生成部41がリズムを抽出する際に(即ち、振動パターン情報の生成時に)、画像記憶部90から読み出された動画像の映像部分から人をオブジェクトとして抽出する。更に、オブジェクト抽出部45は、人の属性、及び、人の動作を認識する(即ち、振動パターン情報のインデックスを認識する)。そして、オブジェクト抽出部45は、認識結果であるインデックスを振動パターン情報生成部41に出力する。
なお、オブジェクト抽出部45は、振動パターン情報記憶部49にインデックスとして登録されていない人の属性、及び、人の動作を認識した場合、新規インデックスをユーザに登録させる画面を表示部20に出力し、操作部10を介して入力されたインデックス(例えば、幼稚園児がぐるぐる回っている動作)を振動パターン情報生成部41に通知してもよい。
また、オブジェクト抽出部45は、振動パターン情報の生成時に加えて、再生時に、画像記憶部90に記憶されている画像からオブジェクトを抽出する。
具体的には、オブジェクト抽出部45は、再生時に、画像記憶部90から読み出された再生画像(静止画像/動画像)から人をオブジェクトとして抽出する。更に、オブジェクト抽出部45は、人の属性、及び、人の動作(振動パターン情報のインデックス)を認識する。そして、オブジェクト抽出部45は、画像記憶部90から読み出された再生画像とともに、認識結果であるインデックスを振動パターン情報選択部46に出力する。
具体的には、オブジェクト抽出部45は、再生時に、画像記憶部90から読み出された再生画像(静止画像/動画像)から人をオブジェクトとして抽出する。更に、オブジェクト抽出部45は、人の属性、及び、人の動作(振動パターン情報のインデックス)を認識する。そして、オブジェクト抽出部45は、画像記憶部90から読み出された再生画像とともに、認識結果であるインデックスを振動パターン情報選択部46に出力する。
振動パターン情報選択部46は、再生時において、オブジェクト抽出部45から取得したオブジェクトに対応する振動パターン情報を振動パターン情報記憶部49から選択する。より詳細には、振動パターン情報選択部46は、オブジェクト抽出部45から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部49から選択する。
振動パターン情報を選択した振動パターン情報選択部46は、この振動パターン情報を振動制御情報として、オブジェクト抽出部45から取得した再生画像とともに、出力制御部60に出力する。
振動パターン情報を選択した振動パターン情報選択部46は、この振動パターン情報を振動制御情報として、オブジェクト抽出部45から取得した再生画像とともに、出力制御部60に出力する。
なお、振動パターン情報選択部46は、選択した振動パターン情報が、選択振動パターン情報修正部47によって修正(加工)された場合には、修正後の振動パターン情報を振動制御情報として、オブジェクト抽出部45から取得した再生画像とともに、出力制御部60に出力する。
選択振動パターン情報修正部47は、所定の条件に従って、選択振動パターン情報、即ち、振動パターン情報選択部46が振動パターン情報記憶部49から選択した振動パターン情報を修正する。
具体的には、選択振動パターン情報修正部47は、オブジェクト抽出部45が抽出したオブジェクトの動きに応じて、振動パターン情報選択部46が選択した振動パターン情報を修正する。
例えば、選択振動パターン情報修正部47は、再生画像(動画像)とともにインデックスをオブジェクト抽出部45から取得する。次いで、選択振動パターン情報修正部47は、オブジェクト抽出部45から取得したインデックスによって示されるオブジェクト(即ち、人)の動きの周期を算出し、その周期が所定の閾値以上であった場合に、振動パターン情報選択部46によって選択された振動パターン情報の周波数を増加させる。
なお、選択振動パターン情報修正部47は、周期と比較する閾値をインデックス毎に保持していてもよい。また、選択振動パターン情報修正部47は、インデックス毎に、周波数の増加量に応じて、上記閾値を複数保持してもよい。
例えば、選択振動パターン情報修正部47は、再生画像(動画像)とともにインデックスをオブジェクト抽出部45から取得する。次いで、選択振動パターン情報修正部47は、オブジェクト抽出部45から取得したインデックスによって示されるオブジェクト(即ち、人)の動きの周期を算出し、その周期が所定の閾値以上であった場合に、振動パターン情報選択部46によって選択された振動パターン情報の周波数を増加させる。
なお、選択振動パターン情報修正部47は、周期と比較する閾値をインデックス毎に保持していてもよい。また、選択振動パターン情報修正部47は、インデックス毎に、周波数の増加量に応じて、上記閾値を複数保持してもよい。
また、選択振動パターン情報修正部47は、オブジェクト抽出部45が抽出したオブジェクトの動きに代えて、又は、加えて、オブジェクト抽出部45が抽出したオブジェクト迄の距離に応じて、振動パターン情報選択部46が選択した振動パターン情報を修正してもよい。
例えば、選択振動パターン情報修正部47は、再生画像(動画像又は静止画像)とともにインデックスをオブジェクト抽出部45から取得する。次いで、選択振動パターン情報修正部47は、オブジェクト抽出部45から取得したインデックスによって示されるオブジェクト迄の距離が所定の閾値未満であった場合に、振動パターン情報選択部46によって選択された振動パターン情報の振幅を増加させる。
なお、選択振動パターン情報修正部47は、距離と比較する閾値をインデックス毎に保持していてもよい。また、選択振動パターン情報修正部47は、インデックス毎に、振幅の増加量に応じて、上記閾値を複数保持してもよい。
また、選択振動パターン情報修正部47は、再生画像に付加されている付加情報からオブジェクト迄の距離を取得してもよい。
例えば、選択振動パターン情報修正部47は、再生画像(動画像又は静止画像)とともにインデックスをオブジェクト抽出部45から取得する。次いで、選択振動パターン情報修正部47は、オブジェクト抽出部45から取得したインデックスによって示されるオブジェクト迄の距離が所定の閾値未満であった場合に、振動パターン情報選択部46によって選択された振動パターン情報の振幅を増加させる。
なお、選択振動パターン情報修正部47は、距離と比較する閾値をインデックス毎に保持していてもよい。また、選択振動パターン情報修正部47は、インデックス毎に、振幅の増加量に応じて、上記閾値を複数保持してもよい。
また、選択振動パターン情報修正部47は、再生画像に付加されている付加情報からオブジェクト迄の距離を取得してもよい。
図5A、5Bは、電子機器1の処理の流れを示すフローチャートの一例である。図5Aのフローチャートは、再生時における電子機器の処理の流れの一例であって、ユーザからの再生指示があった場合に開始する。なお、図5Aのフローチャートにおいて、ユーザは、画像記憶部90に記憶されている、幼稚園児(男児)が走っている動画像(映像+音声)を再生画像として指定したものとする。図5Bのフローチャートも同様である。
図5Aにおいて、オブジェクト抽出部45は、画像記憶部90から読み出された再生画像からオブジェクトとして人を抽出する(ステップS10)。次いで、オブジェクト抽出部45は、オブジェクトとして抽出した人の属性、及び、オブジェクトとして抽出した人の動作を認識する。即ち、オブジェクト抽出部45は、画像記憶部90から読み出された再生画像から振動パターン情報のインデックスを認識する(ステップS20)。
具体的には、オブジェクト抽出部45は、幼稚園児(男児)が走っている動画像から物(幼稚園児(男児))をオブジェクトとして抽出し(ステップS10)、オブジェクトとして抽出した人の属性「幼稚園児(男児)」、及び、オブジェクトとして抽出した人の動作「走る」を認識する。即ち、オブジェクト抽出部45は、幼稚園児(男児)が走っている動画像から振動パターン情報のインデックス「走る(B=2)-男性(S=1)-幼稚園児(A=2)」を認識する(ステップS20)。
次いで、オブジェクト抽出部45は、画像記憶部90から読み出された再生画像とともに、認識結果であるインデックスを振動パターン情報選択部46に出力する。
振動パターン情報選択部46は、オブジェクト抽出部45から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部49から選択する(ステップS30)。次いで、振動パターン情報選択部46は、この振動パターン情報を振動制御情報として、オブジェクト抽出部45から取得した再生画像とともに、出力制御部60に出力する。
具体的には、振動パターン情報選択部46は、オブジェクト抽出部45から取得したインデックス「走る(B=2)-男性(S=1)-幼稚園児(A=2)」に対応する振動パターン情報「SP12」を振動パターン情報記憶部49から選択し(ステップS30)、振動制御情報として、再生画像(幼稚園児(男児)が走っている動画像)とともに出力制御部60に出力する。
次いで、出力制御部60は、再生画像を再生するとともに、振動制御情報に基づいて筐体を振動させる(ステップS40)。
具体的には、表示制御部62は、振動パターン情報選択部46から取得した幼稚園児(男児)が走っている動画像の映像部分について、表示部20への出力を制御する。音声制御部64は、上記動画像の音声部分について、スピーカ16への出力を制御する。振動制御部66は、上記動画像とともに振動パターン情報選択部46から取得した振動制御情報に基づいて振動部22を振動させる(ステップS40)。そして図5Aのフローチャートは終了する。
以上のように、電子機器1は、画像の再生時(表示/音声出力時)に、振動制御情報を生成して筐体を振動させる。具体的には、電子機器1は、再生画像から抽出したオブジェクト(オブジェクトの属性、オブジェクトの動作の種類)に応じた振動制御情報を生成(振動パターン情報を選択)し、生成した振動制御情報に基づいて筐体を振動させる。
具体的には、表示制御部62は、振動パターン情報選択部46から取得した幼稚園児(男児)が走っている動画像の映像部分について、表示部20への出力を制御する。音声制御部64は、上記動画像の音声部分について、スピーカ16への出力を制御する。振動制御部66は、上記動画像とともに振動パターン情報選択部46から取得した振動制御情報に基づいて振動部22を振動させる(ステップS40)。そして図5Aのフローチャートは終了する。
以上のように、電子機器1は、画像の再生時(表示/音声出力時)に、振動制御情報を生成して筐体を振動させる。具体的には、電子機器1は、再生画像から抽出したオブジェクト(オブジェクトの属性、オブジェクトの動作の種類)に応じた振動制御情報を生成(振動パターン情報を選択)し、生成した振動制御情報に基づいて筐体を振動させる。
なお、図5Aのフローチャートの場合、電子機器1は、振動パターン情報を振動制御情報としてそのまま利用したが、振動パターン情報を修正(加工)して、修正後の振動パターン情報を振動制御情報として利用してもよい。
図5Bのフローチャートは、振動パターン情報記憶部49から選択された振動パターン情報を修正して、修正後の振動パターン情報を振動制御情報として、出力制御部60に出力する場合の処理の流れの一例である。なお、図5BのステップS10、S20、S30は、図5Aのフローチャートと同様であるため、説明を一部又は全部を省略する。
図5Bのフローチャートは、振動パターン情報記憶部49から選択された振動パターン情報を修正して、修正後の振動パターン情報を振動制御情報として、出力制御部60に出力する場合の処理の流れの一例である。なお、図5BのステップS10、S20、S30は、図5Aのフローチャートと同様であるため、説明を一部又は全部を省略する。
図5Bのフローチャートにおいて、ステップS30に続いて、選択振動パターン情報修正部47は、オブジェクト抽出部45が抽出したオブジェクトの動きに応じて、振動パターン情報選択部46が選択した振動パターン情報を修正する(ステップS32)。
具体的には、選択振動パターン情報修正部47は、再生画像とともにインデックスをオブジェクト抽出部45から取得し、オブジェクト抽出部45から取得したインデックスによって示されるオブジェクト(即ち、人)の動きの周期を算出し、その周期が所定の閾値以上であった場合に、ステップS30において選択された振動パターン情報を修正する。
具体的には、選択振動パターン情報修正部47は、再生画像とともにインデックスをオブジェクト抽出部45から取得し、オブジェクト抽出部45から取得したインデックスによって示されるオブジェクト(即ち、人)の動きの周期を算出し、その周期が所定の閾値以上であった場合に、ステップS30において選択された振動パターン情報を修正する。
ステップS32に次いで、選択振動パターン情報修正部47は、上記オブジェクト迄の距離に応じて、ステップS30において選択された振動パターン情報(ステップS32において修正した場合には修正後の振動パターン情報)を修正する(ステップS34)。
具体的には、選択振動パターン情報修正部47は、オブジェクト迄の距離が所定の閾値未満であった場合に、ステップS30において選択された振動パターン情報を修正、又は、ステップS32においてオブジェクトの動きに応じて修正した振動パターン情報を更に修正する。
具体的には、選択振動パターン情報修正部47は、オブジェクト迄の距離が所定の閾値未満であった場合に、ステップS30において選択された振動パターン情報を修正、又は、ステップS32においてオブジェクトの動きに応じて修正した振動パターン情報を更に修正する。
なお、ステップS32、又は、ステップS34において、選択振動パターン情報修正部47が振動パターン情報を修正した場合には、振動部22は、修正後の振動パターン情報(振動制御情報)に基づいて筐体を振動させる(ステップS42)。そして図5Bのフローチャートは終了する。
以上のように、図5Bの場合、電子機器1は、再生画像から抽出したオブジェクト(オブジェクトの属性(例えば、幼稚園児(男児))、オブジェクトの動作の種類(例えば、走る)、オブジェクトの動作の周期、オブジェクト迄の距離)に応じた振動制御情報を生成(振動パターン情報を選択及び修正)し、生成した振動制御情報に基づいて筐体を振動させる。
以上のように、図5Bの場合、電子機器1は、再生画像から抽出したオブジェクト(オブジェクトの属性(例えば、幼稚園児(男児))、オブジェクトの動作の種類(例えば、走る)、オブジェクトの動作の周期、オブジェクト迄の距離)に応じた振動制御情報を生成(振動パターン情報を選択及び修正)し、生成した振動制御情報に基づいて筐体を振動させる。
なお、電子機器1は、動画像を再生するときは、各再生画像のコマから抽出されたオブジェクトに応じた振動制御情報を生成し、時間毎に筐体の振動を変化させるようにしてもよい。即ち、図5A、5Bに示すフローチャートにおいて、ユーザからの再生指示があった画像の再生が終了する迄、ステップS10からステップS40(S42)を繰り返し実行するようにしてもよい。
以上、電子機器1によれば、表示画像に応じて筐体を振動させることができる。具体的には、電子機器1は、画像記憶部90に記憶した画像(撮像静止画像、受信静止画像、撮像動画像、受信動画像)の再生時に表示内容(具体的には、オブジェクト)に応じた振動制御情報を生成し、振動制御情報に基づいて振動を筐体に与えることができる。
なお、電子機器1は、図2において破線にて示すように、通信部50を介して外部から受信した画像(受信静止画像、受信動画像)のストリーミング再生時に、表示画像(表示内容)に応じて筐体を振動させるようにしてもよい。
(第2の実施形態)
図6は、本発明の第2の実施形態による電子機器2の機能ブロック図の一例である。図7A、7Bは、画像記憶部92に記憶される情報の一例である。電子機器2は、撮像時に、振動制御情報を生成する。
電子機器2は、図6に示すように、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30、振動制御情報生成部140、通信部50、出力制御部160、及び、画像記憶部92を備える。出力制御部160は、表示制御部162、音声制御部164、及び、振動制御部166を備える。
電子機器2が備える、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30及び通信部50は、第1の実施形態による電子機器1が備える、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30及び通信部50と同様であるため、説明の一部又は全部を省略する。
図6は、本発明の第2の実施形態による電子機器2の機能ブロック図の一例である。図7A、7Bは、画像記憶部92に記憶される情報の一例である。電子機器2は、撮像時に、振動制御情報を生成する。
電子機器2は、図6に示すように、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30、振動制御情報生成部140、通信部50、出力制御部160、及び、画像記憶部92を備える。出力制御部160は、表示制御部162、音声制御部164、及び、振動制御部166を備える。
電子機器2が備える、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30及び通信部50は、第1の実施形態による電子機器1が備える、操作部10、測距部12、マイク14、スピーカ16、表示部20、撮像部30及び通信部50と同様であるため、説明の一部又は全部を省略する。
振動制御情報生成部140は、撮像部30による撮像中に、撮像画像(静止画像/動画像)からオブジェクトを抽出し、抽出したオブジェクトに応じて振動制御情報を生成する。また、振動制御情報生成部140は、上述の如く生成した振動制御情報を、撮像画像に対応付けて画像記憶部92に記憶する。なお、振動制御情報生成部140の詳細は後述する。
画像記憶部92は、第1の実施形態による電子機器1が備える画像記憶部90と同様、静止画像(撮像静止画像、受信静止画像)、動画像(撮像動画像、受信動画像)、及び、音声(録音音声、受信音声)などを記憶する。
また、画像記憶部92は、振動制御情報生成部140によって生成された振動制御情報を記憶する。具体的には、画像記憶部92は、図7Aに示すように、画像(撮像静止画像、撮像動画像)を識別する画像識別情報(例えば、画像ファイル名)に対応付けて振動制御情報を記憶する。
図7Aに示す例の場合、画像記憶部92は、ある撮像動画像の画像識別情報「G001」に対応付けて振動制御情報「S012」を記憶し、ある別の撮像動画像の画像識別情報「G002」に対応付けて振動制御情報「S007」を記憶し、ある撮像静止画像の画像識別情報「G003」に対応付けて振動制御情報「S003」を記憶している。
図7Aに示す例の場合、画像記憶部92は、ある撮像動画像の画像識別情報「G001」に対応付けて振動制御情報「S012」を記憶し、ある別の撮像動画像の画像識別情報「G002」に対応付けて振動制御情報「S007」を記憶し、ある撮像静止画像の画像識別情報「G003」に対応付けて振動制御情報「S003」を記憶している。
なお、図7Aにおいて、振動制御情報「S012(SP12)」は、振動制御情報「S012」が、振動パターン情報「SP12」である旨を表している。振動制御情報「S003(SP03)」についても同様である。また、振動制御情報「S007(SP07’)」は、振動制御情報「S007」が、振動パターン情報「SP07」を修正した「SP07’」である旨を表している。
また、図7Aの例は、画像記憶部92が、1つの画像に対し、1つの振動制御情報を記憶する例であるが、画像記憶部92は、図7Bに示すように、1つの画像(撮像動画像)に対し、複数の振動制御情報を記憶してもよい。例えば、図7Bに示す例の場合、画像記憶部92は、ある撮像動画像の画像識別情報「G001」に対し、時間毎に振動制御情報を記憶してもよい。
なお、図7Bでは、画像識別情報「G001」の撮像動画像について、時間1(例えば、撮像開始時刻から5秒後~10秒後の5秒間)に対応付けて振動制御情報「S012」を記憶し、時間2(例えば、撮像開始時刻から12秒後~15秒後の3秒間)に対応付けて振動制御情報「S002」を記憶する。
具体的には、例えば、撮像部30が、撮像開始時刻から5秒後~10秒後の5秒間に幼稚園児(男児)が走っている場面を撮像し、撮像開始時刻から12秒後~15秒後の3秒間に幼稚園児(男児)が歩いている場面を撮像した場合に、振動制御情報生成部140は、振動パターン情報記憶部149(後述)内の振動パターン情報(図3A、3B参照)に基づいて、上記5秒間の部分から振動制御情報「S012(SP12)」を生成(選択)し、上記3秒間の部分から振動制御情報「S002(SP02)」を生成(選択)し、図7Bの如く、時間1、時間2の夫々に対応付けて画像記憶部92に記憶する。
具体的には、例えば、撮像部30が、撮像開始時刻から5秒後~10秒後の5秒間に幼稚園児(男児)が走っている場面を撮像し、撮像開始時刻から12秒後~15秒後の3秒間に幼稚園児(男児)が歩いている場面を撮像した場合に、振動制御情報生成部140は、振動パターン情報記憶部149(後述)内の振動パターン情報(図3A、3B参照)に基づいて、上記5秒間の部分から振動制御情報「S012(SP12)」を生成(選択)し、上記3秒間の部分から振動制御情報「S002(SP02)」を生成(選択)し、図7Bの如く、時間1、時間2の夫々に対応付けて画像記憶部92に記憶する。
表示制御部162は、画像記憶部92に記憶されている画像(静止画像/動画像)の表示部20への出力を制御する。表示部20は、表示制御部162の制御に従って、画像記憶部92に記憶されている画像を表示する。なお、表示制御部162は、撮像部30が生成するスルー画像について、表示部20への出力を制御してもよい。
音声制御部164は、画像記憶部92に記憶されている音声(動画像の音声部分も含む)のスピーカ16への出力を制御する。スピーカ16は、音声制御部164の制御に従って、画像記憶部92に記憶されている音声を出力する。
振動制御部166は、画像記憶部92から読み出される振動制御情報に基づいて、振動部22を振動させる。振動部22は、振動制御部166の制御に従って、筐体を振動させる。即ち、振動部22は、撮像部30による撮像中に振動制御情報生成部140によって生成された振動制御情報に基づいて筐体を振動させる。
図8は、振動制御情報生成部140の機能ブロック図の一例である。振動制御情報生成部140は、図8に示すように、振動パターン情報生成部141、振動パターン情報更新部142、オブジェクト抽出部145、振動パターン情報選択部146、選択振動パターン情報修正部147、振動パターン情報記憶部149を備える。
振動パターン情報記憶部149は、第1の実施形態による電子機器1が備える振動パターン情報記憶部49と同様に、オブジェクト毎の所定の振動パターン情報を記憶する。即ち、振動パターン情報記憶部149は、図3A、3B及び図4に示すように、オブジェクト毎の所定の振動パターン情報を記憶する。
振動パターン情報更新部142は、第1の実施形態による電子機器1が備える振動パターン情報更新部42と同様に、振動パターン情報記憶部149に振動パターン情報を登録(追加)、更新(変更)、又は、削除する。
振動パターン情報生成部141は、撮像時に、マイク14から出力される音に基づいて、振動パターン情報を生成する。
具体的には、振動パターン情報生成部141は、操作部10を介して入力されたユーザの指示(例えば、撮像時に、振動パターン情報を生成する旨の指示)に基づいて、第1の実施形態による電子機器1が備える振動パターン情報生成部41と同様に、音声のリズム(ピッチ)を抽出し、抽出したリズムに合わせて筐体を振動させる振動パターン情報を、特定のインデックス(動作(B)-性別(S)-年齢層(A))の振動パターン情報として生成する。
なお、振動パターン情報生成部141は、振動パターン情報生成部41と同様に、オブジェクト抽出部145からの通知によってインデックスを特定する。
具体的には、振動パターン情報生成部141は、操作部10を介して入力されたユーザの指示(例えば、撮像時に、振動パターン情報を生成する旨の指示)に基づいて、第1の実施形態による電子機器1が備える振動パターン情報生成部41と同様に、音声のリズム(ピッチ)を抽出し、抽出したリズムに合わせて筐体を振動させる振動パターン情報を、特定のインデックス(動作(B)-性別(S)-年齢層(A))の振動パターン情報として生成する。
なお、振動パターン情報生成部141は、振動パターン情報生成部41と同様に、オブジェクト抽出部145からの通知によってインデックスを特定する。
オブジェクト抽出部145は、撮像時に、撮像画像からオブジェクトを抽出する。具体的には、オブジェクト抽出部145は、振動パターン情報生成部141がリズムを抽出する際に(即ち、振動パターン情報の生成時に)、撮像画像から人をオブジェクトとして抽出する。更に、オブジェクト抽出部145は、人の属性、及び、人の動作を認識する(即ち、振動パターン情報のインデックスを認識する)。そして、オブジェクト抽出部145は、認識結果であるインデックスを振動パターン情報生成部141に出力する。
なお、オブジェクト抽出部145は、振動パターン情報記憶部149にインデックスとして登録されていない人の属性、及び、人の動作を認識した場合、新規インデックスをユーザに登録させる画面を表示部20に出力し、操作部10を介して入力されたインデックスを振動パターン情報生成部141に通知してもよい。
なお、オブジェクト抽出部145は、振動パターン情報記憶部149にインデックスとして登録されていない人の属性、及び、人の動作を認識した場合、新規インデックスをユーザに登録させる画面を表示部20に出力し、操作部10を介して入力されたインデックスを振動パターン情報生成部141に通知してもよい。
また、オブジェクト抽出部145は、撮像時に、操作部10を介して入力されたユーザの指示(例えば、撮像時に、振動制御情報を生成する旨の指示)に基づいて、撮像画像から人をオブジェクトとして抽出する。更に、オブジェクト抽出部145は、人の属性、及び、人の動作を認識する(即ち、振動パターン情報のインデックスを認識する)。そして、オブジェクト抽出部145は、撮像画像とともに、認識結果であるインデックスを振動パターン情報選択部146に出力する。
振動パターン情報選択部146は、撮像時において、第1の実施形態による電子機器1が備える振動パターン情報選択部46と同様に、オブジェクト抽出部145から取得したオブジェクトに対応する振動パターン情報を振動パターン情報記憶部149から選択する。即ち、振動パターン情報選択部146は、オブジェクト抽出部145から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部149から選択する。
振動パターン情報を選択した振動パターン情報選択部146は、この振動パターン情報を振動制御情報として、オブジェクト抽出部145から取得した撮像画像(画像識別情報)に対応付けて、図7A、7Bに示すように、画像記憶部92に記憶する(書き込む)。
振動パターン情報を選択した振動パターン情報選択部146は、この振動パターン情報を振動制御情報として、オブジェクト抽出部145から取得した撮像画像(画像識別情報)に対応付けて、図7A、7Bに示すように、画像記憶部92に記憶する(書き込む)。
なお、振動パターン情報選択部146は、選択した振動パターン情報が、選択振動パターン情報修正部147によって修正(加工)された場合には、修正後の振動パターン情報を振動制御情報として、オブジェクト抽出部145から取得した撮像画像に対応付けて、画像記憶部92に記憶する。
選択振動パターン情報修正部147は、所定の条件に従って、選択振動パターン情報、即ち、振動パターン情報選択部146が振動パターン情報記憶部149から選択した振動パターン情報を修正する。
具体的には、選択振動パターン情報修正部147は、第1の実施形態による電子機器1が備える選択振動パターン情報修正部47と同様に、オブジェクト抽出部145が抽出したオブジェクトの動きに応じて、振動パターン情報選択部146が選択した振動パターン情報を修正する。また、選択振動パターン情報修正部147は、選択振動パターン情報修正部47と同様に、オブジェクト抽出部145が抽出したオブジェクト迄の距離に応じて、振動パターン情報選択部146が選択した振動パターン情報を修正してもよい。
なお、選択振動パターン情報修正部147は、オブジェクト迄の距離を、第1の実施形態による電子機器1が備える選択振動パターン情報修正部47と同様、撮像画像に付加された付加情報から取得してもよいし、測距部12から直接、取得してもよい。
なお、選択振動パターン情報修正部147は、オブジェクト迄の距離を、第1の実施形態による電子機器1が備える選択振動パターン情報修正部47と同様、撮像画像に付加された付加情報から取得してもよいし、測距部12から直接、取得してもよい。
図9A、9Bは、電子機器2の処理の流れを示すフローチャートの一例である。図9Aのフローチャートは、撮像時における電子機器の処理の流れの一例であって、ユーザからの撮像指示があった場合に開始する。なお、図9Aのフローチャートにおいて、幼稚園児(男児)が走っている動画像(映像+音声)を撮像しているものとする。図9Bのフローチャートも同様である。
図9Aにおいて、オブジェクト抽出部145は、撮像部30から出力された撮像画像からオブジェクトとして人を抽出する(ステップS110)。次いで、オブジェクト抽出部145は、オブジェクトとして抽出した人の属性、及び、オブジェクトとして抽出した人の動作を認識する。即ち、オブジェクト抽出部145は、撮像画像から振動パターン情報のインデックスを認識する(ステップS120)。
具体的には、オブジェクト抽出部145は、幼稚園児(男児)が走っている動画像から物(幼稚園児(男児))をオブジェクトとして抽出し(ステップS110)、オブジェクトとして抽出した人の属性「幼稚園児(男児)」、及び、オブジェクトとして抽出した人の動作「走る」を認識する。即ち、オブジェクト抽出部145は、幼稚園児(男児)が走っている動画像から振動パターン情報のインデックス「走る(B=2)-男性(S=1)-幼稚園児(A=2)」を認識する(ステップS120)。
次いで、オブジェクト抽出部145は、撮像画像とともに、認識結果であるインデックスを振動パターン情報選択部146に出力する。
振動パターン情報選択部146は、オブジェクト抽出部145から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部149から選択する(ステップS130)。次いで、振動パターン情報選択部146は、この振動パターン情報を振動制御情報として、オブジェクト抽出部145から取得した撮像画像(画像識別情報)に対応付けて、画像記憶部92に記憶する(ステップS142)。
具体的には、振動パターン情報選択部146は、オブジェクト抽出部145から取得したインデックス「走る(B=2)-男性(S=1)-幼稚園児(A=2)」に対応する振動パターン情報「SP12」を振動パターン情報記憶部149から選択する(ステップS130)。
次いで、振動パターン情報選択部146は、図7Aに示すように、撮像画像(幼稚園児(男児)が走っている動画像)を識別する画像識別情報(例えば、G001とする)に対応付けて、振動パターン情報「SP12」を振動制御情報「S012」として、画像記憶部92に記憶する(ステップS142)。
そして図9Aのフローチャートは終了する。
次いで、振動パターン情報選択部146は、図7Aに示すように、撮像画像(幼稚園児(男児)が走っている動画像)を識別する画像識別情報(例えば、G001とする)に対応付けて、振動パターン情報「SP12」を振動制御情報「S012」として、画像記憶部92に記憶する(ステップS142)。
そして図9Aのフローチャートは終了する。
なお、ユーザの再生指示に基づいて、電子機器2が、画像記憶部92に記憶された上記画像(画像識別情報「G001」の撮像画像)を再生した場合、出力制御部160(表示制御部162)は、再生画像の映像部分について、表示部20への出力を制御する。
また、出力制御部160(音声制御部164)は、再生画像の音声部分について、スピーカへ16への出力を制御する。また、出力制御部160(振動制御部166)は、再生画像に対応付けて記憶されている振動制御情報「S012(SP12)」に基づいて振動部22を振動させる。
即ち、電子機器2は、画像の再生時(表示/音声出力時)に、予め撮像時に生成していた振動制御情報に基づいて、筐体を振動させる。具体的には、電子機器2は、撮像画像から抽出したオブジェクト(オブジェクトの属性、オブジェクトの動作の種類)に応じた振動制御情報を生成(振動パターン情報を選択)し、生成した振動制御情報に基づいて筐体を振動させる。
また、出力制御部160(音声制御部164)は、再生画像の音声部分について、スピーカへ16への出力を制御する。また、出力制御部160(振動制御部166)は、再生画像に対応付けて記憶されている振動制御情報「S012(SP12)」に基づいて振動部22を振動させる。
即ち、電子機器2は、画像の再生時(表示/音声出力時)に、予め撮像時に生成していた振動制御情報に基づいて、筐体を振動させる。具体的には、電子機器2は、撮像画像から抽出したオブジェクト(オブジェクトの属性、オブジェクトの動作の種類)に応じた振動制御情報を生成(振動パターン情報を選択)し、生成した振動制御情報に基づいて筐体を振動させる。
なお、図9Aのフローチャートの場合、電子機器2は、振動パターン情報を振動制御情報としてそのまま利用したが、振動パターン情報を修正(加工)して、修正後の振動パターン情報を振動制御情報として利用してもよい。
図9Bのフローチャートは、振動パターン情報記憶部149から選択された振動パターン情報を修正して、修正後の振動パターン情報を振動制御情報として、画像記憶部92に記憶する場合の処理の流れの一例である。なお、図9BのステップS110、S120、S130は、図9Aのフローチャートと同様であるため、説明を一部又は全部を省略する。
図9Bのフローチャートは、振動パターン情報記憶部149から選択された振動パターン情報を修正して、修正後の振動パターン情報を振動制御情報として、画像記憶部92に記憶する場合の処理の流れの一例である。なお、図9BのステップS110、S120、S130は、図9Aのフローチャートと同様であるため、説明を一部又は全部を省略する。
図9Bのフローチャートにおいて、ステップS130に続いて、選択振動パターン情報修正部147は、オブジェクト抽出部145が抽出したオブジェクトの動きに応じて、振動パターン情報選択部146が選択した振動パターン情報を修正する(ステップS132)。なお、ステップS132の処理は、図5BのステップS32と同様である。
ステップS132に次いで、選択振動パターン情報修正部147は、上記オブジェクト迄の距離に応じて、ステップS130において選択された振動パターン情報(ステップS132において修正した場合には修正後の振動パターン情報)を修正する(ステップS134)。なお、ステップS134の処理は、図5BのステップS34と同様である。
なお、ステップS132、又は、ステップS134において、選択振動パターン情報修正部147が振動パターン情報を修正した場合には、振動パターン情報選択部146は、振動制御情報として、修正後の振動パターン情報を画像記憶部92に記憶する(ステップS144)。そして図9Bのフローチャートは終了する。
以上のように、図9Bの場合、電子機器2は、撮像画像から抽出したオブジェクト(オブジェクトの属性、オブジェクトの動作の種類、オブジェクトの動作の周期、オブジェクト迄の距離)に応じた振動制御情報を生成(振動パターン情報を選択及び修正)し、生成した振動制御情報に基づいて筐体を振動させる。
なお、電子機器2は、動画像を撮像するときは、各撮像画像のコマから抽出されたオブジェクトに応じて振動制御情報を生成し、図7Bに示すように、時間に対応付けて、画像記憶部92に記憶してもよい。即ち、図9A、9Bに示すフローチャートにおいて、ユーザからの撮像が終了する迄、ステップS110からステップS142(S144)を繰り返し実行するようにしてもよい。
以上、電子機器2によれば、表示画像に応じて筐体を振動させることができる。具体的には、電子機器2は、撮像部30による撮像時に撮像内容(具体的には、オブジェクト)に応じた振動制御情報を生成して画像記憶部92に記憶しておき、再生時に、振動制御情報に基づいて振動を筐体に与えることができる。
なお、電子機器2は、図8において破線にて示すように、撮像時に生成した振動制御情報を出力制御部160に出力してもよい。即ち、電子機器2は、スルー画像の表示するときに、筐体に振動させるようにしてもよい。なお、電子機器2は、スルー画像の表示時においては、例えば振動制御情報(振動パターン情報)を修正し、振動を弱めるようにしてもよい。
以上、第1の実施形態による電子機器1、及び、第2の実施形態による電子機器2によれば、表示画像に応じて筐体を振動させることができる。つまり、ユーザは、動画像(又は静止画像)の再生時に、視覚(又は視覚及び聴覚)に加えて触覚を得ることができる。
また、電子機器1(電子機器2)は、振動制御情報に加えて、抽出オブジェクトに応じて擬似音を生成してもよい。なお、擬似音とは、スピーカ16から出力される音声データであって、画像内のオブジェクトの属性、動作から想起されるものである。
例えば、電子機器1(電子機器2)は、振動パターン情報と同様、インデックス毎の擬似音パターン情報を振動パターン情報記憶部49(振動パターン情報記憶部149)に記憶しておき、振動パターン情報選択部46(振動パターン情報選択部146)がインデックスに対応する擬似音パターン情報を選択してもよい。
例えば、電子機器1(電子機器2)は、振動パターン情報と同様、インデックス毎の擬似音パターン情報を振動パターン情報記憶部49(振動パターン情報記憶部149)に記憶しておき、振動パターン情報選択部46(振動パターン情報選択部146)がインデックスに対応する擬似音パターン情報を選択してもよい。
なお、電子機器1(電子機器2)は、オブジェクトとして人を抽出したが、人以外を抽出してもよい。
なお、電子機器1(電子機器2)が、例えば、オブジェクトとして乗物を抽出する場合には、振動パターン情報記憶部49(振動パターン情報記憶部149)には、乗物の種類(例えば、軽自動車、スポーツカー、バス、電車、新幹線、ヘリコプター、飛行機)毎の振動パターン情報(擬似音パターン情報も同様)を記憶し、例えば、動物を抽出する場合には、動物の種類(例えば、大型犬、小型犬、猫、鳥(各種)、昆虫(各種))毎の振動パターン情報(擬似音パターン情報も同様)を記憶しておく。
なお、電子機器1(電子機器2)が、例えば、オブジェクトとして乗物を抽出する場合には、振動パターン情報記憶部49(振動パターン情報記憶部149)には、乗物の種類(例えば、軽自動車、スポーツカー、バス、電車、新幹線、ヘリコプター、飛行機)毎の振動パターン情報(擬似音パターン情報も同様)を記憶し、例えば、動物を抽出する場合には、動物の種類(例えば、大型犬、小型犬、猫、鳥(各種)、昆虫(各種))毎の振動パターン情報(擬似音パターン情報も同様)を記憶しておく。
なお、本発明の実施形態による電子機器1、2の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器1、2の各処理に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー(登録商標)ディスク、光磁気ディスク、SDカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー(登録商標)ディスク、光磁気ディスク、SDカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、2…電子機器 10…操作部 12…測距部 14…マイク 16…スピーカ 20…表示部 30…撮像部 40、140…振動制御情報生成部 41、141…振動パターン情報生成部 42、142…振動パターン情報更新部 45、145…オブジェクト抽出部 46、146…振動パターン情報選択部 47、147…選択振動パターン情報修正部 49、149…振動パターン情報記憶部 50…通信部 60、160…出力制御部 62、162…表示制御部 64、164…音声制御部 66、166…振動制御部 90、92…画像記憶部。
Claims (11)
- 画像を表示する表示部と、
振動制御情報に基づいて筐体を振動させる振動部と、
画像からオブジェクトを抽出し、抽出した前記オブジェクトに応じて前記振動制御情報を生成する振動制御情報生成部と
を備えることを特徴とする電子機器。 - 請求項1に記載の電子機器において、
画像を記憶する画像記憶部をさらに備え、
前記振動制御情報生成部は、
前記画像記憶部に記憶されている画像からオブジェクトを抽出する
ことを特徴とする電子機器。 - 請求項1又は請求項2に記載の電子機器において、
前記振動制御情報生成部は、
前記表示部による画像の表示時に、前記振動制御情報を生成する
ことを特徴とする電子機器。 - 請求項1に記載の電子機器において、
撮像部をさらに備え、
前記振動制御情報生成部は、
前記撮像部による撮像時に、前記撮像部によって撮像された撮像画像からオブジェクトを抽出する
ことを特徴とする電子機器。 - 請求項4に記載の電子機器において、
画像を記憶する画像記憶部をさらに備え、
前記振動制御情報生成部は、
前記撮像画像から抽出した前記オブジェクトに応じて生成した前記振動制御情報を、前記撮像画像に対応付けて前記画像記憶部に記憶する
ことを特徴とする電子機器。 - 請求項1から請求項5に記載の電子機器において、
前記振動制御情報生成部は、
オブジェクト毎の所定の振動パターン情報を記憶し、
画像から抽出したオブジェクトに対応する前記振動パターン情報に基づいて前記振動制御情報を生成する
ことを特徴とする電子機器。 - 請求項6に記載の電子機器において、
前記振動制御情報生成部は、
画像から抽出したオブジェクトに対応する前記振動パターン情報を前記オブジェクトの動きに応じて修正し、前記振動制御情報を生成する
ことを特徴とする電子機器。 - 請求項6又は請求項7に記載の電子機器において、
前記振動制御情報生成部は、
画像から抽出したオブジェクトに対応する前記振動パターン情報を前記オブジェクト迄の距離に応じて修正し、前記振動制御情報を生成する
ことを特徴とする電子機器。 - 請求項6から請求項8に記載の電子機器において、
前記振動制御情報生成部は、
動画像内の音に基づいて、前記振動パターン情報を生成する
ことを特徴とする電子機器。 - 請求項1から請求項9に記載の電子機器において、
前記振動制御情報生成部は、
画像から人のオブジェクトを抽出し、
前記オブジェクトとして抽出された前記人の属性に応じた前記振動制御情報を生成する
ことを特徴とする電子機器。 - 請求項1から請求項10に記載の電子機器において、
前記振動制御情報生成部は、
画像から抽出された前記オブジェクトに応じて擬似音を生成する
ことを特徴とする電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014514730A JP6056853B2 (ja) | 2012-05-08 | 2013-05-08 | 電子機器 |
US14/533,481 US20150160728A1 (en) | 2012-05-08 | 2014-11-05 | Electronic device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-106716 | 2012-05-08 | ||
JP2012106716 | 2012-05-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/533,481 Continuation US20150160728A1 (en) | 2012-05-08 | 2014-11-05 | Electronic device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013168732A1 true WO2013168732A1 (ja) | 2013-11-14 |
Family
ID=49550766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/062913 WO2013168732A1 (ja) | 2012-05-08 | 2013-05-08 | 電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150160728A1 (ja) |
JP (1) | JP6056853B2 (ja) |
WO (1) | WO2013168732A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015185168A (ja) * | 2014-03-21 | 2015-10-22 | イマージョン コーポレーションImmersion Corporation | ハプティック効果の自動チューニング |
US20160116982A1 (en) * | 2014-10-28 | 2016-04-28 | Lg Electronics Inc. | Terminal and operating method thereof |
JP2016149121A (ja) * | 2015-02-11 | 2016-08-18 | イマージョン コーポレーションImmersion Corporation | 触覚効果の自動付随 |
WO2016174784A1 (ja) * | 2015-04-28 | 2016-11-03 | シャープ株式会社 | 制御装置および表示装置 |
JP2018183503A (ja) * | 2017-04-27 | 2018-11-22 | 日本電信電話株式会社 | 生体電気刺激装置および方法 |
JPWO2017038386A1 (ja) * | 2015-09-01 | 2018-12-20 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
JP2020025453A (ja) * | 2018-08-06 | 2020-02-13 | エーエーシー テクノロジーズ ピーティーイー リミテッド | モータ駆動方法、端末装置及びコンピュータ読み取り可能な記録媒体 |
JP2020119614A (ja) * | 2015-04-28 | 2020-08-06 | イマージョン コーポレーションImmersion Corporation | ハプティックプレイバック調整システム |
JP2020142240A (ja) * | 2016-04-29 | 2020-09-10 | シーケー マテリアルズ ラブ カンパニー,リミティド | 触覚アクチュエータの制御方法及びデバイスの制御方法 |
WO2021024753A1 (ja) * | 2019-08-02 | 2021-02-11 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
WO2022003970A1 (ja) * | 2020-07-03 | 2022-01-06 | 三菱電機株式会社 | 操作感提供装置、操作感提供システムおよび操作感提供方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104184897B (zh) * | 2014-08-25 | 2018-07-06 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
WO2016148120A1 (ja) * | 2015-03-17 | 2016-09-22 | 株式会社メガチップス | 情報受付システム、記録媒体および情報入力方法 |
EP3173905B1 (en) * | 2015-11-24 | 2019-06-19 | Polar Electro Oy | Enhancing controlling of haptic output |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090251421A1 (en) * | 2008-04-08 | 2009-10-08 | Sony Ericsson Mobile Communications Ab | Method and apparatus for tactile perception of digital images |
US9069760B2 (en) * | 2010-08-24 | 2015-06-30 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
US9891709B2 (en) * | 2012-05-16 | 2018-02-13 | Immersion Corporation | Systems and methods for content- and context specific haptic effects using predefined haptic effects |
-
2013
- 2013-05-08 JP JP2014514730A patent/JP6056853B2/ja active Active
- 2013-05-08 WO PCT/JP2013/062913 patent/WO2013168732A1/ja active Application Filing
-
2014
- 2014-11-05 US US14/533,481 patent/US20150160728A1/en not_active Abandoned
Non-Patent Citations (1)
Title |
---|
"''iPhone QR Code Apuri Tettei Hikaku-Hyoka'', iPhone Apuri Matome", MATOMEDIA, April 2012 (2012-04-01), Retrieved from the Internet <URL:http://www.matomedia.jp/iphone-apps/rank/qrcord.html> [retrieved on 20130522] * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015185168A (ja) * | 2014-03-21 | 2015-10-22 | イマージョン コーポレーションImmersion Corporation | ハプティック効果の自動チューニング |
US20160116982A1 (en) * | 2014-10-28 | 2016-04-28 | Lg Electronics Inc. | Terminal and operating method thereof |
US10216276B2 (en) * | 2014-10-28 | 2019-02-26 | Lg Electronics Inc. | Terminal and operating method thereof |
JP2016149121A (ja) * | 2015-02-11 | 2016-08-18 | イマージョン コーポレーションImmersion Corporation | 触覚効果の自動付随 |
JP2020119614A (ja) * | 2015-04-28 | 2020-08-06 | イマージョン コーポレーションImmersion Corporation | ハプティックプレイバック調整システム |
WO2016174784A1 (ja) * | 2015-04-28 | 2016-11-03 | シャープ株式会社 | 制御装置および表示装置 |
JPWO2016174784A1 (ja) * | 2015-04-28 | 2018-02-22 | シャープ株式会社 | 制御装置および表示装置 |
JPWO2017038386A1 (ja) * | 2015-09-01 | 2018-12-20 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
US11123767B2 (en) | 2016-04-29 | 2021-09-21 | Ck Materials Lab Co., Ltd. | Tactile actuator and control method therefor |
JP2020142240A (ja) * | 2016-04-29 | 2020-09-10 | シーケー マテリアルズ ラブ カンパニー,リミティド | 触覚アクチュエータの制御方法及びデバイスの制御方法 |
JP7022783B2 (ja) | 2016-04-29 | 2022-02-18 | シーケー マテリアルズ ラブ カンパニー,リミティド | 触覚アクチュエータの制御方法及びデバイスの制御方法 |
US11623244B2 (en) | 2016-04-29 | 2023-04-11 | Ck Materials Lab Co., Ltd. | Tactile actuator and control method therefor |
JP2018183503A (ja) * | 2017-04-27 | 2018-11-22 | 日本電信電話株式会社 | 生体電気刺激装置および方法 |
JP2020025453A (ja) * | 2018-08-06 | 2020-02-13 | エーエーシー テクノロジーズ ピーティーイー リミテッド | モータ駆動方法、端末装置及びコンピュータ読み取り可能な記録媒体 |
WO2021024753A1 (ja) * | 2019-08-02 | 2021-02-11 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
WO2022003970A1 (ja) * | 2020-07-03 | 2022-01-06 | 三菱電機株式会社 | 操作感提供装置、操作感提供システムおよび操作感提供方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150160728A1 (en) | 2015-06-11 |
JP6056853B2 (ja) | 2017-01-11 |
JPWO2013168732A1 (ja) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6056853B2 (ja) | 電子機器 | |
JP6888096B2 (ja) | ロボット、サーバおよびヒューマン・マシン・インタラクション方法 | |
US11281709B2 (en) | System and method for converting image data into a natural language description | |
JP6773190B2 (ja) | 情報処理システム、制御方法、および記憶媒体 | |
CN107831902B (zh) | 一种运动控制方法及其设备、存储介质、终端 | |
CN111080759B (zh) | 一种分镜效果的实现方法、装置及相关产品 | |
WO2021244457A1 (zh) | 一种视频生成方法及相关装置 | |
TWI255141B (en) | Method and system for real-time interactive video | |
JP6300792B2 (ja) | キャプチャされたデータの強化 | |
JP4621758B2 (ja) | コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置 | |
JP7209851B2 (ja) | 画像変形の制御方法、装置およびハードウェア装置 | |
JP2011239141A (ja) | 情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラム | |
US20160180572A1 (en) | Image creation apparatus, image creation method, and computer-readable storage medium | |
US20170242833A1 (en) | Systems and Methods to Generate Comic Books or Graphic Novels from Videos | |
US11232790B2 (en) | Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system | |
US20160198119A1 (en) | Imaging device | |
CN110677707A (zh) | 交互视频的生成方法、生成装置、设备及可读介质 | |
JP6941800B2 (ja) | 感情推定装置、感情推定方法及びプログラム | |
CN107977184A (zh) | 一种基于虚拟现实技术的音乐播放方法和装置 | |
JP2007101945A (ja) | 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム | |
WO2019019232A1 (zh) | 基于vr头戴设备播放视频的方法及vr头戴设备 | |
KR20200092207A (ko) | 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법 | |
CN110337041B (zh) | 视频播放方法、装置、计算机设备及存储介质 | |
KR20180074562A (ko) | 전자 장치 및 이의 제어 방법 | |
CN116508100A (zh) | 用文本和言语自动生成面部动作单元的面部动画控制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13787752 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014514730 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13787752 Country of ref document: EP Kind code of ref document: A1 |