JP6528695B2 - Electronic device and program - Google Patents
Electronic device and program Download PDFInfo
- Publication number
- JP6528695B2 JP6528695B2 JP2016015058A JP2016015058A JP6528695B2 JP 6528695 B2 JP6528695 B2 JP 6528695B2 JP 2016015058 A JP2016015058 A JP 2016015058A JP 2016015058 A JP2016015058 A JP 2016015058A JP 6528695 B2 JP6528695 B2 JP 6528695B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vibration
- image
- area
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000013500 data storage Methods 0.000 description 58
- 238000000034 method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 241001533104 Tribulus terrestris Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、電子機器、およびプログラムに関する。 The present invention relates to an electronic device and a program.
従来、振動によりユーザに情報を通知する機器として、例えば、特許文献1に記載の視覚障害者用の空間認識装置がある。この空間認識装置は、ステレオカメラの一方(主カメラ)による画像の注目領域の各画素と一致する画素を、他方(副カメラ)による画像から検出することで、注目領域の各画素に関する視差を算出する。そして、その視差の代表値に応じた振動を発生させることで、ユーザにステレオカメラが向いている方向にある物体までの距離を通知する。
Conventionally, as a device for notifying a user of information by vibration, for example, there is a space recognition device for visually impaired persons described in
しかしながら、従来の空間認識装置においては、物体までの距離を通知するものであり、どのような物体であるかを、ユーザに伝えることができないという問題がある。 However, in the conventional space recognition apparatus, the distance to the object is notified, and there is a problem that the user can not be notified what kind of object it is.
本発明は、このような事情に鑑みてなされたもので、ユーザに物体の質感を伝えることができる電子機器、およびプログラムを提供する。 The present invention has been made in view of such circumstances, and provides an electronic device and a program that can convey the texture of an object to a user.
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、対象物を撮像する撮像部と、振動を発生させる振動部と、前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部と、前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部と、前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部と、画像を記憶する画像記憶部と、を有し、前記特定部は、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を、前記一つの領域として特定することを特徴とする電子機器である。 This invention was made in order to solve the subject mentioned above, and one aspect of this invention is the imaging part which images an object, the vibration part which generates a vibration, and the said object which the said imaging part imaged With reference to the captured image, the vibration of the vibrating unit is represented in association with the specifying unit that specifies at least one region among the plurality of regions set in advance with respect to the surface of the object and the region. A storage unit for storing vibration data; a vibration control unit for acquiring vibration data corresponding to the area specified by the identification unit from the storage unit; and vibrating the vibration unit based on the acquired vibration data ; An image storage unit for storing, the identification unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and the corresponding portion in the plurality of areas The area according to the one said An electronic device and identifies a frequency.
また、本発明の他の態様は、対象物を撮像する撮像部と、振動を発生させる振動部とを有する電子機器のコンピュータを、前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部、前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部、前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部、画像を記憶する画像記憶部、として機能させ、さらに、前記特定部を、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を前記一つの領域として特定するように機能させるためのプログラムである。 Further, according to another aspect of the present invention, a computer of an electronic device having an imaging unit for imaging an object and a vibration unit for generating a vibration is referred to by referring to a captured image of the object captured by the imaging unit. A identification unit that identifies at least one region among a plurality of regions set in advance with respect to the surface of the object, and a storage unit that stores vibration data representing the vibration of the vibration unit in association with the region. Vibration data corresponding to the area specified by the identification unit is obtained from the storage unit, and the vibration control unit vibrates the vibration unit based on the obtained vibration data , and functions as an image storage unit storing an image Further, the identification unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and one of the plurality of regions corresponding to the corresponding portion is Area Is a program for causing the functions to identify.
この発明の態様によれば、ユーザに物体の質感を伝えることができる。 According to the aspect of the present invention, it is possible to convey the texture of the object to the user.
[第1の実施形態]
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る電子機器1の使用状況を説明する模式図である。図1では、プロジェクターPが、一つまたは複数の所定の対象物を含む画像をスクリーンSに投影している。ユーザUは、電子機器1の撮像部が、スクリーンSに表示された画像の一部を撮像するように、電子機器1をスクリーンSに向けて持っている。電子機器1は、撮像した画像を、そのタッチパネルに表示するとともに、所定の対象物のうち、撮像した画像に写っている部分の質感を再現するような振動を発生させる。ユーザUは、電子機器1の振動により対象物の質感を感じることができる。
First Embodiment
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic view for explaining the use situation of the
図2は、本実施形態に係る電子機器1の外観構成の一例を示す模式図である。また、図3は、本実施形態に係る電子機器1の機能構成の一例を示す構成図である。
FIG. 2 is a schematic view showing an example of an appearance configuration of the
電子機器1は、図2に示すように、例えば、Z方向視で略矩形の形状を有し、タッチパネル10、本体部20、背面カバー30がZ方向に積層された構成となっている。図2(A)は、電子機器1をタッチパネル10側から見た外観構成を示す。また、図2(B)は、電子機器を背面カバー30側から見た外観構成を示す。
As shown in FIG. 2, the
なお、図2に示す電子機器1の形状は一例であって、これに限られない。例えば、電子機器1は、人間の体の一部の形状にあわせた形状を有するウェアラブル装置であってもよい。より具体的には、電子機器1は、腕時計型の装置であってもよい。
In addition, the shape of the
以下、本実施形態において、XYZ直交座標系を用いて電子機器1の構成を説明する。
XYZ直交座標系において、電子機器1の各構成要素の積層方向をZ方向とする。また、Z方向に直交する平面をXY平面とし、XY平面において直交する方向をそれぞれX方向及びY方向とする。
Hereinafter, in the present embodiment, the configuration of the
In the XYZ orthogonal coordinate system, the stacking direction of each component of the
タッチパネル10は、本体部20に収容された制御部90から入力される画像を表示するとともに、その表面にユーザが指などで触れた位置(座標)を検出し、制御部90に出力する。ここで、ユーザとは、電子機器1の利用者である。タッチパネル10は、例えば、画像を表示する液晶ディスプレイ装置と接触検知機構が組みわされて構成される。接触検知機構としては種々のものを用いることができ、例えば、抵抗膜方式、静電容量方式、赤外線方式、表面弾性波方式などの種々の方式を利用した接触検知機構が採用され得る。
また、タッチパネル10は、液晶ディスプレイ(LCD;Liquid Crystal Display)に代えて、有機EL(Electroluminescence)表示装置などが用いられてもよい。
The
The
本体部20は、筐体内に、図3に示す撮像部(カメラ)40、通信部50、I/O部52、記憶部60、スピーカ70、加速度センサ75、振動発生部80、制御部90などを収容する。また、本体部20は、電源回路やバッテリ、GPS(Global Positioning System)受信機などを筐体に収容してもよい。背面カバー30には、孔部32が形成され、撮像部40のレンズ42を露出させている。また、背面カバー30には、撮像部40を操作するためのリリースボタンなど、各種操作スイッチを搭載可能なマウント部35が取り付けられる。
The
撮像部40は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を利用したデジタルカメラである。なお、撮像部40は、ビデオカメラであってもよい。
The
通信部50は、例えば、Wi−Fi(登録商標)などの無線LAN網、Bluetooth(登録商標)、赤外線通信、携帯電話網、PHS網などを利用した無線通信を行う。
また、通信部50は、電子機器が有線接続された際に通信インターフェースとして機能するネットワークカードなどを含んでもよい。I/O部52は、例えば、USB(Universal Serial Bus)端子やHDMI(登録商標)(High Definition Multimedia Interface)端子、SDカードなどが装着される端子などを含む。
The
In addition, the
スピーカ70は、制御部90により生成された音声データに基づき、音声を出力する。
加速度センサ75は、例えば3軸式の加速度センサであり、電子機器1に対してX方向、Y方向、Z方向にそれぞれ作用する加速度(重力加速度を含む)を検出し、検出結果を制御部90に出力する。
なお、電子機器1は、通信部50、I/O部52、スピーカ70、加速度センサ75を備えていないものであってもよい。
The
The
The
振動発生部80は、制御部90により生成された駆動信号に基づき、振動を発生させる。振動を発生させる振動子としては、例えば、ボイスコイルモータ(VCM)、MEMS(Micro Electro Mechanical Systems)、圧電素子や偏心モータなどが用いられる。ボイスコイルモータを用いる場合、振動子は、タッチパネル10に触れているユーザの指に振動が伝わるように、電子機器1の一部または全体に対して、例えばZ方向の振動を発生させる。なお、振動子は、例えば、タッチパネル10の四隅付近に設けられるなど、複数であってもよい。
The vibration generating
制御部90は、タッチパネル10、撮像部40、振動発生部80を含めた電子機器1全体の制御を行う。なお、制御部90と記憶部60とは、制御部90が記憶部60に記憶されているプログラムを読み込んで、実行することで、複数の機能部として動作する。これらの機能部の詳細については後述する。
The
記憶部60は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、レジスタなどの記憶装置である。記憶部60には、制御部90のCPU(Central Processing Unit)が実行するプログラム(ファームウェア)が予め格納される。また、記憶部60には、CPUが演算処理を行った演算結果が格納される。また、記憶部60には、他装置から通信部50を介して受信したコンテンツデータ、プログラム、I/O部52に装着された機器から読み出されたコンテンツデータ、プログラムなどが格納される。例えば、記憶部60には、画像データ、振動データ、画像データが表す画像中の領域と振動データとを対応付ける領域データ、が格納される。
The
図4は、電子機器1の機能構成を示す概略ブロック図である。図4において、図3の各部に対応する部分には同一の符号を付し、説明を省略する。電子機器1は、タッチパネル10、撮像部40、振動発生部80、画像データ記憶部101、領域特定部102、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106を含む。なお、画像データ記憶部101、領域特定部102、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106は、制御部90が、記憶部60からプログラムを読み出して実行することにより、実現される機能部である。
FIG. 4 is a schematic block diagram showing a functional configuration of the
撮像部40は、撮像結果を撮像画像として出力する。画像データ記憶部101は、所定の対象物を含む画像を表す画像データを記憶する。この画像データが表す画像は、プロジェクターPにより投影されている画像である。領域特定部102は、撮像部40による撮像画像のうち所定の領域が対応する部分を、画像データ記憶部101が記憶する画像データが表す画像中から検出する。撮像部40による撮像画像のうちの所定の領域は予め定められた領域であってよく、ユーザUがタッチパネル10で指定した領域であってもよい。領域特定部102は、検出した部分が、領域データ記憶部103が記憶する領域のうち、いずれに属するかを判定し、判定した領域に対応付けられている振動データへの参照情報を、領域データ記憶部103から読み出す。
The
領域データ記憶部103は、上述の所定の対象物の表面に対して予め設定された領域各々と、振動データとの対応付けを記憶する。具体的には、領域データ記憶部103は、対象物の表面に対して設定された領域を示す情報として、画像データ記憶部101が記憶する画像データが表す画像における、該領域に対応する多角形の各頂点の座標を記憶する。また、領域データ記憶部103は、この領域を示す情報に対応付けて、振動データへの参照情報である振動データのファイル名を記憶する。
The area
画像生成部104は、撮像部40による撮像画像を、タッチパネル10に表示させる。振動制御部105は、領域特定部102が領域データ記憶部103から読み出した振動データへの参照情報が示す振動データを、振動データ記憶部106から読み出す。振動制御部105は、読み出した振動データに従った振動を、振動発生部80に発生させる。振動データ記憶部106は、領域データ記憶部103が記憶するファイル名の振動データを記憶する。この振動データは、対応する対象物の表面の質感をユーザに感じさせる振動を表す振動データであり、少なくとも周波数と振幅とを示す情報を含む。具体的には、振動データは、例えば、WAVE形式、AIFF形式、MP3形式などのファイルである。この振動データは、例えば、この振動データに対応する対象物の表面を、突起物で引っ掻いた時の、突起物の振動を、圧電素子等を用いて記録したものであるが、その他の方法で作成してもよい。
The
図5は、領域データを説明する模式図である。図5において、矩形G1は、画像データ記憶部101が記憶する画像データの画像全体の領域を示す。領域R1からR8は、対象物の表面に対して設定された領域に対応する多角形である。例えば、領域R1は、猫の頭部に対応する多角形であり、領域R2は、猫の背中に対応する多角形であり、領域R6、R7、R8は、猫の背後にある棚に対応する多角形である。なお、当該領域は多角形に限られず、任意の形状であって良い。
FIG. 5 is a schematic view for explaining the area data. In FIG. 5, a rectangle G1 indicates the area of the entire image of the image data stored in the image
図6は、領域データ記憶部103の記憶内容例を示すテーブルである。図6に示すように、領域データ記憶部103は、対象物の表面に設定された領域に対応する多角形の各頂点の座標と、振動データのファイル名とを対応付けて記憶する。図6の例では、領域データ記憶部103は、領域に対応する多角形の各頂点の座標「(Xa1,Ya1),(Xa2,Ya2),(Xa3,Ya3),…」と、振動データのファイル名「region_A.wav」とを対応付けて記憶している。また、領域データ記憶部103は、領域に対応する多角形の各頂点の座標「(Xb1,Yb1),(Xb2,Yb2),(Xb3,Yb3),…」と、振動データのファイル名「region_B.wav」とを対応付けて記憶している。
FIG. 6 is a table showing an example of storage contents of the area
図7は、電子機器1の動作を説明するフローチャートである。図7のフローチャートは、振動発生部80の制御に係る処理を示す。まず、領域特定部102は、撮像部40による撮像画像を取得する(Sa1)。次に、領域特定部102は、画像データ記憶部101が記憶する画像データが表す画像中で、撮像画像が対応する部分を検出する。この検出には、例えば、輝度値のSAD(Sum of Absolute Difference)をとるブロックマッチング法を用いる。なお、領域特定部102は、加速度センサ75により検出された電子機器1の姿勢や、撮像部40が撮像する際のレンズ位置から得た被写体までの距離などに基づき、ブロックマッチング法を行う前に、撮像画像に対して台形補正などの補正をかけてもよい。領域特定部102は、領域データ記憶部103に記憶されている領域のうち、検出した部分の中心点を含む領域を判定する(Sa2)。
FIG. 7 is a flowchart for explaining the operation of the
次に、領域特定部102は、ステップSa2における判定結果の領域に対応付けられているファイル名を、領域データ記憶部103から読み出す。振動制御部105は、領域特定部102が読み出したファイル名のファイルを、振動データ記憶部106から読み出す(Sa3)。このようにして読み出しているので、このファイルは、ステップSa2における判定結果の領域に対応する振動データとなっている。
Next, the
次に、振動制御部105は、読み出したファイル、すなわち振動データを再生して、振動発生部80に振動を発生させる。例えば、ユーザによる終了指示が入力された場合など、振動の発生を終了するときは(Sa5−Yes)、処理は終了する。振動の発生を終了しないときは(Sa5−No)、処理は、ステップSa1に戻る。なお、図7の処理を行っている間、並行して、画像生成部104は、撮像部40による撮像画像を定期的に取得して、タッチパネル10に表示させている。
Next, the
このように、領域特定部102(特定部)は、撮像部40が撮像した対象物の撮像画像を参照して、対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する。領域データ記憶部103と、振動データ記憶部106とで記憶部として機能し、記憶部は、上述の領域に対応付けて、振動を表す振動データを記憶する。振動制御部105は、領域特定部102が特定した領域に対応付けて記憶部が記憶する振動データを取得し、取得した振動データに基づいて振動発生部80(振動部)を振動させる。
これにより、電子機器1は、対象物の表面に対して設定された領域のうち、撮像部40が撮像した領域に対応する振動データにより振動を発生させ、その領域の質感をユーザに伝えることができる。
As described above, the area specifying unit 102 (specifying unit) refers to the captured image of the target imaged by the
Thereby, the
領域特定部102は、画像データ記憶部101(画像記憶部)が記憶する画像中で、撮像画像が対応する部分を検出し、上述の複数の領域のうち、その対応する部分に応じた領域を、上述の一つの領域として特定する。
これにより、電子機器1は、画像データ記憶部101が記憶する画像中の対象物の表面に対して設定された領域のうち、撮像部40が撮像した領域に対応する振動データにより振動を発生させ、その領域の質感をユーザに伝えることができる。
The
Thereby, the
なお、本実施形態において、領域特定部102は、ブロックマッチングにより、画像データ記憶部101が記憶する画像中で、撮像画像が対応する部分を検出し、その部分の中心を含む領域を、特定しているが、これに限られない。例えば、レーザーポインターなどで指定されている点を含む領域を特定してもよい。この場合、電子機器1の位置や向きは固定しておいてもよい。また、対象物の表面に設定された領域毎に異なるマークが描かれており、領域特定部102が、撮影画像から、そのマークを検出し、そのマークに対応する領域を、特定してもよい。この場合、領域データ記憶部103は、マークを表す情報と、振動データへの参照情報とを対応付けて記憶する。
In the present embodiment, the
また、画像データ記憶部101が記憶する画像中の、撮像画像が対応する部分に、対象物の表面に設定された領域が複数含まれているときは、振動制御部105は、これら複数の領域、各々に対応する振動データを読み出し、読み出した振動データ同士を合成した後、合成した振動データに従い、振動発生部80に振動を発生させてもよい。振動データ同士の合成は、例えば、振動データが、各時刻における変位を表すデータであれば、同じ時刻における変位同士を加算することで行う。
In addition, when a plurality of areas set on the surface of the object are included in the part corresponding to the captured image in the image stored in the image
[第2の実施形態]
以下、図面を参照しながら本発明の第2の実施形態について説明する。第1の実施系多では、そのときに、撮像部40が撮像している領域の質感を振動で再現しているが、本実施形態における電子機器1も、図2に示す構成を有するが、撮像した後で、撮像した領域の質感を振動で再現する。図8は、電子機器1の機能構成を示す概略ブロック図である。図8において、図3の各部に対応する部分には同一の符号を付し、説明を省略する。電子機器1は、タッチパネル10、撮像部40、振動発生部80、画像データ記憶部101、領域特定部102a、領域データ記憶部103、振動制御部105、振動データ記憶部106、軌跡画像生成部109を含む。また、領域特定部102aは、軌跡作成部107と、軌跡再生部108とを含む。なお、画像データ記憶部101、領域特定部102a、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106、軌跡画像生成部109は、制御部90が、記憶部60からプログラムを読み出して実行することにより、実現される機能部である。
Second Embodiment
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. In the first embodiment, at that time, the texture of the area being imaged by the
軌跡作成部107は、撮像部40による撮像画像が対応する部分を、画像データ記憶部101が記憶する画像データが表す画像中から、定期的に検出する。この検出は、図4の領域特定部102と同様にして行う。軌跡作成部107は、検出した部分の中心座標を、時系列に並べた情報を軌跡情報として作成する。軌跡再生部108は、軌跡作成部107が軌跡情報を作成した後、ユーザによる再生指示の操作がされると、軌跡情報の先頭から座標を一つずつ取り出す。軌跡再生部108は、取り出した座標を含む領域に対応付けて領域データ記憶部103が記憶するファイル名を読み出す。軌跡再生部108は、読み出したファイル名を、振動制御部105に通知する。このファイル名を受けて、振動制御部105は、そのファイル名のファイルを振動データとして読み出し、振動発生部80に振動を発生させる。
The
軌跡画像生成部109は、軌跡再生部108が軌跡情報の先頭から一つずつ取り出した座標を、画像データ記憶部101が記憶する画像データの画像上にプロットしていく。軌跡画像生成部109は、このように座標をプロットしていくことで、撮像部40が撮像した部分の軌跡を、画像データ記憶部101が記憶する画像データの画像上に描いた軌跡画像を生成する。軌跡画像生成部109は、生成した軌跡画像を、タッチパネル10に表示させる。
The locus
図9は、本実施形態における電子機器1の動作を説明するフローチャートである。まず、軌跡作成部107は、撮像部40による撮像画像を取得する(Sb1)。次に、軌跡作成部107は、画像データ記憶部101が記憶する画像データが表す画像中で、撮像画像が対応する部分の中心座標を検出する(Sb2)。次に、軌跡作成部107は、検出した中心座標を、軌跡情報の末尾に連結する(Sb3)。ユーザ操作により軌跡生成の終了が指示されていないときは(Sb4−No)、処理は、ステップSb1に戻る。ユーザ操作により軌跡生成の終了が指示されているときは(Sb4−Yes)、処理は、ステップSb5に進む。
FIG. 9 is a flowchart for explaining the operation of the
ステップSb5では、ユーザ操作により再生が指示されるまで、電子機器1は待機する。再生が指示されると(Sb5−Yes)、電子機器1は、軌跡情報に格納されている座標各々について、先頭から順に、ステップSb7、Sb8の処理を行う(Sb6、Sb9)。ステップSb7では、軌跡画像生成部109は、軌跡情報の先頭に格納されている座標から、当該座標までの座標を、画像データ記憶部101が記憶する画像データの画像にプロットした軌跡画像を生成する。ステップSb8では、軌跡再生部108は、当該座標を含む領域に対応付けて領域データ記憶部103が記憶するファイル名を読み出す。そして、振動制御部105は、読み出されたファイル名の振動データを、振動データ記憶部106から読み出して、その振動データに従い、振動発生部80に振動を発生させる。軌跡情報に格納されている全ての座標について、ステップSb7、Sb8の処理を行った後、処理は、終了する。
In step Sb5, the
図10は、軌跡画像生成部109が生成する軌跡画像の例を示す図である。図10に例示した軌跡画像G2は、画像データ記憶部101が記憶する画像データの画像上に、軌跡T1が描かれている。軌跡T1の一端にある矩形の中心を含む領域が、そのときに再生されている振動データに対応付けられている領域である。
FIG. 10 is a diagram showing an example of a trajectory image generated by the trajectory
本実施形態においても、第1の実施形態と同様に、電子機器1は、対象物の表面に対して設定された領域のうち、撮像部40が撮像した領域に対応する振動データにより振動を発生させ、その領域の質感をユーザに伝えることができる。
Also in the present embodiment, as in the first embodiment, the
さらに、領域特定部102aは、複数の時刻における撮像画像を参照して、複数の時刻各々に対して、一つの領域を特定する。振動制御部105は、複数の時刻各々に対して、時刻順に、領域特定部102aが特定した領域に対応付けて記憶部が記憶する振動データを取得し、取得した振動データに応じた振動を振動発生部80に発生させる。
これにより、撮像部40にて撮像した後に、撮像部40が撮像した領域に対応する振動データにより振動を発生させたときに、どの部分の質感が提示されているのかを、ユーザは把握することができる。
Furthermore, the
By this, after the image is taken by the
なお、上述の各実施形態では、電子機器1は、プロジェクターPで投影した画像を撮像しているが、これに限られない。ポスターなど印刷されたものを撮像してもよいし、対象物の実物を撮像してもよい。例えば、博物館などで、触れられない展示物の触感を、来館者に感じさせることができる。また、ネットショッピングなどで、PC(パーソナルコンピュータ)などのディスプレイに表示されている商品の触感を、ユーザに感じさせることができる。
In each of the above-described embodiments, the
また、図4における画像データ記憶部101、領域特定部102、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106、もしくは、図8における画像データ記憶部101、領域特定部102a、領域データ記憶部103、振動制御部105、振動データ記憶部106、軌跡画像生成部109の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
Further, the image
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The term "computer-readable recording medium" refers to a storage medium such as a flexible disk, a magneto-optical disk, a ROM, a portable medium such as a ROM or a CD-ROM, or a hard disk built in a computer system. Furthermore, “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, the volatile memory in the computer system which is the server or the client in that case, and the one that holds the program for a certain period of time is also included. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and design changes and the like within the scope of the present invention are also included.
1…電子機器
10…タッチパネル
40…撮像部
50…通信部
52…I/O部
60…記憶部
70…スピーカ
75…加速度センサ
80…振動発生部
90…制御部
101…画像データ記憶部
102、102a…領域特定部
103…領域データ記憶部
104…画像生成部
105…振動制御部
106…振動データ記憶部
107…軌跡作成部
108…軌跡再生部
109…軌跡画像生成部
Claims (5)
振動を発生させる振動部と、
前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部と、
前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部と、
前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部と、
画像を記憶する画像記憶部と、を有し、
前記特定部は、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を、前記一つの領域として特定することを特徴とする電子機器。 An imaging unit for imaging an object;
A vibration unit that generates vibration;
An identifying unit that identifies at least one of a plurality of regions set in advance with respect to the surface of the object with reference to a captured image of the object captured by the imaging unit;
A storage unit that stores vibration data representing the vibration of the vibration unit in association with the region;
A vibration control unit configured to obtain vibration data corresponding to the area specified by the specifying unit from the storage unit, and vibrate the vibration unit based on the obtained vibration data ;
An image storage unit for storing an image;
The specifying unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and a region corresponding to the corresponding portion among the plurality of regions is set as the one region. An electronic device characterized by specifying .
を特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the identification unit detects an area corresponding to a specific mark in the captured image as the one area .
を特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1 , wherein the identification unit detects an area including a center of a portion corresponding to the captured image as the one area.
前記振動制御部は、前記複数の時刻各々に対して、時刻順に、前記特定部が特定した領域に対応付けて前記記憶部が記憶する振動データを取得し、取得した振動データに応じた振動を前記振動部に発生させること
を特徴とする請求項1に記載の電子機器。 The specifying unit specifies one of a plurality of areas set on the surface of the object with respect to each of the plurality of times, with reference to the captured image at a plurality of times.
The vibration control unit acquires vibration data stored in the storage unit in association with the area specified by the specifying unit in order of time for each of the plurality of times, and the vibration corresponding to the acquired vibration data is The electronic device according to claim 1 , wherein the vibration unit generates the vibration .
前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部、An identifying unit that identifies at least one region among a plurality of regions set in advance with respect to the surface of the object with reference to a captured image of the object captured by the imaging unit;
前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部、A storage unit that stores vibration data representing the vibration of the vibration unit in association with the area;
前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部、A vibration control unit that acquires vibration data corresponding to the area specified by the specifying unit from the storage unit, and vibrates the vibration unit based on the acquired vibration data;
画像を記憶する画像記憶部、として機能させ、Function as an image storage unit that stores images,
さらに、前記特定部を、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を前記一つの領域として特定するように機能させるためのプログラム。Furthermore, the identification unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and an area corresponding to the corresponding portion in the plurality of areas is the one area. A program to make it work as specified.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016015058A JP6528695B2 (en) | 2016-01-29 | 2016-01-29 | Electronic device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016015058A JP6528695B2 (en) | 2016-01-29 | 2016-01-29 | Electronic device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017134699A JP2017134699A (en) | 2017-08-03 |
JP6528695B2 true JP6528695B2 (en) | 2019-06-12 |
Family
ID=59502942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016015058A Active JP6528695B2 (en) | 2016-01-29 | 2016-01-29 | Electronic device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6528695B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011146821A (en) * | 2010-01-12 | 2011-07-28 | Canon Inc | Device and method for providing tactile information, and program |
US9542000B2 (en) * | 2011-02-10 | 2017-01-10 | Kyocera Corporation | Electronic device and control method for electronic device |
JP2013137659A (en) * | 2011-12-28 | 2013-07-11 | Nikon Corp | Display unit |
JP6196790B2 (en) * | 2013-03-15 | 2017-09-13 | オリンパス株式会社 | Information device and control method of information device |
-
2016
- 2016-01-29 JP JP2016015058A patent/JP6528695B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017134699A (en) | 2017-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7305249B2 (en) | Method for determining motion information of image feature points, task execution method and device | |
JP5765019B2 (en) | Display control apparatus, display control method, and program | |
KR102056128B1 (en) | Portable apparatus and method for taking a photograph by using widget | |
CN108415705B (en) | Webpage generation method and device, storage medium and equipment | |
KR102023179B1 (en) | Dual recording method and apparatus for electronic device having dual camera | |
JP2022537614A (en) | Multi-virtual character control method, device, and computer program | |
EP2811731B1 (en) | Electronic device for editing dual image and method thereof | |
JP6513963B2 (en) | Electronic device and method of operating electronic device | |
KR102072509B1 (en) | Group recording method, machine-readable storage medium and electronic device | |
US10074216B2 (en) | Information processing to display information based on position of the real object in the image | |
CN109922356B (en) | Video recommendation method and device and computer-readable storage medium | |
WO2017219288A1 (en) | Head-mounted display apparatus and processing method thereof | |
CN109547843B (en) | Method and device for processing audio and video | |
WO2019069575A1 (en) | Information processing device, information processing method, and program | |
US9363466B2 (en) | Image processing device for determining an orientation and a direction of the image processing device | |
JPWO2017018043A1 (en) | Electronic device, operation method of electronic device, and control program | |
US20170302908A1 (en) | Method and apparatus for user interaction for virtual measurement using a depth camera system | |
JP2011060254A (en) | Augmented reality system and device, and virtual object display method | |
JP6528695B2 (en) | Electronic device and program | |
JP2011081557A (en) | Information processor, method of processing information, and program | |
JP6222111B2 (en) | Display control device, display control method, and recording medium | |
CN111370096A (en) | Interactive interface display method, device, equipment and storage medium | |
CN110300275B (en) | Video recording and playing method, device, terminal and storage medium | |
CN113467682B (en) | Method, device, terminal and storage medium for controlling movement of map covering | |
CN115129211A (en) | Method and device for generating multimedia file, electronic equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190429 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6528695 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |