JP6528695B2 - Electronic device and program - Google Patents

Electronic device and program Download PDF

Info

Publication number
JP6528695B2
JP6528695B2 JP2016015058A JP2016015058A JP6528695B2 JP 6528695 B2 JP6528695 B2 JP 6528695B2 JP 2016015058 A JP2016015058 A JP 2016015058A JP 2016015058 A JP2016015058 A JP 2016015058A JP 6528695 B2 JP6528695 B2 JP 6528695B2
Authority
JP
Japan
Prior art keywords
unit
vibration
image
area
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016015058A
Other languages
Japanese (ja)
Other versions
JP2017134699A (en
Inventor
源洋 中川
源洋 中川
玄史 吉岡
玄史 吉岡
武昭 杉村
武昭 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2016015058A priority Critical patent/JP6528695B2/en
Publication of JP2017134699A publication Critical patent/JP2017134699A/en
Application granted granted Critical
Publication of JP6528695B2 publication Critical patent/JP6528695B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子機器、およびプログラムに関する。   The present invention relates to an electronic device and a program.

従来、振動によりユーザに情報を通知する機器として、例えば、特許文献1に記載の視覚障害者用の空間認識装置がある。この空間認識装置は、ステレオカメラの一方(主カメラ)による画像の注目領域の各画素と一致する画素を、他方(副カメラ)による画像から検出することで、注目領域の各画素に関する視差を算出する。そして、その視差の代表値に応じた振動を発生させることで、ユーザにステレオカメラが向いている方向にある物体までの距離を通知する。   Conventionally, as a device for notifying a user of information by vibration, for example, there is a space recognition device for visually impaired persons described in Patent Document 1. This space recognition device calculates the parallax regarding each pixel of the region of interest by detecting from the image by the other (sub camera) the pixels that coincide with each pixel of the region of interest of the image of one of the stereo cameras (master camera). Do. Then, by generating vibration according to the representative value of the parallax, the user is notified of the distance to the object in the direction in which the stereo camera is facing.

特開2011−250928号公報JP 2011-250928 A

しかしながら、従来の空間認識装置においては、物体までの距離を通知するものであり、どのような物体であるかを、ユーザに伝えることができないという問題がある。   However, in the conventional space recognition apparatus, the distance to the object is notified, and there is a problem that the user can not be notified what kind of object it is.

本発明は、このような事情に鑑みてなされたもので、ユーザに物体の質感を伝えることができる電子機器、およびプログラムを提供する。   The present invention has been made in view of such circumstances, and provides an electronic device and a program that can convey the texture of an object to a user.

この発明は上述した課題を解決するためになされたもので、本発明の一態様は、対象物を撮像する撮像部と、振動を発生させる振動部と、前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部と、前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部と、前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部と、画像を記憶する画像記憶部と、を有し、前記特定部は、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を、前記一つの領域として特定することを特徴とする電子機器である。 This invention was made in order to solve the subject mentioned above, and one aspect of this invention is the imaging part which images an object, the vibration part which generates a vibration, and the said object which the said imaging part imaged With reference to the captured image, the vibration of the vibrating unit is represented in association with the specifying unit that specifies at least one region among the plurality of regions set in advance with respect to the surface of the object and the region. A storage unit for storing vibration data; a vibration control unit for acquiring vibration data corresponding to the area specified by the identification unit from the storage unit; and vibrating the vibration unit based on the acquired vibration data ; An image storage unit for storing, the identification unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and the corresponding portion in the plurality of areas The area according to the one said An electronic device and identifies a frequency.

また、本発明の他の態様は、対象物を撮像する撮像部と、振動を発生させる振動部とを有する電子機器のコンピュータを、前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部、前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部、前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部、画像を記憶する画像記憶部、として機能させ、さらに、前記特定部を、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を前記一つの領域として特定するように機能させるためのプログラムである。 Further, according to another aspect of the present invention, a computer of an electronic device having an imaging unit for imaging an object and a vibration unit for generating a vibration is referred to by referring to a captured image of the object captured by the imaging unit. A identification unit that identifies at least one region among a plurality of regions set in advance with respect to the surface of the object, and a storage unit that stores vibration data representing the vibration of the vibration unit in association with the region. Vibration data corresponding to the area specified by the identification unit is obtained from the storage unit, and the vibration control unit vibrates the vibration unit based on the obtained vibration data , and functions as an image storage unit storing an image Further, the identification unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and one of the plurality of regions corresponding to the corresponding portion is Area Is a program for causing the functions to identify.

この発明の態様によれば、ユーザに物体の質感を伝えることができる。   According to the aspect of the present invention, it is possible to convey the texture of the object to the user.

本発明の第1の実施形態に係る電子機器1の使用状況を説明する模式図である。It is a schematic diagram explaining the use condition of the electronic device 1 which concerns on the 1st Embodiment of this invention. 同実施形態に係る電子機器1の外観構成の一例を示す模式図である。It is a schematic diagram which shows an example of an external appearance structure of the electronic device 1 which concerns on the same embodiment. 同実施形態に係る電子機器1の構成を示す概略ブロック図である。It is a schematic block diagram showing composition of electronic equipment 1 concerning the embodiment. 同実施形態に係る電子機器1の機能構成を示す概略ブロック図である。It is a schematic block diagram which shows the function structure of the electronic device 1 which concerns on the embodiment. 同実施形態に係る領域データを説明する模式図である。It is a schematic diagram explaining the area | region data which concern on the same embodiment. 同実施形態に係る領域データ記憶部103の記憶内容例を示すテーブルである。It is a table which shows the example of a memory content of the area | region data storage part 103 which concerns on the same embodiment. 同実施形態に係る電子機器1の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the electronic device 1 which concerns on the same embodiment. 本発明の第2の実施形態に係る電子機器1の機能構成を示す概略ブロック図である。It is a schematic block diagram which shows the function structure of the electronic device 1 which concerns on the 2nd Embodiment of this invention. 同実施形態に係る電子機器1の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the electronic device 1 which concerns on the same embodiment. 同実施形態に係る軌跡画像生成部109が生成する軌跡画像の例を示す図である。It is a figure which shows the example of the locus | trajectory image which the locus | trajectory image generation part 109 which concerns on the embodiment produces | generates.

[第1の実施形態]
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る電子機器1の使用状況を説明する模式図である。図1では、プロジェクターPが、一つまたは複数の所定の対象物を含む画像をスクリーンSに投影している。ユーザUは、電子機器1の撮像部が、スクリーンSに表示された画像の一部を撮像するように、電子機器1をスクリーンSに向けて持っている。電子機器1は、撮像した画像を、そのタッチパネルに表示するとともに、所定の対象物のうち、撮像した画像に写っている部分の質感を再現するような振動を発生させる。ユーザUは、電子機器1の振動により対象物の質感を感じることができる。
First Embodiment
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic view for explaining the use situation of the electronic device 1 according to the first embodiment of the present invention. In FIG. 1, the projector P projects an image including one or more predetermined objects on the screen S. The user U has the electronic device 1 directed to the screen S such that the imaging unit of the electronic device 1 captures a part of the image displayed on the screen S. The electronic device 1 causes the touch panel to display the captured image, and generates a vibration that reproduces the texture of the portion of the predetermined object appearing in the captured image. The user U can feel the texture of the object by the vibration of the electronic device 1.

図2は、本実施形態に係る電子機器1の外観構成の一例を示す模式図である。また、図3は、本実施形態に係る電子機器1の機能構成の一例を示す構成図である。   FIG. 2 is a schematic view showing an example of an appearance configuration of the electronic device 1 according to the present embodiment. FIG. 3 is a block diagram showing an example of the functional configuration of the electronic device 1 according to the present embodiment.

電子機器1は、図2に示すように、例えば、Z方向視で略矩形の形状を有し、タッチパネル10、本体部20、背面カバー30がZ方向に積層された構成となっている。図2(A)は、電子機器1をタッチパネル10側から見た外観構成を示す。また、図2(B)は、電子機器を背面カバー30側から見た外観構成を示す。   As shown in FIG. 2, the electronic device 1 has, for example, a substantially rectangular shape in a Z direction, and the touch panel 10, the main body 20, and the back cover 30 are stacked in the Z direction. FIG. 2A shows an appearance of the electronic device 1 as viewed from the touch panel 10 side. Moreover, FIG. 2 (B) shows the external appearance structure which looked at the electronic device from the back cover 30 side.

なお、図2に示す電子機器1の形状は一例であって、これに限られない。例えば、電子機器1は、人間の体の一部の形状にあわせた形状を有するウェアラブル装置であってもよい。より具体的には、電子機器1は、腕時計型の装置であってもよい。   In addition, the shape of the electronic device 1 shown in FIG. 2 is an example, and is not limited to this. For example, the electronic device 1 may be a wearable device having a shape adapted to the shape of a part of a human body. More specifically, the electronic device 1 may be a watch-type device.

以下、本実施形態において、XYZ直交座標系を用いて電子機器1の構成を説明する。
XYZ直交座標系において、電子機器1の各構成要素の積層方向をZ方向とする。また、Z方向に直交する平面をXY平面とし、XY平面において直交する方向をそれぞれX方向及びY方向とする。
Hereinafter, in the present embodiment, the configuration of the electronic device 1 will be described using an XYZ orthogonal coordinate system.
In the XYZ orthogonal coordinate system, the stacking direction of each component of the electronic device 1 is taken as the Z direction. Further, a plane orthogonal to the Z direction is taken as an XY plane, and directions orthogonal to the XY plane are taken as an X direction and a Y direction.

タッチパネル10は、本体部20に収容された制御部90から入力される画像を表示するとともに、その表面にユーザが指などで触れた位置(座標)を検出し、制御部90に出力する。ここで、ユーザとは、電子機器1の利用者である。タッチパネル10は、例えば、画像を表示する液晶ディスプレイ装置と接触検知機構が組みわされて構成される。接触検知機構としては種々のものを用いることができ、例えば、抵抗膜方式、静電容量方式、赤外線方式、表面弾性波方式などの種々の方式を利用した接触検知機構が採用され得る。
また、タッチパネル10は、液晶ディスプレイ(LCD;Liquid Crystal Display)に代えて、有機EL(Electroluminescence)表示装置などが用いられてもよい。
The touch panel 10 displays an image input from the control unit 90 contained in the main body unit 20, detects a position (coordinates) at which the user touches the surface with a finger or the like, and outputs the position to the control unit 90. Here, the user is a user of the electronic device 1. The touch panel 10 is configured, for example, by combining a liquid crystal display device that displays an image and a contact detection mechanism. Various contact detection mechanisms can be used, and for example, contact detection mechanisms using various methods such as a resistive film method, a capacitance method, an infrared method, and a surface acoustic wave method may be employed.
The touch panel 10 may be replaced with a liquid crystal display (LCD), and an organic electroluminescence (EL) display device or the like may be used.

本体部20は、筐体内に、図3に示す撮像部(カメラ)40、通信部50、I/O部52、記憶部60、スピーカ70、加速度センサ75、振動発生部80、制御部90などを収容する。また、本体部20は、電源回路やバッテリ、GPS(Global Positioning System)受信機などを筐体に収容してもよい。背面カバー30には、孔部32が形成され、撮像部40のレンズ42を露出させている。また、背面カバー30には、撮像部40を操作するためのリリースボタンなど、各種操作スイッチを搭載可能なマウント部35が取り付けられる。   The main body unit 20 includes an imaging unit (camera) 40, a communication unit 50, an I / O unit 52, a storage unit 60, a speaker 70, an acceleration sensor 75, a vibration generation unit 80, a control unit 90, etc. Accommodate. In addition, the main body unit 20 may house a power supply circuit, a battery, a GPS (Global Positioning System) receiver, or the like in a housing. A hole 32 is formed in the back cover 30 to expose the lens 42 of the imaging unit 40. In addition, a mount unit 35 capable of mounting various operation switches such as a release button for operating the imaging unit 40 is attached to the rear cover 30.

撮像部40は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を利用したデジタルカメラである。なお、撮像部40は、ビデオカメラであってもよい。   The imaging unit 40 is, for example, a digital camera using a solid-state imaging device such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). The imaging unit 40 may be a video camera.

通信部50は、例えば、Wi−Fi(登録商標)などの無線LAN網、Bluetooth(登録商標)、赤外線通信、携帯電話網、PHS網などを利用した無線通信を行う。
また、通信部50は、電子機器が有線接続された際に通信インターフェースとして機能するネットワークカードなどを含んでもよい。I/O部52は、例えば、USB(Universal Serial Bus)端子やHDMI(登録商標)(High Definition Multimedia Interface)端子、SDカードなどが装着される端子などを含む。
The communication unit 50 performs wireless communication using, for example, a wireless LAN network such as Wi-Fi (registered trademark), Bluetooth (registered trademark), infrared communication, a cellular phone network, a PHS network, or the like.
In addition, the communication unit 50 may include a network card or the like that functions as a communication interface when the electronic device is connected by wire. The I / O unit 52 includes, for example, a USB (Universal Serial Bus) terminal, an HDMI (registered trademark) (High Definition Multimedia Interface) terminal, a terminal to which an SD card or the like is attached.

スピーカ70は、制御部90により生成された音声データに基づき、音声を出力する。
加速度センサ75は、例えば3軸式の加速度センサであり、電子機器1に対してX方向、Y方向、Z方向にそれぞれ作用する加速度(重力加速度を含む)を検出し、検出結果を制御部90に出力する。
なお、電子機器1は、通信部50、I/O部52、スピーカ70、加速度センサ75を備えていないものであってもよい。
The speaker 70 outputs a sound based on the sound data generated by the control unit 90.
The acceleration sensor 75 is, for example, a three-axis type acceleration sensor, detects acceleration (including gravitational acceleration) acting on the electronic device 1 in the X direction, Y direction, and Z direction, respectively, and detects the detection result. Output to
The electronic device 1 may not include the communication unit 50, the I / O unit 52, the speaker 70, and the acceleration sensor 75.

振動発生部80は、制御部90により生成された駆動信号に基づき、振動を発生させる。振動を発生させる振動子としては、例えば、ボイスコイルモータ(VCM)、MEMS(Micro Electro Mechanical Systems)、圧電素子や偏心モータなどが用いられる。ボイスコイルモータを用いる場合、振動子は、タッチパネル10に触れているユーザの指に振動が伝わるように、電子機器1の一部または全体に対して、例えばZ方向の振動を発生させる。なお、振動子は、例えば、タッチパネル10の四隅付近に設けられるなど、複数であってもよい。   The vibration generating unit 80 generates a vibration based on the drive signal generated by the control unit 90. For example, a voice coil motor (VCM), a MEMS (Micro Electro Mechanical Systems), a piezoelectric element, an eccentric motor, or the like is used as a vibrator that generates vibration. When a voice coil motor is used, the vibrator generates, for example, a Z direction vibration on part or all of the electronic device 1 so that the vibration is transmitted to the finger of the user touching the touch panel 10. A plurality of vibrators may be provided, for example, provided near the four corners of the touch panel 10.

制御部90は、タッチパネル10、撮像部40、振動発生部80を含めた電子機器1全体の制御を行う。なお、制御部90と記憶部60とは、制御部90が記憶部60に記憶されているプログラムを読み込んで、実行することで、複数の機能部として動作する。これらの機能部の詳細については後述する。   The control unit 90 controls the entire electronic device 1 including the touch panel 10, the imaging unit 40, and the vibration generating unit 80. The control unit 90 and the storage unit 60 operate as a plurality of functional units by causing the control unit 90 to read and execute a program stored in the storage unit 60. Details of these functional units will be described later.

記憶部60は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、レジスタなどの記憶装置である。記憶部60には、制御部90のCPU(Central Processing Unit)が実行するプログラム(ファームウェア)が予め格納される。また、記憶部60には、CPUが演算処理を行った演算結果が格納される。また、記憶部60には、他装置から通信部50を介して受信したコンテンツデータ、プログラム、I/O部52に装着された機器から読み出されたコンテンツデータ、プログラムなどが格納される。例えば、記憶部60には、画像データ、振動データ、画像データが表す画像中の領域と振動データとを対応付ける領域データ、が格納される。   The storage unit 60 is, for example, a storage device such as a flash memory, a hard disk drive (HDD), a random access memory (RAM), a read only memory (ROM), and a register. The storage unit 60 stores in advance a program (firmware) to be executed by a CPU (Central Processing Unit) of the control unit 90. Further, the storage unit 60 stores the calculation result obtained by the CPU performing the calculation process. In addition, the storage unit 60 stores content data and programs received from other devices via the communication unit 50, and content data and programs read from a device mounted on the I / O unit 52. For example, the storage unit 60 stores image data, vibration data, and region data that associates the region in the image represented by the image data with the vibration data.

図4は、電子機器1の機能構成を示す概略ブロック図である。図4において、図3の各部に対応する部分には同一の符号を付し、説明を省略する。電子機器1は、タッチパネル10、撮像部40、振動発生部80、画像データ記憶部101、領域特定部102、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106を含む。なお、画像データ記憶部101、領域特定部102、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106は、制御部90が、記憶部60からプログラムを読み出して実行することにより、実現される機能部である。   FIG. 4 is a schematic block diagram showing a functional configuration of the electronic device 1. In FIG. 4, parts corresponding to the parts in FIG. 3 are given the same reference numerals, and descriptions thereof will be omitted. The electronic device 1 includes a touch panel 10, an imaging unit 40, a vibration generation unit 80, an image data storage unit 101, an area specification unit 102, an area data storage unit 103, an image generation unit 104, a vibration control unit 105, and a vibration data storage unit 106. Including. In the image data storage unit 101, the area specifying unit 102, the area data storage unit 103, the image generation unit 104, the vibration control unit 105, and the vibration data storage unit 106, the control unit 90 reads the program from the storage unit 60 and executes it. It is a functional part realized by doing.

撮像部40は、撮像結果を撮像画像として出力する。画像データ記憶部101は、所定の対象物を含む画像を表す画像データを記憶する。この画像データが表す画像は、プロジェクターPにより投影されている画像である。領域特定部102は、撮像部40による撮像画像のうち所定の領域が対応する部分を、画像データ記憶部101が記憶する画像データが表す画像中から検出する。撮像部40による撮像画像のうちの所定の領域は予め定められた領域であってよく、ユーザUがタッチパネル10で指定した領域であってもよい。領域特定部102は、検出した部分が、領域データ記憶部103が記憶する領域のうち、いずれに属するかを判定し、判定した領域に対応付けられている振動データへの参照情報を、領域データ記憶部103から読み出す。   The imaging unit 40 outputs an imaging result as a captured image. The image data storage unit 101 stores image data representing an image including a predetermined target. The image represented by this image data is an image projected by the projector P. The area specifying unit 102 detects a portion corresponding to a predetermined area in the image captured by the imaging unit 40 from the image represented by the image data stored in the image data storage unit 101. The predetermined area in the image captured by the imaging unit 40 may be a predetermined area, or may be an area designated by the user U on the touch panel 10. The area specifying unit 102 determines to which of the areas stored in the area data storage unit 103 the detected part belongs, and references information to vibration data associated with the determined area to the area data It is read from the storage unit 103.

領域データ記憶部103は、上述の所定の対象物の表面に対して予め設定された領域各々と、振動データとの対応付けを記憶する。具体的には、領域データ記憶部103は、対象物の表面に対して設定された領域を示す情報として、画像データ記憶部101が記憶する画像データが表す画像における、該領域に対応する多角形の各頂点の座標を記憶する。また、領域データ記憶部103は、この領域を示す情報に対応付けて、振動データへの参照情報である振動データのファイル名を記憶する。   The area data storage unit 103 stores an association between each of the areas set in advance for the surface of the predetermined object described above and the vibration data. Specifically, the region data storage unit 103 is a polygon corresponding to the region in the image represented by the image data stored in the image data storage unit 101 as information indicating the region set on the surface of the object. Store the coordinates of each vertex of. Further, the area data storage unit 103 stores the file name of vibration data, which is reference information to the vibration data, in association with the information indicating the area.

画像生成部104は、撮像部40による撮像画像を、タッチパネル10に表示させる。振動制御部105は、領域特定部102が領域データ記憶部103から読み出した振動データへの参照情報が示す振動データを、振動データ記憶部106から読み出す。振動制御部105は、読み出した振動データに従った振動を、振動発生部80に発生させる。振動データ記憶部106は、領域データ記憶部103が記憶するファイル名の振動データを記憶する。この振動データは、対応する対象物の表面の質感をユーザに感じさせる振動を表す振動データであり、少なくとも周波数と振幅とを示す情報を含む。具体的には、振動データは、例えば、WAVE形式、AIFF形式、MP3形式などのファイルである。この振動データは、例えば、この振動データに対応する対象物の表面を、突起物で引っ掻いた時の、突起物の振動を、圧電素子等を用いて記録したものであるが、その他の方法で作成してもよい。   The image generation unit 104 causes the touch panel 10 to display an image captured by the imaging unit 40. The vibration control unit 105 reads from the vibration data storage unit 106 vibration data indicated by reference information to the vibration data read out from the region data storage unit 103 by the region identification unit 102. The vibration control unit 105 causes the vibration generation unit 80 to generate a vibration according to the read vibration data. The vibration data storage unit 106 stores the vibration data of the file name stored in the area data storage unit 103. The vibration data is vibration data representing vibration causing the user to feel the texture of the surface of the corresponding object, and includes at least information indicating frequency and amplitude. Specifically, the vibration data is, for example, a file of WAVE format, AIFF format, MP3 format or the like. The vibration data is, for example, the vibration of a protrusion when the surface of an object corresponding to the vibration data is scratched with a protrusion, which is recorded using a piezoelectric element or the like. You may create it.

図5は、領域データを説明する模式図である。図5において、矩形G1は、画像データ記憶部101が記憶する画像データの画像全体の領域を示す。領域R1からR8は、対象物の表面に対して設定された領域に対応する多角形である。例えば、領域R1は、猫の頭部に対応する多角形であり、領域R2は、猫の背中に対応する多角形であり、領域R6、R7、R8は、猫の背後にある棚に対応する多角形である。なお、当該領域は多角形に限られず、任意の形状であって良い。   FIG. 5 is a schematic view for explaining the area data. In FIG. 5, a rectangle G1 indicates the area of the entire image of the image data stored in the image data storage unit 101. The regions R1 to R8 are polygons corresponding to the regions set for the surface of the object. For example, region R1 is a polygon corresponding to a cat's head, region R2 is a polygon corresponding to a cat's back, and regions R6, R7, R8 correspond to a shelf behind the cat It is a polygon. In addition, the said area | region is not restricted to a polygon, It may be arbitrary shapes.

図6は、領域データ記憶部103の記憶内容例を示すテーブルである。図6に示すように、領域データ記憶部103は、対象物の表面に設定された領域に対応する多角形の各頂点の座標と、振動データのファイル名とを対応付けて記憶する。図6の例では、領域データ記憶部103は、領域に対応する多角形の各頂点の座標「(Xa1,Ya1),(Xa2,Ya2),(Xa3,Ya3),…」と、振動データのファイル名「region_A.wav」とを対応付けて記憶している。また、領域データ記憶部103は、領域に対応する多角形の各頂点の座標「(Xb1,Yb1),(Xb2,Yb2),(Xb3,Yb3),…」と、振動データのファイル名「region_B.wav」とを対応付けて記憶している。   FIG. 6 is a table showing an example of storage contents of the area data storage unit 103. As shown in FIG. As shown in FIG. 6, the area data storage unit 103 stores the coordinates of each vertex of the polygon corresponding to the area set on the surface of the object in association with the file name of the vibration data. In the example of FIG. 6, the region data storage unit 103 is configured to calculate the vibration data of the coordinates “(Xa1, Ya1), (Xa2, Ya2), (Xa3, Ya3),. The file name "region_A. Wav" is stored in association with one another. In addition, the region data storage unit 103 sets the coordinates “(Xb1, Yb1), (Xb2, Yb2), (Xb3, Yb3), ...” of each vertex of the polygon corresponding to the region, and the file name of the vibration data “region_B And ". Wav" are stored in association with each other.

図7は、電子機器1の動作を説明するフローチャートである。図7のフローチャートは、振動発生部80の制御に係る処理を示す。まず、領域特定部102は、撮像部40による撮像画像を取得する(Sa1)。次に、領域特定部102は、画像データ記憶部101が記憶する画像データが表す画像中で、撮像画像が対応する部分を検出する。この検出には、例えば、輝度値のSAD(Sum of Absolute Difference)をとるブロックマッチング法を用いる。なお、領域特定部102は、加速度センサ75により検出された電子機器1の姿勢や、撮像部40が撮像する際のレンズ位置から得た被写体までの距離などに基づき、ブロックマッチング法を行う前に、撮像画像に対して台形補正などの補正をかけてもよい。領域特定部102は、領域データ記憶部103に記憶されている領域のうち、検出した部分の中心点を含む領域を判定する(Sa2)。   FIG. 7 is a flowchart for explaining the operation of the electronic device 1. The flowchart of FIG. 7 shows a process related to control of the vibration generating unit 80. First, the area specifying unit 102 acquires a captured image by the imaging unit 40 (Sa1). Next, the area specifying unit 102 detects a portion corresponding to the captured image in the image represented by the image data stored in the image data storage unit 101. For this detection, for example, a block matching method for obtaining a sum of absolute difference (SAD) of luminance values is used. In addition, the area specifying unit 102 performs the block matching method based on the posture of the electronic device 1 detected by the acceleration sensor 75, the distance to the subject obtained from the lens position at the time of imaging by the imaging unit 40, and the like. Correction such as keystone correction may be performed on the captured image. The area specifying unit 102 determines an area including the center point of the detected portion among the areas stored in the area data storage unit 103 (Sa2).

次に、領域特定部102は、ステップSa2における判定結果の領域に対応付けられているファイル名を、領域データ記憶部103から読み出す。振動制御部105は、領域特定部102が読み出したファイル名のファイルを、振動データ記憶部106から読み出す(Sa3)。このようにして読み出しているので、このファイルは、ステップSa2における判定結果の領域に対応する振動データとなっている。   Next, the area specifying unit 102 reads, from the area data storage unit 103, the file name associated with the area of the determination result in step Sa2. The vibration control unit 105 reads the file of the file name read by the area specifying unit 102 from the vibration data storage unit 106 (Sa3). Since the file is read out in this manner, this file is vibration data corresponding to the area of the determination result in step Sa2.

次に、振動制御部105は、読み出したファイル、すなわち振動データを再生して、振動発生部80に振動を発生させる。例えば、ユーザによる終了指示が入力された場合など、振動の発生を終了するときは(Sa5−Yes)、処理は終了する。振動の発生を終了しないときは(Sa5−No)、処理は、ステップSa1に戻る。なお、図7の処理を行っている間、並行して、画像生成部104は、撮像部40による撮像画像を定期的に取得して、タッチパネル10に表示させている。   Next, the vibration control unit 105 reproduces the read file, that is, vibration data, and causes the vibration generating unit 80 to generate vibration. For example, when the generation of the vibration is ended (Sa5-Yes), for example, when the user inputs an end instruction, the process ends. When the generation of the vibration is not ended (Sa5-No), the process returns to step Sa1. In addition, while performing the process of FIG. 7, in parallel, the image generation unit 104 periodically acquires a captured image by the imaging unit 40 and causes the touch panel 10 to display the image.

このように、領域特定部102(特定部)は、撮像部40が撮像した対象物の撮像画像を参照して、対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する。領域データ記憶部103と、振動データ記憶部106とで記憶部として機能し、記憶部は、上述の領域に対応付けて、振動を表す振動データを記憶する。振動制御部105は、領域特定部102が特定した領域に対応付けて記憶部が記憶する振動データを取得し、取得した振動データに基づいて振動発生部80(振動部)を振動させる。
これにより、電子機器1は、対象物の表面に対して設定された領域のうち、撮像部40が撮像した領域に対応する振動データにより振動を発生させ、その領域の質感をユーザに伝えることができる。
As described above, the area specifying unit 102 (specifying unit) refers to the captured image of the target imaged by the imaging unit 40, and at least one of the plurality of areas set in advance with respect to the surface of the target. Identify the area. The region data storage unit 103 and the vibration data storage unit 106 function as a storage unit, and the storage unit stores vibration data representing vibration in association with the above-described region. The vibration control unit 105 acquires vibration data stored in the storage unit in association with the area specified by the area specifying unit 102, and vibrates the vibration generating unit 80 (vibration unit) based on the acquired vibration data.
Thereby, the electronic device 1 generates vibration using vibration data corresponding to the area imaged by the imaging unit 40 in the area set on the surface of the object, and transmits the texture of the area to the user it can.

領域特定部102は、画像データ記憶部101(画像記憶部)が記憶する画像中で、撮像画像が対応する部分を検出し、上述の複数の領域のうち、その対応する部分に応じた領域を、上述の一つの領域として特定する。
これにより、電子機器1は、画像データ記憶部101が記憶する画像中の対象物の表面に対して設定された領域のうち、撮像部40が撮像した領域に対応する振動データにより振動を発生させ、その領域の質感をユーザに伝えることができる。
The area specifying unit 102 detects a portion corresponding to the captured image in the image stored in the image data storage unit 101 (image storage unit), and an area corresponding to the corresponding portion among the plurality of areas described above is detected. , As the above-mentioned one area.
Thereby, the electronic device 1 generates vibration using vibration data corresponding to the area imaged by the imaging unit 40 among the areas set to the surface of the object in the image stored in the image data storage unit 101. , The texture of the area can be communicated to the user.

なお、本実施形態において、領域特定部102は、ブロックマッチングにより、画像データ記憶部101が記憶する画像中で、撮像画像が対応する部分を検出し、その部分の中心を含む領域を、特定しているが、これに限られない。例えば、レーザーポインターなどで指定されている点を含む領域を特定してもよい。この場合、電子機器1の位置や向きは固定しておいてもよい。また、対象物の表面に設定された領域毎に異なるマークが描かれており、領域特定部102が、撮影画像から、そのマークを検出し、そのマークに対応する領域を、特定してもよい。この場合、領域データ記憶部103は、マークを表す情報と、振動データへの参照情報とを対応付けて記憶する。   In the present embodiment, the area specifying unit 102 detects a portion corresponding to the captured image in the image stored in the image data storage unit 101 by block matching, and specifies an area including the center of the portion. But it is not limited to this. For example, a region including a point designated by a laser pointer may be identified. In this case, the position and orientation of the electronic device 1 may be fixed. Also, a different mark is drawn for each area set on the surface of the object, and the area specifying unit 102 may detect the mark from the photographed image and specify an area corresponding to the mark. . In this case, the area data storage unit 103 associates and stores information representing a mark and reference information to vibration data.

また、画像データ記憶部101が記憶する画像中の、撮像画像が対応する部分に、対象物の表面に設定された領域が複数含まれているときは、振動制御部105は、これら複数の領域、各々に対応する振動データを読み出し、読み出した振動データ同士を合成した後、合成した振動データに従い、振動発生部80に振動を発生させてもよい。振動データ同士の合成は、例えば、振動データが、各時刻における変位を表すデータであれば、同じ時刻における変位同士を加算することで行う。   In addition, when a plurality of areas set on the surface of the object are included in the part corresponding to the captured image in the image stored in the image data storage unit 101, the vibration control unit 105 determines the plurality of areas. After the vibration data corresponding to each is read out and the read out vibration data are combined, the vibration generating unit 80 may generate vibration in accordance with the combined vibration data. For example, if the vibration data is data representing displacement at each time, synthesis of vibration data is performed by adding the displacements at the same time.

[第2の実施形態]
以下、図面を参照しながら本発明の第2の実施形態について説明する。第1の実施系多では、そのときに、撮像部40が撮像している領域の質感を振動で再現しているが、本実施形態における電子機器1も、図2に示す構成を有するが、撮像した後で、撮像した領域の質感を振動で再現する。図8は、電子機器1の機能構成を示す概略ブロック図である。図8において、図3の各部に対応する部分には同一の符号を付し、説明を省略する。電子機器1は、タッチパネル10、撮像部40、振動発生部80、画像データ記憶部101、領域特定部102a、領域データ記憶部103、振動制御部105、振動データ記憶部106、軌跡画像生成部109を含む。また、領域特定部102aは、軌跡作成部107と、軌跡再生部108とを含む。なお、画像データ記憶部101、領域特定部102a、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106、軌跡画像生成部109は、制御部90が、記憶部60からプログラムを読み出して実行することにより、実現される機能部である。
Second Embodiment
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. In the first embodiment, at that time, the texture of the area being imaged by the imaging unit 40 is reproduced by vibration, but the electronic device 1 in the present embodiment also has the configuration shown in FIG. After imaging, the texture of the imaged area is reproduced by vibration. FIG. 8 is a schematic block diagram showing a functional configuration of the electronic device 1. In FIG. 8, parts corresponding to the parts in FIG. The electronic device 1 includes a touch panel 10, an imaging unit 40, a vibration generation unit 80, an image data storage unit 101, an area specification unit 102a, an area data storage unit 103, a vibration control unit 105, a vibration data storage unit 106, and a trajectory image generation unit 109. including. Further, the area specifying unit 102 a includes a trajectory creating unit 107 and a trajectory reproducing unit 108. The image data storage unit 101, the area specifying unit 102a, the area data storage unit 103, the image generation unit 104, the vibration control unit 105, the vibration data storage unit 106, and the trajectory image generation unit 109 Is a functional unit realized by reading and executing a program from

軌跡作成部107は、撮像部40による撮像画像が対応する部分を、画像データ記憶部101が記憶する画像データが表す画像中から、定期的に検出する。この検出は、図4の領域特定部102と同様にして行う。軌跡作成部107は、検出した部分の中心座標を、時系列に並べた情報を軌跡情報として作成する。軌跡再生部108は、軌跡作成部107が軌跡情報を作成した後、ユーザによる再生指示の操作がされると、軌跡情報の先頭から座標を一つずつ取り出す。軌跡再生部108は、取り出した座標を含む領域に対応付けて領域データ記憶部103が記憶するファイル名を読み出す。軌跡再生部108は、読み出したファイル名を、振動制御部105に通知する。このファイル名を受けて、振動制御部105は、そのファイル名のファイルを振動データとして読み出し、振動発生部80に振動を発生させる。   The trajectory creating unit 107 periodically detects a portion corresponding to the image captured by the imaging unit 40 from the image represented by the image data stored in the image data storage unit 101. This detection is performed in the same manner as the area specifying unit 102 in FIG. The trajectory creating unit 107 creates, as trajectory information, information in which the center coordinates of the detected portion are arranged in time series. When the user operates the reproduction instruction after the trajectory creating unit 107 creates the trajectory information, the trajectory reproducing unit 108 extracts coordinates one by one from the beginning of the trajectory information. The locus reproduction unit 108 reads the file name stored in the area data storage unit 103 in association with the area including the extracted coordinates. The locus reproduction unit 108 notifies the vibration control unit 105 of the read file name. Receiving this file name, the vibration control unit 105 reads the file of the file name as vibration data, and causes the vibration generating unit 80 to generate vibration.

軌跡画像生成部109は、軌跡再生部108が軌跡情報の先頭から一つずつ取り出した座標を、画像データ記憶部101が記憶する画像データの画像上にプロットしていく。軌跡画像生成部109は、このように座標をプロットしていくことで、撮像部40が撮像した部分の軌跡を、画像データ記憶部101が記憶する画像データの画像上に描いた軌跡画像を生成する。軌跡画像生成部109は、生成した軌跡画像を、タッチパネル10に表示させる。   The locus image generation unit 109 plots the coordinates, which are extracted one by one from the beginning of the locus information by the locus reproduction unit 108, on the image of the image data stored in the image data storage unit 101. The locus image generation unit 109 generates a locus image in which the locus of the portion imaged by the imaging unit 40 is drawn on the image of the image data stored in the image data storage unit 101 by plotting the coordinates in this manner. Do. The trajectory image generation unit 109 causes the touch panel 10 to display the generated trajectory image.

図9は、本実施形態における電子機器1の動作を説明するフローチャートである。まず、軌跡作成部107は、撮像部40による撮像画像を取得する(Sb1)。次に、軌跡作成部107は、画像データ記憶部101が記憶する画像データが表す画像中で、撮像画像が対応する部分の中心座標を検出する(Sb2)。次に、軌跡作成部107は、検出した中心座標を、軌跡情報の末尾に連結する(Sb3)。ユーザ操作により軌跡生成の終了が指示されていないときは(Sb4−No)、処理は、ステップSb1に戻る。ユーザ操作により軌跡生成の終了が指示されているときは(Sb4−Yes)、処理は、ステップSb5に進む。   FIG. 9 is a flowchart for explaining the operation of the electronic device 1 in the present embodiment. First, the trajectory creating unit 107 obtains an image captured by the imaging unit 40 (Sb1). Next, in the image represented by the image data stored in the image data storage unit 101, the trajectory creation unit 107 detects center coordinates of a portion corresponding to the captured image (Sb2). Next, the trajectory creation unit 107 links the detected center coordinates to the end of the trajectory information (Sb3). When the user operation does not instruct the end of the trajectory generation (Sb4-No), the process returns to step Sb1. When termination of trajectory generation is instructed by the user operation (Sb4-Yes), the process proceeds to step Sb5.

ステップSb5では、ユーザ操作により再生が指示されるまで、電子機器1は待機する。再生が指示されると(Sb5−Yes)、電子機器1は、軌跡情報に格納されている座標各々について、先頭から順に、ステップSb7、Sb8の処理を行う(Sb6、Sb9)。ステップSb7では、軌跡画像生成部109は、軌跡情報の先頭に格納されている座標から、当該座標までの座標を、画像データ記憶部101が記憶する画像データの画像にプロットした軌跡画像を生成する。ステップSb8では、軌跡再生部108は、当該座標を含む領域に対応付けて領域データ記憶部103が記憶するファイル名を読み出す。そして、振動制御部105は、読み出されたファイル名の振動データを、振動データ記憶部106から読み出して、その振動データに従い、振動発生部80に振動を発生させる。軌跡情報に格納されている全ての座標について、ステップSb7、Sb8の処理を行った後、処理は、終了する。   In step Sb5, the electronic device 1 stands by until playback is instructed by the user operation. When the reproduction is instructed (Sb5-Yes), the electronic device 1 performs the processing of steps Sb7 and Sb8 sequentially from the top with respect to each of the coordinates stored in the trajectory information (Sb6, Sb9). In step Sb7, the trajectory image generation unit 109 generates a trajectory image in which the coordinates from the coordinates stored at the beginning of the trajectory information to the coordinates are plotted on the image data stored in the image data storage unit 101. . In step Sb8, the locus reproduction unit 108 reads the file name stored in the area data storage unit 103 in association with the area including the coordinates. Then, the vibration control unit 105 reads the vibration data of the read file name from the vibration data storage unit 106, and causes the vibration generation unit 80 to generate vibration in accordance with the vibration data. After the processing in steps Sb7 and Sb8 has been performed on all the coordinates stored in the trajectory information, the processing ends.

図10は、軌跡画像生成部109が生成する軌跡画像の例を示す図である。図10に例示した軌跡画像G2は、画像データ記憶部101が記憶する画像データの画像上に、軌跡T1が描かれている。軌跡T1の一端にある矩形の中心を含む領域が、そのときに再生されている振動データに対応付けられている領域である。   FIG. 10 is a diagram showing an example of a trajectory image generated by the trajectory image generation unit 109. As shown in FIG. In the trajectory image G2 illustrated in FIG. 10, a trajectory T1 is drawn on the image of the image data stored in the image data storage unit 101. An area including the center of the rectangle at one end of the locus T1 is an area associated with the vibration data being reproduced at that time.

本実施形態においても、第1の実施形態と同様に、電子機器1は、対象物の表面に対して設定された領域のうち、撮像部40が撮像した領域に対応する振動データにより振動を発生させ、その領域の質感をユーザに伝えることができる。   Also in the present embodiment, as in the first embodiment, the electronic device 1 generates vibration based on vibration data corresponding to the area imaged by the imaging unit 40 in the area set with respect to the surface of the object. And convey the texture of the area to the user.

さらに、領域特定部102aは、複数の時刻における撮像画像を参照して、複数の時刻各々に対して、一つの領域を特定する。振動制御部105は、複数の時刻各々に対して、時刻順に、領域特定部102aが特定した領域に対応付けて記憶部が記憶する振動データを取得し、取得した振動データに応じた振動を振動発生部80に発生させる。
これにより、撮像部40にて撮像した後に、撮像部40が撮像した領域に対応する振動データにより振動を発生させたときに、どの部分の質感が提示されているのかを、ユーザは把握することができる。
Furthermore, the area specifying unit 102a specifies one area for each of the plurality of times with reference to the captured images at the plurality of times. The vibration control unit 105 acquires vibration data stored in the storage unit in association with the area specified by the area specifying unit 102a in order of time for each of a plurality of times, and vibrates the vibration corresponding to the acquired vibration data. The generation unit 80 generates the signal.
By this, after the image is taken by the imaging unit 40, when the vibration is generated by the vibration data corresponding to the area imaged by the imaging unit 40, the user grasps which part of the texture is presented. Can.

なお、上述の各実施形態では、電子機器1は、プロジェクターPで投影した画像を撮像しているが、これに限られない。ポスターなど印刷されたものを撮像してもよいし、対象物の実物を撮像してもよい。例えば、博物館などで、触れられない展示物の触感を、来館者に感じさせることができる。また、ネットショッピングなどで、PC(パーソナルコンピュータ)などのディスプレイに表示されている商品の触感を、ユーザに感じさせることができる。   In each of the above-described embodiments, the electronic device 1 captures an image projected by the projector P. However, the present invention is not limited to this. A printed matter such as a poster may be imaged, or an actual object may be imaged. For example, in a museum or the like, visitors can be made to feel the touch of an exhibit that can not be touched. In addition, it is possible to make the user feel the tactile sensation of a product displayed on a display such as a PC (personal computer) by Internet shopping or the like.

また、図4における画像データ記憶部101、領域特定部102、領域データ記憶部103、画像生成部104、振動制御部105、振動データ記憶部106、もしくは、図8における画像データ記憶部101、領域特定部102a、領域データ記憶部103、振動制御部105、振動データ記憶部106、軌跡画像生成部109の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。   Further, the image data storage unit 101, the area specifying unit 102, the area data storage unit 103, the image generation unit 104, the vibration control unit 105, the vibration data storage unit 106 in FIG. 4 or the image data storage unit 101 in FIG. A program for realizing the functions of the specification unit 102a, the area data storage unit 103, the vibration control unit 105, the vibration data storage unit 106, and the trajectory image generation unit 109 is recorded in a computer readable recording medium, Each unit may be realized by loading a recorded program into a computer system and executing it. Here, the “computer system” includes an OS and hardware such as peripheral devices.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。   The term "computer-readable recording medium" refers to a storage medium such as a flexible disk, a magneto-optical disk, a ROM, a portable medium such as a ROM or a CD-ROM, or a hard disk built in a computer system. Furthermore, “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, the volatile memory in the computer system which is the server or the client in that case, and the one that holds the program for a certain period of time is also included. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and design changes and the like within the scope of the present invention are also included.

1…電子機器
10…タッチパネル
40…撮像部
50…通信部
52…I/O部
60…記憶部
70…スピーカ
75…加速度センサ
80…振動発生部
90…制御部
101…画像データ記憶部
102、102a…領域特定部
103…領域データ記憶部
104…画像生成部
105…振動制御部
106…振動データ記憶部
107…軌跡作成部
108…軌跡再生部
109…軌跡画像生成部
Reference Signs List 1 electronic device 10 touch panel 40 imaging unit 50 communication unit 52 I / O unit 60 storage unit 70 speaker 75 acceleration sensor 80 vibration generation unit 90 control unit 101 image data storage unit 102, 102 a ... area identification unit 103 ... area data storage unit 104 ... image generation unit 105 ... vibration control unit 106 ... vibration data storage unit 107 ... locus creation unit 108 ... locus reproduction unit 109 ... locus image generation unit

Claims (5)

対象物を撮像する撮像部と、
振動を発生させる振動部と、
前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部と、
前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部と、
前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部と
画像を記憶する画像記憶部と、を有し、
前記特定部は、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を、前記一つの領域として特定することを特徴とする電子機器。
An imaging unit for imaging an object;
A vibration unit that generates vibration;
An identifying unit that identifies at least one of a plurality of regions set in advance with respect to the surface of the object with reference to a captured image of the object captured by the imaging unit;
A storage unit that stores vibration data representing the vibration of the vibration unit in association with the region;
A vibration control unit configured to obtain vibration data corresponding to the area specified by the specifying unit from the storage unit, and vibrate the vibration unit based on the obtained vibration data ;
An image storage unit for storing an image;
The specifying unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and a region corresponding to the corresponding portion among the plurality of regions is set as the one region. An electronic device characterized by specifying .
前記特定部は、前記一つの領域として、前記撮像画像中の特定のマークに対応する領域を検出すること
を特徴とする請求項1に記載の電子機器。
The electronic device according to claim 1, wherein the identification unit detects an area corresponding to a specific mark in the captured image as the one area .
前記特定部は、前記一つの領域として、前記撮像画像に対応する部分の中心を含む領域を検出すること
を特徴とする請求項に記載の電子機器。
The electronic device according to claim 1 , wherein the identification unit detects an area including a center of a portion corresponding to the captured image as the one area.
前記特定部は、複数の時刻における前記撮像画像を参照して、前記複数の時刻各々に対して、前記対象物の表面に対して設定された複数の領域のうち、一つの領域を特定し、
前記振動制御部は、前記複数の時刻各々に対して、時刻順に、前記特定部が特定した領域に対応付けて前記記憶部が記憶する振動データを取得し、取得した振動データに応じた振動を前記振動部に発生させること
を特徴とする請求項に記載の電子機器。
The specifying unit specifies one of a plurality of areas set on the surface of the object with respect to each of the plurality of times, with reference to the captured image at a plurality of times.
The vibration control unit acquires vibration data stored in the storage unit in association with the area specified by the specifying unit in order of time for each of the plurality of times, and the vibration corresponding to the acquired vibration data is The electronic device according to claim 1 , wherein the vibration unit generates the vibration .
対象物を撮像する撮像部と、振動を発生させる振動部とを有する電子機器のコンピュータを、A computer of an electronic device having an imaging unit for imaging an object, and a vibration unit for generating a vibration;
前記撮像部が撮像した前記対象物の撮像画像を参照して、前記対象物の表面に対して予め設定された複数の領域のうち、少なくとも一つの領域を特定する特定部、An identifying unit that identifies at least one region among a plurality of regions set in advance with respect to the surface of the object with reference to a captured image of the object captured by the imaging unit;
前記領域に対応付けて、前記振動部の振動を表す振動データを記憶する記憶部、A storage unit that stores vibration data representing the vibration of the vibration unit in association with the area;
前記記憶部から、前記特定部が特定した領域に対応する振動データを取得し、取得した振動データに基づいて前記振動部を振動させる振動制御部、A vibration control unit that acquires vibration data corresponding to the area specified by the specifying unit from the storage unit, and vibrates the vibration unit based on the acquired vibration data;
画像を記憶する画像記憶部、として機能させ、Function as an image storage unit that stores images,
さらに、前記特定部を、前記画像記憶部が記憶する画像の中で、前記撮像画像に対応する部分を検出し、前記複数の領域のうち、前記対応する部分に応じた領域を前記一つの領域として特定するように機能させるためのプログラム。Furthermore, the identification unit detects a portion corresponding to the captured image in the image stored in the image storage unit, and an area corresponding to the corresponding portion in the plurality of areas is the one area. A program to make it work as specified.
JP2016015058A 2016-01-29 2016-01-29 Electronic device and program Active JP6528695B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016015058A JP6528695B2 (en) 2016-01-29 2016-01-29 Electronic device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016015058A JP6528695B2 (en) 2016-01-29 2016-01-29 Electronic device and program

Publications (2)

Publication Number Publication Date
JP2017134699A JP2017134699A (en) 2017-08-03
JP6528695B2 true JP6528695B2 (en) 2019-06-12

Family

ID=59502942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016015058A Active JP6528695B2 (en) 2016-01-29 2016-01-29 Electronic device and program

Country Status (1)

Country Link
JP (1) JP6528695B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011146821A (en) * 2010-01-12 2011-07-28 Canon Inc Device and method for providing tactile information, and program
US9542000B2 (en) * 2011-02-10 2017-01-10 Kyocera Corporation Electronic device and control method for electronic device
JP2013137659A (en) * 2011-12-28 2013-07-11 Nikon Corp Display unit
JP6196790B2 (en) * 2013-03-15 2017-09-13 オリンパス株式会社 Information device and control method of information device

Also Published As

Publication number Publication date
JP2017134699A (en) 2017-08-03

Similar Documents

Publication Publication Date Title
JP7305249B2 (en) Method for determining motion information of image feature points, task execution method and device
JP5765019B2 (en) Display control apparatus, display control method, and program
KR102056128B1 (en) Portable apparatus and method for taking a photograph by using widget
CN108415705B (en) Webpage generation method and device, storage medium and equipment
KR102023179B1 (en) Dual recording method and apparatus for electronic device having dual camera
JP2022537614A (en) Multi-virtual character control method, device, and computer program
EP2811731B1 (en) Electronic device for editing dual image and method thereof
JP6513963B2 (en) Electronic device and method of operating electronic device
KR102072509B1 (en) Group recording method, machine-readable storage medium and electronic device
US10074216B2 (en) Information processing to display information based on position of the real object in the image
CN109922356B (en) Video recommendation method and device and computer-readable storage medium
WO2017219288A1 (en) Head-mounted display apparatus and processing method thereof
CN109547843B (en) Method and device for processing audio and video
WO2019069575A1 (en) Information processing device, information processing method, and program
US9363466B2 (en) Image processing device for determining an orientation and a direction of the image processing device
JPWO2017018043A1 (en) Electronic device, operation method of electronic device, and control program
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
JP2011060254A (en) Augmented reality system and device, and virtual object display method
JP6528695B2 (en) Electronic device and program
JP2011081557A (en) Information processor, method of processing information, and program
JP6222111B2 (en) Display control device, display control method, and recording medium
CN111370096A (en) Interactive interface display method, device, equipment and storage medium
CN110300275B (en) Video recording and playing method, device, terminal and storage medium
CN113467682B (en) Method, device, terminal and storage medium for controlling movement of map covering
CN115129211A (en) Method and device for generating multimedia file, electronic equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R150 Certificate of patent or registration of utility model

Ref document number: 6528695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250