JP5446769B2 - 3D input display device - Google Patents

3D input display device Download PDF

Info

Publication number
JP5446769B2
JP5446769B2 JP2009264905A JP2009264905A JP5446769B2 JP 5446769 B2 JP5446769 B2 JP 5446769B2 JP 2009264905 A JP2009264905 A JP 2009264905A JP 2009264905 A JP2009264905 A JP 2009264905A JP 5446769 B2 JP5446769 B2 JP 5446769B2
Authority
JP
Japan
Prior art keywords
input
display
dimensional
button
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009264905A
Other languages
Japanese (ja)
Other versions
JP2011108152A (en
Inventor
貴行 桐谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Mobile Communications Ltd
Original Assignee
Fujitsu Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Mobile Communications Ltd filed Critical Fujitsu Mobile Communications Ltd
Priority to JP2009264905A priority Critical patent/JP5446769B2/en
Publication of JP2011108152A publication Critical patent/JP2011108152A/en
Application granted granted Critical
Publication of JP5446769B2 publication Critical patent/JP5446769B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、3次元表示機能と3次元入力検出機能とを備え、入力のためのオブジェクトの表示中に、入力確定前の段階で、ユーザによる入力動作に伴ってオブジェクトの表示内容を逐次変更することで、実行が予想される入力操作をユーザにリアルタイムに提示することができる3次元入力表示装置に関する。   The present invention includes a three-dimensional display function and a three-dimensional input detection function, and during display of an object for input, the display contents of the object are sequentially changed in accordance with an input operation by the user at a stage before input is confirmed. Thus, the present invention relates to a three-dimensional input display device capable of presenting an input operation expected to be performed to a user in real time.

近年、両目視差を用いた3次元表示装置が開発されている。この3次元表示装置を用いると、ユーザは、例えばレンチキュラーレンズ、シャッタなどにより左右の目それぞれに対応した画像が表示されることで、表示される画像や映像を立体視することができる。   In recent years, 3D display devices using binocular parallax have been developed. By using this three-dimensional display device, the user can stereoscopically display the displayed image or video by displaying an image corresponding to each of the left and right eyes, for example, with a lenticular lens, a shutter, or the like.

このような3次元表示装置の発展に伴い、電子機器においてペン型などの入力装置を用いた3次元の入力方法(特許文献1参照)が開発されている。このペン型の入力装置は、例えば円錐形に電磁波などを発生させ、ディスプレイの表示面に設置された検出器によりその強度を検出し、入力ポイント位置を3次元で検出するものである。このような入力装置を用いると、ユーザ操作を、従来の2次元座標に高さ方向を加えた3次元空間で検出することができる。   With the development of such a three-dimensional display device, a three-dimensional input method using a pen-type input device (see Patent Document 1) has been developed in electronic devices. This pen-type input device generates electromagnetic waves in a conical shape, for example, detects its intensity with a detector installed on the display surface of the display, and detects the input point position in three dimensions. When such an input device is used, a user operation can be detected in a three-dimensional space obtained by adding a height direction to conventional two-dimensional coordinates.

また、従来用いられているタッチパネルなどの2次元の平面入力装置は、ユーザの指などの接触を検知して、これを契機として動作するのが一般的である。しかしながら、携帯電話機などの携帯型の情報処理端末では画面が小さく操作対象のオブジェクトを大きく表示できないため、または指などにより画面の一部が覆われてオブジェクトが視認しにくくなるため、入力ミスなどによる誤操作が発生しやすかった。   In addition, a two-dimensional flat input device such as a touch panel that has been conventionally used generally detects contact with a user's finger or the like and operates as a trigger. However, a portable information processing terminal such as a cellular phone has a small screen and cannot display an object to be operated large, or a part of the screen is covered with a finger or the like so that the object is difficult to see. Misoperations were easy to occur.

そこで、平面入力装置において、ユーザがタッチコントロール入力で入力している最中には最適なデータが入力されているかどうかをユーザ自身が認識できず、入力確定後に認識できるように構成されているため、誤入力を誘発してしまうという欠点があったが、利便性を低下させることなくその欠点を解決したタッチコントロールによる情報入力方法が提案されている(特許文献2参照)。この情報入力方法は、3次元表示装置に表示された複数のオブジェクトの中からユーザが指し示すオブジェクトを入力オブジェクトとして選択する情報入力方法において、表示されたオブジェクトの奥行き位置、あるいは奥行き方向の形状を変化させる第1の過程と、第1の過程において、ユーザが所定時間オブジェクトを指し示す操作を続けた場合に該当するオブジェクトを入力オブジェクトとして選択する第2の過程を有するものである。   Therefore, the flat input device is configured so that the user himself / herself cannot recognize whether or not optimum data is being input while the user is inputting by touch control input, and can be recognized after the input is confirmed. However, there has been a drawback of inducing erroneous input, but an information input method using touch control has been proposed that solves the disadvantage without reducing convenience (see Patent Document 2). This information input method is an information input method in which an object pointed to by a user is selected as an input object from among a plurality of objects displayed on a three-dimensional display device, and the depth position of the displayed object or the shape in the depth direction is changed. And a second process of selecting a corresponding object as an input object when the user continues an operation pointing to the object for a predetermined time in the first process.

特表2005−529395号公報JP 2005-529395 A 特開2005−316790号公報JP 2005-316790 A

従来、表示装置としては2次元の平面ディスプレイが主流であり、3次元入力装置が用いられた場合であっても入力のための表示がディスプレイに対して平面に投影された状態となり、表示能力と入力能力の不一致が発生していた。特許文献2の情報入力方法でも、ディスプレイの表示層と操作層とが一致していないため、ユーザに入力対象と表示画像との一体感を与えることができていない。また、特許文献1では3次元入力装置による操作例が提示されているが、入力装置と表示空間が同一にならず、ユーザに直感的な操作方法を提供できていない。   Conventionally, as a display device, a two-dimensional flat display is the mainstream, and even when a three-dimensional input device is used, a display for input is projected on a flat surface with respect to the display. There was a mismatch in input capabilities. Even in the information input method of Patent Document 2, the display layer and the operation layer of the display do not match, and thus it is not possible to give the user a sense of unity between the input target and the display image. Moreover, although the operation example by a three-dimensional input device is shown in patent document 1, the input device and the display space are not the same, and an intuitive operation method cannot be provided to the user.

一方、3次元表示機能を備えた3次元入力装置を用いることにより、ユーザの入力操作を3次元空間を利用して検出することができるため、ユーザが操作可能な領域を従来の平面入力装置に比べ格段に大きくして表示させることができる。また、ユーザの入力のための動作を、指などが表示面や検出器面(2次元入力装置における検出位置)に接触していなくても検出することができるため、ユーザの指の中空での動作をもとにポイント位置を予め強調表示することができる。   On the other hand, by using a 3D input device having a 3D display function, it is possible to detect a user's input operation using a 3D space. It can be displayed with a much larger size. In addition, since an operation for user input can be detected even when the finger or the like is not in contact with the display surface or the detector surface (detection position in the two-dimensional input device), The point position can be highlighted in advance based on the action.

本発明は、上記課題を鑑みてなされたものであり、3次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することができる3次元入力表示装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and makes it possible for a user to perform an input by performing an operation such that the user directly touches an object displayed three-dimensionally. An object of the present invention is to provide a three-dimensional input display device that can provide a typical input environment and prevent erroneous input.

上記課題を解決するために、本発明に係る3次元入力表示装置は、オブジェクトを所定高さで3次元表示する表示手段と、入力媒体の3次元位置を検出する検出手段と、前記検出手段により検出された3次元位置が、前記表示手段により表示されたオブジェクトの表示領域内であった場合、このオブジェクトの高さを前記3次元位置に基づいて変更する表示制御手段と、前記検出手段により検出された3次元位置が前記表示手段により表示されたオブジェクトの表示領域内であり、かつ前記検出手段により検出された3次元位置から前記表示手段までの距離が所定距離であった場合、このオブジェクトに対応付けられたデータを入力する入力手段とを備えたことを特徴とする。   In order to solve the above problems, a three-dimensional input display device according to the present invention includes a display unit that displays an object three-dimensionally at a predetermined height, a detection unit that detects a three-dimensional position of an input medium, and the detection unit. When the detected three-dimensional position is within the display area of the object displayed by the display means, the display control means for changing the height of the object based on the three-dimensional position, and the detection means If the displayed three-dimensional position is within the display area of the object displayed by the display means and the distance from the three-dimensional position detected by the detection means to the display means is a predetermined distance, An input means for inputting the associated data is provided.

本発明に係る3次元入力表示装置によると、3次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することが可能となる。   According to the three-dimensional input display device according to the present invention, it is possible to perform an input by performing an operation such that the user directly touches an object displayed in three dimensions, thereby enabling an intuitive input to the user. It is possible to provide an environment and prevent erroneous input.

本発明に係る3次元入力表示装置の斜視図。The perspective view of the three-dimensional input display apparatus which concerns on this invention. 本発明に係る3次元入力表示装置の機能を示すブロック図。The block diagram which shows the function of the three-dimensional input display apparatus which concerns on this invention. ボタン表示情報の一例を示すデータ構成図。The data block diagram which shows an example of button display information. 本発明に係る3次元入力表示装置の3次元入力検出機能の一例を説明するための概略図。Schematic for demonstrating an example of the three-dimensional input detection function of the three-dimensional input display apparatus which concerns on this invention. 本発明に係る3次元入力表示装置が入力制御処理を行う際の手順を示すフローチャート。The flowchart which shows the procedure at the time of the three-dimensional input display apparatus which concerns on this invention performing an input control process. (A)は、本発明に係る3次元入力表示装置において入力が行われる直前の状態を示す概略図、(B)は、本発明に係る3次元入力表示装置において入力確認表示が行われている状態を示す概略図、(C)は、本発明に係る3次元入力表示装置において入力が行われている状態を示す概略図。(A) is a schematic diagram showing a state immediately before an input is performed in the three-dimensional input display device according to the present invention, and (B) is an input confirmation display performed in the three-dimensional input display device according to the present invention. The schematic diagram which shows a state, (C) is the schematic diagram which shows the state in which the input is performed in the three-dimensional input display apparatus which concerns on this invention. (A)は、本発明に係る3次元入力表示装置において入力が行われる直前の状態の別例を示す概略図、(B)は、本発明に係る3次元入力表示装置において入力が行われている状態の別例を示す概略図。(A) is a schematic diagram showing another example of a state immediately before an input is performed in the three-dimensional input display device according to the present invention, and (B) is an input performed in the three-dimensional input display device according to the present invention. Schematic which shows another example of the state which exists.

本発明に係る3次元入力表示装置の実施形態について、添付図面を参照しながら説明する。本発明に係る3次元入力表示装置として、3次元表示されたオブジェクトをユーザが指Uなどで触れることより簡単にデータを入力することができる3次元表示装置を備えた携帯電話機1を例に挙げて説明する。   An embodiment of a three-dimensional input display device according to the present invention will be described with reference to the accompanying drawings. As an example of the three-dimensional input display device according to the present invention, a mobile phone 1 including a three-dimensional display device that allows a user to easily input data by touching a three-dimensionally displayed object with a finger U or the like is given as an example. I will explain.

図1は、携帯電話機1を示す斜視図である。携帯電話機1は、図1に示すように、矩形の板状の筐体10を備えている。筐体10の一方の面には、3次元データを立体表示させるとともに入力媒体の位置検出によりデータを入力する3次元表示装置11、音声を出力するスピーカ12、音声を入力するマイクロフォン13及びデータを入力する操作キー14が設けられている。   FIG. 1 is a perspective view showing a mobile phone 1. As shown in FIG. 1, the mobile phone 1 includes a rectangular plate-shaped housing 10. On one surface of the housing 10, three-dimensional data is displayed in a three-dimensional manner and data is input by detecting the position of the input medium, a speaker 12 that outputs sound, a microphone 13 that inputs sound, and data. An operation key 14 for inputting is provided.

3次元表示装置11は、3次元データを3次元表示する表示機能、及び、ユーザが指や専用ペンなどの入力媒体をかざした際にその3次元位置を検出することによりデータを入力する入力機能の双方の機能を備えている。3次元表示装置11は、例えば右目用の表示データと左目用の表示データを別個に表示させることにより、ユーザの視差を利用して3次元表示を行うものである。なお、3次元表示の方法はこれに限定されず、任意の方法で良い。   The three-dimensional display device 11 has a display function for three-dimensionally displaying three-dimensional data, and an input function for inputting data by detecting the three-dimensional position when the user holds an input medium such as a finger or a dedicated pen. It has both functions. The 3D display device 11 performs 3D display using the parallax of the user, for example, by separately displaying display data for the right eye and display data for the left eye. Note that the three-dimensional display method is not limited to this, and any method may be used.

また、3次元表示装置11は、例えば赤外線を発信する赤外線発信装置と、その発信された赤外線の入力媒体による反射光を検出する赤外線検出器を備えている。そして携帯電話機1は、その赤外線検出器により検出された反射光から推測される入力媒体の3次元位置に基づいて様々な処理を行う。なお、3次元位置検出の方法はこれに限定されず、任意の方法で良い。   The three-dimensional display device 11 includes, for example, an infrared transmitter that transmits infrared rays and an infrared detector that detects reflected light from the input medium of the transmitted infrared rays. The mobile phone 1 performs various processes based on the three-dimensional position of the input medium estimated from the reflected light detected by the infrared detector. Note that the three-dimensional position detection method is not limited to this, and any method may be used.

操作キー14は、ユーザによる物理的な押下によりデータを入力するキーであっても、静電気または感圧により接触を感知してデータ入力するキーであっても良い。操作キー14は、例えば電源のON/OFFを切り替えたり待機状態から復帰したりするための電源キーなどである。   The operation key 14 may be a key for inputting data by being physically pressed by a user, or a key for inputting data by detecting contact by static electricity or pressure. The operation key 14 is, for example, a power key for switching power ON / OFF or returning from a standby state.

図2は、携帯電話機1の機能を示すブロック図である。携帯電話機1は、図2に示すように、主制御部20、電源回路部21、3次元入力検出部22、3次元表示制御部23、音声制御部24、通信制御部25及び記憶部26がバスによって相互に通信可能に接続されて構成されている。   FIG. 2 is a block diagram showing functions of the mobile phone 1. As shown in FIG. 2, the mobile phone 1 includes a main control unit 20, a power supply circuit unit 21, a three-dimensional input detection unit 22, a three-dimensional display control unit 23, a voice control unit 24, a communication control unit 25, and a storage unit 26. They are configured to be communicable with each other via a bus.

主制御部20は、CPU(Central Processing Unit)を具備し、携帯電話機1の総括的な制御を行うとともに、後述する入力制御処理、その他の様々な演算処理や制御処理などを行う。また主制御部20は、いずれかの操作キー14の入力操作を検知すると、その操作キー14に対応する処理を行う。電源回路部21は、電源供給源(バッテリなど)を備え、例えば所定の操作キー14を介した入力に基づいて携帯電話機1の電源のON/OFF状態を切り替え、電源がON状態の場合に電力供給源から各部に対して電力を供給して、携帯電話機1を動作可能にする。   The main control unit 20 includes a CPU (Central Processing Unit), performs overall control of the mobile phone 1, and performs input control processing, which will be described later, and various other arithmetic processing and control processing. Further, when detecting an input operation of any one of the operation keys 14, the main control unit 20 performs a process corresponding to the operation key 14. The power supply circuit unit 21 includes a power supply source (battery or the like), for example, switches the power supply ON / OFF state of the mobile phone 1 based on an input via a predetermined operation key 14, and power is supplied when the power supply is ON. Electric power is supplied from the supply source to each unit to enable the mobile phone 1 to operate.

3次元入力検出部22は、例えば、ユーザ操作に基づいて、または一定時間毎に、3次元表示装置11の赤外線検出器に、赤外線発信装置により発信された赤外線の反射光を検出させて、その検出値を示す信号を生成して主制御部20に伝送する。信号を受信した主制御部20は、この信号に基づいて入力媒体の3次元位置を推測して、この位置に対応する処理を行う。3次元表示制御部23は、主制御部20の制御に基づいて、画面表示用の3次元データを生成して3次元表示装置11に3次元表示させる。   For example, the three-dimensional input detection unit 22 causes the infrared detector of the three-dimensional display device 11 to detect the reflected infrared light transmitted by the infrared transmission device based on a user operation or at regular time intervals. A signal indicating the detected value is generated and transmitted to the main control unit 20. The main control unit 20 that has received the signal estimates a three-dimensional position of the input medium based on this signal, and performs processing corresponding to this position. Based on the control of the main control unit 20, the 3D display control unit 23 generates 3D data for screen display and causes the 3D display device 11 to display the 3D data.

音声制御部24は、主制御部20の制御に基づいて、マイクロフォン13で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声制御部24は、デジタル音声信号を取得すると、主制御部20の制御に基づいて、このデジタル音声信号をアナログ音声信号に変換し、スピーカ12から音声として出力する。   The sound control unit 24 generates an analog sound signal from the sound collected by the microphone 13 based on the control of the main control unit 20, and converts the analog sound signal into a digital sound signal. Further, when acquiring the digital audio signal, the audio control unit 24 converts the digital audio signal into an analog audio signal based on the control of the main control unit 20, and outputs the analog audio signal as audio from the speaker 12.

通信制御部25はアンテナ25aを備えていて、主制御部20の制御に基づいて、基地局からアンテナ25aを介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。このデータは、主制御部20の指示により、音声制御部24に伝送されてスピーカ12から出力されたり、または記憶部26に記録されたりする。また通信制御部25は、主制御部20の制御に基づいて、マイクロフォン13で集音された音声データや、記憶部26に記憶されたデータを取得すると、これらのデータに対してスペクトラム拡散処理を行い、基地局に対してアンテナ25aを介して送信する。   The communication control unit 25 includes an antenna 25a, and based on the control of the main control unit 20, the received signal received from the base station via the antenna 25a is subjected to spectrum despreading processing to restore data. This data is transmitted to the voice control unit 24 and output from the speaker 12 or recorded in the storage unit 26 according to an instruction from the main control unit 20. In addition, when the communication control unit 25 acquires sound data collected by the microphone 13 or data stored in the storage unit 26 based on the control of the main control unit 20, the communication control unit 25 performs a spread spectrum process on these data. And transmit to the base station via the antenna 25a.

記憶部26は、主制御部20が行う処理について、処理プログラムや処理に必要なデータなどを格納するROM(Read Only Memory)やハードディスク、不揮発性メモリ、主制御部20が処理を行う際に使用されるデータを一時的に記憶するRAM(Random Access Memory)などから構成される。また、主制御部20が後述する入力制御処理を行う際の処理プログラムは、例えばROMに記憶されているものとする。   The storage unit 26 is used when processing performed by the main control unit 20 is performed by a ROM (Read Only Memory), a hard disk, a non-volatile memory, and the main control unit 20 that store processing programs and data necessary for the processing. RAM (Random Access Memory) that temporarily stores data to be stored. Further, it is assumed that a processing program when the main control unit 20 performs input control processing described later is stored in, for example, a ROM.

また、記憶部26は、ユーザが入力操作を行うための3次元ボタンについて定義されたボタン表示情報30を記憶している。図3は、ボタン表示情報30の一例を示すデータ構成図である。図3に示すように、ボタン表示情報30は、ボタンを識別するためのボタンID情報31に対して、そのボタンのxy平面における表示領域を示す領域情報32、そのボタンの高さ方向であるz軸における表示領域を示す高さ情報33、そのボタンにおいて入力操作を決定するための高さを示す入力操作決定高さ情報34がそれぞれ対応付けられた情報である。ユーザにより、いずれかのボタンのxy平面における表示領域において、入力操作決定高さ情報34に示される高さの平面(入力決定面42)における入力が検知された場合、入力操作が決定されたものと判断されて入力処理が実行される。   The storage unit 26 stores button display information 30 defined for a three-dimensional button for a user to perform an input operation. FIG. 3 is a data configuration diagram illustrating an example of the button display information 30. As shown in FIG. 3, button display information 30 includes button ID information 31 for identifying a button, area information 32 indicating a display area of the button on the xy plane, and z indicating the height direction of the button. The height information 33 indicating the display area on the axis and the input operation determination height information 34 indicating the height for determining the input operation at the button are associated with each other. In the display area on the xy plane of one of the buttons, when an input on the plane of the height indicated by the input operation determination height information 34 (input determination surface 42) is detected, the input operation is determined It is determined that the input process is executed.

図3に示すボタン表示情報30によると、ボタンID「01」に対して、「(2,2)、(2,4)、(4,2)、(4,4)」のxy平面における表示領域、「2−5」の高さのz軸における表示領域、「2」の入力操作決定高さが対応付けられている。また、ボタンID「02」に対して、「(4,2)、(4,4)、(6,2)、(6,4)」のxy平面における表示領域、「2−5」の高さのz軸における表示領域、「2」の入力操作決定高さが対応付けられている。   According to the button display information 30 shown in FIG. 3, for the button ID “01”, “(2, 2), (2, 4), (4, 2), (4, 4)” is displayed on the xy plane. An area, a display area on the z-axis having a height of “2-5”, and an input operation determination height of “2” are associated with each other. In addition, for the button ID “02”, the display area in the xy plane of “(4,2), (4,4), (6,2), (6,4)”, the height of “2-5” The display area on the z axis and the input operation determination height of “2” are associated with each other.

図4は、携帯電話機1の3次元入力検出機能の一例を説明するための概略図である。図4の(i)は、携帯電話機1を3次元表示装置11の正面から見た図であり、図4の(ii)は、携帯電話機1を図1や図4の(i)に示すk方向から見た図である。例えば図4の(i)に示すように、3次元表示装置11は、表示面40の上方(z軸プラス方向)に、ユーザが操作するための複数の3次元ボタン(例えば「0」乃至「9」の3次元ボタン41)を3次元表示する。   FIG. 4 is a schematic diagram for explaining an example of the three-dimensional input detection function of the mobile phone 1. FIG. 4 (i) is a view of the mobile phone 1 as viewed from the front of the three-dimensional display device 11, and FIG. 4 (ii) shows the mobile phone 1 shown in FIG. 1 and FIG. 4 (i). It is the figure seen from the direction. For example, as shown in FIG. 4I, the three-dimensional display device 11 has a plurality of three-dimensional buttons (for example, “0” to “0”) that are operated by the user above the display surface 40 (in the z-axis plus direction). 9 ”three-dimensional button 41) is three-dimensionally displayed.

また、図4の(ii)に示すように、3次元表示装置11は、各々の3次元ボタン41の表示領域に、ユーザの指Uなどの入力媒体を検出するための赤外線を発信している。ユーザが図4の(ii)に示すように3次元ボタン41の表示領域に指Uをかざすと、指Uによって赤外線が反射される。3次元入力検出部22は、このユーザの指Uにより反射された赤外線の反射光を検出することにより、その検出値からユーザの指Uの位置を推測して入力処理を確定する。   Further, as shown in FIG. 4 (ii), the three-dimensional display device 11 transmits infrared rays for detecting an input medium such as a user's finger U to the display area of each three-dimensional button 41. . When the user holds the finger U over the display area of the three-dimensional button 41 as shown in (ii) of FIG. 4, infrared light is reflected by the finger U. The three-dimensional input detection unit 22 detects the reflected infrared light reflected by the user's finger U, thereby estimating the position of the user's finger U from the detected value and confirming the input process.

なお、図4において、3次元表示を強調するために、3次元で上方になるオブジェクトの影を下方に描いている。実際の3次元表示においては、視差による擬似的な立体表示であるため、情報のオブジェクトによる影が出ることはないが、説明の表現上影により立体感を示している。   In FIG. 4, in order to emphasize the three-dimensional display, the shadow of the object that is three-dimensionally upward is drawn below. Since the actual three-dimensional display is a pseudo three-dimensional display based on parallax, a shadow by an information object does not appear, but a three-dimensional effect is indicated by a shadow in the description expression.

ここで、携帯電話機1が「0」乃至「9」の3次元ボタン41を3次元表示している状態で、ユーザが所望の3次元ボタン41を選択するときに、主制御部20が入力制御処理を行う際の手順について、図5に示すフローチャート、図6(A)乃至図6(C)に示す概略図に基づいて説明する。なお、図6(A)は、携帯電話機1において入力が行われる直前の状態を示す概略図であり、図6(B)は、携帯電話機1において入力確認表示が行われている状態を示す概略図であり、図6(C)は、携帯電話機1において入力が行われている状態を示す概略図である。   Here, when the user selects the desired three-dimensional button 41 while the three-dimensional button 41 of “0” to “9” is three-dimensionally displayed on the mobile phone 1, the main control unit 20 performs input control. A procedure for performing the process will be described with reference to a flowchart shown in FIG. 5 and schematic diagrams shown in FIGS. 6 (A) to 6 (C). 6A is a schematic diagram illustrating a state immediately before an input is performed on the mobile phone 1, and FIG. 6B is a schematic diagram illustrating a state where an input confirmation display is performed on the mobile phone 1. FIG. 6C is a schematic diagram illustrating a state where input is performed in the mobile phone 1.

3次元表示装置11において、図6(A)の(i)に示すように、「0」乃至「9」の3次元ボタン41が3次元表示されている。具体的には、携帯電話機1は、背景領域(ユーザ操作が適用されない領域)42a、複数の3次元ボタン41を含んだ表示内容全体を3次元表示にて立体で浮かび上がらせていて、これらのうち背面領域42aを入力決定面42に設定して表示させ、さらに各々の3次元ボタン41の高さを背景領域42aより上方(z軸プラス方向)に設定して表示させることで、実物のハードウェア入力キーに類似した立体的な入力ボタンを表現している。   In the three-dimensional display device 11, as shown in (i) of FIG. 6A, three-dimensional buttons 41 “0” to “9” are three-dimensionally displayed. Specifically, the mobile phone 1 has the entire display content including a background area (area to which the user operation is not applied) 42a and a plurality of three-dimensional buttons 41 appear in three dimensions in a three-dimensional display. The rear area 42a is set and displayed on the input decision plane 42, and the height of each three-dimensional button 41 is set above the background area 42a (in the z-axis plus direction) and displayed. A three-dimensional input button similar to the input key is represented.

そしてユーザは、図6(A)の(i)に示すように、3次元表示装置11により3次元表示された任意の3次元ボタン41を選択する際に、まず所望の3次元ボタン41の表示領域のxy座標上方に指Uを位置させる。この際、入力を確定するための入力決定面42を、3次元表示装置11の表示面40よりもz軸のプラス方向に水平移動させた平面としている。このように、3次元表示装置11の表示面40と入力決定面42とを一致させないことで、ユーザは指Uを3次元表示装置11に接触させずに入力操作を行うことができる。   When the user selects an arbitrary three-dimensional button 41 displayed in three dimensions by the three-dimensional display device 11 as shown in (i) of FIG. 6A, first, a desired three-dimensional button 41 is displayed. The finger U is positioned above the xy coordinate of the region. At this time, the input determination surface 42 for confirming the input is a plane that is horizontally moved in the positive direction of the z axis with respect to the display surface 40 of the three-dimensional display device 11. Thus, by not matching the display surface 40 and the input determination surface 42 of the 3D display device 11, the user can perform an input operation without bringing the finger U into contact with the 3D display device 11.

主制御部20は、3次元入力が検出されたかを判断する(S101)。この際、例えば3次元入力検出部22が指Uなどの3次元位置を検出した場合に、3次元入力が検出されたものと判断される。3次元入力が検出されていない場合(S101のNo)は、主制御部20はそのまま待機する。   The main control unit 20 determines whether a three-dimensional input is detected (S101). At this time, for example, when the three-dimensional input detection unit 22 detects a three-dimensional position such as the finger U, it is determined that a three-dimensional input has been detected. When the three-dimensional input is not detected (No in S101), the main control unit 20 waits as it is.

3次元入力が検出された場合(S101のYes)は、主制御部20は、3次元入力検出部22からその検出位置(xy座標の値)を取得する(S103)。また同様に、主制御部20は、3次元入力検出部22からその検出高さ(z座標の値)を取得する(S105)。   When a three-dimensional input is detected (Yes in S101), the main control unit 20 acquires the detection position (value of xy coordinates) from the three-dimensional input detection unit 22 (S103). Similarly, the main control unit 20 acquires the detected height (z coordinate value) from the three-dimensional input detection unit 22 (S105).

主制御部20は、ステップS103にて検出された検出位置がいずれかの3次元ボタン41のボタン領域内であるか否かを判断する(S107)。この際、検出位置のxy座標の値が、ボタン画像が表示されている領域内であった場合に、ボタン領域内であるものと判断される。ボタン表示情報30に基づいて、検出位置が例えば(2,2)、(2,4)、(4,2)、(4,4)をそれぞれ頂点とする矩形領域内(その他、それぞれの点を含む円内などでも良い)であった場合は、ボタンID「01」の3次元ボタン41のボタン領域内であると判断される。検出位置がいずれの3次元ボタン41のボタン領域内でなかった場合(S107のNo)は、ステップS101に戻って、主制御部20は再び3次元入力が検出されたか否かを判断する。   The main control unit 20 determines whether or not the detection position detected in step S103 is within the button area of any three-dimensional button 41 (S107). At this time, if the value of the xy coordinate of the detection position is within the area where the button image is displayed, it is determined that the value is within the button area. Based on the button display information 30, the detection positions are within rectangular areas whose vertices are, for example, (2, 2), (2, 4), (4, 2), (4, 4) If it is within a circle including the same), it is determined that it is within the button area of the three-dimensional button 41 with the button ID “01”. If the detected position is not within the button area of any of the three-dimensional buttons 41 (No in S107), the process returns to step S101, and the main control unit 20 determines again whether or not a three-dimensional input has been detected.

検出位置がボタン領域内であった場合(S107のYes)は、主制御部20は、ステップS105にて取得した検出高さがボタン描画範囲内か否かを判断する(S109)。この際、検出高さのz座標の値が、ボタン画像が3次元表示されている領域内にあった場合に、ボタン描画範囲内であるものと判断される。ボタン表示情報30に基づいて、検出高さが例えば2以上5以下であった場合は、ボタンID「01」のボタン41のボタン描画範囲内であるものと判断される。検出高さがボタン描画範囲内でなかった場合(S109のNo)は、ステップS101に戻って、主制御部20は再び3次元入力が検出されたか否かを判断する。   When the detected position is within the button area (Yes in S107), the main control unit 20 determines whether or not the detected height acquired in Step S105 is within the button drawing range (S109). At this time, if the value of the z coordinate of the detected height is within the area where the button image is displayed in three dimensions, it is determined that the value is within the button drawing range. Based on the button display information 30, when the detected height is 2 or more and 5 or less, for example, it is determined that it is within the button drawing range of the button 41 with the button ID “01”. If the detected height is not within the button drawing range (No in S109), the process returns to step S101, and the main control unit 20 determines again whether or not a three-dimensional input has been detected.

検出高さがボタン描画範囲内であった場合(S109のYes)は、主制御部20は、ステップS105にて検出された検出高さに応じて、3次元表示されたボタンの高さ(z方向長さ)を変更して、3次元ボタン41を再表示させる(S111)。そのとき選択されている3次元ボタン41が半押し状態で表示されることにより、ユーザは、入力確定前の段階で、入力が予想される3次元ボタン41を確認することができる。ボタン表示情報30によると、例えば検出高さが4であった場合には、ボタンID「01」のボタン41のボタン描画領域の高さが「2−5」から「2−4」に変更され、例えば図6(B)の(i)(ii)に示すように、ボタンID「01」のボタン41が半押し状態で表示させる。   When the detected height is within the button drawing range (Yes in S109), the main control unit 20 determines the height (z) of the button displayed three-dimensionally according to the detected height detected in Step S105. The direction length is changed and the three-dimensional button 41 is displayed again (S111). Since the three-dimensional button 41 selected at that time is displayed in a half-pressed state, the user can confirm the three-dimensional button 41 that is expected to be input before the input is confirmed. According to the button display information 30, for example, when the detected height is 4, the height of the button drawing area of the button 41 with the button ID “01” is changed from “2-5” to “2-4”. For example, as shown in (i) and (ii) of FIG. 6B, the button 41 with the button ID “01” is displayed in a half-pressed state.

これらのステップS101乃至S111の処理により、ユーザがデータ入力の際に、図6(A)の(ii)に示すように3次元ボタン41を押下するようにz軸方向において指Uを表示面40に近づける方向(z軸マイナス方向)に動かしていき、そして、図6(B)の(iv)に示すように、指Uがいずれかの3次元ボタン41のz軸方向の表示領域内に位置されると、図6(iii)に示すように、3次元ボタン41の高さ(3次元ボタン41のz軸方向における表示領域)が、指Uのz軸位置と合致するように設定されてその3次元ボタン41が再表示される。   With the processing in steps S101 to S111, when the user inputs data, the finger U is displayed on the display surface 40 in the z-axis direction so as to press the three-dimensional button 41 as shown in (ii) of FIG. The finger U is positioned in the display area in the z-axis direction of any of the three-dimensional buttons 41 as shown in (iv) of FIG. 6B. Then, as shown in FIG. 6 (iii), the height of the three-dimensional button 41 (the display area in the z-axis direction of the three-dimensional button 41) is set to match the z-axis position of the finger U. The three-dimensional button 41 is displayed again.

このように、ユーザの動作によって3次元表示された3次元ボタン41に指Uが近接すると、その指の押下動作に合わせて3次元ボタン41の高さを大きくしたり小さくしたりすることにより、ユーザには実際のハードウェア操作キーを押す操作と同様に見えるようになり、操作が視覚的に理解しやすくなる。   As described above, when the finger U comes close to the three-dimensional button 41 displayed three-dimensionally by the user's operation, the height of the three-dimensional button 41 is increased or decreased according to the pressing operation of the finger. The user can see the same operation as pressing an actual hardware operation key, and the operation can be easily understood visually.

なお、この際に指の押下動作にあわせ、携帯電話機1のバイブレータを弱から徐々に強めていくことや、操作に合わせた効果音(キーボードが押される音に類似させた音など)を再生させることにより、よりボタン押下の臨場感を出すことが可能である。   At this time, the vibrator of the mobile phone 1 is gradually strengthened from the weak according to the pressing operation of the finger, and the sound effect according to the operation (sound similar to the sound of pressing the keyboard, etc.) is reproduced. By doing this, it is possible to provide a more realistic feeling of pressing the button.

主制御部20は、ステップS105にて取得した検出高さが、入力操作決定処理の高さであるか否かを判断する(S113)。この際、図6(C)の(ii)に示すように、例えばユーザの指Uの検出高さが入力決定面42と同じ高さになり、検出高さのz座標が選択決定面42の高さであった場合に、主制御部20は、入力操作決定処理の高さであるものと判断する。ボタン表示情報30に基づいて、検出高さが例えば2であった場合は、ボタンID「01」の3次元ボタン41の入力操作決定処理の高さであるものと判断される。   The main control unit 20 determines whether or not the detected height acquired in step S105 is the height of the input operation determination process (S113). At this time, as shown in (ii) of FIG. 6C, for example, the detection height of the user's finger U is the same as the input determination plane 42, and the z coordinate of the detection height is the selection determination plane 42. When the height is the height, the main control unit 20 determines that the height is the height of the input operation determination process. Based on the button display information 30, when the detected height is 2, for example, it is determined that the input operation determination process for the three-dimensional button 41 with the button ID “01” is performed.

検出高さが入力決定処理の高さでなかった場合(S113のNo)は、ステップS101に戻って、主制御部20は再び3次元入力が検出されたか否かを判断する。検出高さが入力決定処理の高さであった場合(S113のYes)は、主制御部20は、その3次元ボタン41が選択されたものと判断して、ユーザにより選択された3次元ボタン41に対応する処理を行う(S115)。このとき、図6(C)の(v)に示すように、3次元ボタン41は全押し状態で表示される。そして再びステップS101に戻って、主制御部20は3次元入力が検出されたか否かを判断する。主制御部20がステップS101乃至S115の処理を繰り返すことにより、携帯電話機1の入力制御が行われる。   If the detected height is not the height of the input determination process (No in S113), the process returns to step S101, and the main control unit 20 determines again whether or not a three-dimensional input has been detected. When the detected height is the height of the input determination process (Yes in S113), the main control unit 20 determines that the three-dimensional button 41 is selected, and the three-dimensional button selected by the user Processing corresponding to 41 is performed (S115). At this time, as shown in (v) of FIG. 6C, the three-dimensional button 41 is displayed in a fully pressed state. Then, returning to step S101 again, the main control unit 20 determines whether or not a three-dimensional input is detected. The main control unit 20 repeats the processing of steps S101 to S115, whereby input control of the mobile phone 1 is performed.

これらのステップS113乃至S115の処理によって、図6(C)の(vi)に示すように、指Uが3次元ボタン41の表示領域内を移動して入力決定面42に到達すると、その3次元ボタン41の入力が確定され、図6(C)の(v)に示すように、3次元表示装置11により3次元表示された3次元ボタン41の表示高さが、入力決定面42の高さと等しくなり、全押し状態の3次元ボタン41の画像が表示される。   When the finger U moves within the display area of the three-dimensional button 41 and reaches the input decision plane 42 as shown in (vi) of FIG. 6C by the processing of steps S113 to S115, the three-dimensional The input of the button 41 is confirmed, and the display height of the three-dimensional button 41 displayed three-dimensionally by the three-dimensional display device 11 is equal to the height of the input decision plane 42 as shown in (v) of FIG. The images of the three-dimensional button 41 in the fully pressed state are displayed.

ユーザにより3次元ボタンが選択される際、3次元表示により背景領域42a(すなわち入力決定面42)が3次元表示装置11の表面面40から上方(z軸プラス方向)に浮かせた高さに設定されて表示されることにより、ユーザの操作する指が画面に直接触れることが無く、画面に指紋が付着したり画面が損傷したりすることが防止される。また、入力確定の際に、同時にバイブレータによる振動、決定音、3次元ボタン41の色変化などを併せて行うとなお良い。   When the three-dimensional button is selected by the user, the background region 42a (that is, the input determination surface 42) is set to a height that floats upward (z-axis plus direction) from the surface surface 40 of the three-dimensional display device 11 by three-dimensional display. By being displayed, the finger operated by the user does not directly touch the screen, and it is possible to prevent the fingerprint from attaching to the screen or damaging the screen. Further, at the time of confirming the input, it is preferable to simultaneously perform vibrations by the vibrator, decision sound, color change of the three-dimensional button 41, and the like.

ユーザ操作に伴って3次元ボタン41の半押しの表示(ステップS111における表示)が始まった際に、その時点ではまだ3次元ボタン41の入力が確定されていない。そのため、ユーザは、そのときに押下されている3次元ボタン41を確認して、誤った3次元ボタン41が押下されている場合には、そのまま指Uを上方(z軸プラス方向)に移動させることにより、その3次元ボタン41の表示が、半押し状態の3次元ボタン41の画像から、全く押されていない状態の3次元ボタン41の画像に変更され、入力処理も行われない。そしてユーザは所望の3次元ボタン41の選択を最初からやり直すことができる。   When the half-press display (display in step S111) of the three-dimensional button 41 is started in accordance with the user operation, the input of the three-dimensional button 41 has not yet been confirmed at that time. Therefore, the user confirms the three-dimensional button 41 that is being pressed at that time, and if the wrong three-dimensional button 41 is pressed, moves the finger U upward (z-axis plus direction) as it is. As a result, the display of the three-dimensional button 41 is changed from the image of the three-dimensional button 41 in the half-pressed state to the image of the three-dimensional button 41 in the state of not being pressed at all, and the input process is not performed. Then, the user can redo the selection of the desired three-dimensional button 41 from the beginning.

このようにして携帯電話機1は、ユーザ操作インタフェース(3次元ボタン41など)を、3次元表示装置11の表示面40の上方に立体的に表示してユーザの指Uなどの位置を3次元で検出するために、ユーザの中空での操作位置とユーザ操作インタフェースの表示位置とを同一の位置及び高さに設定する。これにより、3次元入力装置を用いたデータ入力の際のユーザ操作性を向上させることができる。すなわち、携帯電話機1は、ユーザに直感的な入力インタフェースを提供するとともに、誤操作の回避、デバイスの汚損を防止する。   In this way, the mobile phone 1 displays a user operation interface (such as the three-dimensional button 41) in a three-dimensional manner above the display surface 40 of the three-dimensional display device 11 so that the position of the user's finger U or the like is three-dimensionally displayed. In order to detect, the user's hollow operation position and the display position of the user operation interface are set to the same position and height. Thereby, user operability at the time of data input using a three-dimensional input device can be improved. That is, the mobile phone 1 provides an intuitive input interface to the user, avoids erroneous operations, and prevents device contamination.

また、携帯電話機1は、ユーザ入力の際に3次元ボタン41の半押し状態から全押し状態までの遊び(余裕)があるため、ユーザがそのとき選択中の3次元ボタン41を確認しつつ入力できることから、ユーザの誤操作が防止される。   Further, since the mobile phone 1 has a play (margin) from the half-pressed state to the fully-pressed state of the three-dimensional button 41 at the time of user input, the user inputs while checking the selected three-dimensional button 41 at that time. As a result, it is possible to prevent an erroneous operation by the user.

また、例えば3次元ボタン41を半押し状態において、検出高さが変わらずに検出位置が移動したときには誤操作とみなして入力決定を行わないことにより、ユーザの意図に反して指Uや携帯電話機1が動いてしまったために、指Uの位置が操作対象の3次元ボタン41からずれてしまった場合にも、他の3次元ボタン41に対応付けられた処理が誤って実行されてしまうことが防止される。   Further, for example, when the detection position is moved without changing the detection height in the half-pressed state of the three-dimensional button 41, it is regarded as an erroneous operation and input determination is not performed. Therefore, even when the position of the finger U is deviated from the three-dimensional button 41 to be operated due to the movement of the button, it is possible to prevent the process associated with the other three-dimensional button 41 from being erroneously executed. Is done.

また、携帯電話機1は、3次元入力検出部22により検出された指Uの検出高さに合わせ、3次元表示された3次元ボタン41の表示高さ(または傾斜)を変化させる。また、ユーザによる選択操作に合わせて表示の変更とともに音のボリューム変化や、バイブレータの振動強弱により、ユーザに選択行為を喚起することができる。これは物理的なキースイッチを押下する感覚に近い表示表現となり、ユーザが直感的に判断しやすいものである。   Further, the mobile phone 1 changes the display height (or inclination) of the three-dimensional button 41 displayed in three dimensions according to the detected height of the finger U detected by the three-dimensional input detection unit 22. In addition, the user can be prompted to make a selection action by changing the display in accordance with the selection operation by the user and by changing the volume of the sound and the vibration level of the vibrator. This is a display expression close to the feeling of pressing a physical key switch, and is easy for the user to make an intuitive determination.

また、携帯電話機1は、3次元表示装置11の表示面40に直接触れずに入力操作できることから、画面に指紋や汚れが付着したり、画面を傷つけてしまうことを抑止することが期待される。   In addition, since the mobile phone 1 can perform an input operation without directly touching the display surface 40 of the three-dimensional display device 11, it is expected to prevent fingerprints and dirt from being attached to the screen or damaging the screen. .

なお、実施例として入力媒体の検出位置が変更される毎に、その検出高さに合わせてオブジェクト(3次元ボタン41など)の高さを連続的に変更させる例を示したが、これに限定されない。携帯電話機1は、例えば3次元ボタン41が押されていない状態、全押し状態、半押し状態の3種類の画像を予め記憶しておき、入力媒体が3次元ボタン41の表示領域内に位置していない間、押されていない状態の3次元ボタン41を表示させ、入力媒体が3次元ボタン41の表示領域内に位置しているが入力決定面42に位置していない間、半押し状態の3次元ボタン41を表示させ、入力媒体が3次元ボタン41の表示領域内に位置するとともに入力決定面42に位置している間、全押し状態の3次元ボタン41を表示させるように構成されても良い。   As an example, an example in which the height of an object (such as the three-dimensional button 41) is continuously changed according to the detection height every time the detection position of the input medium is changed has been described. Not. The mobile phone 1 stores, for example, three types of images in a state where the three-dimensional button 41 is not pressed, a fully-pressed state, and a half-pressed state in advance, and the input medium is located within the display area of the three-dimensional button 41. The three-dimensional button 41 in a non-pressed state is displayed while the input medium is not pressed, and the input medium is in a half-pressed state while being positioned in the display area of the three-dimensional button 41 but not on the input decision plane 42. The three-dimensional button 41 is displayed, and the three-dimensional button 41 in a fully-pressed state is displayed while the input medium is located in the display area of the three-dimensional button 41 and located on the input determination surface 42. Also good.

図7(A)は、携帯電話機1において入力が行われる前の状態の別例を示す概略図であり、図7(B)は携帯電話機1において入力が行われている状態の別例を示す概略図である。図7(A)の(i)、(ii)に示すように、3次元表示装置11における3次元表示において、3次元ボタン41aが表示面40に対して傾斜を有する平面として3次元表示されても良い。この場合には、図7(B)の(i)、(ii)に示すように、3次元ボタン41が押されていない状態から半押し状態に、あるいは半押し状態から全押し状態に切り替わる際には傾斜が緩やかになるように変更され、3次元ボタン41が全押し状態から半押し状態に、あるいは半押し状態から押されていない状態に切り替わる際には傾斜が大きくなるように変更されて表示される。   FIG. 7A is a schematic diagram illustrating another example of a state before input is performed on the mobile phone 1, and FIG. 7B illustrates another example of a state where input is performed on the mobile phone 1. FIG. As shown in (i) and (ii) of FIG. 7A, in the three-dimensional display on the three-dimensional display device 11, the three-dimensional button 41a is three-dimensionally displayed as a plane having an inclination with respect to the display surface 40. Also good. In this case, as shown in (i) and (ii) of FIG. 7B, when the three-dimensional button 41 is switched from a state where the three-dimensional button 41 is not pressed to a half-pressed state, or from a half-pressed state to a fully-pressed state. Is changed so that the inclination becomes gentle, and when the three-dimensional button 41 is switched from the fully pressed state to the half-pressed state or from the half-pressed state to the non-pressed state, the inclination is increased. Is displayed.

銀行ATM(Automated Teller Machine)などのようにユーザの視点が表示装置の直上ではなく斜め角となる場合には、背景領域を水平に表示させるとともに3次元ボタン41aを水平面に対して傾斜を持たせて3次元表示させることにより、見易さの向上を図ることができる。そして、ユーザの指Uが画面に近接する毎に、3次元ボタン41aの傾斜を小さくして3次元ボタン41aを徐々に寝かせていき、背景領域と平行になる位置にて入力確定とすると良い。   When the user's viewpoint is an oblique angle rather than directly above the display device, such as bank ATM (Automated Teller Machine), the background area is displayed horizontally and the 3D button 41a is inclined with respect to the horizontal plane. By making the display three-dimensional, the visibility can be improved. Then, every time the user's finger U comes close to the screen, the inclination of the three-dimensional button 41a is reduced, and the three-dimensional button 41a is gradually laid, and input is confirmed at a position parallel to the background area.

また、携帯電話機1において、背面領域(ユーザ操作に適用されない領域)の立体表示は行わず、ユーザが操作できるボタンやスライダーなどや、特に立体表示させたいオブジェクトのみを立体階層で表示させても良い。すなわち3次元表示装置11の表示面40と背景面とを同じ高さ(z軸の値)に設定して表示させても良い。また、ユーザが立体視するのが困難な場合などには、2次元表示に切り替えることも可能なように構成すると良い。   Further, in the mobile phone 1, the back area (area not applied to the user operation) is not stereoscopically displayed, and only buttons and sliders that can be operated by the user, and particularly objects that are desired to be stereoscopically displayed may be displayed in a stereoscopic hierarchy. . That is, the display surface 40 and the background surface of the three-dimensional display device 11 may be set to the same height (z-axis value) and displayed. In addition, when it is difficult for the user to stereoscopically view the image, it may be configured to be able to switch to the two-dimensional display.

本発明に係る3次元入力表示装置(携帯電話機1)によると、3次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することが可能となる。   According to the three-dimensional input display device (mobile phone 1) according to the present invention, it is possible to perform input by performing an operation such that the user directly touches an object displayed in three dimensions, thereby enabling the user to perform input. It is possible to provide an intuitive input environment and to prevent erroneous input.

本発明の説明として、携帯電話機1について説明したが、これに限らず、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)、MID(Mobile Internet Device)、携帯音楽プレイヤー、携帯ビデオカメラ、携帯ゲーム機など、3次元入力表示機能を備えている情報処理端末であれば、任意の情報処理端末であっても良い。   As an explanation of the present invention, the mobile phone 1 has been described. However, the present invention is not limited to this, but PHS (Personal Handyphone System), PDA (Personal Digital Assistants), MID (Mobile Internet Device), mobile music player, mobile video camera, mobile game Any information processing terminal may be used as long as it is an information processing terminal having a three-dimensional input display function, such as a computer.

1…携帯電話機,10…筐体,11…3次元表示装置,12…スピーカ,13…マイクロフォン,14…操作キー,20…主制御部,21…電源回路部,22…3次元入力検出部,23…3次元表示制御部,24…音声制御部,25…通信制御部,25a…アンテナ,26…記憶部,30…ボタン表示情報,31…ボタンID情報,32…領域情報,33…高さ情報,34…入力操作決定情報,40…3次元表示装置の表示面,41、41a…3次元ボタン,42…入力決定面,42a…背景領域,U…ユーザの指。   DESCRIPTION OF SYMBOLS 1 ... Mobile phone, 10 ... Housing | casing, 11 ... Three-dimensional display apparatus, 12 ... Speaker, 13 ... Microphone, 14 ... Operation key, 20 ... Main control part, 21 ... Power supply circuit part, 22 ... Three-dimensional input detection part, 23 ... 3D display control unit, 24 ... Audio control unit, 25 ... Communication control unit, 25a ... Antenna, 26 ... Storage unit, 30 ... Button display information, 31 ... Button ID information, 32 ... Area information, 33 ... Height Information, 34 ... Input operation decision information, 40 ... Display surface of 3D display device, 41, 41a ... 3D button, 42 ... Input decision surface, 42a ... Background region, U ... User's finger.

Claims (5)

オブジェクトを所定高さで3次元表示する表示手段と、
入力媒体の3次元位置を非接触で検出する検出手段と、
前記検出手段により検出された3次元位置が、前記表示手段により表示されたオブジェクトの表示領域内であった場合、このオブジェクトの高さを前記3次元位置に基づいて変更する表示制御手段と、
前記検出手段により検出された3次元位置が前記表示手段により表示されたオブジェクトの表示領域内であり、かつ前記検出手段により検出された3次元位置から前記表示手段までの距離が所定距離であった場合、このオブジェクトに対応付けられたデータを入力する入力手段とを備えたことを特徴とする3次元入力表示装置。
Display means for three-dimensionally displaying an object at a predetermined height;
Detecting means for detecting the three-dimensional position of the input medium in a non-contact manner;
Display control means for changing the height of the object based on the three-dimensional position when the three-dimensional position detected by the detection means is within the display area of the object displayed by the display means;
The three-dimensional position detected by the detection means is within the display area of the object displayed by the display means, and the distance from the three-dimensional position detected by the detection means to the display means is a predetermined distance. A three-dimensional input display device comprising an input means for inputting data associated with the object.
前記表示手段により表示されるオブジェクトが入力ボタンであり、
前記表示制御手段は、前記検出手段により検出された3次元位置に基づいて、前記入力ボタンの高さを変更することにより、前記入力ボタンが押されていない状態、半押しされている状態、あるいは全押しされている状態のいずれかの状態を表示させることを特徴とする請求項1記載の3次元入力表示装置。
The object displayed by the display means is an input button,
The display control means changes the height of the input button based on the three-dimensional position detected by the detection means, so that the input button is not pressed, half-pressed, or 2. The three-dimensional input display device according to claim 1, wherein any one of the fully-pressed states is displayed.
前記表示手段により表示されるオブジェクトが前記表示手段の表示面に対して傾斜を有する平面状の入力ボタンであり、
前記表示制御手段は、前記検出手段により検出された3次元位置に基づいて前記入力ボタンの傾斜を変更することにより前記入力ボタンの高さを変更することを特徴とする請求項1記載の3次元入力表示装置。
The object displayed by the display means is a planar input button having an inclination with respect to the display surface of the display means,
The three-dimensional display according to claim 1, wherein the display control means changes the height of the input button by changing the inclination of the input button based on the three-dimensional position detected by the detection means. Input display device.
前記表示手段は、前記オブジェクト以外の表示内容を表示する際、前記表示手段の表示面から前記所定距離だけ離れた位置に表示することを特徴とする請求項1記載の3次元入力表示装置。   2. The three-dimensional input display apparatus according to claim 1, wherein when displaying the display content other than the object, the display means displays the display content at a position away from the display surface of the display means by the predetermined distance. 前記表示手段は、第1のオブジェクト及び第2のオブジェクトを3次元表示し、
前記入力手段は、前記検出手段により検出された3次元位置が、前記表示手段までの距離が変更されずに、前記第1のオブジェクトの表示領域内から第2のオブジェクトの表示領域内に移動した場合、前記3次元位置が前記第2のオブジェクトの表示領域内でありかつ前記3次元位置から前記表示手段までの距離が所定距離であった場合であっても前記第2のオブジェクトに対応付けられたデータの入力を行わないことを特徴とする請求項1記載の3次元入力表示装置。
The display means three-dimensionally displays the first object and the second object,
The input means moves the three-dimensional position detected by the detection means from the display area of the first object to the display area of the second object without changing the distance to the display means. In this case, even when the three-dimensional position is within the display area of the second object and the distance from the three-dimensional position to the display means is a predetermined distance, the three-dimensional position is associated with the second object. 3. The three-dimensional input display apparatus according to claim 1, wherein no data is input.
JP2009264905A 2009-11-20 2009-11-20 3D input display device Expired - Fee Related JP5446769B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009264905A JP5446769B2 (en) 2009-11-20 2009-11-20 3D input display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009264905A JP5446769B2 (en) 2009-11-20 2009-11-20 3D input display device

Publications (2)

Publication Number Publication Date
JP2011108152A JP2011108152A (en) 2011-06-02
JP5446769B2 true JP5446769B2 (en) 2014-03-19

Family

ID=44231515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009264905A Expired - Fee Related JP5446769B2 (en) 2009-11-20 2009-11-20 3D input display device

Country Status (1)

Country Link
JP (1) JP5446769B2 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5703703B2 (en) 2010-11-11 2015-04-22 ソニー株式会社 Information processing apparatus, stereoscopic display method, and program
JP5815303B2 (en) * 2011-06-28 2015-11-17 京セラ株式会社 Electronic device, control method, and control program
JP5864144B2 (en) * 2011-06-28 2016-02-17 京セラ株式会社 Display device
JP5852346B2 (en) 2011-07-11 2016-02-03 京セラ株式会社 Display device, control system and control program
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
JP2013109421A (en) * 2011-11-17 2013-06-06 Toshiba Corp Electronic apparatus, electronic apparatus control method and electronic apparatus control program
KR20140097226A (en) * 2011-11-21 2014-08-06 가부시키가이샤 니콘 Display device, and display control program
KR101882262B1 (en) * 2011-11-25 2018-08-24 엘지전자 주식회사 Mobile terminal and method for controlling thereof
JP2013127689A (en) * 2011-12-19 2013-06-27 Sharp Corp Information processing device and program for controlling information processing device
WO2014061400A1 (en) * 2012-10-17 2014-04-24 ソニー株式会社 Display device and electronic equipment
JP2014137774A (en) * 2013-01-18 2014-07-28 Denso Corp Display operation device
US10261612B2 (en) * 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
CN112965636A (en) * 2014-12-26 2021-06-15 株式会社尼康 Control device
WO2016103521A1 (en) * 2014-12-26 2016-06-30 株式会社ニコン Detection device and program
KR20170100411A (en) 2014-12-26 2017-09-04 가부시키가이샤 니콘 Detection device, electronic apparatus, detection method and program
KR20170024453A (en) * 2015-08-25 2017-03-07 한신대학교 산학협력단 Pointing device using three dimensional virtual button
KR101926819B1 (en) * 2016-08-29 2018-12-07 한신대학교 산학협력단 Pointing device using three dimensional virtual button

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03217925A (en) * 1990-01-23 1991-09-25 Dainippon Printing Co Ltd On-display screen information input device using hologram display
JP2003085590A (en) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> Method and device for operating 3d information operating program, and recording medium therefor
JP2004272354A (en) * 2003-03-05 2004-09-30 Sanyo Electric Co Ltd Stereoscopic display type operation panel
JP2005189426A (en) * 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> Information display device and information input/output device
JP3939709B2 (en) * 2004-04-30 2007-07-04 日本電信電話株式会社 Information input method and information input / output device
JP2006235859A (en) * 2005-02-23 2006-09-07 Yamaha Corp Coordinate input device
JP4728019B2 (en) * 2005-03-11 2011-07-20 キヤノン電子株式会社 Button control apparatus and method, and program
JP2008210348A (en) * 2007-02-28 2008-09-11 Univ Of Tokyo Image display device

Also Published As

Publication number Publication date
JP2011108152A (en) 2011-06-02

Similar Documents

Publication Publication Date Title
JP5446769B2 (en) 3D input display device
EP2490109B1 (en) Mobile terminal and method for controlling the same
US10101874B2 (en) Apparatus and method for controlling user interface to select object within image and image input device
CN104767874B (en) Mobile terminal and control method thereof
CN103080887B (en) Apparatus and method for proximity based input
EP2824559B1 (en) Mobile terminal and control method thereof
EP3037947B1 (en) Mobile terminal with locking functionality
KR101806891B1 (en) Mobile terminal and control method for mobile terminal
KR101781908B1 (en) Mobile terminal and control method thereof
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
KR101887452B1 (en) Apparatus for unlocking mobile terminal and method thereof
WO2008062586A1 (en) Display, display method, display program, and recording medium
JP2014503927A (en) Mobile device for displaying 3D video including a plurality of layers and display method thereof
KR20140146889A (en) Electric device and operation method thereof
KR101873746B1 (en) Mobile terminal and method for controlling thereof
KR20110054256A (en) Mobile terminal and method for controlling thereof
CN103460257A (en) Stereoscopic display device, method for accepting instruction, program, and medium for recording same
JP2013084096A (en) Information processing apparatus
JP5463934B2 (en) 3D input device
KR20140090074A (en) Image display device and controlling method thereof
KR20120034303A (en) Mobile terminal and method for controlling thereof
KR20180065692A (en) Mobile terminal and method for controlling the same
KR101833826B1 (en) Mobile terminal and method for controlling thereof
KR20120029597A (en) Mobile terminal and method for processing image thereof
KR20190135958A (en) User interface controlling device and method for selecting object in image and image input device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees