KR101298848B1 - 표시 장치, 영상 표시 시스템, 및 영상 표시 방법 - Google Patents

표시 장치, 영상 표시 시스템, 및 영상 표시 방법 Download PDF

Info

Publication number
KR101298848B1
KR101298848B1 KR1020110069881A KR20110069881A KR101298848B1 KR 101298848 B1 KR101298848 B1 KR 101298848B1 KR 1020110069881 A KR1020110069881 A KR 1020110069881A KR 20110069881 A KR20110069881 A KR 20110069881A KR 101298848 B1 KR101298848 B1 KR 101298848B1
Authority
KR
South Korea
Prior art keywords
operating element
external force
display
image
display surface
Prior art date
Application number
KR1020110069881A
Other languages
English (en)
Other versions
KR20120008450A (ko
Inventor
마사시 츠보이
신지 기무라
마사아키 후쿠모토
츠토무 호리코시
다카유키 다무라
Original Assignee
엔티티 도꼬모 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔티티 도꼬모 인코퍼레이티드 filed Critical 엔티티 도꼬모 인코퍼레이티드
Publication of KR20120008450A publication Critical patent/KR20120008450A/ko
Application granted granted Critical
Publication of KR101298848B1 publication Critical patent/KR101298848B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

표시 장치는, 표시면에 영상을 표시하는 표시 수단; 자성 부재를 포함하는 조작 요소의 위치를, 상기 표시면에 대해서, 검출하는 검출 수단; 및 상기 검출 수단에 의해 검출된 상기 조작 요소의 위치 및 상기 표시 수단에 의해 표시되는 상기 영상의 내용에 따라, 상기 표시면에 의해 면하는 공간내에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 외력 부여 수단을 포함한다.

Description

표시 장치, 영상 표시 시스템, 및 영상 표시 방법 {DISPLAY DEVICE, IMAGE DISPLAY SYSTEM, AND IMAGE DISPLAY METHOD}
본 발명은, 표시되는 영상에 따른 힘 또는 터치의 감각을 사용자에게 제공하는 표시 장치, 영상 표시 시스템, 및 영상 표시 방법에 관한 것이다.
사용자의 손이나 손가락에 외력을 제공하도록 외부 부재에 부착된 조작 요소를 갖는 장치를 포함하여, 사용자의 손이나 손가락에 힘의 감각 및 터치의 감각 중 적어도 하나를 제공하기 위한 몇몇의 장치가 알려져 있다. 예를 들면, 사용자에게 힘의 감각 또는 터치의 감각이 제공되는, 사용자에 의해 파지되는 요소(조작 요소)(일본국 JP-A-2007-510232공보), 및 사용자의 손이나 손가락으로부터 주위의, 고정-위치된 구동원으로 연장하도록 와이어가 제공되어, 힘의 감각이 와이어의 장력에 의해 발생되는 장치(일본국 JP-A-2003-172662 공보)를 포함하여, 탁상 등에 배치되는 로봇 장치가 알려져 있다.
또한, 조작 요소가 외부 부재에 부착되지 않은 장치로서는, 복수의 자이로 모터(gyro motor)의 회전 각속도를 변화시키는 것에 의해 원하는 방향으로 외력을 발생시키는 장치가 있다(일본 JP-A-2004-177360 공보). 또한, 카메라에 의해 검출되는 펜의 위치에 따라 힘을 발생시키고, 그에 의해 펜을 쥔 사용자가 영상에 터치하는 감각을 체험할 수 있는, 마커(marker)와 내장형 모터가 장치된 펜-형의 조작 요소가 제안되어 있다(Sho Kamuro, Kouta Minamizawa, Naoki Kawakami, and Susumu Tachi: "Pen de Touch," International Conference on Computer Graphics and Interactive Techniques archive SIGGRAPH '09, Posters, 2009). 또한, 손가락에 2개의 모터와 벨트가 부착됨으로써, 각 모터의 회전 방향의 제어가 손가락의 누르는 방향에 있어서의 힘(수직력)과 손가락을 측방향으로 이동시키는 힘(전단력)을 표현하며, 그에 의해 사용자로 하여금 물체의 무게나 관성 질량을 느낄 수 있게 하는 장치가 제안되어 있다(Kouta Minamizawa, Souichiro Fukamachi, Hiroyuki Kajimoto, Naoki Kawakami, and Susumu Tachi: "Wearable Haptic Display to Present Mass and Internal Dynamics of Virtual Objects," Transactions of the Virtual Reality Society of Japan, Vol. 13, No. 1, 2008-03).
이상과 같이, 입력 조작에 따라 사용자에게 힘의 감각이나 촉각을 제공하기 위한 다양한 기술들이 제안되어 있다. 특히, 실제 물리적인 접촉을 표시부에 표시되는 영상과 에뮬레이트(emulate)하는 감각을 사용자에게 제공하기 위해서 가상 현실 등의 분야에 대한 그러한 기술들 응용이 기대되고 있다.
그렇지만, 일본국 JP-A-2007-510232 공보 및 일본국 JP-A-2003-172662 공보에 기재된 기술들에서와 같이, 조작 요소의 일부가 외부 부재에 부착되어 있는 경우에, 조작 요소와의 접속에 한 제약이 부과되며, 이것은, 일본국 JP-A-2007-510232 공보에 나타내어진 장치에서와 같이, 조작 요소의 이동 범위가 한정되거나, 일본국 JP-A-2003-172662 공보에 기재된 기술과 같이, 매우 복잡한 구성이 필요해지는 문제를 만든다.
일본국 JP-A-2004-177360 공보 및 이외의 2개의 종래 기술 문헌은, 사용자에 의해 착용 또는 파지될 조작 요소가 외부 부재에 접속되는 부분을 포함하지 않는 기술들을 제안할지라도, 이러한 기술들은 모터나 액츄에이터를 작동시키기 위해서 동력을 필요로 하고, 배터리와 같은 동력원이 모터나 액츄에이터와 함께 사용자-착용 혹은 사용자-파지 조작 요소에 내장된다.
본 발명의 목적은, 종래의 조작 요소에 비해 더 간단한 구성 및 더 높은 조작의 자유도를 갖는 조작 요소에, 영상의 내용에 따라 외력이 부여될 수 있게 하는 것이다.
그러한 목적을 달성하기 위해, 본 발명의 일 양태에 있어서, 표시면에 영상을 표시하는 표시 수단; 자성 부재(magnetic member)를 포함하는 조작 요소의 위치를, 상기 표시면에 대해서, 검출하는 검출 수단; 및 상기 검출 수단에 의해 검출된 상기 조작 요소의 위치 및 상기 표시 수단에 의해 표시되는 상기 영상의 내용에 따라, 상기 표시면에 의해 면하는 공간내에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 외력 부여 수단을 포함하는 표시 장치가 제공된다.
바람직하게, 상기 검출 수단은 이미징(imaging)을 실행하는 이미징 수단을 포함하고, 상기 이미징 수단에 의해 생성된 상기 조작 요소의 영상에 기반하여 상기 조작 요소의 위치를 검출한다.
또한, 바람직하게, 상기 표시 수단은, 상이한 뷰잉(viewing) 위치들에 대응하는 복수의 영상을 합성하여, 가상 물체를 입체시되게(viewed stereoscopically) 하여 상기 공간에 나타나게 하는 합성된 영상을 표시하고; 상기 검출 수단은, 상이한 이미징 방향들을 갖는 복수의 이미징 수단을 포함하고, 상기 복수의 이미징 수단의 각각에 의해 캡쳐된 상기 조작 요소의 영상에 기반하여, 상기 표시면에 대한 상기 공간에 있어서의 상기 조작 요소의 위치를 검출하며; 그리고 상기 외력 부여 수단은, 상기 공간에 있어서의 가상 물체의 위치 및 상기 검출 수단에 의해 검출되는 상기 조작 요소의 위치에 기반하여 결정되는 외력을 상기 조작 요소에 부여한다.
또한, 바람직하게, 상기 외력 부여 수단은, 전하를 저장하는 전하 저장 수단 및 코일을 포함하고, 상기 전하 저장 수단에 저장된 전하를 방전하여 상기 코일을 통해 전류를 흐르게 하는 것에 의해, 상기 코일로부터 자장을 발생시킨다.
또한, 바람직하게, 상기 조작 요소는, 미리 정해진 파장역의 전자파(electromagnetic wave) 또는 음파(acoustic wave)를 반사하는 반사재(reflector)를 포함하고, 상기 검출 수단은, 상기 반사재에 의해 반사된 반사파에 기반하여 상기 조작 요소의 위치를 검출한다.
또한, 바람직하게, 상기 조작 요소는, 미리 정해진 파장역의 적외선을 반사하는 재귀반사 부재(retroreflective member)를 포함한다.
또한, 바람직하게, 상기 검출 수단은, 상기 외력 부여 수단이 외력을 부여하기 전 및 후의 양쪽에서의 상기 조작 요소의 위치를 검출하고, 상기 표시 수단은, 상기 검출 수단에 의해 검출된 상기 조작 요소의 위치들간의 거리 및 상기 외력 부여 수단에 의해 부여된 외력에 따라 영상을 표시한다.
또한, 본 발명의 다른 양태에 있어서, 자성 부재를 갖는 조작 요소; 및 앞서 기재된 표시 장치를 포함하는 영상 표시 시스템이 제공된다.
또한, 본 발명의 또 다른 양태에 있어서, 표시 수단에 의해, 표시면에 영상을 표시하는 단계; 검출 수단에 의해, 자성 부재를 포함하는 조작 요소의 상기 표시면에 대한 위치를 검출하는 단계; 및 외력 부여 수단에 의해, 상기 조작 요소의 위치 및 상기 영상의 내용에 따라, 상기 표시면에 의해 면하는 공간에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 단계를 포함하는, 영상 표시 방법이 제공된다.
본 발명에 의하면, 종래의 조작 요소에 비해 더 간단한 구성 및 더 높은 조작의 자유도를 갖는 조작 요소에, 영상의 내용에 따라 외력이 부여되는 것을 가능케 할 수 있다.
본 발명의 예시적인 실시예들이 이제 첨부 도면을 참조하여 상세히 설명될 것이다.
도 1은 본 발명의 예시적인 실시예에 따른 영상 표시 시스템의 외관을 나타내는 개략도이다.
도 2는 영상 표시 시스템의 구성을 나타내는 도이다.
도 3은 영상 표시 시스템의 동작을 설명하는 플로우차트이다.
도 4는 변형된 실시예에 따른 조작 요소의 일례를 나타내는 도이다.
도 5는 변형된 실시예에 따른 영상 표시 시스템의 외관을 나타내는 개략도이다.
도 6은 복수의 코일을 이용하는 외력 부여부를 설명하는 도이다.
도 7은 변형된 실시예에 따른 영상 표시 시스템의 동작을 설명하는 플로우차트이다.
1. 구성
도 1은, 본 발명의 예시적인 실시예에 따른 영상 표시 시스템(1)의 외관을 나타내는 개략도이다. 도 2는, 영상 표시 시스템(1)의 구성을 나타내는 도이다. 영상 표시 시스템(1)은, 영화나 게임과 같은 콘텐츠내의 영상을 사용자에 표시하고, 표시되는 영상에 표현되는 내용에 따라 외력을 사용자의 몸에 부여함으로써, 사용자가 영상의 내용을 터치하고 있는 것 같은 감각을 체험하는 시스템이다. 하기에 있어서, x, y, 및 z성분이 증가하는 방향들은 각각 x(+) 방향, y(+) 방향, z(+) 방향이라고 칭해지고, x, y, 및 z성분이 감소하는 방향들은 각각 x(-) 방향, y(-) 방향, z(-) 방향이라고 칭해진다.
영상 표시 시스템(1)은 표시 장치(10)와 조작 요소(20)를 포함한다. 조작 요소(20)는, 사용자가 파지하기 쉽도록 펜을 본뜬 형상을 가지고 있고, 동력을 필요로 하지 않는 부품만을 포함한다. 조작 요소(20)는 영구 자석(MG)을 포함한다. 영구 자석(MG)이 자성을 띄기 때문에, 조작 요소(20)는 영구 자석(MG)을 통해 자장에 따른 외력을 받을 수 있다. 여기에서 “자장에 따른 외력”이란, 영구 자석(MG)이 미리 정해진 강도 이상의 강도를 갖는 자장에 놓일 때에 발생되는 역치 이상의 외부장(external field)을 나타낸다는 것이 주목되어진다.
조작 요소(20)는, 외부 부재에 접속되어 있지 않고, 따라서, 사용자는 조작 요소(20)를 파지하면서 조작 요소(20)를 자유롭게 움직일 수 있다. 또한, 조작 요소(20)에는, 그 위치의 검출에 이용되는 마커로서 역할을 하는 재귀반사 부재가 장치되어 있다. 이 재귀반사 부재는, 임의의 방향으로부터의 입사광이 그 소스(source)쪽으로 되 반사되는 복수의 반사면의 조합을 포함한다.
표시 장치(10)는, 검출부(100), 표시부(200), 외력 부여부(300) 및 제어부(400)를 포함한다. 제어부(400)는, CPU(Central Processing Unit; 중앙 처리 장치), ROM(Read Only Memory; 판독 전용 메모리), RAM(Random Access Memory; 랜덤 액세스 메모리), 및 기억부를 포함하며, ROM에 기억되어 있는 부트 로더(boot loader)나 기억부(12)에 기억되어 있는 컴퓨터 프로그램을 읽어내어 실행하며, 그에 의해 표시 장치(10)의 각 부를 제어한다. 또한, 제어부(400)는, 표시 장치(10)의 하우징내에 담겨지고, 따라서 도 1에서는 나타내어져 있지 않다는 것이 주목되어진다.
표시부(200)는, 예를 들면, 복수의 화소를 포함하는 표시면을 갖는다. 이러한 표시부(200)는, 액정 디스플레이 및 렌티큐얼러 렌즈(lenticular lens)로 구성되는 멀티뷰-타입(multiview-type)의 오토스테레오스코픽 디스플레이(autostereoscopic display)이다. 제어부(400)로부터의 지시에 의해, 표시부(200)는 상이한 뷰잉 위치에 따른 복수의 영상을 합성하여, 합성된 영상을 표시면에 표시한다. 렌티큐얼러 렌즈로 인해서, 복수의 영상의 각각을 구성하는 광은, 이러한 영상들 중 다른 영상을 구성하는 광이 진행하는 방향과는 상이한 방향으로 진행되어지며, 그 결과로서, 이러한 영상들에 의해 표현되는 물체(이하, “가상 물체”)가 사용자에게는 공간내에 배치되는 3-D 물체로서 지각된다. 즉, 표시부(200)는, 상이한 뷰잉 위치들에 따른 복수의 영상을 합성하고, 가상 물체를 입체시되게 하여 공간에 나타나게 하는 합성된 영상을 표시하기 위한 표시 수단으로서 역할을 한다.
예를 들면, 도 1에 나타낸 바와 같이, x, y, 및 z축에 의해 나타내어지는 공간에 있어서, 표시부(200)가 z(+) 방향으로 법선을 갖는 표시면을 포함하고 있다고 가정되는 경우에 있어서, 표시부(200)가 상이한 뷰잉 위치들에 따른 복수의 영상의 합성에 의해 획득되는 영상을 표시할 때, 이러한 복수의 영상의 각각에 따른 광이 표시면의 z(+) 방향의 공간으로 방출된다. 이 표시면이 표시되는 영상에 따른 광이 방출되는 공간은 “표시면에 의해 면하는 공간”이라고 칭해질 것이다. 양눈 시차로 인해서, 표시면을 보는 사용자는, 파선에 의해 가리켜진 위치에서의 공간에 있어서 가상 물체(50)가 존재한다고 지각할 것이다.
검출부(100)는, 표시부(200)의 표시면에 대한 조작 요소(20)의 위치를 검출한다. 앞서 설명된 바와 같이, 조작 요소(20)는 동력을 필요로 하지 않는 부재만으로 구성되며, 따라서, 검출부(100)는, 카메라 등의 광학 이미징 디바이스(이미징 수단)를 갖추어, 조작 요소(20)의 이미징을 행한다. 그 다음에, 제어부(400)는, 이미징 디바이스에 의해 생성된 조작 요소(20)의 영상에 기반하여, 조작 요소(20)의 위치 검출한다. 구체적으로, 검출부(100)는, 표시면에 의해 면하는 공간으로부터 진행하는 적외선을 각각 감지하는 한 쌍의 광학 이미지 디바이스(CamR 및 CamL), 및 표시면에 의해 면 하는 공간의 미리 정해진 영역으로 적외선을 방사하는 LED(Light Emitting Diode; 발광 다이오드)를 포함한다. 미리 정해진 영역내에 조작 요소(20)가 존재하고 있으면, 방사된 적외선은, 조작 요소(20)에 구비된 재귀반사 부재 등의 마커에 의해 반사된다.
반사된 적외선은, 조작 요소(20)의 위치 및 형상을 나타내는 적외 반사광의 영상들을 생성하는, 한 쌍의 광학 이미징 디바이스(CamR 및 CamL)에 의해 검출된다. 이러한 영상들에 기반하여, 제어부(400)는 표시 장치(10)에 대한 조작 요소(20)의 위치를 검출한다. 한 쌍의 광학 이미징 디바이스(CamR 및 CamL)가 상이한 이미징 방향으로부터 조작 요소(20)의 이미징을 실행한다는 것이 주목되어진다. 광학 이미징 디바이스(CamR 및 CamL)가 표시부(200)의 표시면에 대해 미리 정해진 위치들에 자리하고 있기 때문에, 검출부(100)는 표시부(200)의 표시면에 대한 조작 요소(20)의 위치를 검출하도록 역할을 한다.
앞서 설명된 바와 같이, 검출부(100)는 한 쌍의 광학 이미징 디바이스를 포함하며, 따라서, 소위 삼각 측량을 실행하는 것에 의해, 조작 요소(20)의 위치를, 즉, 수직 및 수평 치수뿐만 아니라, 3개의 좌표축의 각각을 따라 깊이도 검출할 수 있다. 따라서, 검출부(100)는, 3차원 공간에 있어서의 조작 요소(20)의 위치를 검출한다.
외력 부여부(300)는, 판-형의 하우징의 안쪽에, 전하를 저장하기 위한 커패시터(전하-저장 수단)(311)와 코일(310)을 포함한다. 도 1에 나타낸 바와 같이, 코일(310)은 표시부(200)의 표시면에 대향하는 측에 위치되어 있다. 즉, 코일(310)은, 그것이, 표시부(200)의 표시면을 통해 “표시면에 의해 면하는 공간”쪽으로 면하고 z(+) 방향으로 법선인 하우징의 표면으로부터 방사되며, 표시부(200)의 표시면을 통과하는 자장을 발생시킬 수 있도록 배치되어 있다. 제어부(400)가 코일(310)과 커패시터(311) 사이에 스위치(도시되지 않음)를 제어하여, 커패시터(311)로부터 코일(310)로 전류를 흘릴 때, 코일(310)은 하우징의 표면으로부터 연장하는 자기장선을 발생시키며. 이것에 의해 표시부(200) 주위에 자장을 발생시킨다. 자장은 영구 자석(MG)을 통해 조작 요소(20)에 외력이 부여되게 한다. 예를 들면, 외력 부여부(300)로부터 z(+) 방향으로 조작 요소(20)의 펜 끝을 멀리 이동시키기 위해서는, 조작 요소(20)를 면하는 코일(310)의 측의 자장의 극(pole)이, 코일(310)을 면하는 측의, 조작 요소(20)의 펜 끝이 부착되는, 영구 자석(MG)의 극과 동일하도록 자장이 발생되어, 그에 의해 영구 자석(MG)과 코일(310) 사이에 반발력을 발생시킨다.
2. 동작
도 3은 영상 표시 시스템(1)의 동작을 설명하는 플로우차트이다. 제어부(400)의 제어하에서, 검출부(100)는 조작 요소(20)의 위치를 검출하여, 제어부(400)에 검출된 위치를 통지한다(스텝 S100). 표시부(200)는, 제어부(400)의 제어하에서, 그 표시면에 영상을 표시한다(스텝 S200).
제어부(400)는, 검출부(100)에 의해 검출된 조작 요소(20)의 위치와 표시부(200)에 의해 표시되는 영상의 관계를 결정한다(스텝 S30O). 구체적으로, 제어부(40O)는, 표시면에 표시되는 영상의 데이터를 갖고 있으며, 데이터에 따른 영상이 사용자에 의해 3-D 물체로서 지각되는 가상 물체를 표현할 때, 공간(3 차원 공간)에 있어서의 가상 물체의 위치를 산출한다. 따라서, 제어부(400)는, 사용자에 의해 입체시되도록 가상 물체가 영상에 의해 표현되는, 공간에 있어서의 가상 물체의 위치를 산출한다.
제어부(400)는, 검출부(100)로부터 통지된 조작 요소(20)의 위치와 산출된 공간에 있어서의 가상 물체의 위치를 비교하고, 비교에 근거하여, 조작 요소(20)에 부여될 외력의 강도 및 방향을 결정한다. 예를 들면, 조작 요소(20)의 위치가 가상 물체의 내부의 위치와 겹치는 경우에 있어서, 제어부(400)는, 조작 요소(20)의 위치에 가장 가까운 가상 물체의 표면상의 위치쪽으로의 방향으로, 그리고 이러한 위치들간의 거리에 비례한 강도로 외력이 부여되어야함을 결정한다.
외력의 방향 및 강도의 결정 후에, 제어부(400)는 외력 부여부(300)로 하여금 자장을 발생시키게 하며, 그에 의해 조작 요소(20)에 외력을 부여한다(스텝 S400). 구체적으로, 제어부(400)의 제어하에, 외력 부여부(300)는 커패시터에 저장된 전하를 코일(310)을 통해 방전한다. 그 결과로서, 제어부(400)에 의해 표명된 자장이 코일(310)의 주변에 발생되고, 이러한 자장이 조작 요소(20)에 장착된 영구 자석(MG)에 작용을 하여, 상술한 방향 및 진폭을 갖는 외력이 조작 요소(20)에 부여된다. 환언하면, 조작 요소(20)는, 조작 요소(20)의 위치 및 표시되는 영상에 따라 표시 장치(10)로부터 외력을 받는다. 이때, 사용자가 조작 요소(20)를 파지 또는 착용하면, 조작 요소(20)에 의해 받는 외력이 사용자에게 전해지며, 그 결과로서, 사용자는 영상을 터치한 것 같은 반력을 지각한다. 즉, 제어부(400) 및 외력 부여부(300)는, 검출 수단에 의해 검출된 조작 요소(20)의 위치 및 표시되는 영상의 내용에 따라 자장을 발생시키는 것에 의해, 조작 요소(20)에 외력을 부여한다.
앞서 설명된 바와 같이, 본 발명의 일 실시예에 있어서, 사용자에 의해 파지되는 조작 요소가 외부 부재에 접속되지 않고 동력원 또는 동력을 필요로 하는 장치를 갖추지 않았을지라도, 사용자에 의한 조작 및 표시되는 영상에 기반하여 사용자에게 힘의 감각 또는 촉각을 제공하는 것이 가능하다. 따라서, 사용자가 물리적인 제약이 없이 조작 요소를 공간내의 임의의 위치로 이동시킬 수 있다.
또한, 조작 요소는, 동력원 또는 동력을 필요로 하는 장치를 갖추는 것에 비해, 경량화될 수 있다. 또한, 표시부로 하여금 3-D 영상(가상 물체)을 표현하기 위한 영상을 표시하게 하는 것에 의해, 공간내의 조작 요소의 3차원 위치와 제시된 가상 물체의 3차원 위치가 서로 상관될 수 있고, 따라서, 사용자가 가상 물체를 터치하고 있는 것 같은 감각을 체험할 수 있다.
3. 변형들
예시적인 실시예가 앞서 설명되었다. 예시적인 실시예는 후술되는 바와 같이 변형될 수 있다. 하기의 변형은 임의의 조합으로 사용될 수 있다.
(1) 조작 요소에 관한 변형
(1-1) 예시적인 실시예의 앞선 설명에 있어서, 조작 요소(20)의 형상과 조작 요소(20)의 영구 자석(MG)으로부터 연장하는 자기장선의 방향간의 관계의 특정설명이 주어지지 않았다. 하지만, 영구 자석(MG)이, 자기장선의 방향이 조작 요소(20)에 대한 미리 정해진 방향과 일치하도록, 조작 요소(20)에 고정될 수 있다. 예를 들면, 영구 자석(MG)은, 각 자극(magnetic pole)의 부근에, 펜-형의 조작 요소(20)의 길이 방향을 따라 연장하는 자기장선을 발생시킬 수 있다. 구체적으로, 영구 자석(MG)은, 그 N-극이 펜 끝에 대응하는 조작 요소(20)의 일단에 위치되고, 그 S-극이 길이 방향의 타단 또는 대향 단에 위치되게 조작 요소(20)에 고정될 수 있다. N-극과 S-극이 반대일 수도 있다는 것이 주목되어진다. 그러한 구성에 있어서, 조작 요소(20)의 형상에 기반하여 결정된 특정의 방향을 갖는 외력이 조작 요소(20)에 부여된다.
(1-2) 상술의 예시적인 실시예에 있어서, 조작 요소(20)는, 사용자가 그것을 용이하게 파지할 수 있도록, 펜을 본뜬 형상을 갖는다. 하지만, 다른 형상일 수도 있다. 또한, 조작 요소(20)는 영구 자석(MG) 그 자체일 수도 있다. 즉, 사용자는 영구 자석(MG)을 조작 요소(20)로서 간단히 사용할 수 있다.
(1-3) 상술의 예시적인 실시예에 있어서, 사용자가 조작 요소(20)를 파지한다 하지만, 사용자는 조작 요소(20)를 착용할 수도 있다. 예를 들면, 조작 요소(20)는 부착물의 사용에 의해 사용자의 몸의 일부에 착용될 수도 있다. 또한, 조작 요소(20)는, 손톱 연장물, 반지, 팔찌 등의 장신구, 또는 모자, 장갑 등의 의복일 수 있는, 인체에 착용되는 물품으로 구성될 수도 있다.
도 4는 이러한 변형에 따른 조작 요소(20)의 일례를 나타내는 도이다. 도 4에 나타내어진 바와 같이, 예를 들면, 조작 요소(20)는, 손톱 연장물이 손톱에 부착되는 것과 유사한 방식으로 사용자의 손톱에 부착된다. 이러한 조작 요소(20)는 손가락 끝(a ball of a finger)에보다는 손톱에 부착되기 때문에, 사용자가 손가락으로 물건을 잡을 때 간섭하지 않으며, 따라서 일상 생활을 방해하지 않고 사용자에 의해 착용될 수 있다. 따라서, 이러한 예시적인 실시예에 있어서, 사용자는 특수한 장치를 착용하고 있는 감각 없이, 손가락을 지시하는 것에 의해 조작을 행하여 반력을 받을 수 있다.
(1-4) 상술의 예시적인 실시예에 있어서, 조작 요소(20)는 자성 부재로서 영구 자석(MG)을 포함한다. 하지만, 조작 요소(20)에 포함하는 자성 부재는 영구 자석(MG)에 한정되지 않는다. 예를 들면, 자성 부재는, 영구 자석(MG) 보다 더 낮은 항자력(coercive force)을 갖는 다른 자성 부재일 수도 있다. 구체적으로는, 철, 코발트 등과 같은 강자성 재료, 또는 자철광과 같은 페리 자성(ferrimagnetic) 재료로 이루어질 수도 있다. 즉, 조작 요소(20)가 자장과 일치하는 외력이 부여되는 부재로서 자성 부재를 포함하며, 자성 부재를 통해 자장과 일치하는 외력을 조작 요소(20)가 받을 수 있도록 구성되는 것만이 요구된다.
(1-5) 상술의 예시적인 실시예에 있어서, 조작 요소(20)는, 마커로서 재귀반사 부재를 포함한다. 하지만, 재귀반사 부재 대신에, 마커는 입사광을 확산-반사시키는 반사 부재일 수도 있다. 이것은, 입사광의 전반사기 위치 검출의 정밀도를 향상시킬지라도, 확산 반사의 경우에조차도 입사광의 반사를 받을 수가 있기 때문이다.
(1-6) 상술의 예시적인 실시예에 있어서, 조작 요소(20)에 포함되는 마커의 수는 특별히 언급되지 않는다. 조작 요소(20)는, 복수의 마커를 포함할 수도 있다. 또한, 조작 요소(20)에 포함되는 복수의 종류의 마커가 있을 수 있다. 예를 들면, 자성 부재로서 영구 자석(MG)이 이용되는 경우에, 이러한 영구 자석(MG)의 각 자극의 위치는, 조작 요소(20)에 부여하는 외력에 영향을 주기 때문에, 중요하다. 따라서, 그러한 경우에, 조작 요소(20)에 포함되는 영구 자석(MG)은 N-극에 적외선을 반사시키는 마커, 및 S-극에 부착되는 가시광을 반사시키는 마커를 가질 수 있다. 검출부(100)는 조작 요소(20)에 포함되는 영구 자석(MG)의 각 자극의 위치를 개별적으로 따로 검출하고, 제어부(400)는 검출된 각 자극의 위치에 기반하여 외력 부여부(300)에 의해 발생되는 자장의 방향을 제어한다.
(2) 검출부에 관한 변형
(2-1) 상술의 예시적인 실시예에 있어서, 검출부(100)는, 한 쌍의 광학 이미징 디바이스를 포함한다. 하지만, 검출부(100)는 하나의 광학 이미징 디바이스만을 포함할 수 있다. 이 경우에 있어서, 광학 이미징 디바이스의 화각이 미리 정해져 있다면, 표시부(200)의 표시면에 대한 조작 요소(20)의 위치는, 광학 이미징 디바이스에 의해 캡쳐되는 영상에 있어서의 조작 요소(20)의 위치, 및 광학 이미징 디바이스가 조작 요소(20)에 장착되는 위치로부터의 거리를 나타내는 초점 거리에 기반하여 제어부(400)에 의해 결정될 수 있다.
(2-2) 상술의 예시적인 실시예에 있어서, 검출부(100)는, LED의 사용에 의해 미리 정해진 영역으로 적외선을 방사하여, 조작 요소(20)로부터의 반사파를 검출한다. 하지만, 적외선 이외의 전자파를 이용하여 검출이 행해질 수도 있다. 예를 들면, 검출부(100)에 포함되는 광학 이미징 디바이스는 가시광을 검출하는 것에 의해 이미징을 행할 수도 있다. 이러한 식으로, 가시광이 방사될 때, 검출부(100)는 조작 요소(20)의 위치를 검출할 수 있다. 그러한 경우에, 적외선을 방사하기 위한 장치는 생략될 수 있다.
(2-3) 상술의 예시적인 실시예에 있어서, 검출부(100)는, 적외선을 방사하는 LED 및 적외선을 검출하는 광학 이미징 디바이스를 포함한다. 하지만, 조작 요소(20)의 위치를 검출하기 위해서 광과 같은 전자파의 이용이 불필요할 수도 있다. 예를 들면, 검출부(100)는 초음파와 같은 음파를 방사하는 것에 의해 조작 요소(20)의 위치를 검출할 수도 있다. 그러한 경우에, 조작 요소(20)는 검출부(100)로부터 방사되는 초음파와 같은 음파를 반사하는 반사 부재를 포함할 수 있다. 즉, 조작 요소가 미리 정해진 파장역을 갖는 파(wave)를 반사하는 반사 부재를 포함하고, 검출 수단이 반사 부재에 의해 반사된 파에 기반하여 조작 요소의 위치를 검출하는 것만이 요구된다.
(3) 표시부에 관한 변형
(3-1) 상술의 예시적인 실시예에 있어서, 표시부(200)는 액정 디스플레이와 렌티큐얼러 렌즈에 의해 구성되어 있다. 하지만, 본 발명은 그러한 구성에 한정되지 않는다. 예를 들면, 표시부(200)는 콜레스테릭(cholesteric) 액정 디스플레이와 같이 전력을 사용하지 않고 영상을 홀드(hold)할 수 있는 디스플레이로 구성될 수도 있다.
(3-2) 상술의 예시적인 실시예에 있어서, 표시부(200)는 오토스테레오스코픽 디스플레이다. 하지만, 표시부(200)는 2차원 영상을 표시하도록 적합될 수도 있다. 그러한 경우에, 사용자에게, 조작 요소(20)의 3차원 위치에 따라 영상을 터치하고 있는 것 같은 감각을 제공할 수 없다. 하지만, 그 자체로는 입력 조작에 응답하여 힘의 피드백을 사용자에게 제공할 수 없는 터치 패널과 같은 입력 장치가 이용되는 경우에, 화면상에 표시되는 스위치의 누름과 같은 사용자에 의한 조작에 응답하여 힘의 피드백을 사용자에게 제공할 수 있다.
(3-3) 상술의 예시적인 실시예에 있어서, 표시부(200)는 액정 디스플레이와 렌티큐얼러 렌즈에 의해 구성되는 멀티뷰-타입의 오토스테레오스코픽 디스플레이이다. 하지만, 표시부(200)는, 사용자가 액정 셔터 등을 이용한 안경을 착용하는 경우에 입체 영상을 표시할 수 있는 입체 디스플레이, 또는 렌티큐얼러 렌즈 대신에, 패럴랙스 배리어(parallax barrier) 또는 렌즈 어레이(lens array)를 사용하여 입체 영상을 표시하는 다른 입체 디스플레이로서 실시될 수도 있다.
(3-4) 또한, 표시부(200)는, 예컨대, 흰 천으로 구성될 수 있는 스크린에 대해 영상을 표현하는 광을 투영하는 투영기일 수도 있다. 그러한 경우에, 표시부(200)의 표시면은 영상이 투영되는 스크린에 의해 구비된다. 예를 들면, 표시부(200)가 TFT(Thin Film Transistor; 박막 트랜지스터) 액정 디스플레이로서 실시되는 경우에, 외력 부여부(300)에 의해 발생하는 자장이 표시부(200)의 동작에 영향을 미칠 수 있다. 한편, 표시부(200)가 투영기로 구성되고 투영 스크린이 표시면을 제공하기 위해 사용되는 경우에, 표시부(200)상에 외력 부여부(300)에 의해 생성되는 자장의 영향이, 표시부(200)가 일체의 표시면을 포함하는 경우에 비해 저감되도록, 표시부(200)가 외력 부여부(300)로부터 멀리 위치될 수 있다.
(4) 외력 부여부에 관한 변형
(4-1) 상술의 예시적인 실시예에 있어서, 외력 부여부(300)는 전하를 저장하기 위한 커패시터(전하 저장 수단) 및 코일(310)을 포함한다. 하지만, 코일(310)을 통해 전류를 흘리기 위한 전원은 커패시터에 한정되지 않으며, 많은 다른 전원이 이용될 수 있다.
(4-2) 상술의 예시적인 실시예에 있어서, 외력 부여부(300)의 커패시터의 개수는 특별히 언급되지 않는다. 외력 부여부(300)는 복수의 커패시터를 포함할 수 있다. 복수의 커패시터가 구비되는 경우에, 방전된 커패시터를 충전하면서 다른 커패시터가 방전되는 것이 가능하고, 따라서 연속적으로 자력이 발생될 수 있다. 따라서, 외력 부여부(300)가 복수의 커패시터를 포함하고, 커패시터들이 연속적으로 방전시켜지는 경우에, 충격력과 같은 순간력만을 사용자에게 제공할 수 있는 것이 아니고, 단단한 물체에 의해 사용자가 밀쳐지는 것 같은 감각을 만드는 외력도 사용자에게 제공할 수 있다.
(4-3) 또, 복수의 커패시터를 이용했을 경우, 상이한 정전 용량을 갖는 커패시터들을 이용하는 것, 그리고 그것들을 선택적으로 방전시키는 것, 그에 의해, 발생된 자장의 강도를 변화시키는 것이 가능하다.
(4-4) 또한, 방전시에 코일(310)을 통해 전류를 흘리는 전류의 방향을 반대로 하는 것에 의해, 발생된 자장의 극성이 반전될 수 있다. 이러한 식으로, 조작 요소에 부여되는 힘의 방향을 제어하는 것이 가능하다. 즉, 외력 부여부(300)로부터 멀리 조작 요소를 밀어내는 외력 또는 외력 부여부(300)쪽으로 조작 요소를 끌어당기는 외력을 선택적으로 부여하는 것도 가능하다.
(4-5) 상술의 예시적인 실시예에 있어서, 표시부(200)의 표시면과 자장이 방출하는 외력 부여부(300)의 표면의 각각이 z(+) 방향에 대해 법선이다. 하지만, 이러한 표면들에 대한 법선들이 동일 방향이어야 하는 것은 아니다.
도 5는 이러한 변형에 따른 영상 표시 시스템(1)의 외관을 나타내는 개략도이다. 이러한 변형된 실시예에 있어서, 표시부(200)의 표시면은 x(+) 방향에 대해 법선이고, 자장이 방출하는 외력 부여부(300)의 표면은 z(+) 방향에 대해 법선이다. 이러한 구성에 있어서도, 외력 부여부(300)의 코일(310)은, 표시부(200)의 표시면에 의해 면하는 공간쪽으로 연장하는 자기장선을 발생시키고, 따라서 이러한 공간에 존재하는 조작 요소(20)에는 외력 부여부(300)에 의해 외력이 부여된다.
(4-6) 또한, 외력 부여부(300)는 복수의 표면을 가질 수도 있다. 예를 들면, 외력 부여부(300)는, 3쌍의 대향하는 표면; 즉, x(+)/x(-) 방향, y(+)/y(-) 방향, 및 z(+)/z(-) 방향으로 법선들을 갖는 6개의 표면을 가짐으로써, 이러한 표면들의 각각으로부터 발생되는 자장에 따른 외력이 조작 요소(20)에 부여될 수도 있다.
(4-7) 상술의 예시적인 실시예에 있어서, 외력 부여부(300)는 단일의 코일(310)을 갖는다. 하지만, 복수의 코일이 이용되어 이러한 코일들이 선택적으로 자장을 발생시킬 수도 있다. 이러한 식으로, 특정의 위치 및 방향으로 자장을 발생시키는 것이 가능해진다.
도 6은, 복수의 코일을 이용하는 외력 부여부(300)를 설명하기 위한 도이다. 외력 부여부(300)는, 16개의 코일(310)이 어레이로 배열된다. 코일(310-10)의 x(+) 방향으로의 측에는, 코일(310-11)이 배치되고, x(-) 방향으로의 측에는, 코일(310-9)이 배치되어 있다. 또한, 코일(310－10)의 y(+) 방향으로의 측에는, 코일(310-14)이 배치되고, y(-) 방향으로의 측에는, 코일(310-6)이 배치되어 있다.
이제 여기서는, 사용자가, 조작 요소(20)를 외력 부여부(300)에 가까워지도록 이동시켰다고 가정하며, 여기서, 코일들(310) 중에서, 조작 요소(20)의 펜 끝에 가장 가까운 것은 코일(310-10)이다. 검출부(100)는 조작 요소(20)의 위치를 검출한다. 그 다음에, 검출된 조작 요소(20)의 위치 및 표시부(200)의 표시면에 표시되는 영상의 내용에 기반하여, 제어부(400)는 조작 요소(20)에 부여될 외력의 방향과 강도를 결정한다.
예를 들면, 상기 영상이 코일(310-10)의 위치로부터 z(+) 방향으로 연장하는 막대 모양의 가상 물체를 표현하는 경우에, 제어부(400)는 가상 물체에 의해 조작 요소(20)에 제공되는 반력의 방향과 강도를 결정한다. 예를 들면, 펜을 본뜬 조작 요소(20)에, 조작 요소(20)의 펜 끝에 대응하는 부분에 그 N-극이 위치 되도록, 영구 자석(MG)이 부착되어 있는 경우에, 제어부(400)는, 조작 요소(20)를 면하는 코일(310-10)의 측에 있는 그 N-극으로 자장을 발생시키고, 결정된 방향이 x(+) 방향이면, 조작 요소(20)를 면하는 코일(310-11)의 측에 있는 그 S-극으로 자장을 발생시킨다. 그 결과로서, 코일(310-10)의 x(+) 방향으로의 측에 위치된, 코일(310-11)쪽으로, 영구 자석(MG)의 N-극이 위치된 펜 끝을 이동시키도록 몰아치는 외력이 조작 요소(20)에 부여된다. 유사하게, 결정된 방향이 x(-) 방향이면, 코일(310-9)이 조작 요소(20)를 면하는 코일(310-9)의 측에 있는 그 S-극으로 자장을 발생시키게 되고, 결정된 방향이 y(+) 방향이면, 코일(310-14)이 조작 요소(20)를 면하는 코일(310-14)의 측에 있는 그 S-극으로 자장을 발생시키게 되며, 결정된 방향이 y(-) 방향이면, 코일(310-6)이 조작 요소(20)를 면하는 코일(310-6)의 측에 있는 그 S-극으로 자장을 발생시키게 된다. 이러한 식으로, 외력 부여부(300)는 조작 요소(20)의 펜 끝에 대해서 x-y 평면상의 임의의 방향으로 외력도 부여할 수 있다.
(5) 제어부에 관한 변형
(5-1) 상술의 예시적인 실시예에 있어서, 제어부(400)는, 공간내의 가상 물체의 위치를 산출하고, 산출된 가상 물체의 위치를 검출부(100)로부터 통지된 조작 요소(20)의 위치와 비교하며, 비교에 기반해서, 조작 요소(20)에 부여될 외력의 방향과 강도를 결정한다. 하지만, 검출부(100)가 조작 요소(20)의 3-차원 위치를 검출하고, 표시부(200)가 2-차원 영상(즉, 사용자에 의해 보여질 때 입체 영상을 생성하지 않는 영상)을 표시하는 경우에, 제어부(400)는 조작 요소(20)의 표시면상으로 조작 요소의 3-차원 위치를 투영시켜, 표시면상의 조작 요소(20)의 그리 획득된 위치와 2-차원 영상간의 위치 관계를 결정할 수도 있다.
(5-2) 상술의 예시적인 실시예에 있어서, 제어부(400)는, 조작 요소(20)의 위치와 가상 물체의 위치에 기반하여 방향과 크기가 결정된 외력이 조작 요소(20)에 부여되도록, 외력 부여부(300)를 제어한다. 제어부(400)는, 외력 부여부(300)에 의한 외력의 부여 후의 조작 요소(20)의 변위; 및 부여된 외력에 기반하여 결정된 영상을 표시하도록 표시부(200)를 제어할 수도 있다.
도 7은, 이러한 변형에 따른 영상 표시 시스템(1)의 동작을 설명하기 위한 플로우차트이다. 스텝들(S101~S401)이 각각 도 3에 있어서의 스텝들(S100~S400)과 동일하기 때문에, 이러한 스텝들의 설명은 생략될 것이다. 외력 부여부(300)로 하여금 자장을 발생시킨 후, 제어부(400)는 검출부(100)에 의해 검출된 조작 요소(20)의 위치를 획득한다(스텝 S500). 즉, 검출부(100)는, 외력 부여 수단에 의한 외력의 부여 전 및 후의 양쪽에 조작 요소의 위치를 검출하는 검출 수단으로서 기능한다. 그 다음에, 제어부(400)는, 외력 부여부(300)에 의한 자장의 발생 전 및 후의 조작 요소(20)의 위치들간의 거리를 산출하고, 산출된 거리와 외력 부여부(300)에 의해 부여되는 외력에 기반하여 영상을 결정한다. 그 후에, 제어부(400)는, 결정된 영상을 표시부(200)로 하여금 표시시킨다(스텝 S600).
자연계에 있어서, 2개의 물체가 서로에 대해 힘을 가할 때, 이러한 힘은 항상 동일한 강도를 갖고 대향하는 방향들로 가해진다. 따라서, 가상 물체로 하여금 자연계의 물체의 운동을 본떠 이동시키기 위해서, 가상 물체가 조작 요소(20)로부터 받는 힘이 가상 물체의 운동에 의해 반영될 필요가 있다. 이러한 변형에 있어서, 제어부(400)는 가상 물체와 조작 요소(20)의 각각의 질량을 미리 정한다. 제어부(400)는, 외력 부여부(300)에 의한 외력의 부여 전 및 후의 조작 요소(20)의 위치들간의 거리(조작 요소(20)의 변위), 외력 부여부(300)에 의해 부여된 외력, 및 가상 물체와 조작 요소(20)의 각각의 미리 정해진 질량에 기반하여, 가상 물체가 조작 요소(20)로부터 받는 힘을 산출한다. 그 다음에, 제어부(400)는 조작 요소(20)로부터 부여되는 힘에 따라 가상 물체가 이동하는 것을 표현하는 영상을 표시부(200)로 하여금 표시시킨다. 이러한 영상을 보는 것에 의해, 사용자는, 영상으로 표현되는 가상 물체로부터의 반력을 에뮬레이트하는 힘을, 조작 요소(20)를 통해 느낄 것이고, 가상 물체를 움직여 가상 물체를 터치하는 모의 감각을 체험할 수 있다.

Claims (9)

  1. 표시 장치로서,
    표시면에 영상을 표시하는 표시 수단;
    자성 부재(magnetic member)를 포함하는 조작 요소의 위치를, 상기 표시면에 대해서, 검출하는 검출 수단; 및
    상기 검출 수단에 의해 검출된 상기 조작 요소의 위치 및 상기 표시 수단에 의해 표시되는 영상의 내용에 따라, 상기 표시면에 표시되는 영상에 따른 광이 방출되는 공간내에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 외력 부여 수단을 포함하고,
    상기 표시 수단은, 상이한 뷰잉(viewing) 위치들에 대응하는 복수의 영상을 합성하여, 가상 물체를 입체시되게(viewed stereoscopically) 해서 상기 공간에 나타나게 하는 합성된 영상을 표시하고;
    상기 검출 수단은, 상이한 이미징 방향들을 갖는 복수의 이미징 수단을 포함하고, 상기 복수의 이미징 수단의 각각에 의해 캡쳐된 상기 조작 요소의 영상에 기반하여, 상기 표시면에 대한 상기 공간에 있어서의 상기 조작 요소의 위치를 검출하며; 그리고
    상기 외력 부여 수단은, 상기 공간에 있어서의 상기 가상 물체의 위치 및 상기 검출 수단에 의해 검출되는 상기 조작 요소의 위치에 기반하여 결정되는 외력을 상기 조작 요소에 부여하는, 표시 장치.
  2. 청구항 1에 있어서,
    상기 검출 수단은 이미징(imaging)을 실행하는 이미징 수단을 포함하고, 상기 이미징 수단에 의해 생성된 상기 조작 요소의 영상에 기반하여 상기 조작 요소의 위치를 검출하는, 표시 장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 외력 부여 수단은, 전하를 저장하는 전하 저장 수단 및 코일을 포함하고, 상기 전하 저장 수단에 저장된 전하를 방전하여 상기 코일을 통해 전류를 흐르게 하는 것에 의해, 상기 코일로부터 자장을 발생시키는, 표시 장치.
  4. 표시 장치로서,
    표시면에 영상을 표시하는 표시 수단;
    자성 부재(magnetic member)를 포함하는 조작 요소의 위치를, 상기 표시면에 대해서, 검출하는 검출 수단; 및
    상기 검출 수단에 의해 검출된 상기 조작 요소의 위치 및 상기 표시 수단에 의해 표시되는 영상의 내용에 따라, 상기 표시면에 표시되는 영상에 따른 광이 방출되는 공간내에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 외력 부여 수단을 포함하고,
    상기 조작 요소는, 미리 정해진 파장역의 전자파(electromagnetic wave) 또는 음파(acoustic wave)를 반사하는 반사재(reflector)를 포함하고,
    상기 검출 수단은, 상기 반사재에 의해 반사된 반사파에 기반하여 상기 조작 요소의 위치를 검출하는, 표시 장치.
  5. 청구항 4에 있어서,
    상기 조작 요소는, 미리 정해진 파장역의 적외선을 반사하는 재귀반사 부재(retroreflective member)를 포함하는, 표시 장치.
  6. 청구항 1에 있어서,
    상기 검출 수단은, 상기 외력 부여 수단이 외력을 부여하기 전 및 후의 양쪽에서 상기 조작 요소의 위치를 검출하고,
    상기 표시 수단은, 상기 검출 수단에 의해 검출된 상기 조작 요소의 위치들간의 거리 및 상기 외력 부여 수단에 의해 부여된 외력에 따라 영상을 표시하는, 표시 장치.
  7. 영상 표시 시스템으로서,
    자성 부재를 갖는 조작 요소; 및
    청구항 1 또는 청구항 4에 기재된 표시 장치를 포함하는 영상 표시 시스템.
  8. 영상 표시 방법으로서,
    표시 수단에 의해, 표시면에 영상을 표시하는 단계;
    검출 수단에 의해, 자성 부재를 포함하는 조작 요소의 상기 표시면에 대한 위치를 검출하는 단계; 및
    외력 부여 수단에 의해, 상기 조작 요소의 위치 및 상기 영상의 내용에 따라, 상기 표시면에 표시되는 영상에 따른 광이 방출되는 공간에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 단계를 포함하고,
    상기 표시 수단은, 상이한 뷰잉(viewing) 위치들에 대응하는 복수의 영상을 합성하여, 가상 물체를 입체시되게(viewed stereoscopically) 해서 상기 공간에 나타나게 하는 합성된 영상을 표시하고;
    상기 검출 수단은, 상이한 이미징 방향들을 갖는 복수의 이미징 수단을 포함하고, 상기 복수의 이미징 수단의 각각에 의해 캡쳐된 상기 조작 요소의 영상에 기반하여, 상기 표시면에 대한 상기 공간에 있어서의 상기 조작 요소의 위치를 검출하며; 그리고
    상기 외력 부여 수단은, 상기 공간에 있어서의 상기 가상 물체의 위치 및 상기 검출 수단에 의해 검출되는 상기 조작 요소의 위치에 기반하여 결정되는 외력을 상기 조작 요소에 부여하는, 영상 표시 방법.
  9. 영상 표시 방법으로서,
    표시 수단에 의해, 표시면에 영상을 표시하는 단계;
    검출 수단에 의해, 자성 부재를 포함하는 조작 요소의 상기 표시면에 대한 위치를 검출하는 단계; 및
    외력 부여 수단에 의해, 상기 조작 요소의 위치 및 상기 영상의 내용에 따라, 상기 표시면에 표시되는 영상에 따른 광이 방출되는 공간에 자장을 발생시키는 것에 의해, 상기 자성 부재를 통해 상기 조작 요소에 외력을 부여하는 단계를 포함하고,
    상기 조작 요소는, 미리 정해진 파장역의 전자파(electromagnetic wave) 또는 음파(acoustic wave)를 반사하는 반사재(reflector)를 포함하고,
    상기 검출 수단은, 상기 반사재에 의해 반사된 반사파에 기반하여 상기 조작 요소의 위치를 검출하는, 영상 표시 방법.
KR1020110069881A 2010-07-16 2011-07-14 표시 장치, 영상 표시 시스템, 및 영상 표시 방법 KR101298848B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010162160A JP2012022639A (ja) 2010-07-16 2010-07-16 表示装置、映像表示システムおよび映像表示方法
JPJP-P-2010-162160 2010-07-16

Publications (2)

Publication Number Publication Date
KR20120008450A KR20120008450A (ko) 2012-01-30
KR101298848B1 true KR101298848B1 (ko) 2013-08-23

Family

ID=44483981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110069881A KR101298848B1 (ko) 2010-07-16 2011-07-14 표시 장치, 영상 표시 시스템, 및 영상 표시 방법

Country Status (6)

Country Link
US (1) US8866739B2 (ko)
EP (1) EP2407863A3 (ko)
JP (1) JP2012022639A (ko)
KR (1) KR101298848B1 (ko)
CN (1) CN102339162A (ko)
TW (1) TWI468995B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3737981A4 (en) * 2018-01-14 2021-11-17 Light Field Lab, Inc. SYSTEMS AND PROCESSES FOR DIRECTING MULTIPLE 4D ENERGY FIELDS
US11221670B2 (en) 2016-07-15 2022-01-11 Light Field Lab, Inc. System and methods for realizing transverse Anderson localization in energy relays using component engineered structures
US11327437B2 (en) 2015-03-24 2022-05-10 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
EP2743798A1 (en) * 2012-12-13 2014-06-18 BlackBerry Limited Magnetically coupling stylus and host electronic device
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
US9526443B1 (en) 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US8704855B1 (en) * 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US8847989B1 (en) 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
TWI617074B (zh) * 2013-05-08 2018-03-01 台灣立凱電能科技股份有限公司 電池複合材料及其前驅物之製備方法
CN103294225B (zh) * 2013-06-09 2016-09-28 深圳超多维光电子有限公司 立体显示设备、指点设备、立体显示系统及其操作方法
US9817489B2 (en) * 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
US11429205B2 (en) 2014-07-31 2022-08-30 Hewlett-Packard Development Company, L.P. Tip-switch and manual switch to override the tip-switch for a stylus
CN106796462B (zh) * 2014-08-05 2020-09-04 惠普发展公司，有限责任合伙企业 确定输入对象的位置
US9489049B2 (en) 2014-08-26 2016-11-08 Samsung Electronics Co., Ltd. Force simulation finger sleeve using orthogonal uniform magnetic field
WO2016051480A1 (ja) * 2014-09-29 2016-04-07 日立マクセル株式会社 表示装置およびそれを用いた組込み機器
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
JP6639181B2 (ja) * 2015-10-13 2020-02-05 キヤノン株式会社 撮像装置、生産システム、撮像方法、プログラム及び記録媒体
US10558267B2 (en) * 2017-12-28 2020-02-11 Immersion Corporation Systems and methods for long-range interactions for virtual reality
CN112041789B (zh) * 2018-05-21 2024-05-31 株式会社和冠 位置指示设备及空间位置指示系统
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US20200286298A1 (en) * 2019-03-06 2020-09-10 Immersion Corporation Systems and methods for a user interaction proxy
US11367368B2 (en) * 2019-07-12 2022-06-21 Universal City Studios Llc Electronic display with deformable surface
KR102268293B1 (ko) * 2019-10-28 2021-06-23 방신웅 자성체를 이용한 감각 제공장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114225A1 (ja) * 2006-03-31 2007-10-11 Pioneer Corporation 立体的二次元画像表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4744536B2 (ja) * 1998-08-11 2011-08-10 学校法人慶應義塾 情報提示装置
US6483499B1 (en) * 2000-04-21 2002-11-19 Hong Kong Productivity Council 3D sculpturing input device
JP2002095018A (ja) 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
TW499657B (en) 2000-12-20 2002-08-21 Inventec Multimedia & Telecom Pen-touch type data input device
JP2003172662A (ja) 2001-12-10 2003-06-20 Rikogaku Shinkokai 力覚提示装置における張力計算のアルゴリズム
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
JP4225768B2 (ja) 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム
JP4002970B2 (ja) 2002-11-29 2007-11-07 独立行政法人産業技術総合研究所 力覚型ヒューマンナビゲーションシステム及びそれに用いるデバイス
JP4230331B2 (ja) 2003-10-21 2009-02-25 富士フイルム株式会社 立体視画像生成装置および画像配信サーバ
US7411576B2 (en) 2003-10-30 2008-08-12 Sensable Technologies, Inc. Force reflecting haptic interface
US20060209019A1 (en) * 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US8160363B2 (en) * 2004-09-25 2012-04-17 Samsung Electronics Co., Ltd Device and method for inputting characters or drawings in a mobile terminal using a virtual screen
JP2008067169A (ja) * 2006-09-08 2008-03-21 Ntt Comware Corp 立体映像合成装置、形状データ生成方法およびそのプログラム
JP4678428B2 (ja) * 2008-06-23 2011-04-27 パナソニック電工株式会社 仮想空間内位置指示装置
KR101585460B1 (ko) * 2009-03-12 2016-01-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 입력 방법
TWM381120U (en) 2009-11-10 2010-05-21 Chih-Ming Tsao Touch-controlled wireless mouse

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114225A1 (ja) * 2006-03-31 2007-10-11 Pioneer Corporation 立体的二次元画像表示装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327437B2 (en) 2015-03-24 2022-05-10 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
US11221670B2 (en) 2016-07-15 2022-01-11 Light Field Lab, Inc. System and methods for realizing transverse Anderson localization in energy relays using component engineered structures
US11681091B2 (en) 2016-07-15 2023-06-20 Light Field Lab, Inc. High density energy directing device
US11733448B2 (en) 2016-07-15 2023-08-22 Light Field Lab, Inc. System and methods for realizing transverse Anderson localization in energy relays using component engineered structures
US11740402B2 (en) 2016-07-15 2023-08-29 Light Field Lab, Inc. Energy relays with traverse energy localization
EP3737981A4 (en) * 2018-01-14 2021-11-17 Light Field Lab, Inc. SYSTEMS AND PROCESSES FOR DIRECTING MULTIPLE 4D ENERGY FIELDS
US11237307B2 (en) 2018-01-14 2022-02-01 Light Field Lab, Inc. Systems and methods for forming energy relays with transverse energy localization
US11280940B2 (en) 2018-01-14 2022-03-22 Light Field Lab, Inc. Systems and methods for directing multiple 4D energy fields
US11885988B2 (en) 2018-01-14 2024-01-30 Light Field Lab, Inc. Systems and methods for forming energy relays with transverse energy localization

Also Published As

Publication number Publication date
US20120013530A1 (en) 2012-01-19
JP2012022639A (ja) 2012-02-02
TW201222343A (en) 2012-06-01
KR20120008450A (ko) 2012-01-30
US8866739B2 (en) 2014-10-21
CN102339162A (zh) 2012-02-01
EP2407863A3 (en) 2013-05-22
EP2407863A2 (en) 2012-01-18
TWI468995B (zh) 2015-01-11

Similar Documents

Publication Publication Date Title
KR101298848B1 (ko) 표시 장치, 영상 표시 시스템, 및 영상 표시 방법
US11231770B2 (en) Augmented reality system with spatialized audio tied to user manipulated virtual object
US11666825B2 (en) Mixed reality gaming system
JP7209041B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP7118007B2 (ja) 視野周辺の視覚的背光
KR100812624B1 (ko) 입체영상 기반 가상현실장치
CN112114429B (zh) 基于用户的上下文敏感全息图反应
TWI539185B (zh) 用於提供可變虛擬焦點的擴展實境顯示的系統及其方法，以及具有編碼相關指令的電腦可讀取儲存媒體
Burdea et al. Virtual reality technology
JP4871270B2 (ja) 仮想３次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム
KR101789357B1 (ko) 증강 현실 시스템 및 개선된 초점 제공 방법
WO2014093608A1 (en) Direct interaction system for mixed reality environments
US20150138184A1 (en) Spatially interactive computing device
EP3470960A1 (en) Haptic effects with multiple peripheral devices
JP4624587B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
CN113196212A (zh) 作为用于交互的物理接口的移动平台
Steinicke et al. The holodeck construction manual.
Olwal An introduction to augmented reality
JP2005165851A (ja) ワイヤ駆動力覚提示装置、及びワイヤ駆動三次元入力装置
KR20240114658A (ko) 시선의 방향 또는 제스쳐 중 적어도 하나에 기반하여 미디어 콘텐트를 스크롤링하기 웨어러블 장치 및 그 방법
Ishikawa et al. Dynamic Information Space Based on High-Speed Sensor Technology
KR20230121953A (ko) 입체영상 기반 가상현실장치
KR20240082088A (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee