KR20130049152A - 입체 인터랙션 시스템 및 입체 인터랙션 방법 - Google Patents

입체 인터랙션 시스템 및 입체 인터랙션 방법 Download PDF

Info

Publication number
KR20130049152A
KR20130049152A KR1020120117778A KR20120117778A KR20130049152A KR 20130049152 A KR20130049152 A KR 20130049152A KR 1020120117778 A KR1020120117778 A KR 1020120117778A KR 20120117778 A KR20120117778 A KR 20120117778A KR 20130049152 A KR20130049152 A KR 20130049152A
Authority
KR
South Korea
Prior art keywords
operating rod
unit
screen
real time
contraction
Prior art date
Application number
KR1020120117778A
Other languages
English (en)
Other versions
KR101518727B1 (ko
Inventor
레이 송
닝 리우
장 거
Original Assignee
수퍼디 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN2011103435961A external-priority patent/CN102426486B/zh
Priority claimed from CN2011103439303A external-priority patent/CN102508563B/zh
Priority claimed from CN2011103433059A external-priority patent/CN102508561B/zh
Priority claimed from CN2011103435980A external-priority patent/CN102508562B/zh
Application filed by 수퍼디 컴퍼니 리미티드 filed Critical 수퍼디 컴퍼니 리미티드
Publication of KR20130049152A publication Critical patent/KR20130049152A/ko
Application granted granted Critical
Publication of KR101518727B1 publication Critical patent/KR101518727B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

일종의 입체 인터랙션 시스템은, 피조작장치와 조작봉을 포함하며, 피조작장치는 피조작유닛의 입체 영상을 디스플레이할 수 있는 감지스크린; 인터랙션 제어장치; 인터랙션 제어장치와 조작봉 간의 정보 인터랙션을 실현하기 위한 통신장치; 및 영상처리장치;를 포함하고, 인터랙션 제어장치는, 조작봉 접촉부의 3D 위치를 확정하기 위한 제1 위치확정 유닛; 및 조작봉이 피조작유닛과 가상 터치가 발생했는지 여부를 실시간으로 판단하여, 만약 "예"인 경우 영상처리장치 중의 시차조정 유닛을 활성화하기 위한 가상 터치 검출 유닛;을 포함하며, 영상처리장치는, 피조작유닛 표면의 감지스크린에 대한 심도를 확정하고 가상 터치 검출 유닛으로 통지하기 위한 심도계산 유닛; 및 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하기 위한 시차조정 유닛;을 포함한다. 본 발명은 입체 디스플레이를 결합하여 표현되는 일종의 입체 인터랙션을 실현하여 사용자가 더욱 많은 사실감을 느낄 수 있게 해준다.

Description

입체 인터랙션 시스템 및 입체 인터랙션 방법{A stereoscopic interaction system and stereoscopic interaction method}
본 발명은 입체 인터랙션 기술에 관한 것으로서, 특히 일종의 입체 인터랙션 시스템 및 입체 인터랙션 방법에 관한 것이다.
현재 인간-컴퓨터 인터랙션(상호작용) 시스템의 각종 해결방안은 대부분 2D 디스플레이에 기초하여 이루어지고 있다. 다시 말해, 사용자의 운용으로 인한 직접적인 디스플레이 효과는 2D로 표현된다. 더 나아가 음영, 원근감 등 투시효과를 이용하여 일종의 입체적인 느낌을 유사하게 시뮬레이션한다.
3D 디스플레이 기술의 발전에 따라, 2D에 기초한 이러한 디스플레이 인터페이스는 일련의 상식에 맞지 않는 조작 결과를 가져온다. 왜냐하면 3D가 조작원에게 가져다주는 직관적인 디스플레이 효과는 모든 운영 인터페이스가 스크린에 돌출되거나 또는 함입되는 것이기 때문이다. 현재 비교적 보편적으로 사용되는 터치스크린의 손가락 또는 조작펜은 모두 스크린에서 2차원적으로 조작할 수 있을 뿐이며, 진정한 3D 조작 인터페이스, 공중에 부상하거나 또는 스크린으로 함입되는 인터페이스의 경우, 이러한 종래의 방식은 모두 조작자가 실제 인터페이스를 진짜로 터치하지 않은 것으로 느끼게 해준다.
비록 현재의 가상현실(VR) 기술에는 데이터글러브 등을 이용하여 공간 중의 물체를 조작하는 기술이 있다. 그러나 이러한 기술은 실현이 복잡하며, 예를 들어 정밀도가 매우 높은 데이터글러브나, 전체 가상공간을 모델링하는 컴퓨터 시스템이 필요하며, 때로는 특수한 디스플레이 헬멧이 더 있어야만 가상 환경에 대한 실제 환경의 간섭을 차폐할 수 있다. 이에 상응하여, 사용자는 사용이 불편하고, 원가 역시 상당히 비싸기 때문에, 많은 장치들, 특히 이동장치에는 사용하기에 적합하지 않다.
본 발명이 해결하고자 하는 과제는 일종의 입체 디스플레이를 결합하여 입체 인터랙션을 시뮬레이션할 때 사용하는 조작봉을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 입체 디스플레이를 결합하여 입체 인터랙션을 시뮬레이션할 수 있는 입체 인터랙션 방법 및 상응하는 피조작장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 입체 디스플레이와 결합하여 입체 인터랙션을 시뮬레이션할 수 있는 또 다른 입체 인터랙션 방법 및 상응하는 피조작장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 사용자가 더욱 많은 사실감을 느낄 수 있도록 입체 디스플레이와 결합하여 디스플레이되는 입체 인터랙션 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 기술 문제는 일종의 입체 디스플레이를 결합하여 입체 인터랙션을 시뮬레이션할 때 사용하는 조작봉을 제공하고자 하는데 있다.
상기 문제를 해결하기 위하여, 본 발명은, 케이스를 포함하며,
신축 가능한 방식으로 상기 케이스와 연결되는 신축성 헤드부;
조작봉과 피조작장치 간의 정보 인터랙션을 구현하기 위한 통신유닛; 및
조작봉의 공간 위치 및/또는 자세를 실시간으로 검출하고, 검출된 3차원 위치 정보를 통신유닛으로 전송하기 위한 위치결정유닛;을 더 포함하는 일종의 조작봉을 제공한다.
바람직하게는, 상기 조작봉은,
조작봉의 신축성 헤드부의 수축 길이를 실시간으로 검출하고 검출된 수축 길이 정보를 통신유닛으로 전송하는 신축 감지유닛;을 더 포함한다.
바람직하게는, 상기 조작봉은,
상기 통신유닛이 수신한 포스 피드백 명령에 따라, 포스 피드백을 시뮬레이션하는 동작을 실행하기 위한 포스 피드백 유닛;을 더 포함한다.
바람직하게는,
상기 위치결정 유닛은 운동궤적을 검출하는 센서, 및/또는 방위각을 검출하는 센서를 포함하며, 상기 운동궤적의 시작위치를 조작봉의 초기 상태에서 디스플레이 스크린이 소재하는 평면을 기준으로 하는 참조 프레임 중의 대향 위치로 설정한다.
바람직하게는,
상기 신축성 헤드부는 조작봉 헤드와 상기 조작봉 헤드 및 신축 감지장치 사이를 압박하는 탄성부재를 포함하며,
상기 신축 감지유닛은 상기 탄성부재의 압력을 감지하여 상응하는 전기신호로 변환하고 통신유닛으로 전송하기 위하여 압력센싱 방식으로 실현한다.
바람직하게는,
상기 포스 피드백 유닛은 포스 피드백 명령을 수신한 후, 실제 피조작유닛이 눌려졌을 때의 진동을 시뮬레이션하기 위해, 전자기계장치를 이용하여 실현한다.
바람직하게는,
상기 신축성 헤드부 중 케이스쪽에서 먼 일단이 뽀족한 단부이다.
상기 방안에서 제공하는 조작봉은 위치결정 유닛과 신축성 헤드부를 구비하여, 조작봉의 공간위치와 자세를 알 수 있으며, 나아가 입체 인터랙션을 시뮬레이션할 때 필요한 각종 파라미터를 획득할 수 있고, 또한 스크린에 접촉한 후 수축하여 터치 조작 시 사용자가 더욱 많은 사실감을 느낄 수 있게 해준다.
본 발명이 해결하고자 하는 또 다른 기술 문제는 입체 디스플레이를 결합하여 입체 인터랙션을 시뮬레이션할 수 있는 입체 인터랙션 방법 및 상응하는 피조작장치를 제공하고자 하는데 있다.
상기 문제를 해결하기 위하여, 본 발명은 피조작장치 상에서 조작봉의 감지 스크린에 입체적으로 디스플레이되는 피조작유닛에 대한 조작을 시뮬레이션하기 위한 일종의 입체 인터랙션 방법을 제공하며, 상기 입체 인터랙션 방법은,
피조작유닛의 입체 영상 시차를 근거로 피조작유닛 표면의 스크린에 대한 심도를 확정하는 단계;
실시간으로 획득한 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하고, 조작봉 접촉부의 3D 위치와 디스플레이된 피조작유닛 표면의 3D 위치를 비교하여, 조작봉이 피조작유닛과 가상 접촉되었는지 여부를 실시간으로 판단하는 단계; 및
조작봉이 피조작유닛에 접촉된 것으로 판단된 경우, 피조작유닛의 입체 영상에 대한 시차 조정을 통해, 피조작유닛이 눌려질 때의 심도 변화를 시뮬레이션하는 단계;를 포함한다.
바람직하게는,
상기 조작봉 접촉부의 3D 위치와 피조작유닛 표면의 3D 위치는 모두 상대좌표로 표시하며, 상기 상대좌표는 감지 스크린이 소재하는 평면을 참조 프레임으로 하여 확정한다.
바람직하게는,
상기 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 단계는, 적어도 상기 조작봉이 상기 감지스크린을 터치하지 않았을 때, 상기 조작봉 접촉부의 3D 위치를, 수신된 조작봉 접촉부의 3D 좌표정보를 근거로 획득하거나, 또는 수신된 조작봉 상의 또 다른 부위의 3D 좌표 정보, 조작봉의 방위각 정보 및 접촉부에서 상기 또 다른 부위까지의 고유한 거리를 근거로 계산하여 획득하는 단계를 포함한다.
바람직하게는,
상기 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 단계는, 상기 조작봉이 상기 감지 스크린을 터치하였을 때, 상기 조작봉 접촉부의 3D 위치를 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지 스크린의 터치 위치를 근거로 계산하여 획득하는 단계를 포함한다.
바람직하게는, 상기 조작봉 헤드부의 수축 길이는 이하 방식에 따라 실시간으로 획득한다.
상기 조작봉이 송신하는 수축길이의 정보를 근거로 확정하거나, 또는
상기 감지 스크린 상의 압력 감지 장치의 검출결과를 근거로 계산하여 획득하거나, 또는
수신된 상기 조작봉의 3D 위치 및 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지 스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축 길이를 계산하여 획득한다.
바람직하게는,
상기 피조작유닛의 입체 영상에 대한 시차 조정을 통해 피조작유닛이 눌려질 때의 심도변화를 시뮬레이션하는 단계는,
실시간으로 획득되는 조작봉 접촉부의 스크린에 대한 심도를 피조작유닛 표면의 심도로 하고, 또한 상기 심도에 따라 피조작유닛의 입체 영상에서의 시차를 조정하는 단계를 포함한다.
바람직하게는,
만약 조작봉이 피조작유닛을 터치한 것으로 판단된 경우, 상기 피조작장치는 상기 조작봉으로 포스 피드백 명령을 더 송신한다.
바람직하게는,
조작봉이 피조작유닛을 터치한 것으로 판단된 후, 또한 피조작유닛 표면의 심도변화를 근거로 조작봉이 피조작유닛에 대한 클릭 조작을 완료했는지 여부를 판단하고, 만약 "예"인 경우, 상기 피조작유닛에 대한 클릭 명령을 더 생성한다.
상응하게, 본 발명은, 감지스크린, 통신장치 및 영상처리장치를 포함하며, 인터랙션 제어장치를 더 포함하는 것을 특징으로 하는 일종의 입체 인터랙션 시스템 중의 피조작장치를 더 제공한다. 여기서,
상기 감지스크린은 피조작유닛의 입체 영상을 디스플레이하기 위한 것이고,
상기 통신장치는 인터랙션 제어장치와 조작봉 사이의 정보 인터랙션을 실현하기 위한 것이며,
상기 인터랙션 제어장치는,
실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하기 위한 위치확정 유닛; 및
조작봉 접촉부의 3D 위치와 디스플레이된 피조작유닛 표면의 3D 위치를 근거로, 조작봉이 피조작유닛과 가상 터치가 발생하였는지 여부를 실시간으로 판단하여, 만약 "예"인 경우, 영상처리장치 중의 시차 조정 유닛을 활성화시키기 위한 가상 터치 검출 유닛;을 포함하며,
상기 영상처리장치는,
피조작유닛의 입체 영상의 시차를 근거로 피조작유닛 표면의 감지스크린에 대한 심도를 확정하여, 가상 터치 검출 유닛으로 통지하기 위한 심도계산 유닛; 및
피조작유닛의 입체영상에 대한 시차 조정을 통해 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하기 위한 시차조정 유닛;을 포함하는 것을 특징으로 한다.
바람직하게는,
상기 위치확정 유닛이 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 동작은, 적어도 상기 조작봉이 상기 감지스크린을 터치하지 않았을 때, 수신된 조작봉 접촉부의 3D 좌표 정보를 근거로 상기 조작봉 접촉부의 3D 위치를 획득하거나, 또는 수신된 조작봉 상의 또 다른 부위의 3D 좌표 정보, 조작봉의 방위각 정보 및 접촉부로부터 상기 또 다른 부위까지의 고유한 거리를 근거로 상기 조작봉 접촉부의 3D 위치를 계산하여 획득하는 동작을 포함한다.
바람직하게는,
상기 인터랙션 제어장치는 또한, 조작봉이 스크린을 터치하였음을 검출한 후, 검출된 터치 위치를 위치확정유닛으로 통지하기 위한 실제 터치 검출 유닛;을 더 포함하며,
상기 위치확정 유닛이 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 동작은, 상기 조작봉이 감지 스크린을 터치하였을 때, 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 상기 조작봉 접촉부의 3D 위치를 계산하여 획득하는 동작을 포함한다.
바람직하게는,
상기 위치확정 유닛이 상기 조작봉 접촉부의 3D 위치를 계산할 때 사용하는 상기 조작봉 헤드부의 수축 길이는 이하 방식에 따라 실시간으로 획득된다.
상기 조작봉이 송신한 수축길이의 정보를 근거로 확정하거나; 또는
상기 감지스크린 상의 압력 감지 장치의 검출결과를 근거로 계산하여 획득하거나, 또는
수신된 상기 조작봉의 3D 위치 및 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지 스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축 길이를 계산하여 획득한다.
바람직하게는,
상기 시차 조정유닛이 피조작유닛의 입체 영상에 대한 시차 조정을 통해 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하는 동작은, 실시간으로 획득된 조작봉 접촉부의 스크린에 대한 심도를 피조작유닛 표면의 심도로 하여, 상기 심도를 근거로 피조작유닛의 입체 영상 상에서의 시차를 조정하는 동작을 포함한다.
바람직하게는,
상기 가상 터치 검출 유닛은 조작봉이 피조작유닛을 터치한 것으로 판단한 후, 피조작유닛 표면의 심도변화를 근거로, 조작봉이 피조작 유닛에 대한 클릭 조작을 완료하였는지 여부를 더 판단하여, 만약 "예"인 경우 상기 피조작유닛에 대한 클릭 명령을 생성한다.
바람직하게는,
상기 가상 터치 검출 유닛은 조작봉이 피조작 유닛을 터치하였음을 실시간으로 판단할 때, 상기 통신장치를 통해 상기 조작봉으로 포스 피드백 명령을 더 송신한다.
바람직하게는,
상기 피조작 장치는 스마트폰 또는 태블릿 컴퓨터이다.
상기 방안은 조작봉의 감지스크린에 입체적으로 디스플레이되는 피조작유닛에 대한 조작을 시뮬레이션할 수 있어, 사용자가 더욱 많은 사실감을 느낄 수 있게 해주며, 체감되는 조작봉과 스크린의 인터랙션은 더욱 실제에 부합된다.
본 발명이 해결하고자 하는 또 다른 기술문제는 입체 디스플레이와 결합하여 입체 인터랙션을 시뮬레이션할 수 있는 또 다른 입체 인터랙션 방법 및 상응하는 피조작장치를 제공하고자 하는데 있다.
상기 문제를 해결하기 위하여, 본 발명은 피조작장치 상에서 입체 디스플레이를 통하여 조작봉이 감지 스크린에 함입되는 조작을 시뮬레이션하기 위한 일종의 입체 인터랙션 방법을 제공하며, 상기 입체 인터랙션 방법은,
조작봉이 상기 감지 스크린을 터치하였는지 여부를 검출하는 단계;
조작봉이 상기 감지스크린을 터치하였을 때, 실시간으로 획득된 조작봉 수축 부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로 상기 조작봉 수축 부분의 가상 3D 위치를 산출하는 단계; 및
조작봉 수축부분의 가상 3D 위치를 근거로 조작봉 수축 부분의 영상을 실시간으로 기술(description)하고, 기술된 상기 영상을 상기 감지스크린에 디스플레이하는 단계;를 포함한다.
바람직하게는,
상기 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보를 근거로 조작봉 수축부분의 가상 3D 위치를 산출하는 단계는,
실시간으로 획득된 조작봉 헤드부의 수축길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분 상의 적어도 한 점의 가상 3D 위치를 산출한 다음, 조작봉과 감지스크린의 터치 위치와 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축부분의 가상 3D위치를 산출하는 단계를 포함한다.
바람직하게는, 상기 조작봉 헤드부의 수축 길이는 이하 방식으로 실시간으로 획득된다.
상기 조작봉이 송신한 수축길이 정보를 근거로 확정하거나, 또는
상기 감지스크린 상의 압력감지장치의 검출결과를 근거로 산출하거나, 또는
수신된 상기 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축길이를 계산하여 획득한다.
바람직하게는,
상기 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보를 근거로 조작봉 수축부분의 가상 3D 위치를 산출하는 단계는,
실시간으로 수신된 조작봉의 3D 위치정보를 근거로 조작봉 접촉부의 3D 위치를 획득하거나 산출하고, 조작봉과 감지스크린의 터치 위치 및 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 산출하는 단계를 포함한다.
바람직하게는,
상기 실시간으로 기술되는 조작봉 수축부분의 영상은 입체 영상이며, 상기 입체 영상은 설정 또는 추적으로 획득된 사용자가 스크린을 관람할 때의 좌, 우안의 3D 위치를 좌, 우측 카메라로 하고, 감지스크린을 제로 시차면으로 하여 상기 조작봉 수축부분의 좌측 영상과 우측 영상을 기술한다.
바람직하게는,
상기 입체 인터랙션 방법 중에 사용되는 3D 위치는 감지스크린이 소재하는 평면을 참조 프레임으로 하여 확정된 상대 좌표로 표시한다.
상응하게, 본 발명은 감지스크린, 통신장치 및 영상처리장치를 포함하고, 인터랙션 제어장치를 더 포함하는 것을 특징으로 하는 일종의 입체 인터랙션 시스템 중의 피조작장치를 더 제공하며, 여기서,
상기 감지스크린은 피조작유닛의 입체영상을 디스플레이하기 위한 것이고,
상기 통신장치는 인터랙션 제어장치와 조작봉 간의 정보 인터랙션을 실현하기 위한 것이며,
상기 인터랙션 제어장치는,
실시간으로 획득된 조작봉 수축 부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분의 가상 3D 위치를 산출하기 위한 위치확정유닛; 및
조작봉이 감지스크린을 터치하였음을 검출하였을 때, 영상처리장치 중의 영상 기술 유닛을 활성화하여 조작봉과 감지스크린의 터치위치를 위치확정유닛에게 통지하기 위한 실제 터치 검출 유닛;을 포함하며,
상기 영상처리장치는,
조작봉 수축부분의 가상 3D 위치를 근거로 조작봉 수축부분의 입체 영상을 실시간으로 기술하고, 제작된 상기 입체 영상을 상기 감지스크린에 디스플레이하기 위한 영상기술(image description) 유닛을 포함한다.
바람직하게는,
상기 위치확정유닛이 실시간으로 획득한 조작봉 수축부분의 3D 위치 정보를 근거로 조작봉 수축부분의 가상 3D 위치를 산출하는 단계는,
실시간으로 획득한 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축 부분 상의 적어도 한 점의 가상 3D 위치를 산출한 다음, 조작봉과 감지스크린의 터치위치 및 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 산출하는 단계를 포함한다.
바람직하게는,
상기 조작봉 헤드부의 수축 길이는 이하 방식으로 실시간으로 획득된다.
상기 조작봉이 송신한 수축길이 정보를 근거로 확정하거나, 또는
상기 감지스크린 상의 압력감지장치의 검출결과를 근거로 산출하거나, 또는
수신된 상기 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축길이를 계산하여 획득한다.
바람직하게는,
상기 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보를 근거로 조작봉 수축부분의 가상 3D 위치를 산출하는 단계는,
실시간으로 수신된 조작봉의 3D 위치정보를 근거로 조작봉 접촉부의 3D 위치를 획득하거나 산출하고, 조작봉과 감지스크린의 터치위치 및 조작봉의 신축성 헤드부 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 산출하는 단계를 포함한다.
바람직하게는,
상기 실시간으로 기술된 조작봉 수축부분의 영상은 입체 영상이며, 상기 입체 영상은 설정 또는 추적으로 획득한 사용자가 스크린을 관람할 때의 좌, 우안의 3D 위치를 좌, 우측 카메라로 하고, 감지스크린을 제로 시차면으로 하여 상기 조작봉 수축부분의 좌측 영상과 우측 영상을 기술한다.
바람직하게는,
상기 피조작장치는 스마트폰 또는 태블릿 컴퓨터이다.
상기 방안은 입체 디스플레이를 통해 조작봉이 감지스크린으로 함입되는 조작을 시뮬레이션할 수 있어, 사용자가 더욱 많은 사실감을 느낄 수 있게 해주며, 체감되는 조작봉과 스크린의 인터랙션은 더욱 실제에 부합된다.
본 발명이 해결하고자 하는 또 다른 기술문제는 사용자가 더욱 많은 사실감을 느낄 수 있도록 입체 디스플레이와 결합하여 디스플레이되는 입체 인터랙션 시스템을 제공하고자 하는데 있다.
상기 문제를 해결하기 위하여, 본 발명은, 피조작장치 및 조작봉을 포함하는 일종의 입체 인터랙션 시스템을 제공하며,
상기 피조작장치는 피조작유닛의 입체 영상을 디스플레이할 수 있는 감지스크린; 인터랙션 제어장치; 인터랙션 제어장치와 조작봉 간의 정보 인터랙션을 실현하기 위한 통신장치; 및 영상처리장치;를 포함한다.
상기 인터랙션 제어장치는,
실시간으로 획득한 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하기 위한 제1 위치확정유닛; 및
조작봉 접촉부의 3D 위치와 디스플레이된 피조작유닛 표면의 3D 위치를 근거로, 조작봉이 피조작유닛과 가상 터치가 발생했는지 여부를 실시간으로 판단하여, 만약 "예"인 경우, 영상처리장치 중의 시차 조정유닛을 활성화하기 위한 가상 터치 검출 유닛;을 포함하며,
상기 영상처리장치는,
피조작유닛의 입체영상의 시차를 근거로 피조작유닛 표면의 감지스크린에 대한 심도를 확정하고, 가상 터치 검출 유닛으로 통지하기 위한 심도 계산 유닛; 및
피조작유닛의 입체 영상에 대한 시차조정을 통해 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하기 위한 시차조정 유닛;을 포함한다.
바람직하게는, 상기 조작봉은,
조작봉의 공간 중의 위치 및/또는 자세를 실시간으로 검출하고, 검출된 3D 위치 정보를 통신유닛으로 전송하기 위한 위치결정유닛; 및
조작봉과 피조작장치 간의 정보 인터랙션을 실현하기 위한 통신유닛;을 포함하며,
상기 제1 위치확정유닛이 실시간으로 획득한 조작봉 접촉부의 3D위치 정보는 상기 조작봉 중의 위치결정유닛이 송신하는 것이다.
바람직하게는,
상기 위치결정유닛은 운동 궤적을 검출하는 센서, 및/또는 방위각을 검출하는 센서를 포함하며, 상기 운동 궤적의 시작위치를 조작봉의 초기 상태에서 디스플레이 스크린이 소재하는 평면을 기준으로 하는 참조 프레임 중의 상대 위치로 설정한다.
바람직하게는, 상기 입체 인터랙션 시스템은 또한,
조작봉의 감지스크린에 대한 3D 위치를 실시간으로 감지하고, 감지된 3D 위치 정보를 상기 제1 위치확정 유닛으로 송신하기 위한 위치확정 보조장치를 더 포함한다.
바람직하게는,
상기 제1 위치확정유닛이 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 동작은, 적어도 상기 조작봉이 상기 감지 스크린을 터치하지 않았을 때, 수신된 조작봉 접촉부의 3D 좌표정보를 근거로 상기 조작봉 접촉부의 3D 위치를 획득하거나, 또는 수신된 조작봉 상의 또 다른 부위의 3D 좌표 정보, 조작봉의 방위각 정보 및 접촉부에서 상기 또 다른 부위까지의 고유한 거리를 근거로 상기 조작봉 접촉부의 3D 위치를 계산하여 획득하는 단계를 포함한다.
바람직하게는,
상기 인터랙션 제어장치는, 조작봉이 스크린에 터치되었음을 검출한 후, 검출된 터치 위치를 제1 위치확정유닛에게 통지하기 위한 실제 터치 검출 유닛;을 더 포함하며,
상기 제1 위치확정 유닛이 실시간으로 획득한 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 동작은, 상기 조작봉이 상기 감지스크린을 터치하였을 때, 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 상기 조작봉 접촉부의 3D 위치를 계산하는 동작을 포함한다.
바람직하게는,
상기 제1 위치확정유닛이 상기 조작봉 접촉부의 3D 위치를 계산할 때 사용되는 상기 조작봉 헤드부의 수축 길이는, 조작봉 또는 위치확정 보조장치가 송신한 상기 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축 길이를 산출한다.
바람직하게는,
상기 시차조정 유닛이 피조작유닛의 입체 영상에 대한 시차조정을 통해, 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하는 단계는, 실시간으로 획득한 조작봉 접촉부의 스크린에 대한 심도를 피조작유닛 표면의 심도로 하여, 상기 심도를 근거로 피조작유닛의 입체 영상에서의 시차를 조정하는 단계를 포함한다.
바람직하게는,
상기 가상 터치 검출 유닛이 조작봉이 피조작유닛을 터치한 후, 피조작유닛 표면의 심도변화를 근거로 조작봉이 피조작유닛에 대한 클릭 조작을 완료하였는지 여부를 판단하고, "예"인 경우, 상기 피조작유닛의 클릭 명령을 생성한다.
바람직하게는,
상기 조작봉은,
상기 통신유닛이 수신한 포스 피드백 명령에 따라 포스 피드백을 시뮬레이션하는 동작을 실행하기 위한 포스 피드백 유닛; 및
조작봉과 피조작장치 간의 정보 인터랙션을 실현하기 위한 통신유닛;을 포함하며,
상기 가상 터치 검출 유닛은 조작봉이 피조작유닛을 터치하였음을 판단하였을 때, 상기 통신장치를 통해 상기 조작봉으로 포스 피드백 명령을 더 송신한다.
바람직하게는,
상기 조작봉은 신축성 헤드부를 포함하며,
상기 인터랙션 제어 장치는,
실시간으로 획득한 조작봉 수축 부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로, 조작봉 수축부분의 가상 3D 위치를 획득하기 위한 제2 위치확정 유닛; 및
조작봉이 감지스크린을 터치하였음을 검출하였을 때, 영상처리장치 중의 영상기술 유닛을 활성화하여 조작봉과 감지스크린의 터치 위치를 제2 위치 확정유닛으로 통지하기 위한 실제 터치 검출 유닛;을 더 포함하며,
상기 영상처리장치는,
조작봉 수축 부분의 가상 3D 위치를 근거로 조작봉 수축부분의 입체 영상을 실시간으로 기술하여, 제작한 상기 입체 영상을 상기 감지스크린에 디스플레이하기 위한 영상기술 유닛;을 더 포함한다.
바람직하게는,
상기 제2 위치 확정유닛이 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보를 근거로 조작봉 수축 부분의 가상 3D 위치를 산출하는 동작은,
실시간으로 획득된 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분 상의 적어도 한 점의 가상 3D 위치를 산출한 다음, 조작봉과 감지스크린의 터치위치와 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축 부분의 가상 3D 위치를 산출하는 동작을 포함한다.
바람직하게는,
상기 제2 위치확정 유닛이 조작봉 수축부분의 가상 3D 위치를 계산할 때 사용하는 조작봉 헤드부의 수축 길이는 이하 방식으로 획득한다. 수신된 상기 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축 길이를 계산한다.
바람직하게는,
상기 조작봉은,
신축성 헤드부;
조작봉의 신축성 헤드부의 수축 길이를 실시간으로 검출하고 검출된 수축 길이 정보를 통신유닛으로 송신하기 위한 신축 감지 유닛; 및
조작봉과 피조작장치 간의 정보 인터랙션을 실현하기 위한 통신유닛;을 포함한다.
바람직하게는,
상기 신축성 헤드부는 조작봉 헤드 및 상기 조작봉 헤드와 신축 감지 장치 간을 압박하는 탄성부재를 포함하며,
상기 신축 감지 유닛은 상기 탄성부재의 압력을 감지하고, 상응하는 전기신호로 변환하여 통신유닛으로 전송하기 위해, 압력 센싱 방식으로 실현된다.
바람직하게는,
상기 조작봉은 신축성 헤드부를 포함하며,
상기 감지 스크린 표면에 조작봉과 감지스크린이 접촉될 때의 압력을 검출하여 검출결과를 인터랙션 제어장치로 송신하기 위한 압력 감지 장치를 추가로 설치하며, 상기 압력과 조작봉 헤드부의 수축길이는 대응된다.
바람직하게는,
상기위치확정유닛이 실시간으로 획득한 조작봉 수축부분의 3D 위치정보를 근거로 조작봉 수축 부분의 가상 3D 위치를 산출하는 동작은,
실시간으로 수신한 조작봉의 3D 위치정보를 근거로 조작봉 접촉부의 3D 위치를 획득하거나 산출한 다음, 조작봉과 감지스크린의 터치 위치와 조작봉의 신축성 헤드부 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 산출하는 동작을 포함한다.
바람직하게는,
상기 영상기술 유닛이 실시간으로 기술한 조작봉 수축 부분의 영상은 입체 영상이며, 상기 입체 영상은 설정 또는 추적된 사용자가 스크린을 관람할 때의 좌, 우안의 3D 위치를 좌, 우측 카메라로 하고, 감지스크린을 제로 시차면으로 하여, 상기 조작봉 수축 부분의 좌측 영상과 우측 영상을 기술한다.
바람직하게는,
상기 피조작장치는 스마트폰 또는 태블릿 컴퓨터이다.
바람직하게는,
상기 조작봉의 헤드부 중 케이스에서 먼 단부가 뾰족한 단부이며, 상기 뾰족한 단부로 상기 조작봉 접촉부를 구성한다.
상기 방안은 일종의 특수한 조작봉 구조를 사용하여 상응하는 입체 디스플레이 기능을 구비한 피조작장치와 결합함으로써 입체 디스플레이로 표현되는 일종의 입체 인터랙션을 실현하여, 사용자가 더욱 많은 사실감을 느낄 수 있게 해주며, 체감되는 조작봉과 피조작유닛의 인터랙션은 더욱 실제에 부합된다.
도 1은 본 발명의 실시예 중 스크린에 돌출되는 누름키에 대한 터치 조작 설명도이다.
도 2는 본 발명의 실시예 중 스크린에 함입되는 누름키에 대한 터치 조작 설명도이다.
도 3a는 본 발명의 실시예 1의 조작봉 구조도이다.
도 3b는 본 발명의 실시예 1의 조작봉 중 각 유닛의 연결 설명도이다.
도 4는 본 발명의 실시예 1의 피조작장치의 구조도이다.
도 5는 본 발명의 실시예 1 중 스크린에 입체적으로 디스플레이되는 피조작유닛에 대한 터치 조작 처리 흐름도이다.
도 6a와 도 6b는 화소점의 시차와 심도 관계 설명도이다.
도 7은 본 발명의 실시예 1에서 입체 디스플레이를 통해 조작봉이 감지스크린에 함입되는 조작을 시뮬레이션하는 처리 흐름도이다.
도 8은 스크린 상의 압력감지장치를 통해 조작봉의 수축길이를 검출하는 설명도이다.
본 발명의 목적, 기술방안과 장점을 더욱 명확히 이해할 수 있도록, 이하 첨부도면을 결합하여 본 발명의 실시예에 대하여 상세히 설명한다. 설명해 두어야 할 점으로, 의미의 충돌이 없는 한, 본 출원 중의 실시예 및 실시예 중의 특징은 서로 임의의 조합이 가능하다.
[실시예 1]
도 1 및 도 2에 도시된 바와 같이, 본 발명의 입체 인터랙션 시스템은 조작봉과 피조작장치를 포함하며, 상기 피조작장치는 예를 들어 스마트폰, 태블릿 컴퓨터 등과 같이 입체 디스플레이가 가능한 감지스크린을 포함한다. 감지 스크린(이하 스크린으로 약칭함)에 입체적으로 디스플레이되는 조작유닛(누름버튼을 예로 들며, 누름키 또는 기타 아이콘 등일 수도 있음)은 사용자가 볼 때 아마도 스크린에 돌출 또는 함입되는 것으로 보일 수 있다. 스크린에 돌출된 것으로 디스플레이되는 피조작유닛을 터치할 때, 사용자가 더욱 많은 사실감을 느낄 수 있도록 하기 위하여, 조작봉의 헤드부가 피조작유닛 표면에 도달하면, 즉 가상 터치가 발생되면, 상기 피조작유닛이 눌려졌을 때의 시각 변화를 시뮬레이션할 수 있는 동시에, 사용자에게 소정의 포스 피드백을 주어 사용자가 느끼는 조작봉의 피조작유닛에 대한 터치가 더욱 실제에 부합되도록 할 수 있다. 스크린에 함입되는 것으로 디스플레이되는 피조작유닛을 터치할 때, 조작봉의 헤드부는 피조작유닛 표면에 도달하기 전 스크린에 접촉하게 되며, 사용자가 더욱 많은 사실감을 느낄 수 있도록 하기 위하여, 조작봉의 헤드부를 신축 가능하게 설계할 수 있으며, 조작봉의 수축부분을 기술(description)하여 스크린에 입체적으로 디스플레이하는 동시에, 상기 헤드부가 신축하지 않을 때의 3D 위치를 계산하여 가상 터치가 발생되었는지 여부를 판단하고, 가상 터치가 발생된 후에는 상기 동일한 방식을 이용하여 피조작유닛의 동작 연동 디스플레이와 포스 피드백 처리를 실시한다.
본문에서, 3D 위치정보는 3D 위치 또는 3D 위치를 계산하기 위한 모든 정보, 예를 들어 자세, 수축 길이 등일 수 있다. 3D 위치는 3D 좌표, 예를 들어 x, y, z 좌표로 표시하거나 또는 길이 및 방위각으로 표시되는 극좌표를 사용할 수 있다. 3D 위치를 표시하는 좌표는 감지스크린이 소재하는 평면을 참조 프레임으로 하여 확정할 수 있다. 즉 감지스크린에 대향하는 상대 좌표이다. 핸드폰을 예로 들면, 스크린의 중간점 또는 어느 한 끝점을 좌표 원점으로 하여, 스크린에 수직인 방향을 Z축으로, 스크린이 소재하는 평면을 XY 좌표가 나타내는 평면으로 삼을 수 있으나 이에 국한되지 않는다.
도 3a에 도시된 구조도 및 도 3b에 도시된 각 유닛의 연결 설명도를 참조하면, 상기 조작봉은 케이스(101), 신축성 헤드부(102), 통신유닛(103), 위치결정 유닛(104), 포스 피드백 유닛(105) 및 신축감지유닛(106)을 포함한다. 여기서,
케이스(101)는 펜 모양과 같이 손으로 잡기 쉬운 형상이라면 어떤 것이든지 가능하다.
신축성 헤드부(102)는 신축 방식으로 케이스(101)와 연결되며, 종래의 각종 구조를 이용할 수 있다. 본문에서는 신축성 헤드부 중 피조작유닛에 접촉되는 부위를 접촉부라고 칭하며, 신축성 헤드부(102) 중 케이스에서 멀리 떨어진 단부는 하나의 뾰족한 단부로 설계하여 상기 뾰족한 단부를 조작봉의 접촉부로 하는 것이 바람직하며, 이를 조작봉의 접촉점이라고 칭할 수도 있다.
통신유닛(103)은 위치결정 유닛(104), 포스 피드백 유닛(105) 및 신축 감지유닛(106)과 전기적으로 연결되어, 조작봉과 피조작장치 간의 정보 인터랙션을 실현한다. 블루투스, 무선 USB 등과 같은 무선통신방식을 이용할 수도 있고, I2C, USB 등과 같은 유선 통신방식을 이용할 수도 있다.
위치결정 유닛(104)은 조작봉의 공간 중의 위치와 자세를 실시간으로 검출하여, 검출된 3D 위치 정보를 통신유닛(103)으로 발송하기 위한 것이다. 상기 위치결정 유닛은 운동궤적을 검출하는 센서 및 자세를 검출하는 센서를 포함한다. 예를 들어, iphone과 같은 종래의 이동장치에 자이로스코프 센서를 이용하여 운동궤적 데이터(조작봉의 공간 중에서의 위치 정보로 사용될 수 있다)를 획득하는 동시에 가속도 센서를 이용하여 방위각 데이터(조작봉의 자세 정보로 사용될 수 있음)를 획득한다. 상기 운동궤적의 시작위치는 조작봉의 초기 상태에서 위치결정 유닛(또는 기타 부위)의 참고 프레임 중에서의 상대위치로 설정할 수 있다. 위치결정 유닛이 검출한 3D 위치 정보는 조작봉의 3D 위치 및 자세의 정보일 수 있으며, 상기 정보를 근거로 조작봉 접촉부의 3D 위치 또는 중간 결과 등을 계산한다. 위치결정 유닛은 지자기 센서를 이용하여 실현할 수도 있다.
포스 피드백 유닛(105)은 통신유닛이 수신한 포스 피드백 명령을 근거로 포스 피드백을 시뮬레이션하는 동작을 실행한다. 예를 들어, 전자기계 장치를 포스 피드백 유닛으로 사용하여 포스 피드백 명령을 수신한 후, 하나의 진짜 버튼이 눌러진 것 같은 진동을 시뮬레이션하여 조작자가 3D 인터페이스의 조작을 직접 경험하는 것처럼 몰입감을 느끼게 해준다. 상기 전자기계 모듈은 전동 진동모터일 수도 있고, 인조 근육막 또는 기타 진동 시뮬레이션 장치일 수도 있다.
신축 감지유닛(106)은 조작봉 헤드부의 수축 길이(즉 신축성 헤드부의 수축 거리)를 실시간으로 검출하여 검출된 수축 길이 정보를 통신유닛(103)으로 송신한다. 본 실시예의 수축 감지 유닛은 압력 센싱 방식을 이용하여 실현하며, 이와 상응하게, 신축성 헤드부(102)는 스프링과 같이 조작봉 헤드부 및 상기 신축 감지 유닛과 조작봉 간을 압박하는 탄성부재를 포함한다. 신축 가능 헤드부의 수축 길이가 변화되면, 상기 탄성부재의 수축 감지유닛(105)에 대한 압력에 변화가 발생하게 되며, 신축 감지 유닛(105)이 압력을 상응하는 전기신호로 변환하여 통신유닛(103)으로 송신한다. 이와 같이, 상기 전기신호의 크기에 따라 조작봉 헤드부의 수축 길이를 확정할 수 있다. 설명해야 할 점으로, 신축 감지 장치의 구조는 결코 이에 국한되지 않고 광전자 검출 등의 다양한 실현 방식이 있을 수 있다.
상기 조작봉은 또한 배터리, 충전장치 등의 보조장치를 더 포함할 수 있으며, 여기서는 일일이 소개하지 않을 것이다.
도 4에 도시된 바와 같이, 피조작장치는 감지스크린(10), 통신장치(20) 및 영상처리장치(30)를 포함한다. 여기서,
감지스크린(10)은 피조작유닛의 입체 영상을 디스플레이할 수 있다. 본문에서는 스크린이라고 약칭하기도 한다.
통신장치(20)는 인터랙션 제어장치와 조작봉 간의 정보 인터랙션을 실현하기 위한 것이다.
인터랙션 제어장치(30)는,
실시간으로 획득한 조작봉 접촉부의 3D 위치정보를 근거로 조작봉 접촉부의 3D 위치를 확정하기 위한 제1 위치 확정유닛(301);을 포함한다. 상기 조작봉이 스크린에 접촉되지 않았을 때에는, 수신된 조작봉 접촉부의 3D 좌표 정보를 근거로 획득하거나, 또는 수신된 조작봉 상의 또 다른 부위의 3D 좌표 정보, 조작봉의 방위각 정보 및 접촉부에서 상기 또 다른 부위까지의 고유 거리를 근거로 계산하여 획득한다. 조작봉이 스크린에 접촉되었을 때에는 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 계산하여 획득할 수 있으며, 그 중 조작봉 헤드부의 수축길이는 또한 조작봉이 송신한 수축길이 정보를 근거로 확정할 수도 있다. 설명해야 할 점으로, 조작봉이 스크린을 터치하기 전, 조작봉 접촉부의 3D 위치는 실제 위치이고, 조작봉이 스크린을 터치한 후 조작봉 접촉부의 3D 위치는 가상 위치이다. 본문에서는 기타 부분에 대해서는 특별히 설명하지 않을 것이다.
인터랙션 제어 장치(30)는,
조작봉 접촉부의 3D 위치와 디스플레이된 피조작유닛 표면의 3D 위치를 근거로, 조작봉이 피조작유닛과 가상 터치가 발생했는지 여부를 실시간으로 판단하여, 만약 "예"인 경우, 화상처리장치 중의 시차조정유닛을 활성화하고, 통신장치를 통해 조작봉에 포스 피드백 명령을 송신하며, 이밖에, 피조작유닛 표면의 심도 변화를 근거로 조작봉이 피조작유닛에 대한 클릭 조작을 완료했는지 여부를 판단하여, 만약 "예"인 경우, 상기 피조작유닛에 대한 클릭 명령을 더 생성하기 위한 가상 터치 검출 유닛(302);을 포함한다.
인터랙션 제어 장치(30)는,
조작봉이 감지스크린에 접촉되었음이 검출되었을 때, 영상처리장치 중의 영상기술 유닛을 활성화하고, 조작봉과 감지스크린의 접촉위치를 제1 위치확정유닛과 제2 위치확정유닛에 통지하기 위한 실제 터치 검출 유닛(303);을 포함한다.
인터랙션 제어 장치(30)는,
조작봉 접촉부의 3D 위치를 근거로, 조작봉과 감지스크린의 터치 위치 및 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축 부분의 가상 3D 위치를 계산하기 위한 제2 위치확정유닛(304);을 포함한다.
실시간으로 획득된 조작봉 수축부분의 3D 위치정보 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분의 가상 3D 위치를 계산한다. 예를 들어, 실시간으로 획득된 조작봉 헤드부의 수축길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분 중 적어도 하나의 점(예를 들어 접촉부)의 가상 3D 위치를 계산한 다음, 조작봉과 감지 스크린의 터치 위치 및 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 계산한다. 여기서, 접촉부의 가상 3D 위치 역시 실시간으로 획득되는 조작봉의 3D 위치와 자세 정보를 근거로 획득하거나 또는 계산하여 획득할 수 있으며, 조작봉 헤드부의 수축 길이는 조작봉이 송신한 수축 길이의 정보를 근거로 확정할 수 있다.
영상처리장치(40)는 또한,
피조작유닛의 입체영상의 시차를 근거로 피조작유닛 표면의 스크린에 대한 심도를 확정하고 가상 터치 검출 유닛으로 통지하기 위한 심도 계산 유닛(401);
피조작유닛의 입체영상에 대한 시차 조정을 통해, 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하기 위한 것으로서, 예를 들어 실시간으로 획득된 조작봉 접촉부의 스크린에 대한 심도를 피조작유닛 표면의 심도로 하여, 상기 심도를 근거로 피조작유닛의 입체 영상에서의 시차를 조정하는 시차조정유닛(402); 및
조작봉 수축부분의 가상 3D 위치를 근거로 조작봉 수축 부분의 영상을 실시간으로 기술하여, 기술된 상기 영상을 감지스크린에 디스플레이하기 위한 것으로서, 바람직하게는, 기술되는 것은 입체 영상, 예를 들어 사용자가 스크린을 관람할 때의 좌, 우안의 3D 위치를 좌, 우 카메라로 하고, 감지스크린을 제로 시차면으로 하여, 상기 조작봉 수축 부분의 좌측 영상과 우측 영상을 기술하기 위한 영상 기술 유닛(403);을 포함한다.
상기 영상처리장치는 디스플레이하고자 하는 입체 영상에 대하여 기타 영상처리가 더 필요할 수도 있으며, 여기서는 본 실시예와 관련된 유닛에 대해서만 설명한다.
이하 조작봉의 스크린에 입체적으로 디스플레이되는 피조작유닛의 터치 조작에 대한 처리 과정을 소개한다. 상기 처리 과정은 도 5에 도시된 바와 같이 이하 단계를 포함한다.
단계 310: 피조작유닛의 입체 영상의 시차를 근거로 피조작유닛 표면의 스크린에 대한 심도를 확정하는 단계.
본 실시예는 입체영상 중 좌측 영상과 우측 영상의 시차를 통해 입체적인 디스플레이 효과를 형성한다. 도 6a와 도 6b는 각각 시차 d를 갖는 화소점 P가 입체적으로 디스플레이될 때 스크린에 함입 또는 돌출된 것으로 표현되는 설명도로서, 여기서 시차 d는 화소점 P의 입체 영상의 좌측 영상과 우측 영상에서의 좌표의 차로서, 화소점의 시차 d 및 사용자의 좌, 우안의 3D 위치를 근거로 화소점 P의 스크린에 대한 심도 즉 수직 거리를 매우 쉽게 계산할 수 있다. 피조작유닛이 스크린에 대하여 돌출될 때의 심도는 플러스를 취하고, 함입 시에는 마이너스를 취하거나, 또는 반대일 수 있다.
사용자의 좌, 우안의 간격과 관람 위치는 본 분야의 경험치를 참조하여 설정할 수 있으므로 여기서는 상세히 설명하지 않을 것이다. 만약 헤드부 추적장치가 있다면, 추적 검출된 좌, 우안의 3D 위치를 사용하여 동태적으로 시차를 계산하면 더욱 정확하다.
스크린 상에서 피조작유닛 표면의 위치가 이미 알려져 있기 때문에, 본 단계에서 피조작유닛 표면의 스크린에 대한 심도를 확정하면, 피조작유닛 표면의 3D 위치를 획득하게 된다.
단계 320: 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 단계.
조작봉이 송신한 조작봉 접촉부의 3D 위치정보는 조작봉 접촉부의 공간 중에서의 3D 좌표일 수도 있고, 상기 3D 좌표를 추산한 기타 정보일 수 있다. 조작봉이 스크린에 접촉되지 않았을 때, 조작봉 접촉부의 3D 위치는 수신된 조작봉 접촉부의 3D 좌표 정보를 근거로 획득하거나, 또는 수신된 조작봉 상의 또 다른 부위의 3D 좌표 정보, 조작봉의 방위각 정보(예를 들어 조작봉과 스크린의 끼인각 및 조작봉의 스크린에서의 투영과 X축 또는 Y축의 끼인각) 및 접촉부에서 상기 또 다른 부위까지의 고유 거리를 근거로 계산하여 획득한다. 상기 계산은 조작봉의 위치결정유닛에서 완성할 수도 있고, 피조작장치에서 완성할 수도 있다.
조작봉이 스크린에 접촉되었을 때, 상단의 방식으로 조작봉 접촉부의 3D 위치를 확정할 수도 있다. 조작봉이 스크린에 접촉된 후, 조작봉과 스크린의 터치 위치와 조작봉 헤드부의 수축 길이 등의 파라미터를 사용할 수 있기 때문에, 조작봉 헤드부의 수축길이, 조작봉의 방위각 및 조작봉과 감지 스크린의 터치 위치를 근거로 조작봉 접촉부의 3D 위치를 계산하면 결과가 더욱 정확하다. 여기서, 조작봉 헤드부의 수축길이는 상기 조작봉이 송신하는 수축길이의 정보를 근거로 확정할 수 있다.
단계 330: 조작봉 접촉부의 3D 위치와 디스플레이되는 피조작유닛 표면의 3D 위치를 근거로, 조작봉이 피조작유닛과 가상 터치가 발생했는지 여부를 판단하는 단계로서, 만약 "예"인 경우, 단계 340을 실행하고, 아닌 경우 단계 320으로 되돌아간다.
일반적으로, 조작봉 접촉부의 3D 위치와 피조작유닛 표면의 3D 위치가 중첩되거나 또는 가로지를 때 양자 간에 가상 터치가 발생한 것으로 인식된다.
단계 340: 피조작유닛의 입체 영상에 대한 시차 조정을 통해 피조작유닛 표면이 눌려졌을 때의 심도 변화를 시뮬레이션하고, 조작봉에 포스 피드백 명령을 송신하는 단계.
본 단계에서, 피조작유닛 표면의 심도변화를 근거로, 조작봉이 피조작유닛에 대한 클릭 조작을 완료했는지 여부를 판단하고(버튼이 일정 위치로 눌려져야 선택된 것으로 간주할 수 있음), 만약 "예"인 경우 상기 피조작유닛에 대한 클릭 명령을 생성한다.
본 단계에서, 실시간으로 획득된 조작봉 접촉부의 스크린에 대한 심도를 피조작유닛 표면의 심도로 하여, 상기 심도를 근거로 피조작유닛의 입체 영상에서의 시차를 조정한다. 예를 들어 좌측 영상 및/또는 좌측 영상 상의 상기 피조작유닛의 화소점 좌표를 수평 이동시키면, 디스플레이된 피조작유닛은 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션할 수 있다. 또 다른 실시예에서, 만약 수축길이가 비교적 작다면 중간 과정을 단축시켜 디스플레이할 수 있으며, 피조작유닛이 정지위치까지 눌려졌을 때의 입체 영상을 직접 디스플레이할 수 있다. 또 다른 실시예에서는 피조작유닛이 정지위치 및 중간의 약간 위치까지 눌려졌을 때의 입체 영상을 순차적으로 디스플레이할 수도 있다.
도 7은 입체 디스플레이를 통해 조작봉이 감지스크린에 함입되는 조작을 시뮬레이션하는 처리 흐름도로서, 이하 단계를 포함한다:
단계 410: 조작봉이 스크린을 터치하였는지 여부를 검출하는 단계로서, 만약 "예"인 경우 단계 420을 실행하고, "아니오"라면 계속 검출하며;
단계 420: 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분의 가상 3D 위치를 계산하는 단계.
조작봉 수축 부분의 가상 3D 위치를 계산할 때, 실시간으로 획득된 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축 부분 상의 적어도 한 점(예를 들어 접촉부)의 가상 3D 위치를 계산한 다음, 조작봉과 감지스크린의 터치 위치 및 조작봉의 신축성 헤드부 모형을 결합하여 조작봉 수축 부분의 가상 3D 위치를 계산할 수도 있고, 실시간으로 수신한 조작봉의 3D 위치정보를 근거로 조작봉 접촉부의 3D 위치를 획득하거나 계산한 후, 조작봉과 감지스크린의 터치 위치 및 조작봉의 신축성 헤드부 모형을 결합하여 조작봉 수축 부분의 가상 3D 위치를 계산할 수도 있다. 여기서, 조작봉 헤드부의 수축길이는 상기 조작봉이 송신하는 수축길이의 정보를 근거로 확정할 수 있다.
단계 430: 조작봉 수축 부분의 가상 3D 위치를 근거로 조작봉 수축 부분의 입체 영상을 실시간으로 기술하여, 기술된 상기 입체 영상을 스크린에 디스플레이하는 단계.
기술 시, 설정 또는 추적으로 획득된 사용자가 스크린을 관람할 때의 좌, 우안의 3D 위치를 좌, 우 카메라로 하고, 감지스크린을 제로 시차면으로 하면 각각 상기 수축 부분의 좌, 우측 영상을 기술할 수 있다. 본 단계를 완료한 후, 스크린은 조작봉 수축부분의 입체 영상을 디스플레이하여, 사용자가 볼 때 조작봉이 정말로 스크린에 함입되는 것처럼 느껴져 입체 인터랙션 시 사용자에게 사실감을 증강시켜준다.
상기 방안으로부터 알 수 있듯이, 본 실시예는 입체 디스플레이를 결합하여 표현되는 일종의 터치 조작을 구현하였다. 사용자가 더욱 많은 사실감을 느끼고, 감지된 조작봉과 스크린의 인터랙션이 더욱 실제에 부합되도록 하기 위하여, 조작봉에 조작봉의 운동을 검출하는 위치결정 유닛을 설치하면 조작봉의 위치와 자세를 실시간으로 검출할 수 있다. 도 1을 다시 참조하면, 스크린에 돌출되도록 디스플레이되는 누름키의 경우, 조작봉이 스크린에 아직 접촉되지 않았으나 사람의 눈으로는 이미 스크린에 접촉된 것으로 느껴지는 경우, 가상 터치 검출을 통해 상기 누름키의 디스플레이를 획득하고 변경함으로써 마치 진짜로 눌려진 것과 같은 느낌을 주는 동시에, 포스 피드백 유닛을 통해 사용자에게 촉감을 제공할 수 있다. 스크린에 함입되도록 디스플레이되는 누름키의 경우, 도 2를 참조하면, 조작봉이 스크린에 이미 접촉되었으나 사람의 눈으로는 아직 누름키에 접촉되지 않은 것으로 느껴질 경우, 조작봉 헤드부는 조작자의 동작에 따라 자동으로 수축되어, 단말장치로 수축 길이 정보를 송신하고, 단말장치는 상기 수축부분의 입체 영상을 기술하여 스크린에 디스플레이하게 되며, 사용자는 마치 상기 조작봉이 진짜로 스크린에 함입되어 누름키를 클릭하는 것과 같이 느낄 수 있는 동시에, 조작봉이 다른 동작을 할 때, 예를 들어 좌우로 이동할 경우, 조작봉도 동시에 이동하는 것처럼 시뮬레이션할 수 있다. 스크린에 함입된 후에는 가상 접촉 검출을 통해 조작봉이 누름키를 클릭했음을 확인한 다음, 피조작유닛에 대하여 시차조정 및 포스 피드백 처리를 실시할 수 있다.
본 실시예를 단순화한 일 변형예로서, 포스 피드백과 관련된 내용을 생략하여, 조작봉에 포스 피드백 유닛을 설치하지 않고, 피조작 장치에도 관련 처리를 실시하지 않을 수 있다. 기타 실시예도 이와 같다.
모종의 응용 상황에서는, 스크린에 돌출되도록 디스플레이되는 피조작유닛에 대한 조작만 관련이 있으며, 즉 상기 응용 상황에 대한 실시예에서는 본 실시예를 토대로 더욱 단순화하여 신축조작과 관련된 장치 및 처리를 배제할 수 있다. 예를 들어 조작봉 중의 수축헤드와 신축 감지 유닛을 생략할 수 있으며, 피조작장치의 영상처리장치 중의 제2 위치 확정유닛, 영상기술 유닛 역시 생략 가능하고, 또한 수축길이, 가상 조작봉 기술 등의 처리를 생략할 수 있다.
모종의 응용 상황에서는, 스크린에 함입되도록 디스플레이되는 피조작유닛에 대한 조작만 관련이 있으며, 즉 상기 응용 상황에 대한 실시예에서는 본 실시예를 토대로 더욱 단순화하여 조작봉 중의 위치결정 유닛 중 운동 궤적을 검출하는 센서를 생략할 수 있다. 왜냐하면 조작봉의 자세, 수축길이 및 감지스크린과 조작봉의 터치 위치만으로도 가상 터치 검출을 완수할 수 있기 때문이다.
[실시예 2]
실시예 1과 다름 점은, 본 실시예의 입체 인터랙션은 스크린 상에 입체적으로 디스플레이되는 피조작유닛에 대한 조작봉의 터치 조작에 관한 것이 아니라, 입체 디스플레이를 통해 조작봉이 감지스크린에 함입되는 조작을 시뮬레이션 처리하는 것만 관련된다. 따라서 실시예 1을 토대로 약간 단순화할 수 있다.
조작봉의 구조는 실시예 1의 조작봉과 동일하며, 구조를 약간 단순화하여, 위치결정 유닛에 자세 검출을 위한 센서만 포함할 수도 있다.
피조작장치는 마찬가지로 감지스크린, 통신장치 및 영상처리장치를 포함한다. 감지스크린과 통신장치는 실시예 1과 동일하다.
인터랙션 제어장치는,
조작봉이 감지스크린에 접촉되었을 때, 영상처리장치 중의 영상제작유닛을 활성화하고, 조작봉과 감지스크린의 터치 위치를 위치확정유닛으로 통지하기 위한 실제 터치 검출 유닛;
실시간으로 획득된 조작봉 수축 부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분의 가상 3D 위치를 계산하며, 예를 들어 실시간으로 획득된 조작봉 헤드부의 수축길이, 조작봉의 방위각 및 조작봉과 감지스크린의 접촉위치를 근거로 조작봉 수축 부분 상의 적어도 한 점(예를 들어 접촉부)의 가상 3D 위치를 계산한 다음, 조작봉과 감지스크린의 접촉위치와 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 계산하고, 여기서 접촉부의 가상 3D 위치는 실시간으로 획득된 조작봉의 3D 위치와 자세 정보를 근거로 획득하거나 계산할 수도 있고, 조작봉 헤드부의 수축 길이는 조작봉이 송신한 수축길이 정보를 근거로 확정할 수 있는 위치확정유닛; 및
실시예 1 중의 영상제작유닛과 마찬가지로, 조작봉 수축부분의 가상 3D 위치를 근거로 조작봉 수축 부분의 입체 영상을 실시간으로 기술하고 제작된 상기 입체영상을 감지스크린에 디스플레이하기 위한 영상기술유닛을 포함하는 영상처리장치;를 포함한다.
본 실시예에서 입체 디스플레이를 통해 조작봉이 감지스크린에 함입되는 조작을 시뮬레이션하는 처리 과정은 실시예 1과 동일하다.
[실시예 3]
본 실시예는 실시예 1과 기본적으로 동일하며, 차이점은 조작봉의 3D 위치에 대한 검출에 있다. 본 실시예에서는 조작봉의 위치와 자세를 검출하기 위한 위치결정유닛이 없어, 기타 위치결정 보조장치를 사용하여 조작봉의 공간 중에서의 3D 좌표를 공동으로 포지셔닝해야 한다.
상기 위치결정 보조장치는 조작봉의 감지스크린에 대한 3D 위치를 감지하고 감지된 3D 위치정보를 피조작장치로 송신하기 위한 것으로서, 그 방식은 이하 단계를 포함하나 이에 국한되지 않는다.
(a) 촬영기(camera)와 같은 추적장치로서, 상기 촬영기를 통해 조작봉을 추적 식별하여, 조작봉의 3D 위치 정보를 확정한 후 송신하며, 상기 3D 위치정보는 조작봉 접촉부 또는 기타 부재의 3D 위치와 조작봉의 방위각 정보를 포함할 수 있다.
(b) 적외선 감지장치로서, 조작봉과 피조작장치에는 하나는 발생장치 역할을 하고, 하나는 수신장치 역할을 하는 장치가 필요하며, 피조작장치 또는 조작봉에 의해 조작봉의 3D 위치정보를 계산한다.
상기 위치결정 보조장치는 직접 피조작장치의 인터랙션 제어장치로 3D 위치정보를 송신할 수도 있고, 먼저 피조작유닛의 통신장치로 송신한 후, 상기 통신장치가 상기 인터랙션 제어장치에게 제공할 수도 있다.
본 실시예의 조작봉의 3D 위치에 대한 검출은 실시예 1의 변형예와 실시예 2에 적용할 수 있다. 가장 간단한 방식 중, 조작봉은 신축성 헤드부 및 신축감지기구, 위치결정 유닛 및 포스 피드백 유닛을 구비하지 않고, 일반 필기도구와 같을 수 있다. 조작봉의 위치와 자세는 위치결정 보조장치에 의해 검출하며, 입체 상호작용 시 스크린에 돌출된 피조작유닛의 터치 조작에 대해서만 시뮬레이션하면 되기 때문에, 피조작장치 상의 조작봉 수축 부분과 관련된 위치결정 및 제작 유닛과 처리는 모두 생략 가능하다.
[실시예 4]
본 실시예는 실시예 1과 기본적으로 동일하며, 구별되는 점은 조작봉에 수축 감지유닛이 설치되지 않는데 있다. 조작봉이 스크린을 터치한 후의 수축 길이는 또 다른 방식을 통해 계산한다.
도 8에 도시된 바와 같이, 본 실시예에서는 피조작장치의 감지스크린(10) 표면에 한 층의 특수한 압력감지장치(101)를 추가하였다. 예를 들어, 상기 압력감지장치는 일종의 특수한 정전용량 패널일 수 있으며, 조작봉이 상기 정전용량 패널에 접촉한 후, 상기 정전용량 패널에 조작봉의 압력 변화에 따라 전기장의 변화가 발생하게 되는데, 이러한 전기장의 변화가 검출된 후에는 인터랙션 제어장치로 송신될 수 있다. 압력과 조작봉 헤드부의 수축길이는 대응관계를 가지기 때문에, 감지스크린의 정전용량 전압의 변화로 조작봉 헤드부의 수축 길이를 산출하고, 나아가 조작봉 접촉부의 3D 위치를 확정할 수 있다. 즉, 조작봉 헤드부의 수축길이는 감지스크린 상의 압력감지장치의 검출결과를 근거로 계산하여 획득할 수도 있다.
본 실시예의 조작봉의 수축길이에 대한 검출은 실시예 1의 변형예 및 실시예2에도 적용될 수 있다.
[실시예 5]
본 실시예는 실시예 1과 기본적으로 동일하며, 구별되는 점은 조작봉에 수축감지유닛이 설치되지 않는데 있다. 조작봉이 스크린을 터치한 후의 조작봉 접촉부의 3D 위치는 또 다른 방식을 통해 계산한다.
수축감지 유닛이 없기 때문에, 본 실시예에서는 조작봉이 스크린을 터치한 후 검출된 조작봉 헤드부의 수축 길이 정보를 획득할 수 없다. 다만, 조작봉 중의 위치결정 유닛이 조작봉의 위치와 자세를 실시간으로 검출할 수 있기 때문에, 위치결정 유닛의 검출결과를 근거로 수축 길이를 추정할 수 있다.
위치결정 유닛이 검출한 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 획득할 수 있으며, 상기 심도와 끼인각을 근거로 조작봉 헤드부의 수축 길이를 산출할 수 있다. 상기 수축 길이를 획득한 후, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 결합하면 조작봉 접촉부의 3D 위치를 계산할 수 있다. 이러한 방식은 위치결정유닛의 데이터를 실제 터치 위치의 데이터와 결합시켜 위치결정의 정밀도를 보장할 수 있고, 조작봉이 끊어지는 등의 불량 디스플레이 효과가 나타나는 것을 방지할 수 있다.
본 실시예의 조작봉의 수축길이에 대한 검출은 실시예 1의 변형예에도 적용될 수 있다. 본 실시예의 위치결정 유닛이 실시간으로 검출한 3D 위치와 자세 정보 역시 실시예 2 중의 보조장치를 이용하여 제공될 수 있음을 쉽게 이해할 수 있을 것이다.
본 분야의 보통 기술자라면 상기 방법 중의 전부 또는 일부 단계는 프로그램을 통해 관련 하드웨어가 완수하도록 명령할 수 있으며, 상기 프로그램은 컴퓨터 판독 가능 저장매체, 예를 들어 ROM, 디스크, CD-ROM 등에 저장할 수 있다. 선택 가능하게, 상기 실시예의 전부 또는 일부 단계는 또한 하나 또는 다수의 집적회로로 실현할 수 있으며, 상응하게, 상기 실시예 중의 각 모듈/유닛은 하드웨어 형식으로 실현할 수도 있고, 소프트웨어 기능모듈의 형식으로 실현할 수도 있다. 본 발명은 임의의 특정 형식의 하드웨어 및 소프트웨어의 결합에 제한을 두지 않는다.
이상에 설명한 내용은 단지 본 발명의 바람직한 실시예일 뿐으로서, 본 발명을 한정하기 위한 것이 아니며, 본 분야의 기술자라면, 본 발명에 각종 변경 및 변화를 줄 수 있다. 본 발명의 정신과 원칙 안에서 실시되는 모든 수정, 동등한 교체, 개선 등은 모두 본 발명의 보호범위 내에 포함되어야 한다.

Claims (25)

  1. 피조작장치와 조작봉을 포함하는 입체 인터랙션 시스템으로서,
    상기 피조작장치는, 피조작유닛의 입체 영상을 디스플레이할 수 있는 감지스크린; 인터랙션 제어장치; 인터랙션 제어장치 및 조작봉 간의 정보 인터랙션을 실현하기 위한 통신장치; 및 영상처리장치;를 포함하고,
    상기 인터랙션 제어장치는,
    실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하기 위한 제1 위치확정 유닛; 및
    조작봉 접촉부의 3D 위치 및 디스플레이된 피조작유닛 표면의 3D 위치를 근거로 조작봉이 피조작유닛과 가상 터치가 발생했는지 여부를 실시간으로 판단하여, 만약 "예"인 경우 영상처리장치 중의 시차조정 유닛을 활성화하기 위한 가상 터치 검출 유닛;
    을 포함하며,
    상기 영상처리장치는,
    피조작유닛의 입체영상의 시차를 근거로 피조작유닛 표면의 감지스크린에 대한 심도를 확정하고, 가상 터치 검출 유닛으로 통지하기 위한 심도 계산 유닛; 및
    피조작유닛의 입체 영상에 대한 시차조정을 통해, 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하기 위한 시차조정 유닛;
    을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  2. 제1항에 있어서,
    상기 조작봉은,
    조작봉의 공간 중에서의 위치 및/또는 자세를 실시간으로 검출하여, 검출된 3D 위치 정보를 통신유닛으로 송신하기 위한 위치 결정 유닛; 및
    조작봉 및 피조작장치 간의 정보 인터랙션을 실현하기 위한 통신 유닛;
    을 포함하며,
    상기 제1 위치 확정 유닛이 실시간으로 획득한 조작봉 접촉부의 3D 위치 정보는 상기 조작봉 중의 위치결정유닛이 송신한 것임을 특징으로 하는 입체 인터랙션 시스템.
  3. 제2항에 있어서,
    상기 위치결정 유닛은, 운동궤적을 검출하는 센서; 및/또는 방위각을 검출하는 센서;를 포함하며, 상기 운동궤적의 시작위치를 조작봉의 초기상태에서 디스플레이 스크린이 소재하는 평면을 기준으로 하는 참조 프레임 중의 상대 위치로 설정하는 것을 특징으로 하는 입체 인터랙션 시스템.
  4. 제1항에 있어서,
    조작봉의 감지스크린에 대한 3D 위치를 실시간으로 감지하여, 감지된 3D 위치 정보를 상기 제1 위치확정 유닛으로 송신하기 위한 위치결정 보조장치;
    를 더 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 위치확정 유닛이 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 동작은, 적어도 상기 조작봉이 상기 감지스크린을 터치하지 않았을 때, 수신된 조작봉 접촉부의 3D 좌표 정보를 근거로 상기 조작봉 접촉부의 3D 위치를 획득하거나, 또는 수신된 조작봉 상의 또 다른 부위의 3D 좌표 정보, 조작봉의 방위각 정보 및 접촉부로부터 상기 또 다른 부위까지의 고유한 거리를 근거로 상기 조작봉 접촉부의 3D 위치를 계산하여 획득하는 동작을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 인터랙션 제어장치는,
    조작봉이 스크린을 터치하였음을 검출한 후, 검출된 터치 위치를 위치확정유닛으로 통지하기 위한 실제 터치 검출 유닛;
    을 더 포함하며,
    상기 위치확정 유닛이 실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하는 동작은, 상기 조작봉이 감지 스크린을 터치하였을 때, 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 상기 조작봉 접촉부의 3D 위치를 계산하여 획득하는 동작을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  7. 제6항에 있어서, 상기 제1 위치확정유닛이 상기 조작봉 접촉부의 3D 위치를 계산할 때 사용하는 상기 조작봉 헤드부의 수축길이는, 조작봉 또는 위치결정 보조장치가 송신하는 상기 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축길이를 확정하는 것임을 특징으로 하는 입체 인터랙션 시스템.
  8. 제1항에 있어서, 상기 시차조정 유닛이 피조작유닛의 입체영상에 대한 시차조정을 통해, 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하는 동작은, 실시간으로 획득된 조작봉 접촉부의 스크린에 대한 심도를 피조작유닛 표면의 심도로 하여, 상기 심도를 근거로 피조작유닛의 입체영상에서의 시차를 조정하는 동작을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  9. 제1항에 있어서,
    상기 가상 터치 검출 유닛이 조작봉이 피조작유닛을 터치하였음을 판단한 후, 피조작유닛 표면의 심도 변화를 근거로 조작봉이 피조작유닛에 대한 클릭 조작을 완료하였는지 여부를 더 판단하여, 만약 "예"인 경우, 상기 피조작유닛에 대한 클릭 명령을 생성하는 것을 특징으로 하는 입체 인터랙션 시스템.
  10. 제1항에 있어서,
    상기 조작봉은,
    상기 통신유닛이 수신한 포스 피드백 명령에 따라, 포스 피드백을 시뮬레이션하는 동작을 실행하기 위한 포스 피드백 유닛; 및
    조작봉과 피조작장치 간의 정보 인터랙션을 실현하기 위한 통신유닛;
    을 포함하며;
    상기 가상 터치 검출 유닛이 조작봉이 피조작유닛을 터치하였음을 실시간으로 판단할 때, 상기 통신장치를 통해 상기 조작봉으로 포스 피드백 명령을 더 송신하는 것을 특징으로 하는 입체 인터랙션 시스템.
  11. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 조작봉은 신축성 헤드부를 포함하며,
    상기 인터랙션 제어장치는,
    실시간으로 획득된 조작봉 수축 부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축부분의 가상 3D 위치를 산출하기 위한 제2 위치확정유닛과;
    조작봉이 감지스크린을 터치하였음을 검출하였을 때, 영상처리장치 중의 영상 기술 유닛을 활성화하여 조작봉과 감지스크린의 터치위치를 제2 위치확정유닛으로 통지하기 위한 실제 터치 검출 유닛;
    을 포함하며;
    상기 영상처리장치는,
    조작봉 수축부분의 가상 3D 위치를 근거로 조작봉 수축부분의 입체 영상을 실시간으로 기술하고, 제작된 상기 입체 영상을 상기 감지스크린에 디스플레이하기 위한 영상기술(image description) 유닛을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  12. 제11항에 있어서, 상기 제2 위치확정유닛이 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보를 근거로 조작봉 수축 부분의 가상 3D 위치를 산출하는 동작은, 실시간으로 획득한 조작봉 헤드부의 수축 길이, 조작봉의 방위각 및 조작봉과 감지스크린의 터치 위치를 근거로 조작봉 수축 부분 상의 적어도 한 점의 가상 3D 위치를 산출한 다음, 조작봉과 감지스크린의 터치위치 및 조작봉의 신축성 헤드부의 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 산출하는 동작을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  13. 제12항에 있어서, 상기 제2 위치확정유닛이 조작봉 수축부분의 가상 3D 위치를 계산할 때 사용하는 조작봉 헤드부의 수축길이는, 수신된 상기 조작봉의 3D 위치와 자세 정보를 근거로 조작봉 접촉부의 심도 및 조작봉과 감지스크린의 끼인각을 확정한 다음, 상기 조작봉 헤드부의 수축길이를 계산하는 방식으로 획득되는 것을 특징으로 하는 입체 인터랙션 시스템.
  14. 제1항에 있어서,
    상기 조작봉은,
    신축성 헤드부;
    조작봉의 신축성 헤드부의 수축 길이를 실시간으로 검출하여 검출된 수축길이 정보를 통신유닛으로 송신하기 위한 신축 감지 유닛; 및
    조작봉과 피조작장치 간의 통신 인터랙션을 실현하기 위한 통신유닛;
    을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  15. 제14항에 있어서,
    상기 신축성 헤드부는 조작봉 헤드, 및 상기 조작봉 헤드와 신축 감지 장치 사이를 압박하는 탄성부재를 포함하며,
    상기 신축 감지 유닛은 상기 탄성부재의 압력을 감지하여 상응하는 전기신호로 변환하여 통신유닛으로 전송하기 위해, 압력 센싱 방식으로 실현되는 것을 특징으로 하는 입체 인터랙션 시스템.
  16. 제1항에 있어서,
    상기 조작봉은 신축성 헤드부를 포함하며,
    상기 감지 스크린 표면에 조작봉과 감지스크린이 접촉될 때의 압력을 검출하여 검출결과를 인터랙션 제어장치로 송신하기 위한 압력 감지 장치를 추가로 설치하며, 상기 압력과 조작봉 헤드부의 수축길이는 대응되는 것을 특징으로 하는 입체 인터랙션 시스템.
  17. 제11항에 있어서, 상기 위치확정 유닛이 실시간으로 획득한 조작봉 수축부분의 3D 위치정보를 근거로 조작봉 수축 부분의 가상 3D 위치를 산출하는 동작은, 실시간으로 수신된 조작봉의 3D 위치정보를 근거로 조작봉 접촉부의 3D 위치를 획득하거나 산출한 다음, 조작봉과 감지스크린의 터치 위치와 조작봉의 신축성 헤드부 모형을 결합하여 조작봉 수축부분의 가상 3D 위치를 산출하는 동작을 포함하는 것을 특징으로 하는 입체 인터랙션 시스템.
  18. 제11항에 있어서, 상기 영상기술 유닛이 실시간으로 기술한 조작봉 수축 부분의 영상은 입체 영상이며, 상기 입체 영상은 설정 또는 추적된 사용자가 스크린을 관람할 때의 좌, 우안의 3D 위치를 좌, 우측 카메라로 하고, 감지스크린을 제로 시차면으로 하여, 상기 조작봉 수축 부분의 좌측 영상과 우측 영상을 기술하는 것을 특징으로 하는 입체 인터랙션 시스템.
  19. 제1항에 있어서, 상기 피조작장치는 스마트폰 또는 태블릿 컴퓨터인 것을 특징으로 하는 입체 인터랙션 시스템.
  20. 제1항, 제2항, 제10항 및 제14항 중 어느 한 항에 있어서, 상기 조작봉의 헤드부 중 케이스에서 먼 단부가 뾰족한 단부이며, 상기 뾰족한 단부로 상기 조작봉 접촉부를 구성하는 것을 특징으로 하는 입체 인터랙션 시스템.
  21. 케이스;를 포함하는 일종의 조작봉으로서,
    신축 가능한 방식으로 상기 케이스와 연결되는 신축성 헤드부;
    조작봉과 피조작장치 간의 정보 인터랙션을 실현하기 위한 통신유닛; 및
    조작봉의 공간 중에서의 위치 및/또는 자세를 실시간으로 검출하여, 검출된 3D 위치 정보를 통신유닛으로 송신하기 위한 위치결정 유닛;을 더 포함하는 것을 특징으로 하는 조작봉.
  22. 제21항에 있어서,
    조작봉의 신축성 헤드부의 수축길이를 실시간으로 검출하여 검출된 수축길이 정보를 통신유닛으로 송신하기 위한 신축 감지 유닛;을 더 포함하는 것을 특징으로 하는 조작봉.
  23. 제21항 또는 제22항에 있어서,
    상기 통신유닛이 수신한 포스 피드백 명령을 근거로 포스 피드백을 시뮬레이션하는 동작을 실행하기 위한 포스 피드백 유닛;을 더 포함하는 것을 특징으로 하는 조작봉.
  24. 피조작장치에서 입체 디스플레이를 통해 조작봉이 감지스크린에 함입되는 조작을 시뮬레이션하기 위한 일종의 입체 인터랙션 방법으로서,
    조작봉이 상기 감지스크린을 터치하였는지 여부를 검출하는 단계;
    조작봉이 상기 감지스크린을 터치하였을 때, 실시간으로 획득된 조작봉 수축부분의 3D 위치 정보 및 조작봉과 감지스크린의 터치 위치를 근거로 상기 조작봉 수축부분의 가상 3D 위치를 산출하는 단계; 및
    조작봉 수축부분의 가상 3D 위치를 근거로, 조작봉 수축부분의 영상을 실시간으로 기술하고, 기술된 상기 영상을 상기 감지스크린에 디스플레이하는 단계;
    를 포함하는 입체 인터랙션 방법.
  25. 피조작장치에서 조작봉의 감지스크린에 입체적으로 디스플레이되는 피조작유닛에 대한 조작을 시뮬레이션하기 위한 일종의 입체 인터랙션 방법으로서,
    피조작유닛의 입체 영상의 시차를 근거로 피조작유닛 표면의 스크린에 대한 심도를 확정하는 단계;
    실시간으로 획득된 조작봉 접촉부의 3D 위치 정보를 근거로 조작봉 접촉부의 3D 위치를 확정하고, 조작봉 접촉부의 3D 위치 및 디스플레이된 피조작유닛 표면의 3D 위치를 비교하여, 조작봉이 피조작유닛과 가상 터치가 발생하였는지 여부를 실시간으로 판단하는 단계; 및
    조작봉이 피조작유닛을 터치한 것으로 판단한 경우, 피조작유닛의 입체 영상에 대한 시차조정을 통해, 피조작유닛이 눌려졌을 때의 심도변화를 시뮬레이션하는 단계;
    를 포함하는 입체 인터랙션 방법.
KR1020120117778A 2011-11-03 2012-10-23 입체 인터랙션 시스템 및 입체 인터랙션 방법 KR101518727B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
CN2011103435961A CN102426486B (zh) 2011-11-03 2011-11-03 一种立体交互方法及被操作设备
CN2011103439303A CN102508563B (zh) 2011-11-03 2011-11-03 一种立体交互方法以及被操作设备
CN201110343305.9 2011-11-03
CN201110343596.1 2011-11-03
CN201110343598.0 2011-11-03
CN2011103433059A CN102508561B (zh) 2011-11-03 2011-11-03 一种操作棒
CN2011103435980A CN102508562B (zh) 2011-11-03 2011-11-03 一种立体交互系统
CN201110343930.3 2011-11-03

Publications (2)

Publication Number Publication Date
KR20130049152A true KR20130049152A (ko) 2013-05-13
KR101518727B1 KR101518727B1 (ko) 2015-05-08

Family

ID=47290626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120117778A KR101518727B1 (ko) 2011-11-03 2012-10-23 입체 인터랙션 시스템 및 입체 인터랙션 방법

Country Status (5)

Country Link
US (1) US20130117717A1 (ko)
EP (1) EP2590060A1 (ko)
JP (1) JP2013097805A (ko)
KR (1) KR101518727B1 (ko)
TW (1) TWI530858B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001841B2 (en) 2015-02-05 2018-06-19 Electronics And Telecommunications Research Institute Mapping type three-dimensional interaction apparatus and method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081195B2 (en) * 2012-08-13 2015-07-14 Innolux Corporation Three-dimensional image display apparatus and three-dimensional image processing method
CN103997634B (zh) * 2013-02-15 2018-09-11 三星电子株式会社 用户终端及其显示图像的方法
US10019130B2 (en) * 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
EP3123385B1 (en) * 2014-03-25 2020-03-11 Sony Corporation 3d graphical authentication by revelation of hidden objects
KR102336445B1 (ko) 2014-12-01 2021-12-07 삼성전자주식회사 디바이스를 제어하는 방법, 시스템 및 그 디바이스
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
CN105872518A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实调整视差的方法及装置
DE202016103403U1 (de) * 2016-06-28 2017-09-29 Stabilo International Gmbh Federnder Batteriekontakt mit Sensorschutz
WO2021029256A1 (ja) * 2019-08-13 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675693A (ja) * 1992-08-25 1994-03-18 Toshiba Corp ３次元ポインティング装置
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
CN101308441B (zh) * 2004-10-12 2010-09-22 日本电信电话株式会社 三维显示控制方法和三维显示控制装置
JP2008242894A (ja) * 2007-03-28 2008-10-09 Sega Corp スタイラスペン，及びこれを用いたコンピュータシミュレーション装置
KR100980202B1 (ko) 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
JP5563250B2 (ja) * 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
JP2011087848A (ja) * 2009-10-26 2011-05-06 Mega Chips Corp ゲーム装置
US20110115751A1 (en) * 2009-11-19 2011-05-19 Sony Ericsson Mobile Communications Ab Hand-held input device, system comprising the input device and an electronic device and method for controlling the same
JP5446769B2 (ja) * 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 ３次元入力表示装置
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
JP2013084096A (ja) * 2011-10-07 2013-05-09 Sharp Corp 情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001841B2 (en) 2015-02-05 2018-06-19 Electronics And Telecommunications Research Institute Mapping type three-dimensional interaction apparatus and method

Also Published As

Publication number Publication date
KR101518727B1 (ko) 2015-05-08
TWI530858B (zh) 2016-04-21
JP2013097805A (ja) 2013-05-20
EP2590060A1 (en) 2013-05-08
TW201319925A (zh) 2013-05-16
US20130117717A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
CN102426486B (zh) 一种立体交互方法及被操作设备
KR101518727B1 (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
CN102508562B (zh) 一种立体交互系统
CN109313502B (zh) 利用选择装置的敲击事件定位
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User&#39;s Range of Motion
JP3176588U (ja) リモートタッチ回路およびアタッチメント
CN102779000B (zh) 一种用户交互系统和方法
CN103744518B (zh) 立体交互方法及其显示装置和系统
CN111344663B (zh) 渲染装置及渲染方法
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP5561092B2 (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
CN112041789B (zh) 位置指示设备及空间位置指示系统
CN110968190B (zh) 用于触摸检测的imu
CN102508561B (zh) 一种操作棒
CN102508563B (zh) 一种立体交互方法以及被操作设备
GB2517284A (en) Operation input device and input operation processing method
CN106066689B (zh) 基于ar或vr系统的人机交互方法和装置
CN115298646A (zh) 信息处理设备、信息处理方法、计算机程序和增强现实感测系统
JP2022037377A (ja) 入力システム及び入力方法
CN104820492A (zh) 一种三维触觉系统
US20200042157A1 (en) Tablet computing device with display dock
US11836828B2 (en) Controlling interactions with virtual objects
US20230353860A1 (en) System, imaging apparatus, information processing apparatus, information processing method, and information processing program
CN113220110A (zh) 显示系统及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190418

Year of fee payment: 5