KR20150085797A - 정보처리장치 및 정보처리방법 - Google Patents

정보처리장치 및 정보처리방법 Download PDF

Info

Publication number
KR20150085797A
KR20150085797A KR1020150007732A KR20150007732A KR20150085797A KR 20150085797 A KR20150085797 A KR 20150085797A KR 1020150007732 A KR1020150007732 A KR 1020150007732A KR 20150007732 A KR20150007732 A KR 20150007732A KR 20150085797 A KR20150085797 A KR 20150085797A
Authority
KR
South Korea
Prior art keywords
section
virtual object
dimensional virtual
unit
cross
Prior art date
Application number
KR1020150007732A
Other languages
English (en)
Inventor
타로 우에마츠
야수미 타나카
쓰토무 나카하라
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20150085797A publication Critical patent/KR20150085797A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/003Measuring arrangements characterised by the use of electric or magnetic techniques for measuring position, not involving coordinate determination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/58Wireless transmission of information between a sensor or probe and a control or evaluation unit
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

정보처리장치는, 가상공간에 배치되고 적어도 하나의 단면을 가지는 제1 삼차원 가상 물체를 관찰하는 관찰자의 시점 위치를 취득하는 취득부; 상기 제1 삼차원 가상 물체의 제1 단면의 법선 벡터를 취득하는 취득부; 상기 관찰자의 시점 위치와 상기 제1 단면의 법선 벡터에 근거하여, 상기 제1 단면과 법선 벡터가 다른 제2 단면을 가지는 제2 삼차원 가상 물체를 생성하는 화상 생성부; 및 상기 화상 생성부에 의해 생성된 상기 제2 삼차원 가상 물체의 화상을 출력하는 출력부를 구비한다.

Description

정보처리장치 및 정보처리방법{INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD}
본 발명은, 가상공간에 배치되는 삼차원 가상 물체에 대한 조작을 지원하는 기술에 관한 것이다.
종래, 제조 설계 분야에서는, 삼차원CAD시스템을 사용하고, 구성부품과 그 부품의 단면을 입체적으로 표시하면서 설계할 수 있다. 예를 들면, 단면을 관찰할 때는, 기준이 되는 단면평면의 위치와 방향을 설정(이하, 단면조작이라고 부른다)하고, CAD화면상의 조작으로, 부품의 단면의 위치를 변경해 그 단면을 관찰하는 기술이 알려져 있다.
또한, 두부장착형(head-mounted) 표시장치(HMD)를 사용하여서, 가상 현실공간에서 삼차원CAD시스템을 사용하여 설계를 행하는 가상현실감(VR: Virtual Reality) 시스템도 연구되고 있다(일본국 공개특허공보 특개2012-53631호). 또한, HMD를 사용하여서, 현실공간과 가상공간을 결합하는 복합 현실감(MR: Mixed Reality) 시스템의 이용이 제안되어 있다(일본국 공개특허공보 특개2010-66898호). 관찰자가 HMD를 착용하고, 현실공간을 돌아다니면서 가상 물체를 관찰하는 환경에서, 마우스나 키보드 대신에 게임 콘트롤러와 같이 손 등으로 파지(grip)해서 조작하는 조작 장치도 사용된다.
그렇지만, VR 또는 MR에서 표시중의 단면조작에서는, 게임 콘트롤러의 소정의 버튼으로 단면을 조작한다. 관찰자의 시선방향이 소정의 방향과 다를 때, 단면의 조작 방향이, 관찰자가 그 단면을 보는 방향과 반대이고, 관찰자는 직감적으로 그 단면을 조작할 수 없는 경우가 있다.
예를 들면, 공간을 규정하는 좌표계의 원점 및 3축(X축, Y축, Z축)에 의해 정의되는 좌표계에서 단면을 조작하는 경우를 생각한다. 게임 콘트롤러는, 게임 콘트롤러 위 버튼이 +Y방향의 이동과 관련되고, 아래 버튼이 -Y방향의 이동과 관련되고, X-Z평면에 평행한 단면평면이 Y축방향으로 조작되도록, 구성되어 있다고 한다. 이 경우, 관찰자가 X-Y평면 위에 서고, +Y방향으로 시선을 향하고 있을 때, 단면평면은, 위 버튼이 +Y방향을 나타내면서 깊게(즉, 관찰자로부터 멀리) 움직이고, 아래 버튼이 -Y방향을 나타내면서 앞방향(즉, 관찰자를 향해)으로 움직인다. 이 경우에는, 관찰자의 조작 방향과 이동 방향이 서로 일치하여서, 관찰자가 자연스럽게 조작할 수 있다. 한편, 관찰자가 -Y방향으로 시선을 향하고 있을 때(예를 들면, 관찰자가 180°돌릴 때), 단면평면은, 위 버튼이 +Y방향을 나타내면서 관찰자를 향해 움직이고, 아래 버튼이 -Y방향을 나타내면서 보다 깊게 움직인다. 즉, 움직임 방향은 관찰자의 조작 방향에 반대로 되어 있다. 이것은 관찰자에게 위화감이 있어, 관찰자가 그 단면을 직감적으로 조작할 수 없다. 일부의 경우에는, 단면 법선방향이 관찰자를 향하지 않을 때(즉, 관찰자와 단면 사이의 선의 방향에 법선이 평면에서), 관찰자가 그 단면을 확인할 수 없다.
본 발명의 일 국면에 따른 정보처리장치는, 가상공간에 배치되고 적어도 하나의 단면을 가지는 제1 삼차원 가상 물체를 관찰하는 관찰자의 시점 위치를 취득하는 취득부; 상기 제1 삼차원 가상 물체의 제1 단면의 법선 벡터를 취득하는 취득부; 상기 관찰자의 시점 위치와 상기 제1 단면의 법선 벡터에 근거하여, 상기 제1 단면과 법선 벡터가 다른 제2 단면을 가지는 제2 삼차원 가상 물체를 생성하는 화상 생성부; 및 상기 화상 생성부에 의해 생성된 상기 제2 삼차원 가상 물체의 화상을 출력하는 출력부를 구비한다.
본 발명은, 가상공간에 배치되는 삼차원 가상 물체에 대하여 자연스러운 단면조작을 제공하려고 생각하는 기술을 제공한다.
본 발명의 또 다른 특징들은, (첨부도면을 참조하여) 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.
본 명세서의 일부에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 실시예들을 예시하고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 제1실시예에 따른 시스템의 전체 구성을 나타내는 블록도;
도 2는 제1실시예에 따른 시스템의 외관도;
도 3은 시점과, 가상 물체의 단면의 절취 방향(이하, 단면 법선방향이라고 부른다)과의 관계를 설명하는 도;
도 4는 단계S8030의 동작을 나타내고;
도 5는 단계S8080에서 상방단면에 대한 동작을 설명하는 도;
도 6은 단계S8080에서 하방단면에 대한 동작을 설명하는 도;
도 7은 단계S8080에서 횡방향 단면에 대한 동작을 설명하는 도;
도 8은 제1실시예에 따른 정보처리장치(1040)가 행하는 처리를 나타내는 흐름도;
도 9는 기타의 형태의 조작 장치의 도면;
도 10은 제2실시예에 따른 시스템의 전체구성을 나타내는 블록도;
도 11은 제2실시예에 따른 두부장착형 표시장치(HMD)의 외관도;
도 12는 제2실시예에 따른 정보처리장치(10040)가 행하는 처리를 나타내는 흐름도;
도 13은 제3실시예에 따른 시스템의 전체구성을 나타내는 블록도;
도 14는 제3실시예에 따른 시스템의 외관도;
도 15는 제3실시예에 따른 정보처리장치(13040)가 행하는 처리를 나타내는 흐름도;
도 16은 제4실시예에 따른 시스템의 전체구성을 나타내는 블록도;
도 17은 제4실시예에 따른 시스템의 외관도;
도 18은 제4실시예에 따른 정보처리장치(16040)가 행하는 처리를 나타내는 흐름도;
도 19는 단계S18040의 동작을 설명하는 도다.
이하, 첨부도면을 참조하여, 본 발명의 바람직한 실시예를 상세하게 설명한다. 이때, 이하의 실시예는 어디까지나 예시이며, 본 발명의 범위를 한정하려는 것은 아니다.
(제1실시예)
본 발명에 따른 표시 제어장치의 제1실시예로서, 두부장착형 표시장치(HMD)를 포함하는 정보처리시스템을 예로 들어서 설명한다.
<장치 구성>
도 1은, 제1실시예에 따른 시스템의 전체구성을 나타내는 블록도다. 도 2는, 제1실시예에 따른 정보처리시스템의 외관도다. 전술한 바와 같이, 정보처리시스템은, 위치 및 자세 계측부 및 표시부를 가지는 두부장착형 표시장치(HMD)를 이용한다. 또한, 현실공간중의 소정의 위치에는, 자계를 발생하는 자계발생장치(2050)가 배치된다. 이 자계발생장치(2050)의 동작 제어는 센서 콘트롤러(2070)가 행한다.
두부장착형 표시장치(HMD)(1010)에는, 자기센서인 두부 위치 및 자세 계측부(1020)와 1개의 표시부(1030)를 구비하고 있다. 두부 위치 및 자세 계측부(1020)는, 두부 위치 및 자세 계측부(1020)자신의 위치 및 자세(위치 및 방향)에 대응한 자계의 변화를 계측한다. 그리고, 두부 위치 및 자세 계측부(1020)는, 그 계측결과를 센서 콘트롤러(2070)에 대하여 송출한다. 센서 콘트롤러(2070)는, 입력된 계측결과에 의거하여 센서 좌표계(2060)에 있어서의 두부 위치 및 자세 계측부(1020)의 위치와 자세를 나타내는 신호 값을 생성하여, 정보처리장치(1040)에 송출한다. 센서 좌표계(2060)(소정의 좌표계)는, 자계발생장치(2050)의 위치를 원점으로 하고 이 원점에서 서로 직교하는 3축을 X축, Y축 및 Z축으로 하는 좌표계다.
정보처리장치(1040)가 가지는 시점 위치 및 자세 산출부(1050)는, 표시부(1030)에 표시하는 가상공간의 화상의 가상공간 좌표계(2080)에 있어서의 시점의 위치 및 자세를 산출한다. 그리고, 시점 위치 및 자세 산출부(1050)는, 가상 정보 관리부(1060)를 갱신한다. 가상공간좌표계(2080)는, 삼차원 가상 물체를 배치하는 가상공간을 규정하는 좌표계의 원점과, 3축을 X축, Y축 및 Z축으로 하는 좌표계다.
이때, 위치 및 자세의 계측방법으로서 자기센서를 사용한 계측방법을 이용한다. 그렇지만, 본 발명은 위치 및 자세의 계측방법에 의존하는 것이 아니기 때문에, 광학식 센서나 초음파식 센서등, 자기센서이외의 센서를 사용하는 위치 및 자세 계측방법을 채용해도 좋다. 또한, HMD(1010)에 촬상장치를 부착하고, 촬상장치에 의해 촬영된 화상으로부터 촬상장치의 위치 및 자세를 추정하는 방법을 이용해도 좋다. 또한, 복수의 위치 및 자세 계측방법을 조합해서 사용해도 좋다.
가상 정보 관리부(1060)는, 시점 위치 및 자세 산출부(1050)가 산출한 시점 위치 및 자세를 보유한다. 한층 더, 가상 물체(2090)와 단면평면(2040)의 정보를 정보기억부(1065)로부터 판독한다. 가상 물체(2090) 및 단면평면(2040)의 위치 정보는, 가상공간좌표계(2080)에 있어서의 좌표값이다.
HMD(1010)를 두부에 착용하는 관찰자(조작자)는, 손 등에 파지해서 조작하는 지시 도구로서의 조작부(1160)(예를 들면, 게임 콘트롤러)를 거쳐서, 가상공간내의 가상 물체(2090) 및 단면평면(2040)의 위치를 제어한다. 조작부(1160)는, 적어도 2축방향(이 경우에는 상하 및 좌우)을 지시가능한 4방향 선택 키로서 구성된 방향입력부(1150)를 구비한다. 조작부(1160)는, 방향입력부(1150)에 있어서의 입력을 판별하고, 그 판별 결과를 정보처리장치(1040)에 송출한다.
조작 방향 취득부(1090)는, 방향입력부(1150)가 송출한 입력 방향을 취득한다. 단면위치 방향 취득부(1070)는, 가상 정보 관리부(1060)로부터 단면평면(2040)을 취득하고, 단면평면(2040)의 법선(2100)을 산출한다.
도 3은, 시점과, 가상 물체의 단면의 법선방향(이하, 당해 관찰자와 단면 사이의 법선을 따른 방향이기 때문에 단면 법선방향이라고 부른다)과의 관계를 설명하는 도다. 상태 300a에서는, 가상공간내에 있어서, 단면 법선방향(3020)이 관찰자의 시점(3025)쪽을 향하지 않고 있다. 상태 300b에서는, 가상공간내에 있어서, 단면 법선방향(3030)이 시점(3025)쪽을 향하고 있다. 다른 상태 300c에서는, 가상공간내에 있어서, 단면 법선방향(3020)이 시점(3025)쪽을 향하지 않고 있다.
단면방향 조정부(1080)는, 300a에 나타나 있는 바와 같이 단면 법선방향(3020)이 시점(3025)쪽을 향하지 않고 있을 경우에, 단면 법선방향(3020)을 반전하여, 300b의 단면 법선방향(3030)과 같이, 단면 법선방향(3030)이 시점(3025)쪽을 향하도록 변경한다. 그 후, 단면방향 조정부(1080)는, 가상 정보 관리부(1060)를 갱신한다.
단면 조작방향 결정부(1100)는, 시점 위치 및 자세 산출부(1050)가 산출한 시점의 위치 및 자세와 단면위치 방향 취득부(1070)가 취득한 단면평면(2040)과 법선(2100)으로부터, 단면조작 방향을 결정한다. 단면위치 변경부(1110)는, 조작 방향 취득부(1090)가 취득한 입력 방향이, 단면 조작방향 결정부(1100)로 결정한 단면조작 방향에 일치할 경우, 단면평면(2040)을 이동하고, 가상 정보 관리부(1060)를 갱신한다.
가상 화상 생성부(1120)는, 시점 위치 및 자세 산출부(1050)가 구한 위치 및 자세를 가지는 시점에서 보이는 가상공간의 화상을 생성한다. 화상출력부(1140)는, 가상 화상 생성부(1120)로부터 받은 가상공간의 화상을, HMD(1010)가 가지는 표시부(1030)에 대하여 출력한다. 이에 따라, HMD(1010)를 두부에 착용하고 있는 관찰자의 눈 앞에는, 관찰자의 시점의 위치 및 자세에 대응한 가상공간의 화상이 제시되게 된다.
도 9는, 다른 형태의 조작 장치를 도시한 도면이다. 도 9는, 관찰자가 표시부(1030)를 가지는 조작부(1160)를 파지하고, 그 표시부에 표시된 가상 물체(2090)와 단면평면(2040)을 보면서, 방향입력부(1150)를 조작하는 형태의 조작 장치를 나타낸다.
<장치의 동작>
도 8은, 제1실시예에 따른 정보처리장치(1040)가 행하는 처리를 나타내는 흐름도다.
단계S8010에서는, 가상 정보 관리부(1060)는, 가상 물체(2090)와 단면평면(2040)의 정보를 정보기억부(1065)로부터 판독한다.
단계S8030에서는, 시점 위치 및 자세 산출부(1050)는, 센서 좌표계(2060)에 있어서의 시점의 위치 및 자세(위치 및 시선방향)를 산출한다. 이때, 두부 위치 및 자세 계측부(1020)와 시점이 되는 관찰자의 눈과의 상대 위치 및 자세는, HMD(1010)의 형상에 의해 기지이므로 용이하게 산출될 수 있다.
도 4는, 단계S8030의 동작을 설명하는 도다. 가상공간 좌표계(2080)와 센서 좌표계(2060)와의 상대 위치 및 자세는 기지이므로, 센서 좌표계(2060)에 있어서의 시점의 위치 및 자세는 가상공간 좌표계에 있어서의 좌표값으로 변환된다. 그리고, 도 4에 나타나 있는 바와 같이, 시점의 위치(4010)와, 이 점에서 서로 직교하는 3축, 즉 시축과 수평방향으로 직교하는 Cx축(4020), 시축과 수직방향으로 직교하는 Cy축(4030), 및 시축을 따라서의 Cz축(4040)을 구한다.
단계S8040에서는, 조작 방향 취득부(1090)는, 방향입력부(1150)로부터 입력이 수신되면, 단계S8050의 처리로 진행된다. 조작 방향 취득부(1090)는, 방향입력부(1150)로부터 입력이 수신되지 않으면, 단계S8100의 처리로 진행된다.
단계S8050에서는, 단면위치 방향 취득부(1070)는, 가상 정보 관리부(1060)로부터 현재 설정되어 있는 단면평면의 위치 및 자세를 취득하고, 그 단면평면의 법선 벡터를 산출한다. 법선 벡터는, 단면평면의 임의의 연속한 3정점으로부터 2개의 벡터를 산출하고, 해당 2개의 벡터의 외적(outer product)을 도출하는 것에 의해 구할 수 있다. 정보기억부(1065)에 미리 단면평면의 법선 벡터를 보존하고 있어도 된다.
단계S8060에서는, 단면 법선방향 조정부(1080)는, 도 3에 300a로 나타낸 바와 같이, 단면상의 임의의 한 점 3015를 시점으로 하고 시점 위치 및 자세 산출부(1050)로 산출한 시점(3025)을 종점으로 하는 벡터로부터, 시점방향단위 벡터(3010)를 구한다. 한층 더, 단면 법선방향 조정부(1080)는, 단면위치 방향 취득부(1070)로 산출한 단면평면의 법선방향단위 벡터(3020)를 구한다. 그리고, 단면 법선방향 조정부(1080)는, 시점방향단위 벡터(3010)와 단면평면의 법선방향단위 벡터(3020)와의 내적을 계산한다.
부(negative)의 내적은, 가상 물체의 단면의 절취 방향인 단면 법선방향(3020)이 시선방향을 향하지 않고 있는 것을 나타낸다. 그 때문에, 단면을 시점 위치부터 관찰자가 관찰 가능하도록, 단면 법선방향(3020)을 반전한다. 보다 구체적으로는, 300b의 단면 법선방향(3030)과 같이, 가상 물체의 단면의 절취 방향이 시점(3025)쪽을 향하도록 변경된다. 상기 내적이 0 또는 정(positive)일 경우, 단면은 시선방향을 향하고 있고, 아무것도 하지 않는다.
또한, 300c에서와 같이, 가상 물체의 단면의 절취 방향이 시선 방향을 향하지 않고 있는 경우, 단면 법선방향(3020)을 반전해서 시점(3025)으로 향하는 경우에도, 시선방향이 단면의 절취 방향을 향하지 않고 있다. 이 때문에, 가상 물체도 가상 물체의 단면도 HMD(1010)에 표시되지 않는다. 그렇지만, HMD(1010)는 두부에 장착되고, 항상 시점의 위치 및 자세가 변경된다. 관찰자는 시선방향(3040)이 가상 물체 및 단면쪽을 향하는 자세가 될 가능성이 높으므로, 300c로 나타낸 바와 같은 경우에도 미리 단면의 절취 방향을 반전하는 것이 바람직하다.
단계S8080에서는, 단면 조작방향 결정부(1100)는, 정상방식으로 서 있을 때 관찰자에 대해 "상방" 방향인 관찰자의 시선에 직교하는 방향과, 단면의 법선방향이 이루는 각도α를 산출한다. 이때, 도 4에 나타나 있는 바와 같이, 시점 위치 및 자세 산출부(1050)로 산출한 시점 위치 및 자세로부터 얻은 시선 상방방향 단위 벡터(4030)와, 단면위치 방향 취득부(1070)로 산출한 단면의 법선단위 벡터(2100)와의 내적을 구한다. 단위 벡터끼리의 내적은, 그 2개의 벡터가 이루는 각도의 코사인(cosine) 값이므로, 코사인 값으로부터 상기 이룬 각도α를 구할 수 있다.
도 5는, 단계S8080에 있어서 상방을 향하고 있는 단면에 대한 동작을 설명하는 도다. 500a, 500b로 나타나 있는 바와 같이, 단면평면이 시선상방방향(4030)을 향하고 있는 경우, 단면의 법선단위 벡터(2100)의 방향은 방향입력부(1150)에 있어서의 "상"의 입력에 관련된다. 또한, 단면의 법선단위 벡터(2100)와 반대의 방향은, 방향입력부(1150)에 있어서의 "하"(즉, "상"과 역방향)의 입력에 관련된다. 상기 각도α가 소정의 각도 범위내(예를 들면, 0°≤α≤45°)에 있는 경우에, 단면평면이 시선의 상방방향을 향하고 있다고 판단한다.
도 6은, 단계S8080에 있어서 하방을 향하고 있는 단면에 대한 동작을 설명하는 도다. 600a, 600b로 나타나 있는 바와 같이, 단면평면이 시선하방방향을 향하고 있는 경우, 단면의 법선단위 벡터(2100)의 방향은 방향입력부(1150)에 있어서의 "하"의 입력에 관련된다. 그리고, 단면의 법선단위 벡터(2100)와 반대의 방향은, 방향입력부(1150)에 있어서의 "상"의 입력에 관련된다. 상기 각도α가 소정의 각도 범위내(예를 들면, 135°≤α≤180°)에 있는 경우에, 단면평면이 시점에 대해 하방방향을 향하고 있다고 판단한다.
도 7은, 단계S8080에 있어서 횡방향(또는 관찰자의 시선의 방향에 대해 옆으로)을 향하고 있는 단면에 대한 동작을 설명하는 도다. 700a∼700d에 나타나 있는 바와 같이, 단면평면이 시선에 대하여 횡방향을 향하고 있을 경우, 시선방향단위 벡터(7010)와 단면의 법선단위 벡터(2100)와의 스칼라 적(또는 내적)으로부터 이룬 각도β를 구한다. 각도β가 소정의 각도범위내(예를 들면, 45°<β <135°)일 경우에, 단면평면이 시선에 대하여 횡방향을 향하고 있다고 판단한다. 시선방향(7010)은, 시점 위치 및 자세 산출부(1050)로 산출한 시점의 위치 및 자세로부터 얻은 도 4의 시점의 시축방향 벡터(4040)(Cz)와 반대의 방향(-Cz)이다.
700a로 나타나 있는 바와 같이, 단면 법선방향과 시선방향이 같은 방향으로 향하고 있을 경우, 단면의 법선단위 벡터(2100)의 방향은, 방향입력부(1150)에 있어서의 "전방"의 입력에 관련된다. 그리고, 단면의 법선단위 벡터(2100)와 반대의 방향은, 방향입력부(1150)에 있어서의 "후방"의 입력에 관련된다. 각도β가 소정의 각도범위내(예를 들면, 0°≤β <45°)일 경우에, 단면평면과 시선방향이 같은 방향으로 향하고 있다고 판단한다.
700b로 나타나 있는 바와 같이, 단면 법선방향과 시선방향이 반대 방향으로 향하고 있을 경우(즉, 서로 대향할 경우), 단면의 법선단위 벡터(2100)의 방향은, 방향입력부(1150)에 있어서의 "후방"의 입력에 관련된다. 또한, 단면의 법선단위 벡터(2100)와 반대의 방향은, 방향입력부(1150)에 있어서의 "전방"의 입력에 관련된다. 각도β가 소정의 각도범위내(예를 들면, 135°<β≤180°)일 경우에, 단면평면과 시선방향이 반대 방향으로 향하고 있다고 판단한다.
700c 또는 700d로 나타나 있는 바와 같이, 시선방향에 대하여 단면평면이 관찰자가 볼 때 좌우 방향으로 향하고 있을 경우, 시선방향단위 벡터(7010)의 x, y성분과 단면의 법선단위 벡터(2100)의 x, y성분과의 외적을 계산한다. 이 경우에, 각도β가 소정의 각도범위내(예를 들면, 45°≤β≤135°)일 때, 시선방향에 대하여 단면평면이 관찰자로부터 보았을 때 "좌측" 방향 또는 "우측" 방향으로 향하고 있다고 판단한다. 외적(또는 텐서 곱)의 부호가 부(negative)이면, 시선방향에 대하여 단면은 "우측" 방향으로 향하고 있다고 판단할 수 있다. 그 부호가 정(positive)이면, 시선방향에 대하여 단면은 "좌측" 방향을 향하고 있다고 판단할 수 있다.
그리고, 시선방향에 대하여 단면은 우측 방향으로 향하고 있는 경우, 단면의 법선단위 벡터(2100)의 방향은 방향입력부(1150)에의 "우측"의 입력에 관련된다. 또한, 단면의 법선단위 벡터(2100)와 반대의 방향은, 방향입력부(1150)에의 "좌측"의 입력에 관련된다. 이에 반해서, 시선방향에 대하여 단면이 좌측 방향으로 향하고 있을 경우, 단면의 법선단위 벡터(2100)의 방향은, 방향입력부(1150)에의 "좌측"의 입력에 관련된다. 또한, 단면의 법선단위 벡터(2100)와 반대의 방향은, 방향입력부(1150)에의 "오른쪽"의 입력에 관련된다.
단계S8090에서는, 단면위치 변경부(1110)는, 조작 방향 취득부(1090)가 취득한 입력 방향이, 단면 조작방향 결정부(1100)로 결정한 단면조작 방향에 일치할 경우, 단면평면(2040)을 이동하고, 가상 정보 관리부(1060)에서 관리된 정보를 갱신한다.
단계S8100에서는, 가상 화상 생성부(1120)는, 시점 위치 및 자세 산출부(1050)에서 구한 시점 위치 및 자세로부터 보인 가상공간의 화상을 생성한다. 단계S8110에서는, 화상출력부(1140)는, 가상 화상 생성부(1120)로부터 수신한 가상공간의 화상을, HMD(1010)의 표시부(1030)에 대하여 출력한다.
단계S8120에서는, 관찰자로부터 종료 요구가 수신되었으면, 처리를 종료한다. 그 종료 요구가 수신되지 않았으면, 단계S8030에 되돌아가서 처리를 반복한다.
이상 설명한 바와 같이, 제1실시예에 의하면, 관찰자(조작자)의 시점 위치와 가상 물체의 단면이 향하고 있는 단면 법선방향과의 관계에 의거하여 단면 법선방향을 제어한다. 아울러, 관찰자(조작자)의 시선방향과 가상 물체의 단면이 향하고 있는 단면 법선방향과의 관계에 의거하여, 방향입력부에의 입력과 조작 방향간의 연관성을 변경하도록 제어한다. 이에 따라, 제1실시예는, 가상공간에 배치된 삼차원 가상 물체에 대하여 자연스러운 단면조작을 실현할 수 있다.
(제2실시예)
제2실시예에서는 도 10에 도시된 것처럼 두부장착형 표시장치가 2개의 표시부를 구비하는 형태를 설명한다. 보다 구체적으로는, HMD(10010)는, 관찰자에 대하여 삼차원(3D)표시를 제공하기 위해, 우안용 및 좌안용의 2개의 표시부(10030)를 구비한다.
<장치구성>
도 10은, 제2실시예에 따른 시스템의 전체구성을 나타내는 블록도다. 도 11은, 제2실시예에 따른 두부장착형 표시장치(HMD)의 외관도다. 도 10 및 도 11에 있어서, 도 1 및 도 2와 같은 참조부호는 같은 부분을 나타내고, 그것들의 설명은 반복되지 않는다.
1100a의 보기로 나타나 있는 바와 같이, 두부장착형 표시장치(HMD)(10010)는, 두부에 HMD(10010)를 착용한 관찰자의 우안, 좌안의 각각 화상을 제시하기 위한 표시부(10030)를 구비한다. HMD(10010)를 두부에 착용한 관찰자는 좌안으로 좌안용의 표시부(10030)(좌측)를 관찰하고, 우안으로 우안용의 표시부(10030)(우측)를 관찰한다. 이 표시부(10030)는, 정보처리장치(10040)로부터 송출된 가상공간의 화상을 표시한다. 이에 따라, HMD(10010)를 두부에 착용하고 있는 관찰자의 눈앞에는, 자신의 좌우의 시점의 위치 및 자세에 대응한 가상공간의 삼차원 화상이 제시되게 된다. 또한, HMD(10010)는 3개이상의 표시부를 구비하고, 각각의 표시부의 시점의 위치 및 자세에 대응한 가상공간화상을 제시하는 구성을 채용해도 좋다.
정보처리장치(10040)의 시점 위치 및 자세 산출부(10050)는, 가상공간의 화상의 가상공간 좌표계(2080)에 있어서의 우안 및 좌안의 위치 및 자세(예를 들면, 위치 및 시선방향)를 산출한다. 또한, 두부 위치 및 자세 계측부(1020)와 시점이 되는 관찰자의 눈과의 상대 위치 및 자세는, HMD(10010)의 형상으로부터 기지이므로 용이하게 산출될 수 있다. 이때, 그것은, 2개의 위치 및 자세를 대표하는 1개의 위치 및 자세를 산출하고, 가상 정보 관리부(1060)를 갱신하도록 구성해도 좋다.
가상 화상 생성부(10020)는, 표시부(10030)의 좌우 시점의 위치 및 자세에 대응한 가상공간의 화상을 생성한다. 화상출력부(10140)는, 좌우 표시부(10030)에 대응한 화상을 출력한다.
<장치의 동작>
도 12는, 제2실시예에 따른 정보처리장치(10040)가 행하는 처리를 나타내는 흐름도다. 도 12에 나타낸 흐름도에서, 도 8과 같은 참조부호는 같은 처리를 나타내고, 그 설명은 반복하지 않는다.
단계S12030에서는, 시점 위치 및 자세 산출부(10050)(도 10 참조)는, 시점의 대표적인 위치 및 자세(위치 및 시선방향)를 산출한다. 도 11의 1100b로 나타나 있는 바와 같이, 단계S8030과 같이 표시부(10030)의 좌측의 시점의 위치(11021)와, 이 점에서 서로 직교하는 3축, 즉 시축과 수평방향으로 직교하는 Cx축(11031), 시축과 수직방향으로 직교하는 Cy축(11041), 및 시축을 따라서의 Cz축(11051)을 구한다. 한층 더, 표시부(10030)의 우측의 시점의 위치(11022)와, 이 점에서 서로 직교하는 3축, 즉 시축과 수평방향으로 직교하는 Cx축(11032), 시축과 수직방향으로 직교하는 Cy축(11042) 및 시축을 따라서의 Cz축(11052)을 구한다. 그리고, 좌우 각각의 시점의 위치 및 자세로부터 대표적인 1개의 위치 및 자세를 산출한다.
우선, 위치 11021과 위치 11022를 잇는 직선의 중간점을 구하고, 대표 위치 11020으로 한다. Cy축 11041과 Cy축 11042의 벡터의 합을 산출하여 단위 벡터를 구하고, 대표 자세Cy축 11140으로 한다. 그리고, Cz축 11051과 Cz축 11052의 벡터의 합을 산출하여 단위 벡터를 구하고, 대표 자세Cy축 11150으로 한다. 또한, Cy축 11140과 Cz축 11150의 외적을 산출하여, Cy축 11140과 Cz축 11150에 직교하는 대표 자세Cx축 11130을 구한다.
3개이상의 표시부를 가지는 HMD(10010)에서는, 각 표시부의 시점의 중심위치를 대표 위치로서 설정한다. 각각의 대표 자세축Cy, Cz에 대한 벡터의 합을 산출하여, 단위 벡터를 구한다.
단계S12100에서는, 가상 화상 생성부(10020)는, 표시부(10030)의 좌우 시점의 위치 및 자세로부터 보이는 가상공간의 화상을 생성한다. 단계S12110에서는, 화상출력부(10140)는, 가상 화상 생성부(10020)로부터 수신된 표시부(10030)의 좌우의 시점에 있어서의 가상공간의 화상을, HMD(10010)의 좌우 표시부(10030)에 출력한다.
이상 설명한 바와 같이, 제2실시예에 의하면, 관찰자(조작자)에 대하여, 가상공간에 배치된 삼차원 가상 물체를 삼차원(3D) 표시에 의해 제시할 수 있다. 상기 제1실시예와 같이, 제2실시예는, 가상공간에 배치된 삼차원 가상 물체에 대하여 자연스러운 단면조작을 실현할 수 있다.
(제3실시예)
제3실시예에서는 도 13 및 도 14에 나타낸 바와 같이 두부장착형 표시장치가 우안 및 좌안의 위치에 배치된 2개의 촬상부를 더욱 구비한 형태에 관하여 설명한다. 보다 구체적으로는, HMD(13010)는, 관찰자에 대하여, 가상공간에 배치된 삼차원 가상 물체의 화상을 현실공간의 풍경에 중첩 표시하는 복합 현실감(MR) 표시를 제공하기 위해, 촬상부(13020)를 구비한다.
<장치구성>
도 13은, 제3실시예에 따른 시스템의 전체구성을 나타내는 블록도다. 도 14는, 제3실시예에 따른 시스템의 외관도다. 도 13 및 도 14에 있어서, 도 2, 도 10 및 도 11과 같은 참조번호는 같은 부분을 나타내고, 그 설명은 반복하지 않는다.
두부장착형 표시장치의 HMD(13010)는, HMD(10010)에 2개의 촬상부(13020)를 더욱 추가하여서 구성된다. 촬상부(13020)는, 현실공간의 동작 화상을 촬상하고, 촬상한 화상들(현실공간의 화상들)을 차례차례, 정보처리장치(13040)의 촬상화상 취득부(13050)에 입력한다. 2개의 촬상부(13020)가, HMD(13010)를 두부에 착용하는 관찰자의 우안과 좌안을 위해 배치되어 있다. 우안용의 촬상부(13020)가 촬상한 현실공간의 화상은, 우안용의 표시부(10030)에 표시되고, 좌안용의 촬상부(13020)가 촬상한 현실공간의 화상은 좌안용의 표시부(10030)에 표시된다.
촬상화상 취득부(13050)는, 취득한 현실공간의 화상을 화상합성부(13030)에 송출한다. 화상합성부(13030)는, 가상 화상 생성부(10020)가 생성한 가상공간의 화상과, 촬상화상 취득부(13050)로부터 취득한 현실공간의 화상을 중첩하여서, 합성 화상을 생성한다. 이때에, 합성 화상은 우안용과 좌안용의 2개가 작성된다. 화상합성부(13030)는, 그 생성한 합성 화상을 화상출력부(10140)에 출력하고, 화상출력부(10140)는, 이 합성 화상을 표시부(10030)에 대하여 출력한다.
<장치의 동작>
도 15는, 제3실시예에 따른 정보처리장치(13040)가 행하는 처리를 나타내는 흐름도다. 도 15에 나타낸 흐름도에서는, 도 12와 같은 참조부호는 같은 처리를 나타내고, 그 설명은 반복하지 않는다.
단계S15010에서는, 촬상화상 취득부(13050)는, 취득한 현실공간의 화상을 화상합성부(13030)에 송출한다. 단계S15020에서는, 화상합성부(13030)는, 가상 화상 생성부(10020)가 생성한 가상공간의 화상들과, 촬상화상 취득부(13050)로부터 취득한 현실공간의 화상들과의 합성 화상을 생성한다. 화상합성부(13030)는, 생성한 합성 화상을 화상출력부(10140)에 출력하고, 화상출력부(10140)는, 이 합성 화상을 표시부(10030)에 출력한다.
이상 설명한 바와 같이, 제3실시예는, 관찰자(조작자)에 대하여, 가상공간에 배치된 삼차원 가상 물체의 화상을 현실공간의 풍경에 중첩하여 표시하는 복합 현실감(MR) 표시를 제공할 수 있다. 제1실시예와 같이, 제3실시예는, 가상공간에 배치된 삼차원 가상 물체에 대하여 자연스러운 단면조작을 실현할 수 있다.
(제4실시예)
제4실시예에서는 자신의 위치 및 자세의 변화에 의거하여 조작을 행하는 조작부(지시 도구)를 사용하는 형태에 관하여 설명한다. 특히, 조작부는, 두부 위치 및 자세 계측부(1020)와 같은 자기센서를 구비하고, 조작부의 위치 및 자세를 계측 가능하게 구성되어 있다.
<장치구성>
도 16은, 제4실시예에 따른 시스템의 전체구성을 나타내는 블록도다.
도 17은, 제4실시예에 따른 시스템의 외관도다. 도 16 및 도 17에 있어서, 도 1 및 도 2와 같은 참조부호는 같은 부분을 나타내고, 그 설명은 반복하지 않는다.
전술한 바와 같이, 조작부(16160)는, 두부 위치 및 자세 계측부(1020)와 같은 자기센서인 조작부 위치 및 자세 계측부(16020)를 구비한다. 조작부 위치 및 자세 계측부(16020)는, 조작부 위치 및 자세 계측부(16020)의 위치 및 자세에 대응한 자계의 변화를 계측하고, 그 계측결과를 센서 콘트롤러(2070)에 대하여 송출한다. 센서 콘트롤러(2070)는, 이 계측결과로부터, 센서 좌표계에 있어서의 조작부 위치 및 자세 계측부(16020)의 위치 및 자세를 나타내는 신호 값을 생성해서 정보처리장치(16040)에 송출한다.
또한, 조작부(16160)는, 이벤트를 발생시키기 위해서 유저가 조작하는 이벤트 입력부(16150)를 구비한다. 예를 들면, 이벤트 입력부(16150)는 눌려질 수 있는 버튼이다. 유저가 이벤트를 발생시키고 싶을 경우에, 유저는 이 버튼을 누른다. 이 버튼이 눌려지면, 조작부(16160)는 이벤트를 발생시켜, 정보처리장치(16040)에 출력한다.
<장치의 동작>
도 18은, 제4실시예에 따른 정보처리장치(16040)가 행하는 처리를 나타내는 흐름도다. 도 18에 나타낸 흐름도에서, 도 8과 같은 참조부호는 같은 처리를 나타내고, 그 설명은 반복하지 않는다.
단계S18040에서는, 조작 방향 취득부(16090)는, 단계S8030의 시점 위치 및 자세 산출부(1050)와 마찬가지로, 가상공간 좌표계의 좌표계(2080)에 있어서의 조작부(16160)의 위치 및 자세를 산출한다.
도 19는, 단계S18040의 동작을 설명하는 도다. 우선, 1900a에 나타나 있는 바와 같이, 조작부(16160)의 위치 19010과 시점 19020을 잇는 직선과, 가상공간의 시점에서 본 가상 물체를 투영하는 투영면(19035)이 교차하는 점 19030을 산출한다.
그리고, 1900b에 나타나 있는 바와 같이, 조작부(16160)의 전회의 투영면상의 위치 19040을 시점으로 하고, 현재의 투영면상의 위치 19050을 종점으로 하는 직선의 벡터를 산출하여, 투영면상의 상, 하, 좌 또는 우의 입력 방향을 판별한다. 전회의 투영면상의 위치와 현재의 투영면상의 위치가 완전히 같은 경우에는, 현재의 투영면상의 위치가 다른 위치로 변경될 때까지, 계산을 시작하지 않는 것이 바람직하다. 직선의 벡터가 투영면상의 2차원의 벡터이므로, 상, 하, 좌 또는 우의 입력 방향의 판별은, 벡터의 X 및 Y성분의 절대치에 근거해 행하면 좋다. 즉, 절대치가 증가하는 방향을 입력 방향으로서 판별한다.
또한, 조작 방향 취득부가 조작 방향을 판별하기 위한 방법으로서는, 여러 가지의 다른 방법이 생각 가능하다. 예를 들면, 조작부(16160)의 현재의 지시 방향을 투영면(19035)에 투영한 벡터를, 직접, 상, 하, 좌 또는 우의 입력 방향으로서 판별에 사용해도 된다.
그 대신에, 키보드의 특정한 키를 상, 하, 좌, 우 방향에 할당하고, 상, 하, 좌 또는 우의 입력 방향의 판별에 사용해도 된다. 또한, 마우스의 이동 방향과 클릭 이벤트를, 상, 하, 좌 또는 우의 입력 방향의 판별에 사용해도 된다. 또한, 음성입력을, 상, 하, 좌 또는 우의 입력 방향의 판별에 사용해도 된다. 또한, 손의 움직임을 촬상하고, 연속저인 손의 화상으로부터 판별된 제스처를, 상, 하, 좌 또는 우의 입력 방향의 판별에 사용해도 된다.
이상 설명한 바와 같이, 제4실시예에 의하면, 관찰자(조작자)는, 조작부 자신의 위치 및 자세의 변화에 의거하여 조작을 행하는 조작부(지시 도구)를 사용해서 가상공간에 배치된 삼차원 가상 물체를 조작할 수 있다. 제1실시예와 같이, 제4실시예는, 가상공간에 배치된 삼차원 가상 물체에 대하여 자연스러운 단면조작을 실현할 수 있다.
기타의 실시예
또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (14)

  1. 가상공간에 배치되고 적어도 하나의 단면을 가지는 제1 삼차원 가상 물체를 관찰하는 관찰자의 시점 위치를 취득하는 취득부;
    상기 제1 삼차원 가상 물체의 제1 단면의 법선 벡터를 취득하는 취득부;
    상기 관찰자의 시점 위치와 상기 제1 단면의 법선 벡터에 근거하여, 상기 제1 단면과 법선 벡터가 다른 제2 단면을 가지는 제2 삼차원 가상 물체를 생성하는 화상 생성부; 및
    상기 화상 생성부에 의해 생성된 상기 제2 삼차원 가상 물체의 화상을 출력하는 출력부를 구비한, 정보처리장치.
  2. 제 1 항에 있어서,
    상기 제2 단면의 법선 벡터는, 상기 제1 단면의 법선 벡터를 반전하여 얻어진 벡터인, 정보처리장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 화상 생성부는, 상기 제1 단면의 법선 벡터와, 상기 관찰자의 시점 위치와 상기 단면내의 소정의 영역을 잇는 벡터와의 내적에 의거하여, 상기 제2 단면의 법선 벡터를 결정 가능하고, 상기 제2 단면을 가지는 상기 제2 삼차원 가상 물체를 생성 가능한, 정보처리장치.
  4. 제 1 항에 있어서,
    상기 제2 단면을 이동시키기 위한 지시를 유저로부터 접수하는 조작부를 더 구비하고,
    상기 화상 생성부는, 상기 조작부에 의한 조작에 의거하여 상기 제2 단면의 법선 벡터의 방향으로 상기 제2 단면을 소정의 거리만큼 이동시킨 상태에서 상기 제2 삼차원 가상 물체를 생성 가능한, 정보처리장치.
  5. 제 4 항에 있어서,
    상기 취득부는, 상기 관찰자의 시선방향을 더욱 취득 가능하고,
    상기 조작부는, 적어도 제1 방향의 지시와 상기 제1 방향과 역방향의 제2 방향의 지시를 상기 유저로부터 접수하고,
    상기 화상 생성부는,
    상기 시선방향과 직교하는 상기 관찰자에 대한 상방방향과 단면 법선방향이 이루는 각도α가 제1 각도범위내에 속하는 경우에,
    상기 조작부에 있어서의 상기 제1 방향의 지시에 근거하는 제1 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고, 상기 조작부에 있어서의 상기 제2 방향의 지시에 근거하는 상기 제1 이동 방향과 반대의 제2 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하며,
    상기 화상 생성부는,
    상기 각도α가 상기 제1 각도범위와 다른 제2 각도범위내에 속하는 경우에,
    상기 조작부에 있어서의 상기 제1 방향의 지시에 근거하는 상기 제2 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고, 상기 조작부에 있어서의 상기 제2 방향의 지시에 근거하는 상기 제1 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능한, 정보처리장치.
  6. 제 5 항에 있어서,
    상기 조작부는, 상기 제1 방향과 직교하는 제3 방향의 지시와 상기 제3 방향과 반대의 제4 방향의 지시를, 상기 유저로부터 더욱 접수하고,
    상기 화상 생성부는,
    시선방향과 상기 제1 삼차원 가상 물체의 단면 법선방향이 이루는 각도β가 제3 각도범위내에 속하는 경우에,
    상기 조작부에 있어서의 상기 제1 방향의 지시에 근거하는 상기 제1 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고, 상기 조작부에 있어서의 상기 제2 방향의 지시에 근거하는 상기 제2 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고,
    상기 화상 생성부는,
    상기 각도β가, 상기 제3 각도범위와 다른 제4 각도범위내에 속하는 경우,
    상기 조작부에 있어서의 상기 제1 방향의 지시에 근거하는 상기 제2 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고, 상기 조작부에 있어서의 상기 제2 방향의 지시에 근거하는 상기 제1 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하며,
    상기 화상 생성부는,
    상기 각도β가 상기 제3 각도범위 및 상기 제4 각도범위와 다른 제5 각도범위내에 속하고, 상기 시선방향의 벡터와 상기 단면 법선방향의 벡터와의 외적의 값의 부호가 정(positive)일 경우에,
    상기 조작부에 있어서의 상기 제3 방향의 지시에 근거하는 제3 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고, 상기 조작부에 있어서의 상기 제4 방향의 지시에 근거하는 상기 제3 이동 방향과 반대의 제4 이동방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고,
    상기 화상 생성부는,
    상기 각도β가 상기 제5 각도범위내에 속하고 상기 부호가 부(negative)일 경우에,
    상기 조작부에 있어서의 상기 제3 방향의 지시에 근거하는 상기 제4 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능하고, 상기 조작부에 있어서의 상기 제4 방향의 지시에 근거하는 상기 제3 이동 방향으로 상기 제2 단면을 이동시키는 상태에서 상기 제2 삼차원 가상 물체를 생성 가능한, 정보처리장치.
  7. 제 5 항에 있어서,
    상기 제1 각도범위는, 0°≤α <(90-A)°이며, 여기서 0 <A <90,
    상기 제2 각도범위는, (90+A)°<α≤180°인, 정보처리장치.
  8. 제 6 항에 있어서,
    상기 제3 각도범위는, 0°≤β <(90-B)°이며, 여기서 0 <B <90,
    상기 제4 각도범위는, (90+B)°<β≤180°이며,
    상기 제5 각도범위는, (90-B)°≤β≤(90+B)°인, 정보처리장치.
  9. 제 4 항에 있어서,
    상기 조작부는, 2축방향을 지시 가능한 4방향 선택 키로서 구성되는, 정보처리장치.
  10. 제 1 항에 있어서,
    상기 출력부는, 두부장착형 표시장치(HMD)로서 구성되는 표시장치에 상기 제2 삼차원 가상 물체의 화상을 출력하는, 정보처리장치.
  11. 제 10 항에 있어서,
    상기 두부장착형 표시장치(HMD)는, 상기 유저의 각각의 우안 및 좌안에 대한 화상을 제시하기 위한 2개의 표시부를 구비하고,
    상기 화상 생성부는, 상기 2개의 각각의 표시부에 대응한 2개의 화상을 생성 가능한, 정보처리장치.
  12. 제 11 항에 있어서,
    상기 두부장착형 표시장치(HMD)는, 상기 유저의 각각의 우안 및 좌안의 위치로부터 현실공간의 풍경을 촬상하는 2개의 촬상부를 더욱 구비하고,
    상기 화상 생성부는, 상기 2개의 각각의 표시부에 대응한 2개의 화상으로서, 상기 2개의 촬상부에 의해 얻어진 상기 2개의 촬상화상에 대하여 가상공간내의 상기 제2 삼차원 가상 물체를 중첩하여 표시한 화상을 생성 가능한, 정보처리장치.
  13. 화상처리장치가 실행하는 정보처리방법으로서,
    가상공간에 배치되고 적어도 하나의 단면을 가지는 제1 삼차원 가상 물체를 관찰하는 관찰자의 시점 위치를 취득하는 단계;
    상기 제1 삼차원 가상 물체의 제1 단면의 법선 벡터를 취득하는 단계;
    상기 관찰자의 시점 위치와 상기 제1 단면의 법선 벡터에 근거하여, 상기 제1 단면과 법선 벡터가 다른 제2 단면을 가지는 제2 삼차원 가상 물체를 생성하는 단계; 및
    상기 생성된 상기 제2 삼차원 가상 물체의 화상을 출력하는 단계를 포함하는, 정보처리방법.
  14. 컴퓨터에 청구항 13에 따른 정보처리방법을 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.
KR1020150007732A 2014-01-16 2015-01-16 정보처리장치 및 정보처리방법 KR20150085797A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014006217A JP5824537B2 (ja) 2014-01-16 2014-01-16 情報処理装置および情報処理方法
JPJP-P-2014-006217 2014-01-16

Publications (1)

Publication Number Publication Date
KR20150085797A true KR20150085797A (ko) 2015-07-24

Family

ID=53485137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150007732A KR20150085797A (ko) 2014-01-16 2015-01-16 정보처리장치 및 정보처리방법

Country Status (6)

Country Link
US (1) US9607439B2 (ko)
JP (1) JP5824537B2 (ko)
KR (1) KR20150085797A (ko)
CN (1) CN104794757A (ko)
DE (1) DE102015100540A1 (ko)
GB (1) GB2524144A (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6193195B2 (ja) * 2014-09-17 2017-09-06 株式会社東芝 移動支援装置、方法及びプログラム
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US10650601B2 (en) * 2016-03-29 2020-05-12 Sony Corporation Information processing device and information processing method
EP3264286B1 (en) * 2016-06-28 2020-11-18 Dassault Systèmes Querying a database with morphology criterion
US10198855B2 (en) * 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
EP3321817A1 (en) 2016-11-14 2018-05-16 Dassault Systèmes Querying a database based on a parametric view function
JP6275809B1 (ja) * 2016-12-09 2018-02-07 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
CN110337681B (zh) * 2017-03-01 2021-08-10 三菱电机株式会社 信息处理系统
US11205402B2 (en) * 2017-09-25 2021-12-21 Mitsubishi Electric Corporation Information display apparatus and method, and recording medium
WO2019092685A1 (en) 2017-11-13 2019-05-16 Arkio Ehf. Virtual/augmented reality modeling application for architecture
JP2019101513A (ja) * 2017-11-29 2019-06-24 株式会社カプコン 仮想空間表示装置、ゲームシステムおよび仮想空間における仮想オブジェクトの向き判定方法
US11281824B2 (en) 2017-12-13 2022-03-22 Dassault Systemes Simulia Corp. Authoring loading and boundary conditions for simulation scenarios
CN110554784B (zh) * 2018-05-31 2023-07-14 广东虚拟现实科技有限公司 输入方法、装置、显示设备及存储介质
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
JP7413077B2 (ja) * 2020-02-27 2024-01-15 キヤノン株式会社 ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム
CN112446952B (zh) * 2020-11-06 2024-01-26 杭州易现先进科技有限公司 三维点云法向量的生成方法、装置、电子设备及存储介质
CN113870403B (zh) * 2021-09-23 2023-01-10 埃洛克航空科技(北京)有限公司 用于图像渲染的信息处理方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3026716B2 (ja) * 1994-03-16 2000-03-27 株式会社日立製作所 立体型表示装置
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP3647691B2 (ja) * 1999-09-30 2005-05-18 コナミ株式会社 ポリゴン画像表示方法、ポリゴン画像作成装置及び記録媒体
JP3792541B2 (ja) 2001-06-07 2006-07-05 富士通株式会社 3次元モデル表示プログラムおよび3次元モデル表示装置
JP4757115B2 (ja) 2006-06-28 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
JP4919887B2 (ja) * 2007-07-09 2012-04-18 任天堂株式会社 画像処理プログラムおよび画像処理装置
JP5226360B2 (ja) 2008-04-08 2013-07-03 株式会社東芝 超音波診断装置
JP5438936B2 (ja) * 2008-08-29 2014-03-12 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
JP5403974B2 (ja) * 2008-09-09 2014-01-29 キヤノン株式会社 三次元cadシステム
US8745536B1 (en) 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
JP5769392B2 (ja) 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
JP5550496B2 (ja) * 2010-08-31 2014-07-16 富士フイルム株式会社 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
JP5709440B2 (ja) 2010-08-31 2015-04-30 キヤノン株式会社 情報処理装置、情報処理方法
JP5736285B2 (ja) 2011-09-21 2015-06-17 Kddi株式会社 被写体の3次元形状を復元する装置、方法およびプログラム
JP5845211B2 (ja) 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
US20150199850A1 (en) 2015-07-16
US9607439B2 (en) 2017-03-28
JP5824537B2 (ja) 2015-11-25
GB201500628D0 (en) 2015-03-04
DE102015100540A1 (de) 2015-07-16
CN104794757A (zh) 2015-07-22
JP2015135573A (ja) 2015-07-27
GB2524144A (en) 2015-09-16

Similar Documents

Publication Publication Date Title
KR20150085797A (ko) 정보처리장치 및 정보처리방법
JP5845211B2 (ja) 画像処理装置、画像処理方法
JP4262011B2 (ja) 画像提示方法及び装置
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP4667111B2 (ja) 画像処理装置、画像処理方法
EP2866201B1 (en) Information processing apparatus and method for controlling the same
JP5709440B2 (ja) 情報処理装置、情報処理方法
JP6290754B2 (ja) 仮想空間表示装置、仮想空間表示方法及びプログラム
JP5167439B1 (ja) 立体画像表示装置及び立体画像表示方法
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP4580678B2 (ja) 注視点位置表示装置
JP2021135776A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6618260B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2012048463A (ja) 情報処理装置およびその方法
JP4689344B2 (ja) 情報処理方法、情報処理装置
US20200258193A1 (en) Information processing apparatus, information processing method, and storage medium
JP2019032713A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
WO2020036114A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
US20240135660A1 (en) Information processing apparatus and information processing method
JP6849775B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2019113881A (ja) 頭部装着装置
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP2016038632A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right