KR101729073B1 - 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템 - Google Patents

디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템 Download PDF

Info

Publication number
KR101729073B1
KR101729073B1 KR1020150114390A KR20150114390A KR101729073B1 KR 101729073 B1 KR101729073 B1 KR 101729073B1 KR 1020150114390 A KR1020150114390 A KR 1020150114390A KR 20150114390 A KR20150114390 A KR 20150114390A KR 101729073 B1 KR101729073 B1 KR 101729073B1
Authority
KR
South Korea
Prior art keywords
sound
image
display device
change
viewing direction
Prior art date
Application number
KR1020150114390A
Other languages
English (en)
Other versions
KR20170019898A (ko
Inventor
이경미
김규현
Original Assignee
주식회사 넥스트이온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트이온 filed Critical 주식회사 넥스트이온
Priority to KR1020150114390A priority Critical patent/KR101729073B1/ko
Priority to PCT/KR2015/008528 priority patent/WO2017026559A1/ko
Publication of KR20170019898A publication Critical patent/KR20170019898A/ko
Application granted granted Critical
Publication of KR101729073B1 publication Critical patent/KR101729073B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법이 제공된다. 본 발명의 일 실시예에 따른 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법은, 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계; 수집되는 소리의 변화를 감지하는 단계; 및 소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계를 포함한다.

Description

디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템{METHOD AND SYSTEM FOR SWITCHING ORIENTATION OF SOUND ACCORDING TO DIRECTION CHANGES OF IMAGE SHOWED ON A DISPLAY DEVICE}
본 발명은 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템에 관한 것으로, 보다 자세하게는 전방위(全方位) 동영상을 시청할 때 영상의 방향과 소리의 방향이 일치할 수 있도록 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템에 관한 것이다.
최근 오큘러스(Oculus)를 필두로, 소니, 삼성, LG 등에서 전방위 동영상을 재생할 수 있는 VR(Virtual Reality) 헤드셋이 줄줄이 출시되었다. 이처럼 VR 헤드셋이 대중화됨에 따라, 가상 현실을 지원하는 컨텐츠도 다양해졌으며, 사용자는 VR 헤드셋을 착용함으로써 가상 현실을 체험할 수 있다.
사용자는 가상 현실 공간에서 이동이 가능하며, 사용자의 움직임에 따라 VR 헤드셋과 같은 디스플레이 장치에 표시되는 영상이 달라지게 되며, 디스플레이 장치에 표시되는 영상이 달라지는 것은 사용자가 가상 현실 공간을 바라보는 시선 또는 시야가 달라지는 것을 의미하게 된다.
그러나, 전술한 바와 같이 디스플레이 장치에 표시되는 영상의 방향 변화가 일어남에도 불구하고, 사용자가 느끼는 소리의 위상(또는 방향)은 바뀌지 않기 때문에, 사용자가 가상 현실 체험에서 실감이 나지 않을 수 있다.
또한, 사용자가 가상 현실에서 시각적으로 체험이 가능한 부분은 VR 헤드셋과 같은 디스플레이 장치에 표시되는 영상에 제한되는데, 사용자가 가상 현실에서 인지 가능한 시야를 벗어난 곳에서 사건이 발생할 수 있으며, 이에 따라 소리가 발생할 수 있다. 이러한 경우, 사용자의 주시 방향과 소리의 발생 방향이 불일치하게 됨으로써, 사용자는 소리의 발생 방향에 대한 궁금증을 가지고, 가상 현실 체험에 불편을 느낄 수 있다.
따라서, 사용자가 가상 현실 체험을 할 때 좀더 나은 사용자 경험을 주기 위해, 사용자의 주시 방향과 소리의 위상(또는 방향)을 자동으로 일치시키는 것이 절실한 상황이다.
위와 같은 문제점으로부터 안출된 본 발명이 해결하고자 하는 기술적 과제는, 사용자의 주시 방향과 소리의 위상(또는 방향)을 일치시키기 위해 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 소리가 발생하는 방향과 디스플레이 장치에 표시되는 사용자의 주시 방향이 일치할 수 있도록 소리를 매개로 하여 디스플레이 장치에 표시되는 영상을 전환시키는 방법 및 시스템을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 소리가 발생한 경우, 발생한 소리와 관련된 영상을 디스플레이 장치에 표시할 수 있도록 소리를 매개로 하여 디스플레이 장치에 표시되는 영상을 전환시키는 방법 및 시스템을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 소리가 발생하는 방향과 디스플레이 장치에 표시되는 사용자의 주시 방향을 일치시킨 후, 사용자가 다양한 시점에서 디스플레이 장치에 표시되는 오브젝트(object)를 볼 수 있도록 하는, 소리를 매개로 하여 디스플레이 장치에 표시되는 영상을 전환시키는 방법 및 시스템을 제공하고자 하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 일 실시예에 따른 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법은, 기준 시점에서 제1 주시 방향에 따른 가상 현실 영상과 상기 제1 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치에 제공하는 단계; 및 상기 제1 주시 방향에서 제2 주시 방향으로 주시 방향이 변경되는 경우, 상기 제2 주시 방향에 따른 전환된 가상 현실 영상을 제공함과 동시에, 상기 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 디스플레이 장치에 제공하는 단계를 포함한다.
상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 일 실시예에 따른 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 시스템은, 기준 시점에서 주시 방향에 따른 가상 현실 영상을 디스플레이 장치에 제공하는 영상 제공모듈; 상기 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치에 제공하는 소리 제공모듈; 및 상기 주시 방향의 변경을 감지하는 감지모듈을 포함하고, 상기 영상 제공 모듈 및 상기 소리 제공모듈은, 상기 주시 방향이 변경되는 경우, 변경된 주시 방향에 따른 전환된 가상 현실 영상과, 상기 변경된 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 각각 디스플레이 장치에 제공한다.
상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 일 실시예에 따른 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법은, 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계; 수집되는 소리의 변화를 감지하는 단계; 및 소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계를 포함한다.
상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 다른 실시예에 따른 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법은, 디스플레이 장치를 통해 가상 현실 영상을 표시하는 단계; 가상 현실 내에서 사용자의 기준 위치를 중심으로 소리가 발생하는 방향을 확인하는 단계; 및 상기 사용자의 시야가 소리가 발생하는 방향을 향하도록 상기 디스플레이 장치에 표시되는 가상 현실 영상을 전환하는 단계를 포함한다.
상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 일 실시예에 따른 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 시스템은, 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 수집모듈; 수집되는 소리의 변화를 감지하는 감지모듈; 및 소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 제공모듈을 포함할 수 있다.
상기와 같은 본 발명에 따르면 아래와 같은 효과를 얻을 수 있지만, 본 발명에 따라 도출되는 효과가 이에 제한되지 않는다.
첫째로, 소리가 발생하는 방향과 디스플레이 장치에 표시되는 사용자의 주시 방향을 일치시킴으로써, 사용자가 실감나는 가상 현실 체험을 할 수 있도록 하여 영상에 몰입할 수 있도록 할 수 있다.
둘째로, 소리라는 매개체를 이용하여 서로 다른 위치에서 촬영된 복수의 영상의 전환이 가능하기 때문에, 사용자가 소리가 발생한 영역의 영상 또는 소리가 발생한 방향의 영상을 확인할 수 있도록 함으로써, 사용자에게 보다 나은 사용자 경험을 제공할 수 있다.
셋째로, 전방위 영상 또는 다시점(multi-view) 영상이 제공될 수 있기 때문에, 사용자가 소리가 발생한 영역의 영상 또는 소리가 발생한 방향의 영상에 포함된 오브젝트를 다양한 시점에서 감상할 수 있도록 함으로써, 사용자에게 보다 나은 사용자 경험을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 및 소리 전환 시스템을 설명하기 위한 개략적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 및 소리를 전환시키는 방법을 설명하기 위한 순서도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 영상 및 소리를 전환시키는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 및 소리 전환 시스템의 개략적인 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 전환 시스템을 설명하기 위한 개략적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 전환 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 전환 시스템에 의해 수집되는 영상과 소리를 설명하기 위한 도면이다.
도 9 및 도 10은 다시점 영상에 대해서 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 전환 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 일 실시예에 따른 영상 전환 시스템의 개략적인 구성을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 소리를 매개로 디스플레이 장치(10)에 표시되는 영상을 전환시키는 방법 및 시스템에 대해 설명하기로 한다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 디스플레이 장치(10)에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템 에 대해 설명하기로 한다.
우선, 도 1을 참조하면, 디스플레이 장치(10)와 영상 및 소리 전환 시스템(40)이 도시된다. 디스플레이 장치(10)와 영상 및 소리 전환 시스템(40)은 서로 데이터를 송수신할 수 있으며, 이를 위해 유선 통신을 이용하거나 무선 통신을 이용할 수 있으며, 필요에 따라 유무선 통신이 모두를 이용할 수도 있다.
디스플레이 장치(10)는 컨텐츠를 재생하기 위한 것으로, 디스플레이를 포함하고 있어 영상 및 소리의 재생이 가능한 장치이면 제한이 없을 수 있다. 예컨대, 디스플레이 장치(10)는 VR(Virtual Reality) 헤드셋을 포함하는 가상 현실의 구현이 가능한 VR 장치이거나, 스마트 TV를 포함하는 텔레비전일 수 있지만, 이에 제한되지 않고 스마트 폰, 태블릿 PC, 노트북 등 다양한 종류의 장치일 수 있다.
영상 및 소리 전환 시스템(40)은 디스플레이 장치(10)에 연결되어 디스플레이 장치(10)를 이용하여 재생되는 컨텐츠를 제어할 수 있고, 구체적으로 디스플레이 장치(10)에 재생되는 영상 및 소리를 제어하여 디스플레이 장치(10)에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시킬 수 있다. 영상 및 소리 전환 시스템(40)의 구체적인 구성에 대해서는 후술하도록 한다.
한편, 도 1에는 디스플레이 장치(10)와 영상 및 소리 전환 시스템(40)이 별도의 개별 장치로 도시되었지만, 몇몇 실시예에서 영상 및 소리 전환 시스템(40)은 디스플레이 장치(10) 내에 하나의 모듈로서 포함될 수도 있다.
이하, 도 2 내지 도 4을 참조하여, 본 발명의 일 실시예에 따른 영상 및 소리를 전환시키는 방법을 설명한다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 및 소리를 전환시키는 방법을 설명하기 위한 순서도가 개시되고, 도 3 및 도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 및 소리를 전환시키는 방법을 설명하기 위한 도면이 개시된다.
우선, 도 2 및 도 3을 참조하면, 영상 및 소리 전환 시스템(40)은 기준 시점(220)에서 제1 주시 방향에 따른 가상 현실 영상과 상기 제1 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치(10)에 제공할 수 있다(S210).
구체적으로, 디스플레이 장치(10)는 가상 현실 영상 및 가상 현실 소리를 디스플레이 장치(10)에 제공함으로써 사용자가 디스플레이 장치(10)를 통해 가상 현실을 체험할 수 있도록 할 수 있다.
이를 위해, 영상 및 소리 전환 시스템(40)은 사용자의 주시 방향에 따른 가상 현실 영상이 디스플레이 장치(10)에 제공할 수 있으며, 이에 따라 사용자는 본인이 보려고 의도한 방향의 가상 현실 영상을 시청할 수 있다.
이와 함께, 영상 및 소리 전환 시스템(40)은 사용자의 주시 방향에 따라 전방위 매핑된 가상 현실 소리를 디스플레이 장치(10)에 제공할 수 있다. 가상 현실 컨텐츠에서 가상 현실 소리는 방향을 가지는 벡터값이기 때문에, 영상 및 소리 전환 시스템(40)은 사용자의 주시 방향을 기준으로 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치(10)에 제공할 수 있다. 여기서, 사용자는 디스플레이 장치(10)를 통해 전방위 매핑된 가상 현실 소리를 들을 수 있어서 소리의 방향성을 체감할 수 있기 때문에, 가상 현실의 사용자 만족도가 높을 수 있다.
이어서, 도 2 및 도 4를 참조하면, 영상 및 소리 전환 시스템(40)은 제1 주시 방향에서 제2 주시 방향으로 주시 방향이 변경되는 경우, 제2 주시 방향에 따른 전환된 가상 현실 영상을 제공함과 동시에, 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 디스플레이 장치(10)에 제공할 수 있다(S220).
구체적으로, 사용자는 디스플레이 장치(10)를 착용한 상태에서, 고개를 돌리는 등의 방법을 통해 주시 방향을 변경할 수 있다. 이렇게 주시 방향이 제1 주시 방향에서 제2 주시 방향으로 변경되는 경우, 영상 및 소리 전환 시스템(40)은 제2 주시 방향에 따른 전환된 가상 현실 영상을 디스플레이 장치(10)에 제공함으로써, 사용자가 본인이 보려고 의도한 방향의 가상 현실 영상을 시청할 수 있도록 할 수 있다.
이와 더불어서, 영상 및 소리 전환 시스템(40)은 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 디스플레이 장치(10)에 제공할 수 있다. 이는 주시 방향이 변경된 경우, 사용자를 둘러싸는 환경이 변화하기 때문에, 사용자의 가상 현실 체험의 만족도를 높이기 위해 가상 현실 소리의 방향도 변경될 필요가 있다는 점에 착안한 것이다. 예컨대, 사용자가 제1 주시 방향을 바라볼 때는 강아지가 전방에 있었는데, 사용자가 제2 주시 방향을 바라보게 되어 강아지가 우측에 있게 되면, 강아지의 소리가 사용자의 우측 방향에서 들려야지만 사용자가 가상 현실을 실감있게 체험할 수 있다.
이를 위해, 전술한 바와 같이, 영상 및 소리 전환 시스템(40)은 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 디스플레이 장치(10)에 제공하게 되며, 여기서 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리는, 제1 주시 방향으로부터 제2 주시 방향으로의 위상 변화에 따라, 상기 제1 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리의 위상을 변경한 것이다.
즉, 주시 방향의 위상 변화 정도를 감지하여, 감지된 위상 변화 정도에 대응하도록 제1 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 변경함으로써, 영상 및 소리 전환 시스템(40)은 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 생성할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치(10)에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법에 따르면, 사용자는 주시 방향의 변경에 따라 이에 대응되는 영상 및 소리를 제공받을 수 있으므로, 가상 현실에 따른 우수하고 실감나는 사용자 경험을 얻을 수 있다. 즉, 사용자의 주시 방향의 변경에 따라 디스플레이 장치(10)에 표시되는 영상의 방향 변화가 발생하고, 이에 따라 소리의 위상이 전환됨으로서, 사용자는 가상 현실에 따른 우수하고 실감나는 사용자 경험을 얻을 수 있는 것이다.
이하, 도 5를 참조하여, 본 발명의 일 실시예에 따른 영상 및 소리 전환 시스템을 설명한다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 및 소리 전환 시스템의 개략적인 구성을 나타내는 도면이 개시된다. 다만, 본 발명의 일 실시예에 따른 영상 및 소리 전환 방법과의 차이점을 위주로 설명한다.
도 5를 참조하면, 영상 및 소리 전환 시스템(40)은 영상 제공모듈(40-1), 소리 제공모듈(40-2) 및 감지모듈(40-3)을 포함할 수 있지만, 이에 제한되지 않는다.
구체적으로, 영상 제공모듈(40-1)은 기준 시점에서 주시 방향에 따른 가상 현실 영상을 디스플레이 장치(10)에 제공할 수 있고, 소리 제공모듈(40-2)은 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치(10)에 제공할 수 있다.
한편, 감지모듈(40-3)은 주시 방향의 변경을 감지할 수 있으며, 이를 위해 자이로 센서 등이 이용될 수 있지만, 이에 제한되지 않는다.
한편, 영상 제공 모듈(40-1) 및 상기 소리 제공모듈(40-2)은, 주시 방향이 변경되는 경우, 변경된 주시 방향에 따른 전환된 가상 현실 영상과, 변경된 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 각각 디스플레이 장치(10)에 제공함으로써, 사용자가 가상 현실을 실감나게 체험할 수 있도록 할 수 있다.
구체적으로, 변경된 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리는, 주시 방향으로부터 변경된 주시 방향으로의 위상 변화에 따라, 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리의 위상을 변경한 것일 수 있다.
이러한 구성에 따라 디스플레이 장치(10)에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 시스템이 제공될 수 있다.
우선, 도 6 내지 도 8을 참조하여, 본 발명의 일 실시예에 따른 영상 전환 방법을 설명한다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 영상 전환 시스템(20)을 설명하기 위한 개략적인 도면이 개시되고, 도 7를 참조하면, 본 발명의 일 실시예에 따른 영상 전환 방법을 설명하기 위한 순서도가 개시되고, 도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 전환 시스템(20)에 의해 수집되는 영상과 소리를 설명하기 위한 도면이 개시된다.
우선, 도 6을 참조하면, 디스플레이 장치(10)와 영상 전환 시스템(20)이 도시된다. 디스플레이 장치(10)와 영상 전환 시스템(20)은 서로 데이터를 송수신할 수 있으며, 이를 위해 유선 통신을 이용하거나 무선 통신을 이용할 수 있으며, 필요에 따라 유무선 통신이 모두를 이용할 수도 있다.
디스플레이 장치(10)는 컨텐츠를 재생하기 위한 것으로, 디스플레이를 포함하고 있어 영상 및 소리의 재생이 가능한 장치이면 제한이 없을 수 있다. 예컨대, 디스플레이 장치(10)는 VR(Virtual Reality) 헤드셋을 포함하는 가상 현실의 구현이 가능한 VR 장치이거나, 스마트 TV를 포함하는 텔레비전일 수 있지만, 이에 제한되지 않고 스마트 폰, 태블릿 PC, 노트북 등 다양한 종류의 장치일 수 있다.
영상 전환 시스템(20)은 디스플레이 장치(10)에 연결되어 디스플레이 장치(10)를 이용하여 재생되는 컨텐츠를 제어할 수 있고, 구체적으로 디스플레이 장치(10)에 재생되는 영상 및 소리를 제어하여 소리를 매개로 디스플레이 장치(10)에 표시되는 영상을 전환시킬 수 있다. 영상 전환 시스템(20)의 구체적인 구성에 대해서는 후술하도록 한다.
한편, 도 6에는 디스플레이 장치(10)와 영상 전환 시스템(20)이 별도의 개별 장치로 도시되었지만, 몇몇 실시예에서 영상 전환 시스템(20)은 디스플레이 장치(10) 내에 하나의 모듈로서 포함될 수도 있다.
이하, 본 발명의 일 실시예에 따른 소리를 매개로 디스플레이 장치(10)에 표시되는 영상을 전환시키는 방법을 설명한다.
우선, 도 7 및 도 8을 참조하면, 영상 전환 시스템(20)은 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집할 수 있다(S10).
구체적으로, 영상 전환 시스템(20)은 디스플레이 장치(10)를 통해 재생이 될 컨텐츠를 수집할 수 있다. 컨텐츠는 예컨대 스트리밍(streaming) 서비스 등을 통해 유무선 통신을 이용하여 실시간으로 수집될 수 있지만, 이에 제한되지 않으며, 몇몇 실시예에서 영상 전환 시스템(20)에는 복수의 영상과 각각의 영상과 관련된 소리를 포함하는 한편의 완성된 컨텐츠가 미리 저장될 수도 있다.
도 8을 참조하면, 디스플레이 장치(10)를 통해 재생을 시키려는 공간(100)이 도시될 수 있으며, 해당 공간(100)을 촬영하여 컨텐츠화 하기 위해 공간(100)의 곳곳에 촬영 위치(110)가 정해질 수 있다. 해당 촬영 위치(110)는 서로 다른 위치로서 각각의 촬영 위치(110)마다 영상 및 해당 영상에 대한 소리를 수집할 수 있는 촬영 장비가 배치될 수 있다. 여기서, 촬영 장비는 예컨대 전방위 촬영 가능한 카메라일 수 있지만, 이에 제한되지 않으며, 정해진 방위에 대해서만 촬영 가능한 카메라일 수도 있다.
따라서, 영상 전환 시스템(20)은 서로 다른 위치에 배치되어 영상과 소리를 획득하는 복수의 촬영 장비로부터, 복수의 영상과 각각의 영상과 관련된 소리를 수집할 수 있다.
한편, 도 8을 참조하면, 몇몇 실시예에서 서로 다른 위치인 촬영 위치(110)는 기준 위치(120)를 중심으로 방사형으로 배치된 것일 수 있으며, 임의의 기준 위치(120)를 선택하더라도 촬영 위치(110)가 해당되는 임의의 기준 위치(120)를 중심으로 방사형으로 배치될 수 있도록 선정될 수 있다. 여기서, 기준 위치(120)는 가상 현실에서 사용자가 위치할 수 있는 위치로서 임의의 위치일 수 있다.
한편, 영상 전환 시스템(20)은, 디스플레이 장치(10)에 의해 재생될 수 있도록 영상 전환 시스템(20)에 의해 수집된 복수의 영상과 각각의 영상과 관련된 소리 중 적어도 일부를 제공할 수 있으며, 디스플레이 장치(10)는 제공되는 영상과 해당 영상과 관련된 소리를 재생할 수 있다.
다만, 몇몇 실시예에서 영상 전환 시스템(20)은 수집된 복수의 영상과 각각의 영상과 관련된 소리 중 적어도 일부를 가상 현실 컨텐츠로서 합성하여 제공할 수 있지만, 이에 제한되지 않는다.
이어서, 도 7을 참조하여, 영상 전환 시스템(20)은 수집되는 소리의 변화를 감지할 수 있다(S20). 본 단계(S20)에서는 소리의 변화가 있는 위치의 영상을 디스플레이 장치(10)에 제공하기 위해서 필요한 단계일 수 있다.
여기서, 수집되는 소리의 변화를 감지하는 것은 서로 다른 위치에서 촬영된 복수의 영상과 관련된 소리에 있어서, 각각의 위치마다 소리의 변화가 있는지를 확인함으로써 변화가 있는 소리를 찾는 것이다. 구체적으로, 영상 전환 시스템(20)은 수집되는 소리의 변화의 폭이 미리 정해진 변화의 폭 이상인지 여부를 감지할 수 있으며, 이에 따라 새롭게 발생된 소리가 있는지 확인을 할 수 있다.
따라서, 특정한 위치에서 수집되는 소리의 변화가 감지되면, 영상 전환 시스템(20)은 소리의 변화가 감지된 위치를 인식할 수 있다.
예컨대, 촬영 위치(110) 중 C 위치에서 소리의 변화가 있는 경우, 영상 전환 시스템(20)은 수집되는 소리의 변화 감지를 통해 촬영 위치(110) 중 C 위치에서 소리의 변화가 있었음을 파악할 수 있다.
한편, 몇몇 실시예에서 수집되는 소리의 변화를 감지하는 것은, 단순히 소리의 변화가 감지되는 촬영 위치(110)를 찾는 것에 그치는 것이 아니라, 발생된 소리의 방향성을 확인하는 것일 수 있다. 구체적으로, 기준 위치(120)를 중심으로 수집되는 소리의 변화가 일어나는 방향을 감지할 수 있으며, 필요에 따라 소리의 변화가 일어나는 방향을 벡터로 수치화할 수 있다.
본 단계(S20)에서 영상 전환 시스템(20)이 수집되는 소리의 변화를 감지하는 것은, 실시간으로 수집되는 소리의 변화를 감지하는 것뿐만 아니라, 수집된 완성 컨텐츠가 디스플레이 장치(10)에서 재생되는 중에 소리의 변화가 발생하는지 여부를 감지하는 것까지 포함될 수 있다.
이어서, 도 7을 참조하여, 영상 전환 시스템(20)은 소리의 변화가 감지된 경우, 디스플레이 장치(10)에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공할 수 있다(S30).
즉, 영상 전환 시스템(20)은 소리가 발생한 지점을 확인해서 해당 지점의 영상을 디스플레이 장치(10)에 제공할 수 있다.
구체적으로, 소리의 변화가 감지된 경우, 디스플레이 장치(10)에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 것은, 현재 디스플레이 장치(10)에 표시되고 있는 제1 영상이, 변화가 감지된 소리와 관련된 제2 영상으로 전환될 수 있도록 제2 영상을 제공하는 것일 수 있다. 따라서, 소리의 변화가 감지된 촬영 위치(110)의 제2 영상이 디스플레이 장치(10)에 의해 재생될 수 있으므로, 사용자는 소리가 발생하는 영상을 확인함으로써, 디스플레이 장치(10)에 의해 재생되는 컨텐츠에 더욱 몰입할 수 있다.
예컨대, 도 8을 참조하면, 촬영 위치(110) 중 A 위치에서 촬영된 영상이 디스플레이 장치(10)에 의해서 재생되고 있는 도중, 촬영 위치(110) 중 C 위치에서 소리가 발생하면, 영상 전환 시스템(20)에 의해 디스플레이 장치(10)에 의해 재생되는 영상이 소리가 발생한 C 위치에서 촬영된 영상으로 전환될 수 있다.
몇몇 실시예에서 수집되는 소리의 변화를 소리의 방향성을 이용해 확인하는 경우, 변화가 감지된 소리와 관련된 영상은 소리의 변화가 일어나는 방향의 영상일 수 있다. 이 때, 영상 전환 시스템(20)은 소리의 변화가 일어난 방향 벡터를 통해 소리의 변화가 일어나는 방향의 영상을 검출하여 디스플레이 장치(10)에 제공할 수 있다.
따라서, 본 발명의 일 실시예에 따른 일 실시예에 따른 소리를 매개로 디스플레이 장치(10)에 표시되는 영상을 전환시키는 방법에 따르면, 디스플레이 장치(10)에서 컨텐츠가 재생되는 중에 소리의 변화가 일어나는 경우, 자동으로 소리의 변화가 일어난 영역의 영상이 디스플레이 장치(10)에 표시될 수 있으므로, 사용자 편의성이 높아질 수 있다.
이하, 도 7, 도 9 및 도 10를 참조하여, 본 발명의 다른 실시예에 따른 영상 전환 방법을 설명한다. 다만, 본 발명의 일 실시예에 따른 영상 전환 방법과의 차이점을 위주로 설명한다. 도 9 및 도 10를 참조하면, 다시점 영상에 대해서 설명하기 위한 도면이 개시된다.
본 발명의 다른 실시예에 따른 영상 전환 방법에 따르면, 영상 전환 시스템(20)이 소리의 변화가 감지된 경우, 디스플레이 장치(10)에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계(S30)에서, 제공되는 변화가 감지된 소리와 관련된 영상은 다시점(multi-view) 영상으로서, 동일한 오브젝트(30)가 서로 다른 시점(視點)에서 촬영된 복수의 영상을 포함할 수 있다. 예컨대,
영상 전환 시스템(20)은 다시점 영상을 가상 현실 컨텐츠로 합성하여 디스플레이 장치(10)에 제공하기 용이할 수 있으며, 이에 따라 사용자는 디스플레이 장치(10)를 통해 해당 영상에 포함된 오브젝트(30)를 회전시키며 감상할 수 있다.
영상 전환 시스템(20)이 다시점 영상을 디스플레이 장치(10)에 제공하는 것은, 디스플레이 장치(10)에 소리가 발생한 위치의 영상이 표시된 경우, 사용자가 해당 위치의 영상을 다양한 시점 또는 방향에서 확인할 수 있도록 하기 위함이다. 해당 영역에서 소리가 발생했으면, 사용자는 해당 영역에 대한 정밀 확인을 원할 수 있으므로, 이를 통해 사용자의 편의성이 증대될 수 있다.
다시점 영상을 확보하는 방법으로, 도 9를 참조하면, 촬영 위치(110) 중 C 위치에 배치된 전방위 촬영 장치를 통해 동일한 오브젝트(30)가 서로 다른 시점에서 촬영될 수 있지만, 이에 제한되지 않고, 도 10을 참조하면, 촬영 위치(110) 중 C 위치에 배치된 여러 대의 촬영 장치를 통해 동일한 오브젝트(30)가 서로 다른 시점에서 촬영될 수 있다.
이하, 도 7, 도 9 및 도 10을 참조하여, 본 발명의 또 다른 실시예에 따른 영상 전환 방법을 설명한다. 다만, 본 발명의 다른 일 실시예에 따른 영상 전환 방법과의 차이점을 위주로 설명한다.
본 발명의 또 다른 실시예에 따른 영상 전환 방법에 따르면, 소리의 변화가 감지된 경우, 디스플레이 장치(10)에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계(S30)에서, 제공되는 변화가 감지된 소리와 관련된 영상은 다시점(multi-view) 영상 중 사용자에 의해 선택된 어느 하나로서, 동일한 오브젝트(30)가 서로 다른 시점(視點)에서 촬영된 복수의 영상 중 사용자에 의해 선택된 시점에서 촬영된 영상을 포함하는 것일 수 있다.
본 발명의 또 다른 실시예에 따른 영상 전환 방법은 본 발명의 다른 실시예에 따른 영상 전환 방법과 달리 다시점 영상 중 사용자에 의해 선택된 시점에서 촬영된 영상만을 제공한다는 점에서 차이가 있을 수 있다.
이하, 도 11를 참조하여, 본 발명의 또 다른 본 발명의 또 다른 실시예에 따른 영상 전환 방법을 설명한다. 다만, 본 발명의 일 실시예에 따른 영상 전환 방법과의 차이점을 위주로 설명한다. 도 11를 참조하면, 본 발명의 또 다른 실시예에 따른 영상 전환 방법을 설명하기 위한 순서도가 개시된다.
우선, 도 11을 참조하여, 영상 전환 시스템(20)은 디스플레이 장치(10)를 통해 가상 현실 영상을 표시할 수 있다(S110).
영상 전환 시스템(20)은 디스플레이 장치(10)에 가상 현실 컨텐츠를 제공함으로써, 디스플레이 장치(10)를 통해 가상 현실 영상을 표시할 수 있다.
이어서, 도 11을 참조하여, 영상 전환 시스템(20)은 가상 현실 내에서 사용자의 기준 위치(120)를 중심으로 소리가 발생하는 방향을 확인할 수 있다(S120).
사용자가 디스플레이 장치(10)를 이용하여 가상 현실을 체험하고 있는 중에, 가상 현실 공간(100) 내에서 소리의 변화가 감지되면, 영상 전환 시스템(20)은 가상 현실 내에서 사용자의 기준 위치(120)를 중심으로 소리가 발생하는 방향을 확인할 수 있다. 이렇게 소리가 발생하는 방향을 확인할 수 있는 것은, 가상 현실 컨텐츠 내에 소리의 방향성을 벡터화하여 입력될 수 있기 때문에 가능할 수 있다.
따라서, 영상 전환 시스템(20)은 이를 통해 소리의 발생과 발생된 소리의 방향성을 동시에 감지할 수 있다.
이어서, 도 11을 참조하여, 영상 전환 시스템(20)은 사용자의 시야가 소리가 발생하는 방향을 향하도록 디스플레이 장치(10)에 표시되는 가상 현실 영상을 전환할 수 있다(S130).
영상 전환 시스템(20)은 기준 위치(120)를 중심으로 소리가 발생된 방향성을 확인한 후, 사용자의 시야가 소리가 발생하는 방향을 향하도록 디스플레이 장치(10)에 표시되는 가상 현실 영상을 전환할 수 있으며, 이를 위해 소리가 발생한 방향의 영상이 디스플레이 장치(10)에 표시될 수 있도록 할 수 있다.
이어서, 도 11을 참조하여, 가상 현실 영상이 전환된 후, 영상 전환 시스템(20)은 사용자가 선택하는 시점(視點)에 대응하여 가상 현실 영상에 포함된 오브젝트(30)를 상기 디스플레이 장치(10)에 표시할 수 있다(S140).
구체적으로, 가상 현실 영상이 전환되면, 사용자가 전환된 가상 현실 영상에 포함된 오브젝트(30)를 자세하게 확인할 수 있도록 영상 전환 시스템(20)은 사용자가 선택하는 시점에 대응되는 영상을 디스플레이 장치(10)에 제공할 수 있다. 따라서, 사용자는 디스플레이 장치(10)를 통해 오브젝트(30)를 회전시키면서 자세하게 관찰할 수 있다.
한편, 본 발명의 실시예들에 따른 디스플레이 장치(10)에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법, 소리를 매개로 디스플레이 장치(10)에 표시되는 영상을 전환시키는 방법은 컴퓨터 판독 가능한 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 기록매체에 저장될 수 있으며, 본 발명의 실시예에 따른 소리를 매개로 디스플레이 장치(10)에 표시되는 영상을 전환시키는 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이하, 도 12를 참조하여, 본 발명의 일 실시예에 따른 영상 전환 시스템(20)을 설명한다. 다만, 본 발명의 실시예들에 따른 영상 전환 방법과의 차이점을 위주로 설명한다. 도 12를 참조하면, 본 발명의 일 실시예에 따른 영상 전환 시스템(20)의 개략적인 구성을 나타내는 도면이 개시된다.
도 12를 참조하면, 영상 전환 시스템(20)은 수집모듈(20-1), 감지모듈(20-2) 및 제공모듈을 포함할 수 있지만, 이에 제한되지 않는다.
수집모듈(20-1)은 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집할 수 있으며, 필요에 따라 디스플레이 장치(10)를 통해 가상 현실 영상을 표시되도록 수집된 컨텐츠를 디스플레이 장치(10)에 제공할 수 있다.
감지모듈(20-2)은 수집되는 소리의 변화를 감지할 수 있으며, 소리의 변화가 발생한 촬영 위치(110)를 확인하거나 소리의 변화가 발생한 방향성을 확인할 수 있다.
영상 제공모듈(20-3)은 소리의 변화가 감지된 경우, 디스플레이 장치(10)에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공할 수 있으며, 이를 위해 소리의 변화가 발생한 촬영 위치(110) 또는 소리의 변화가 발생한 방향성이 참조될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 디스플레이 장치 20: 영상 전환 시스템
20-1: 수집모듈 20-2: 감지모듈
20-3: 영상 제공모듈 30: 오브젝트
40: 영상 및 소리 전환 시스템
100: 공간 110: 촬영 위치
120: 기준 위치 220: 기준 시점

Claims (16)

  1. 삭제
  2. 삭제
  3. 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계;
    수집되는 소리의 변화를 감지하는 단계; 및
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계
    를 포함하고,
    서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계에서,
    상기 서로 다른 위치는 기준 위치를 중심으로 방사형으로 배치된 것이고,
    수집되는 소리의 변화를 감지하는 단계는,
    상기 기준 위치를 중심으로 수집되는 소리의 변화가 일어나는 방향을 감지하는 단계이고,
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계에서,
    변화가 감지된 소리와 관련된 영상은 소리의 변화가 일어나는 방향의 영상인 것인, 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법.
  4. 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계;
    수집되는 소리의 변화를 감지하는 단계; 및
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계
    를 포함하고,
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계에서,
    제공되는 변화가 감지된 소리와 관련된 영상은 다시점(multi-view) 영상으로서, 동일한 오브젝트가 서로 다른 시점(視點)에서 촬영된 복수의 영상을 포함하는 것인, 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법.
  5. 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계;
    수집되는 소리의 변화를 감지하는 단계; 및
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계
    를 포함하고,
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계에서,
    제공되는 변화가 감지된 소리와 관련된 영상은 다시점(multi-view) 영상 중 사용자에 의해 선택된 어느 하나로서, 동일한 오브젝트가 서로 다른 시점(視點)에서 촬영된 복수의 영상 중 사용자에 의해 선택된 시점에서 촬영된 영상을 포함하는 것인, 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법.
  6. 삭제
  7. 서로 다른 위치에서 촬영된 복수의 영상과 각각의 영상과 관련된 소리를 수집하는 단계;
    수집되는 소리의 변화를 감지하는 단계; 및
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계
    를 포함하고,
    소리의 변화가 감지된 경우, 디스플레이 장치에 표시되는 영상이 전환될 수 있도록 변화가 감지된 소리와 관련된 영상을 제공하는 단계는,
    상기 디스플레이 장치에 표시되고 있는 제1 영상이, 변화가 감지된 소리와 관련된 제2 영상으로 전환될 수 있도록 상기 제2 영상을 제공하는 단계인 것인, 소리를 매개로 디스플레이 장치에 표시되는 영상을 전환시키는 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 기준 시점에서 제1 주시 방향에 따른 가상 현실 영상과 상기 제1 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치에 제공하는 단계; 및
    상기 제1 주시 방향에서 제2 주시 방향으로 주시 방향이 변경되는 경우, 상기 제2 주시 방향에 따른 전환된 가상 현실 영상을 제공함과 동시에, 상기 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 디스플레이 장치에 제공하는 단계
    를 포함하는 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법.
  12. 제11항에 있어서,
    상기 제2 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리는, 상기 제1 주시 방향으로부터 상기 제2 주시 방향으로의 위상 변화에 따라, 상기 제1 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리의 위상을 변경한 것인, 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법.
  13. 기준 시점에서 주시 방향에 따른 가상 현실 영상을 디스플레이 장치에 제공하는 영상 제공모듈;
    상기 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리를 디스플레이 장치에 제공하는 소리 제공모듈; 및
    상기 주시 방향의 변경을 감지하는 감지모듈
    을 포함하고,
    상기 영상 제공 모듈 및 상기 소리 제공모듈은,
    상기 주시 방향이 변경되는 경우, 변경된 주시 방향에 따른 전환된 가상 현실 영상과, 상기 변경된 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리를 각각 디스플레이 장치에 제공하는 것인, 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 시스템.
  14. 제13항에 있어서,
    상기 변경된 주시 방향에 따라 전방위 매핑되어 전환된 가상 현실 소리는, 상기 주시 방향으로부터 상기 변경된 주시 방향으로의 위상 변화에 따라, 상기 주시 방향에 따라 전방위(全方位) 매핑된 가상 현실 소리의 위상을 변경한 것인, 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 시스템.
  15. 제3항 내지 제5항, 제7항, 제11항 또는 제12항 중 어느 하나의 항에 기재된 방법을 실행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  16. 제3항 내지 제5항, 제7항, 제11항 또는 제12항 중 어느 하나의 항에 기재된 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.
KR1020150114390A 2015-08-13 2015-08-13 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템 KR101729073B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150114390A KR101729073B1 (ko) 2015-08-13 2015-08-13 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템
PCT/KR2015/008528 WO2017026559A1 (ko) 2015-08-13 2015-08-13 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150114390A KR101729073B1 (ko) 2015-08-13 2015-08-13 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170019898A KR20170019898A (ko) 2017-02-22
KR101729073B1 true KR101729073B1 (ko) 2017-04-21

Family

ID=57984368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150114390A KR101729073B1 (ko) 2015-08-13 2015-08-13 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101729073B1 (ko)
WO (1) WO2017026559A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988244B1 (ko) * 2017-07-04 2019-06-12 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920952B1 (ko) * 2009-05-13 2009-10-09 김정중 시각정보와 청각정보의 상호전환 시스템
JP2012133591A (ja) 2010-12-21 2012-07-12 Nec Corp 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785078B2 (ja) * 2001-10-17 2006-06-14 日本電信電話株式会社 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体
KR20080005815A (ko) * 2006-07-10 2008-01-15 삼성전자주식회사 디지털 방송수신기의 다중화면 표시장치 및 방법
KR101661956B1 (ko) * 2010-04-02 2016-10-04 엘지전자 주식회사 음향 설정에 대응하는 3ｄ 오브젝트를 제공하는 영상표시장치 및 그 동작 제어방법
KR20160005695A (ko) * 2013-04-30 2016-01-15 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
KR101381396B1 (ko) * 2013-09-12 2014-04-04 하수호 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920952B1 (ko) * 2009-05-13 2009-10-09 김정중 시각정보와 청각정보의 상호전환 시스템
JP2012133591A (ja) 2010-12-21 2012-07-12 Nec Corp 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム

Also Published As

Publication number Publication date
KR20170019898A (ko) 2017-02-22
WO2017026559A1 (ko) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5988563B2 (ja) 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
CN101552890B (zh) 信息处理设备、信息处理方法
JP7132730B2 (ja) 情報処理装置および情報処理方法
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
WO2016009864A1 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
KR101690955B1 (ko) 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
KR20170035608A (ko) 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
CN106162206A (zh) 全景录制、播放方法及装置
KR20120053006A (ko) 개선된 오디오／비디오 방법들 및 시스템들
JP6523493B1 (ja) プログラム、情報処理装置、及び情報処理方法
JP6278490B2 (ja) 表示システム、アタッチメント、表示方法、ならびに、プログラム
EP3962090A1 (en) Communication terminal, image communication system, method for displaying image, and carrier means
KR20180095197A (ko) 이동단말기 및 그 제어방법
CN107623812A (zh) 一种实现实景展示的方法、相关装置及系统
CN113079364A (zh) 一种静态对象的立体显示方法、装置、介质及电子设备
US20180176628A1 (en) Information device and display processing method
JP2006295941A (ja) ビューファインダ内でｐｉｐを有するカメラシステム
CN105491309A (zh) 一种图像显示方法以及装置
JP2010268128A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
CN108184130B (zh) 模拟器系统、直播方法、装置及存储介质
KR101729073B1 (ko) 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP7322191B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2008172485A (ja) ストリームデータ生成装置及び再生装置
JP2010034699A (ja) 放送送信装置および放送受信装置および放送送受信システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant