KR20200028481A - 촬상 장치, 화상 표시 시스템 및 조작 방법 - Google Patents

촬상 장치, 화상 표시 시스템 및 조작 방법 Download PDF

Info

Publication number
KR20200028481A
KR20200028481A KR1020207005225A KR20207005225A KR20200028481A KR 20200028481 A KR20200028481 A KR 20200028481A KR 1020207005225 A KR1020207005225 A KR 1020207005225A KR 20207005225 A KR20207005225 A KR 20207005225A KR 20200028481 A KR20200028481 A KR 20200028481A
Authority
KR
South Korea
Prior art keywords
imaging device
display
operation screen
screen
pointer
Prior art date
Application number
KR1020207005225A
Other languages
English (en)
Inventor
마코토 쇼하라
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20200028481A publication Critical patent/KR20200028481A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H04N5/4403—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N2005/4428—

Abstract

저장 유닛에 저장된 화상에 관한 조작 화면을 생성하고, 생성된 조작 화면을 표시 장치에 출력하고, 촬상 장치의 자세에 관한 자세 정보를 취득하고, 취득된 자세 정보를 조작 화면 상의 위치 표시 컴포넌트의 위치에 관한 위치 정보로 변환하고, 변환된 위치 정보에 기초하여 조작 화면 상에 위치 표시 컴포넌트를 표시하고, 위치 표시 컴포넌트의 위치를 초기화하는 초기화 조작을 수락하고, 초기화 조작을 수락한 것에 응답하여 위치 표시 컴포넌트를 조작 화면의 초기 위치에 표시하도록 구성된 촬상 장치가 제공된다.

Description

촬상 장치, 화상 표시 시스템 및 조작 방법
본 발명은 촬상 장치, 화상 표시 시스템, 및 조작 방법에 관한 것이다.
어안 렌즈 및 초광각 렌즈와 같은 복수의 광각 렌즈를 사용하여 360도 전방향(omnidirectional) 화상을 단일 촬상 조작에 의해 촬상하는 전방향 촬상 장치가 알려져 있다. 그러한 전방향 촬상 장치에 의해 촬상된 화상은 사용자가 화상을 볼 수 있도록 디스플레이를 갖는 표시 장치로 송신된다.
스마트 폰 또는 태블릿 단말기와 같은 작은 디스플레이를 갖는 표시 장치에 의해 화상이 표시되는 경우, 사용자는 터치 패널을 직접 조작하여 화상에 대한 각종 조작(목록에서 화상 선택, 표시될 화상을 선택하기 위한 화면 스크롤, 표시 범위 결정)를 입력 할 수 있다. 한편, 전방향 촬상 장치에 의해 촬상된 화상을 텔레비전 장치와 같은 대형 디스플레이를 갖는 표시 장치에서 보여주고자하는 요구가 있다. 이 같은 요구에 응답하여, Miracast(등록 상표), Google Chrome(등록 상표) 또는 Airplay(등록 상표)와 같은 무선으로 화상을 송신하는 것에 대한 표준이 존재하며, 전방향 촬상 장치는 이러한 표준을 지원하도록 구성됨으로써 사용자는 쉽게 대형 화면에서 전방향 촬상 장치에 의해 촬상된 화상을 볼 수 있다.
그러나, 일부 경우에, 대형 디스플레이를 갖는 표시 장치는 터치 패널을 가지고 있지 않다. 또한, 표시 장치가 터치 패널을 가지고 있는 경우에도 사용자가 터치 패널을 조작하기 위해 디스플레이에 접근할 때 사용자가 표시되고 있는 화상을 보기에 어려워질 수 있고 조작성이 저하될 수 있다. 이러한 불편을 해소하기 위해, 그러한 표시 장치에 표시된 화상에 조작을 수행하기 위해 포인팅 디바이스가 사용될 수 있다(예를 들면, 특허 문헌 1 참조). 특허 문헌 1에는 이동 통신 단말기의 이동 검출 결과 데이터를 사용하여 이동량 및 이동 방향을 산출하고, 산출된 값을 조작 지시 정보로서 표시 장치로 송신하는 이동 통신 단말기가 시작되어 있다. 사용자는 포인팅 디바이스의 자세(배향)를 조정하여 화면 상에서 위치를 포인팅하는 포인터와 같은 위치 표시 컴포넌트를 이동시킬 수 있다. 또한, 표시 장치에 표시된 화상의 발신자에 대응하는 활상 장치와 같은 장치가 포인팅 디바이스로 사용될 있어 별도의 포인팅 디바이스가 제공되지 않는 경우에도 사용자는 표시된 화상에 대해 조장을 수행할 수 있다.
[특허문헌 1] 일본 특허 제4394742호
[비특허 문헌 1] Kubota, Satoru.(2012). "Ergonomic Design Guidelines for Flat Panel Display Televisions". Japan Ergonomics Society 53rd Conference.
그러나, 표시된 화상의 발신자(발신 장치)에 대응하는 촬상 장치와 같은 장치가 포인팅 장치로서 사용되면, 센서의 드리프트 등의 영향으로 인해 위치 표시 컴포넌트의 위치와 발신 장치의 자세의 불일치(discrepancy)가 점점 커진다. 예를 들어, 어떤 메뉴 버튼이 표시되면, 사용자가 위치 표시 컴포넌트로 하여금 메뉴 버튼을 포인팅하게 하려는 의도로 발신 장치를 배향하는 경우에도, 위치 표시 컴포넌트는 메뉴 버튼으로부터 떨어져 표시될 수 있고, 조작성이 저하될 수 있다.
상기 과제를 감안하여, 본 발명의 일 양상은 위치 표시 컴포넌트의 위치와 촬상 장치와 같은 발신 장치의 자세의 불일치의 발생을 방지하기 위한 기술을 제공하는 것에 관한다.
본 발명의 일 실시예에 따르면, 촬상된 화상을 저장하도록 구성된 저장 유닛, 저장 유닛에 저장된 촬상된 화상에 관한 조작 화면을 생성하도록 구성된 생성 유닛, 생성 유닛에 의해 생성된 조작 화면을 표시 장치에 출력하도록 구성된 출력 유닛, 촬상 장치의 자세에 관한 자세 정보를 취득하도록 구성된 자세 정보 취득 유닛, 자세 정보 취득 유닛에 의해 취득된 자세 정보를 조작 화면 상의 위치 표시 컴포넌트의 위치로 변환하고 조작 화면 상에 위치 표시 컴포넌트를 표시하도록 구성된 위치 표시 컴포넌트 관리 유닛, 및 위치 표시 컴포넌트의 위치를 초기화하는 초기화 조작을 수락하도록 구성된 조작 수락 유닛을 포함하는 촬상 장치가 제공된다. 조작 수락 유닛이 초기화 조작을 수락한 것에 응답하여, 위치 표시 컴포넌트 관리 유닛은 위치 표시 컴포넌트를 조작 화면의 초기 위치에 표시한다.
본 발명의 일 양상에 따르면, 위치 표시 컴포넌트의 위치와 촬상 장치와 같은 발신 장치의 자세 사이의 불일치의 발생이 방지될 수 있다.
도 1a는 본 발명의 일 실시예에 따른 전방향 촬상 장치의 조작의 일례를 설명하는 도면이다.
도 1b는 전방향 촬상 장치의 또다른 조작의 일례를 설명하는 도면이다.
도 1c는 전방향 촬상 장치의 또다른 조작의 이례를 설명하는 도면이다.
도 2 본 발명의 일 실시예에 따른 전방향 화상 표시 시스템의 개략적 구성의 일례를 설명하는 도면이다.
도 3은 전방향 촬상 장치의 예시적인 하드웨어 구성의 일례를 설명하는 블록도이다.
도 4는 무선 통신 장치의 하드웨어 구성의 일례를 설명하는 블록도이다.
도 5는 전방향 촬상 장치에서 구현된 화상 뷰어의 조작 화면 제공 기능과 연관된 주 기능을 설명하는 블록도이다.
도 6은 전방향 촬상 장치가 실행하는 상대방의 무선 통신 장치와의 접속 방법을 나타내는 흐름도 그림의 일례이다.
도 7은 사용자에 의해 파악된 전방향 촬상 장치 및 표시 장치의 상대적인 위치의 측면도이다.
도 8은 "평면 TV의 인체 공학적 설계 가이드 라인(Ergonomic Design Guidelines for Flat Panel Display Televisions)"에서 발췌한 대각선 화면 크기와 최적 시청 거리 사이의 관계를 그래프이다.
도 9a는 최적 시청 거리에서의 표시 장치의 수평 시야각을 설명하는 도면이다.
도 9b는 대각선 화면 크기와 수평 시야각 사이의 관계를 나타내는 그래프이다.
도 10은 전방향 촬상 장치의 좌표 축을 설명하는 도면이다.
도 11은 기준으로 사용될 전방향 촬상 장치의 자세를 설명하는 도면이다.
도 12는 전방향 촬상 장치의 회전 각도와 포인터의 좌표 사이의 대응을 설명하는 도면이다.
도 13a는 포인터를 숨기는 조작을 설명하는 도면이다.
도 13b는 포인터를 숨기는 조작을 설명하는 또다른 도면이다.
도 14는 좌표의 초기화에 응답하여 표시되는 포인터 표시의 일례를 설명하는 도면이다.
도 15는 외부 표시 장치에 화상을 표시하고 조작을 수락하기 위해 전방향 촬상 장치에 의해 구현된 방법을 설명하는 흐름도이다.
도 16은 전방향 촬상 장치에 의해 제공된 조작 화면 전환의 일례를 설명하는 도면이다.
도 17a는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 타임라인 목록 화면을 설명하는 도면이다.
도 17b는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 타임라인 목록 화면을 설명하는 도면이다.
도 17c는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 화상 목록 화면을 설명하는 도면이다.
도 17d는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 화상 목록 화면을 설명하는 도면이다.
도 18a는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 설정 화면을 설명하는 도면이다.
도 18b는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 전방향 스틸 화상 뷰 화면을 설명하는 도면이다.
도 18c는 전방향 촬상 장치에 의해 제공된 조작 화면의 일례로서 전방향 동영상 뷰 화면을 설명하는 도면이다.
도 18d는 재생 버튼 누름에 대응하는 조작이 수락된 경우의 전방향 동영상 뷰 화면을 설명하는 도면이다.
도 19는 포인터가 숨겨진 경우 조작 화면에 표시될 포인터의 좌표를 초기화하는 방법을 사용자에게 설명하기 위해 표시되는 메시지의 일례를 설명하는 도면이다.
도 20은 사용자가 셔터 릴리즈 버튼을 아래로 향하게 하여 전방향 촬상 장치를 유지하고 있는 경우의 좌표 축을 설명하는 도면이다.
도 21은 사용자가 셔터 릴리즈 버튼을 아래로 향하게 하여 전방향 촬상 장치를 유지하고 있는 경우의 전방향 촬상 장치의 배향을 산출하는 방법을 변경하는 프로세스를 설명하는 흐름도이다.
이하, 본 발명의 실시예가 첨부 도면을 참조하면서 설명될 것이다.
<전방향 촬상 장치의 개략적인 조작>
도 1a 내지 도 1c는 본 발명의 실시예에 따른 전방향 촬상 장치(110)의 개략적인 조작을 설명하는 도면이다. 전방향 촬상 장치(110)는 촬상한 화상을 무선으로 표시 장치(180)에 송신한다. 표시 장치(180)는 수신된 화상을 표시한다. 도 1a에 도시된 바와 같이, 사용자는 예를 들어, 전방향 촬상 장치(110)를 포인팅 디바이스로서 유지하고, 목록으로부터 화상을 선택하거나, 표시될 화상을 선택하기 위해 화면을 스크롤시키거나, 또는 표시 범위를 결정하는 것과 같은 원하는 조작을 수행할 수 있다. 그러나, 전방향 촬상 장치(110)는 내장된 자이로 센서를 사용하여 자신의 자세를 검출하고 있기 때문에, 예들 들어 센서 드리프트의 영향으로 인해 사용자가 전방향 촬상 장치(110)를 사용하여 나타내는 방향과 포인터(P)의 위치 사이에 불일치가 발생할 수 있다. "드리프트"라는 용어는 예를 들어 온도(온도 상승 또는 온도 저하)로 인한 영점의 변동을 말한다.
본 실시예에 따른 전방향 촬상 장치(110)에서, 이러한 불일치를 알아차린 사용자가 포인터(P)의 위치를 초기화할 수 있다. 이러한 초기화를 위해, 먼저 포인터(P)를 숨기는 것이 바람직하다. 그 때문에, 사용자는 예를 들어 다음의 조작 조작 중 하나를 수행할 수 있다.
(i) 표시 장치(180)의 화면으로부터 포인터(P)가 벗어나게 한다.
(ii) 일반적으로 행해지지 않는 조작(특수 조작)을 수행한다.
(iii) 특정 시구간 동안 정지한다.
도 1b는 표시 장치(180)의 화면으로부터 포인터(P)가 벗어나게 하기 위해 전방향 촬상 장치(110)의 배향을 크게 바꾸도록 전방향 촬상 장치(110)를 옆으로(좌우로) 휘젓는 조작을 예시한다. 또한 "일정 시구간 동안 정지시키는' 조작은 불일치를 알아차린 것에 응답하여 수행되는 것에 제한되지 않고, 화상을 보고 있는 사용자에 의해 자연스럽게 수행될 수 있다.
사용자가 이러한 조작 중 하나를 수행하면, 전방향 촬상 장치(110)는 포인터(P)를 숨긴다. 포인터(P)를 숨기기거나 표시하지 않는 상태는 "비표시"로서 지칭될 수 있음을 유의한다.
비표시 상태에서, 사용자는 전방향 촬상 장치(110)를 포인터(P)의 초기 위치에 포인팅하고, 셔터 릴리즈 버튼(SB)을 누른다. 즉, 사용자는 전방향 촬상 장치(110)로 초기 위치에서 표시될 포인터(P)를 포인팅한다. 도 1c에서 표시 장치(180)의 화면의 중심이 포인터(P)의 초기 위치이다. 이 경우에, 전방향 촬상 장치(110)에 의해 지시되는 방향과 포인터(P)의 위치는 일치한다. 따라서, 이러한 초기화 처리를 수행함으로써, 포인터(P)의 위치와 전방향 촬상 장치(110)의 자세 사이의 불일치가 방지될 수 있다.
<용어>
촬상 장치의 자세에 관한 정보는 촬상 장치의 자세를 특정, 결정, 또는 추정 할 수 있는 정보이다. 본 실시예에서, 자이로 센서, 가속도 센서, 및 지자기 센서 중 적어도 하나에 의해 검출된 정보는 촬상 장치의 자세에 관한 정보의 일례이다. 또한, 자세는 또한 물체의 배향으로 지칭될 수 있고, 3 회전 각도: 롤(roll), 피치(pitch), 요(yaw)에 의해 표현된다.
위치 표시 컴포넌트는 조작 화면에서의 위치를 나타내는 표시 컴포넌트로서 지칭된다. 위치 표시 컴포넌트는 사용 조작이 입력되는 조작 화면에서의 위치를 나타내거나, 또는 버튼 또는 아이콘과 같은 조작 대상을 포인팅할 수 있다. 또한, 위치 표시 컴포넌트는 포인터(P), 커서, 마우스 커서, 마우스 포인터 등으로 지칭될 수도 있다.
위치 표시 컴포넌트의 위치 초기화는 조작 화면 상의 미리 정해진 좌표(원점)에서 포인터(P)를 표시하는 것을 말한다.
<구성예>
도 2는 본 실시예에 따른 전방향 화상 표시 시스템(100)의 개략적인 구성을 도시한다. 전방향 화상 표시 시스템(100)은 전방향 화상을 촬상하는 전방향 촬상 장치(110), 전방향 촬상 장치(110)와 통신하는 무선 통신 장치(150), 및 무선 통신 장치(150)에 연결된 표시 장치(180)를 포함한다.
전방향 촬상 장치(110)는 각각 결상 광학계 및 촬상 소자를 포함하는 2개의 촬상 광학계를 포함하고, 각 촬상 광학계에 의해 모든 방향에서 화상을 촬상함으로써 촬상 화상을 생성한다. 촬상 광학계는 180도(=360도/n; n=2)보다 더 큰 전체 화각을 가지며, 바람직하게는 185도 이상의 전체 화각을 가지며, 보다 바람직하게는 190도 이상의 전체 화각을 가진다.
전방향 촬상 장치(110)는 복수의 촬상 광학계에 의해 촬상된 촬상 화상을 조합하여 4π 스테라디안의 입체각을 커버하는 화상을 합성한다(이하 "전방향 화상"라고 지칭됨). 전방향 화상은 촬상 지점으로부터 볼 수 있는 모든 방향을 촬상한 화면임을 유의한다.
전방향 촬상 장치(110)에 의해 촬상된 화상은 예를 들어 전용 화상 뷰어/애플리케이션을 갖는 외부 장치를 사용하여 보여질 수 있다. 외부 장치는 예를 들면 퍼스널 컴퓨터, 스마트 폰, 태블릿 컴퓨터 등일 수 있다. 본 실시예에 따른 전방향 촬상 장치(110)는 또한 촬상 화상을 디스플레이 상에 표시하기 위한 화상 뷰어 기능을 가지고 있다. 그러나, 예들 들어, 전방향 촬상 장치(110)에 의해 사용되는 외부 장치가 화상을 보여주는데 충분한 해상도를 가진 디스플레이를 갖고 있지 않거나 사용자가 외부 장치를 갖고 있지 않는 경우가 있을 수 있음을 유의한다.
이와 관련하여, 본 실시예에 따른 전방향 촬상 장치(110)는 통신 장치의 일례로서 무선 영상 통신 기능을 갖고, 전방향 촬상 장치(110)는 전방향 촬상 장치(110)의 화상 뷰에 의해 생성된 조작 화면을 표시 장치(180)에 무선 송신하기 위해 무선 통신 기능을 사용한다.
조작 화면에 포함된 데이터의 일부(예를 들면, 배경 화면)는 전방향 촬상 장치(110)에 미리 저장될 수 있음을 유의한다. 이 경우에, 전방향 촬상 장치(110)와 표시 장치(180)가 통신을 시작할 때, 미리 저장된 데이터는 판독될 수 있고 포인터(P) 등이 미리 저장된 데이터 상에 중첩되어 조작 화면을 생성할 수 있고, 그 후 생성된 조작 화면은 표시 장치(180)에 송신될 수 있다. 또한, 미리 저장된 데이터는 무선 디바이스를 통해 전방향 촬상 장치(110)에 무선으로 연결되는 외부 저장 디바이스에 저장될 수 있고, 예를 들어 그로부터 취득될 수도 있다. 또한, 미리 저장된 데이터는 무선 디바이스로부터 예를 들어 인터넷을 통해 전달될 수도 있다.
무선 통신 장치(150)는 무선 영상 통신 기능을 갖고 전방향 촬상 장치(110)의 화상 뷰어에 의해 생성된 조작 화면을 수신한다. 그리고, 무선 통신 장치(150)는 무선 통신 장치(150)에 연결된 표시 장치(180)에 조작 화면의 영상을 출력한다. 표시 장치(180)는 무선 통신 장치(150)에 의해 입력된 화상을 LCD(Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 등의 디스플레이 패널에 표시한다. 또한, 무선 통신 장치(150)는 영상, 스틸 화상, 동영상, 소리 등을 전방향 촬상 장치(110)로부터 수신하고 수신된 콘텐츠를 표시 장치(180)에 출력할 수 있다.
도 2에서, 전방향 촬상 장치(110) 및 무선 통신 장치(150)는 예를 들어 무선 LAN(Local Area Network)에 의해 무선으로 연결될 수 있다. 바람직하게는, 전방향 촬상 장치(110)와 무선 통신 장치(150) 사이의 연결은 예를 들어 Miracast(등록 상표), AirPlay(등록 상표), 또는 Chromecast(등록 상표)와 같은 무선 영상 송신 표준을 준수한다.
무선 통신 장치(150)와 표시 장치(180) 사이의 연결은 예를 들어, HDMI(High-Definition Multimedia Interface, 등록 상표), DisplayPort(등록 상표), Thunderbolt(등록 상표)와 같은 영상 출력 인터페이스를 사용하여 확립될 수 있다.
전방향 촬상 장치(110)에 의해 생성된 화상 뷰어 조작 화면(S)는 영상으로 무선 통신 장치(150)에 무선 송신되고, 무선 통신 장치(150)로부터 표시 장치(180) 상에 표시될 영상으로 표시 장치(180)에 출력된다.
표시 장치(180) 상에 표시된 화상 뷰어 조작 화면(S)은 마우스, 키보드, 기타 정보 단말기 등의 추가 하드웨어없이 조작될 수 있도록 구성되는 것이 바람직하다.
도 2는 또한 본 실시예에 따른 전방향 촬상 장치(110)의 작동 모드를 예시한다. 본 실시예에서, 전방향 촬상 장치(110)는 도 2에 도시된 바와 같이, 사용자의 손(H)에 유지될 수 있다. 손(H)으로 전방향 촬상 장치(110)를 유지하고 전방향 촬상 장치(110)를 이동함으로써 사용자는 표시 장치(180) 상에 표시된 화상 뷰어 조작 화면(S) 상의 포인터(P)를 이동시킬 수 있다. 이러한 방식으로 사용자는 화상에 관련된 다양한 조작을 수행할 수 있다.
예를 들어, 사용자는 전방향 촬상 장치(110)를 표시 장치(180)에 대해 상향 또는 하향 이동시켜 표시 장치(180) 상에 표시된 조작 화면(S) 상의 포인터(P)의 위치를 상향 또는 하향 이동시킬 수 있다. 또한, 사용자는 전방향 촬상 장치(110)를 표시 장치(180)에 대해 좌측 또는 우측으로 흔들어 조작 화면(S) 상의 포인터(P)를 좌측 방향 또는 우측 방향으로 이동시킬 수 있다. 사용자는 조작 화면(S) 상의 미리 정해진 위치로 포인터(P)를 이동시키고 전방향 촬상 장치(110)의 케이스에 제공된 하드웨어 버튼과 같은 하드웨어 조작 컴포넌트를 눌러 원하는 처리를 실행하도록 전방향 촬상 장치(110)에 지시할 수 있다.
상술된 바와 같이, 본 실시예에 따른 전방향 화상 표시 시스템(100)에서, 무선 통신 장치(150)를 통해 전방향 촬상 장치(110)로부터 표시 장치(180)에 화상 뷰어 조작 화면(S)이 송신된다. 표시 장치(180) 상에 표시되는 조작 화면(S)를 보는 동안, 사용자는 전방향 촬상 장치(110)를 물리적으로 이동시켜 조작 화면 상에서 원하는 조작을 수행한다.
<하드웨어 구성예>
<<전방향 촬상 장치(110)>>
도 3을 참조하여 전방향 촬상 장치(110)의 하드웨어 구성이 이하 설명될 것이다. 도 3은 본 실시예에 따른 전방향 촬상 장치(110)의 하드웨어 구성의 일례를 설명하는 블록도이다. 도 3에서, 도시 전방향 촬상 장치(110)는 180도보다 큰 전체 화각을 각각 갖는 2개의 광학계를 조합한 쌍안(twin lens) 전방향 촬상 장치(110) 로 구성됨을 유의한다.
전방향 촬상 장치(110)는 CPU(Central Processing Unit)(112), ROM(Read Only Memory)(114), 화상 처리 블록(116) 동영상 블록(118), DRAM(Dynamic Random Access Memory) 인터페이스(120)를 통해 연결되는 DRAM(132), 및 외부 센서 인터페이스(124)를 통해 연결되는 가속도 센서/자이로 센서/지자기 센서(가속도 센서, 자이로 센서, 및 지자기 센서 중 적어도 하나)(136)를 포함한다.
CPU(112)는 전방향 촬상 장치(110)의 다양한 유닛의 동작 및 전체 동작을 제어한다. ROM(114)은 CPU(112)에 의해 디코딩될 수 있는 코드로 작성된 제어 프로그램 및 각종 파라미터를 저장한다.
전방향 촬상 장치(110)는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있는 제 1 및 제 2 촬상 소자(130A 및 130B), 및 제 1 및 제 2 광학계(131A 및 131B)를 포함한다. 본 실시예에서, 광학계(131A 및 131B)는 어안 렌즈를 포함한다. 본 명세서에서, 어안 렌즈는 소위 광각 렌즈 또는 초광각 렌즈를 포함함을 유의한다. 화상 처리 블록(116)은 제 1 및 제 2 촬상 소자(130A 및 130B)에 연결되어 제 1 및 제 2 촬상 소자(130A 및 130B)에 의해 촬상된 화상의 화상 신호가 화상 처리 블록(116)에 입력되게 한다. 화상 처리 블록(116)은 예를 들어 ISP(Image Signal Processor)를 포함하고, 제 1 및 제 2 촬상 소자(130A 및 130B)로부터 입력된 영상 신호에 대해 음영 보정, 베이어(Bayer) 보간, 화이트 밸런스 보정, 감마 보정 등과 같은 화상 처리를 수행한다.
본 실시예에서, 화상 처리 블록(116)은 제 1 및 제 2 촬상 소자(130A 및 130B)에 의해 촬상된 화상에 대해 중복 부분을 기준으로 사용하여 화상 합성 처리를 수행하고, 이러한 방식으로 4π 스테라디안의 입체각을 커버하는 전방향 화상이 생성된다. 제 1 및 제 2 광학계(131A 및 131B)가 180도를 초과하는 전체 화각을 각각 가지고 있기 때문에, 180도를 초과하는 촬상된 화상의 촬상 범위가 중복된다. 화상 합성 처리 동안에, 중복 영역은 동일한 화상을 나타내는 기준 데이터로서 참조되어 전방향 화상을 생성한다. 또한, 전방향 화상의 연속적인 프레임은 조합되어 전방향 동영상을 구성할 수 있다.
이하 설명된 본 실시예에서, 촬상 지점으로부터 볼 수 있는 모든 방향을 촬상한 전방향 화상이 생성된다고 가정한다. 그러나, 다른 실시예에서, 예를 들어 360° 촬상 범위를 커버하는 수평면을 갖는 소위 파노라마 화상이 생성될 수 있다. 또한, 본 실시예에서, 2개의 촬상 광학계를 포함하는 전방향 촬상 장치가 예로서 설명된다. 그러나, 촬상 광학계의 수는 특별히 제한되지 않는다. 다른 실시예에서, 전방향 촬상 장치(110)는 3개 이상의 어안 렌즈를 포함하는 3개 이상의 광학계에 의해 구현된 촬상 메커니즘, 및 3개 이상의 광학계에 의해 촬상된 복수의 촬상 화상에 기포하여 전방향 화상을 생성하는 기능을 가질 수 있다. 또다른 실시예에서, 전방향 촬상 장치(110)는 예를 들어 광학계로서 단일 어안 렌즈에 의해 구현된 촬상 메커니즘, 및 단일 어안 렌즈에 의해 상이한 방위각에서 촬상된 복수의 촬상 화상에 기초하여 전방향 화상을 생성하는 기능을 포함할 수 있다.
동영상 블록(118)은 예들 들어, MPEG(Moving Picture Experts Group)-4AVC(Advanced Video Coding)/H.264/H.265에 기반한 동영상 압축 및 압축해제를 위한 코덱 블록이다. DRAM(132)은 각종 신호 처리 및 화상 처리가 수행될 때 데이터를 일시적으로 저장하는 저장 영역을 제공한다. 가속도 센서/자이로 센서/지자기 센서(136)는 속도, 가속도, 각 속도, 각 가속도, 자기 방위 등과 같은 전방향 촬상 장치(110)의 움직임에 기인한 물리량을 측정한다. 측정된 물리량은 전방향 화상에 대한 천정(zenith) 보정을 적용하는데 및 화상 뷰어 조작 화면에 대한 처리의 처리 내용을 결정하는데 사용될 수 있다.
전방향 촬상 장치(110)는 또한 외부 스토리지 인터페이스(122)를 포함한다. 외부 스토리지 인터페이스(122)에 외부 스토리지(134)가 연결된다. 외부 스토리지 인터페이스(122)는 메모리 카드 슬롯에 삽입된 메모리 카드 또는 다른 유형의 외부 스토리지 디바이스일 수 있는 외부 스토리지(134)에 대한 읽기 및 쓰기 동작을 제어한다.
전방향 촬상 장치(110)는 또한 USB(Universal Serial Bus) 인터페이스(126)를 포함한다. USB 인터페이스(126)에 USB 커넥터(138)가 연결된다. USB 인터페이스(126)은 USB 커넥터(138)를 통해 연결된 퍼스널 컴퓨터, 스마트 폰, 또는 태블릿 컴퓨터와 같은 외부 장치와의 USB 통신을 제어한다.
전방향 촬상 장치(110)는 또한 직렬 블록(128)를 포함한다. 직렬 블록(128)은 외부 장치와의 시리얼 통신을 제어하고 무선 통신 인터페이스(140)가 연결된다. 본 실시예에서, 전방향 촬상 장치(110)는 무선 통신 인터페이스(140)를 사용하여 Miracast(등록 상표)와 같은 무선 영상 송신 프로토콜에 의해 무선 통신 장치(150)와 같은 외부 장치에 연결된다. 이러한 방식으로, 외부 장치의 디스플레이 또는 연결된 디스플레이 상에 전방향 촬상 장치(110)의 조작 화면이 표시될 수 있다.
전방향 촬상 장치(110)는 USB 커넥터(138) 또는 무선 통신 인터페이스(140)를 통해 외부의 퍼스널 컴퓨터, 스마트 폰, 태블릿 컴퓨터 등과 같은 외부 장치와 연결되어 외부 장치의 디스플레이 또는 연결된 디스플레이에 영상을 표시할 수 있음을 유의한다. 도 3에 도시된 구성 외에, 전방향 촬상 장치(110)는 HDMI(등록 상표)와 같은 영상 출력 인터페이스를 가지고 있을 수 있다. 이러한 경우, 전방향 촬상 장치(110)는 영상 출력 인터페이스를 통해 표시 장치(180) 등의 외부 디스플레이에 직접 연결되어 외부 디스플레이에 영상을 표시할 수 있다.
전원 스위칭 조작에 의해 전원이 켜지면, 제어 프로그램이 ROM(114) 등으로부터 메인 메모리로 로드된다. 메인 메모리로 로드된 프로그램에 따라, CPU(112)는 전방향 촬상 장치의 여러 유닛의 동작을 제어하고, 제어에 필요한 데이터를 메모리에 일시적으로 저장한다. 이러한 방식으로, 화상 뷰어의 조작 화면 제공 기능에 대한 전방향 촬상 장치(110)의 여러 기능 유닛 및 처리가 구현될 수 있다.
<<통신 장치의 일례로서 무선 통신 장치>>
도 4는 본 실시예에 따른 무선 통신 장치(150)의 하드웨어 구성의 일례를 설명하는 블록도이다. 무선 통신 장치(150)는 CPU(152), ROM(154), RAM(156), 동영상 블록(158), 무선 통신 인터페이스(160), 및 영상 출력 인터페이스(162)를 포함한다.
CPU(152)는 무선 통신 장치(150)의 여러 유닛의 동작 및 전체 동작을 제어한다. ROM(154)은 CPU(152)에 의해 디코딩될 수 있는 코드로 작성된 제어 프로그램 및 각종 파라미터를 저장한다. RAM(156)은 각종 신호 처리 및 화상 처리를 수행할 때 데이터를 일시적으로 저장하는 저장 영역을 제공한다. 동영상 블록(158)은 예를 들어, MPEG(Moving Picture Experts Group)-4AVC(Advanced Video Coding)/H.264/H.265에 기반하여 동영상을 압축 및 압축해제하는 코덱 블록이다.
무선 통신 인터페이스(160)는 전방향 촬상 장치(110)와 같은 외부 장치와의 무선 통신을 제어한다. 본 실시예에서, 무선 통신 장치(150)는 무선 통신 인터페이스(160)를 사용한 Miracast(등록 상표)와 같은 무선 영상 송신 표준에 따라 전방향 촬상 장치(110)와 같은 외부 장치에 연결되어 외부 장치로부터 송신된 영상를 수신한다. 영상 출력 인터페이스(162)는 HDMI(등록 상표)와 같은 영상 출력 인터페이스이다. 무선 통신 장치(150)는 영상 출력 인터페이스(162)를 통해 외부 표시 장치(180)에 직접 연결되어 외부 표시 장치(180) 상에 영상을 표시할 수 있다.
전원이 켜지면, 제어 프로그램이 ROM(154) 등으로부터 RAM(156)로 로드된다. RAM(156)로 로드된 프로그램에 따라, CPU(152)는 무선 통신 장치(150)의 여러 유닛의 동작을 제어하고 제어에 필요한 데이터를 RAM(156)에 일시적으로 저장한다. 이러한 방식으로, 후술된 무선 통신 장치(150)의 기능 유닛 및 처리가 구현될 수 있다.
<기능>
이하, 본 실시예에 따른 전방향 촬상 장치(110)에 포함된 화상 뷰어의 조작 화면 제공 기능이 설명될 것이다.
도 5는 본 실시예에 따른 전방향 촬상 장치(110)에 구현된 화상 뷰어의 조작 화면 제공 기능과 관련된 주요 기능을 설명하는 블록도이다. 도 5는 무선 통신 장치(150)의 기능 블록을 또한 도시한다.
도 5에서, 전방향 촬상 장치(110)는 촬상 화상 저장 유닛(212), 센서 측정 유닛(214), 무선 영상 송신 유닛(216), 및 조작 화면 제어 유닛(220)를 포함한다.
촬상 화상 저장 유닛(212)은 전방향 촬상 장치(110)의 제 1 및 제 2 광학계(131A 및 131B)에 의해 촬상된 화상을 저장한다. 촬상 화상 저장 유닛(212)은 일반적으로 외부 스토리지(134)의 저장 영역으로서 구현될 수 있다. 촬상 화상 저장 유닛(212)은 본 실시예에 따른 저장 유닛의 일례이다.
촬상 화상 저장 유닛(212)에 저장된 화상은 제 1 및 제 2 광학계(131A 및 131B)를 통해 각각 촬상된 어안 화상, 그들 2개의 어안 화상을 접합하여 얻어진 듀얼 어안 화상, 또는 편심 실린더 투영법(eccentric cylinder projection method) 등과 같은 투영법에 따라 2개의 어안 화상을 합성하여 얻어진 전방향 화상일 수 ㅇ있다. 촬상 화상 저장 유닛(212)에 저장된 화상은 스틸 화상 또는 동영상일 수 있고, 동영상 또는 스틸 화상의 해상도는 2K, 4K, 또는 다른 해상도일 수 있다. 스틸 화상의 포맷은 JPEG 포맷, GIF 포맷, PNG 포맷, 비트맵 포맷 등과 같은 임의의 화상 포맷일 수 있다. 동영상 포맷은 MPEG4 포맷, H.264 포맷, H.265 포맷 등과 같은 임의의 동영상 포맷일 수 있다.
또한 , 동영상은 1채널 및 다채널(3D 음향)의 오디오 데이터를 포함할 수 있다. 화각이 제한된 경우 2채널 이상이 바람직하고, 수평 화각이 180도 이상인 경우 3채널 이상이 바람직하고, 전방향 화상이 있는 경우 4채널이 바람직하다. 각 사운드 데이터마다 사운드 볼륨이 상이할 수 있기 때문에 전방향 촬상 장치(110)는 동영상의 사운드 볼륨을 조작하는 기능을 가지고 있는 것이 바람직하다. 표시 장치(180)의 사운드 볼륨 설정을 변경하지 않고 전방향 촬상 장치(110)의 조작 또는 자동 볼륨 조절에 의해 볼륨 변경을 가능하게 함으로써, 예를 들어 가용성이 향상될 수 있다. 또한, 3D 사운드 데이터에 관하여, 표시 장치(180)는 3D 사운드를 반드시 지원하지 않을 수도 있고, 따라서 재생시에 3D 사운드를 2채널 또는 1채널 사운드로 변환하는 처리가 예를 들어 전방향 촬상 장치(110) 또는 무선 통신 장치(150)에의해 수행될 수 있다.
센서 측정 유닛(214)은 도 3에 도시된 가속도 센서/자이로 센서/지자기 센서(136)를 사용하여 전방향 촬상 장치(110)의 움직임과 연관된 물리량을 측정한다. 센서 측정 유닛(214)에 의해 측정된 물리량의 예로는 전방향 촬상 장치(110)의 위치 변화, 자세 변화 및 회전 중 적어도 하나를 수량화한 속도, 가속도, 각 속도, 각 가속도, 자기 방위 및 이들의 조합을 포함한다. 센서 측정 유닛(214)은 본 발명의 실시예에 따른 측정 유닛의 일례이다.
센서 측정 유닛(214)에 의해 사용된 센서의 조합은 특별히 제한되지 않는다. 예를 들어, 자이로 센서가 전방향 촬상 장치(110)에 포함되는 경우, 센서 측정 유닛(214)은 자이로 센서를 사용하여 전방향 촬상 장치(110)의 움직임을 검출할 수 있다. 이 자이로 센서는 특별히 제한되지 않지만, 3축 센서 또는 6축 센서일 수 있다. 또한, 자이로 센서와 함께 또는 자이로 센서 대신에, 가속도 센서, 지자기 센서, 또는 이들의 조합이 사용될 수 있다. 복수의 센서를 결합하여, 전방향 촬상 장치(110)의 배향을 고정하지 않고 전방향 촬상 장치(110)의 움직임이 검출될 수 있다. 자기 센서가 불안정한 경우 추가 필터링이 적용될 있음을 유의한다. 가속도 센서가 전방향 촬상 장치(110)의 기울기(피치 및 롤)을 검출할 수 있기 때문에, 검출된 기울기에 기초하여 자이로 센서의 측정 값이 보정될 수 있다. 예를 들어 자이로 센서 또는 어떤 다른 센서가 단독으로 사용되는 경우에도, 예들 들어 미디언 필터, 로우패스 필터, 하이패스 필터, 밴드패스 필터, 또는 이들의 조합을 사용하여 평활화가 또한 수행될 수 있다.
조작 화면 제어 유닛(220)은 전방향 촬상 장치(110)의 화상 뷰어 기능에 대한 조작 화면의 생성 및 조작 화면의 전환을 제어한다. 조작 화면 제어 유닛(220)은 전방향 촬상 장치(110)의 펌웨어 기능으로서 구현될 수 있거나, 펌웨어에 추가될 확장 애플리케이션에 의해 구현될 수 있다. 예를 들어, 조작 화면 제어 유닛(220)은 전방향 촬상 장치(110)의 케이스에 제공된 특정 하드웨어 버튼의 길게 누르기와 같은 특정 동작에 응답하여, 또는 전방향 촬상 장치(110)가 무선 통신 장치(150)와의 연결을 확립한 것에 응답하여 활성화될 수 있다.
도 5에 도시된 바와 같이, 조작 화면 제어 유닛(220)은 조작 화면의 출력 처리를 담당하는 화면 출력 처리 유닛(222), 조작 화면에 대한 입력 처리를 담당하는 화면 입력 처리 유닛(224), 및 조작 화면을 통해 요청되는 처리를 실행하는 처리 실행 유닛(230)을 포함한다.
화면 출력 처리 유닛(222)은 현재 표시되는 조작 화면을 생성하고, 생성된 조작 화면을 출력한다. 화면 출력 처리 유닛(222)은 촬상 화상 저장 유닛(212)에 저장된 하나 또는 복수의 촬상 화상을 나열하는 화상 목록 화면, 화상 목록 화면에 나열된 화상 중에서 선택된 특정 화상을 표시하는 화상 뷰 화면과 같은 여러 유형의 조작 화면을 생성할 수 있다. 특정 조작 화면 및 하나의 조작 화면으로부터 또다른 조작 화면으로의 특정 전환 방식이 도 17a 내지 도 17d, 도 18a 내지 도 18d, 및 도 19를 참조하여 후술될 것이다.
화면 입력 처리 유닛(224)은 센서 측정 유닛(214)에 의해 측정된 물리량에 기초하여 사용자에 의해 의도된 촬상 화상에 관련하여 현재 출력 조작 화면 상에 조작의 처리 내용을 결정한다. 보다 구체적으로, 화면 입력 처리 유닛(224)은 포인터 위치 관리 유닛(226)와, 처리 내용 결정 유닛(228), 및 비표시 결정 유닛(229)을 포함한다.
센서 측정 유닛(214)에 의해 측정된 물리량에 기초하여, 포인터 위치 관리 유닛(226)는 현재 표시하고 있는 조작 화면 상의 대상을 포인팅하는 포인팅 유닛의 일례인 포인터(P)의 위치를 관리한다. 예를 들어, 포인터 위치 관리 유닛(226)는 지자기 센서(136)의 검출 결과를 사용하여 전방향 촬상 장치(110)의 이동 방향, 자세 방향 및 배향을 검출하고, 검출된 정보를 포인터(P) 이동 정보로 변환할 수 있다. 본 실시예에서, 포인팅 유닛의 일례로서 포인터(P)가 설명된다. 그러나, 다른 실시예에서, 예를 들어 조작 화면 상의 특정 컨트롤의 포커스가 사용될 수 있다. 이 경우, 포커스 선택 상태가 관리될 수 있다.
또한, 포인터 위치 관리 유닛(226)은 비표시 결정 유닛(229)이 미리 정해진 조건이 충족되었다고 결정하면 포인터(P)를 숨긴다. 또한, 포인터 위치 관리 유닛(226)은, 포인터(P)가 숨겨진 동안 셔터 릴리즈 버튼(SB)이 눌리면 포인터(P)의 좌표를 초기화한다.
예를 들어, 메뉴를 선택할 때 평면 환경에 대한 수직(상하) 및 측방(좌우)의 2차원 움직임 검출이 충분할 수 있음을 유의한다. 이 경우, 특별히 제한되는 것은 아니지만, 표시 디바이스를 마주보는 평면 좌표(표시 화면과 평행한 위치 관계)에 대한 움직임을 직관적으로 알기 쉽기 때문에, 초기 위치 및 초기 자세를 사용하여 교정이 수행될 수 있다. 깊이 방향을 포함한 3차원 움직임을 검출할 수 있는 경우에, 전후 방향의 움직임량의 검출은 개별 조작과 연관될 수 있다. 예를 들어, 앞으로 누르는 움직임은 선택된 컨트롤을 누르는 것에 대응하는 조작으로서 검출될 수 있다. 이와 같이, 전방향 촬상 장치(110)가 배향되는 방법과 상관없이 지면에 대해 측방 또는 수직으로 전방향 촬상 장치(100)를 이동시킴으로써 조작 화면 상의 포인터(P)가 측방 또는 수직으로 이동될 수 있다. 또한, 일부 실시예에서, 셔터 릴리즈 버튼(SB)과 같은 버튼 위치를 예를 들어 상면으로 지정함으로써 전방향 촬상 장치(110)가 사용자에 의해 유지되어야 하는 방식(전방향 촬상 장치(110)의 배향)에 특정 제약을 줄 수 있다.
처리 내용 결정 유닛(228)은 조작 화면 상의 포인터(P)의 위치, 및 필요에 따라 전방향 촬상 장치(110)에 대해 수행된 임의의 추가 조작에 기초하여 조작 화면 상의 조작의 처리 내용을 결정한다. 추가 조작은 예를 들어 전방향 촬상 장치(110)의 케이스에 제공된 하드웨어 버튼에 수락된 입력에 기초한 조작일 수 있다. 조작 화면 상에 미리 정해진 처리 내용과 각각 연관된 버튼 및 아이콘과 같은 복수의 컨트롤이 표시된다. 포인터(P)에 의해 컨트롤 중 하나가 선택된 상태에서 추가 조작이 수행되되면, 선택된 컨트롤과 연관된 미리 정해진 처리 내용이 처리 내용 결정 유닛(228)에 의해 결정된다.
비표시 결정 유닛(229)은 센서 측정 유닛(214)에 의해 측정된 물리량에 기초하여 포인터(P)를 숨길지 여부를 결정한다. 보다 구체적으로, 비표시 결정 유닛(229)은, 센서 측정 유닛(214)에 의해 측정된 물리량의 변화가 적어도 미리 정해진 시구간 동안 미리 정해진 값보다 크지 않은 경우(미리 정해진 범위 내인 경우), 또는 센서 측정 유닛(214)에 의해 측정된 물리량이 포인터(P)가 표시 장치(180)의 화면으로부터 벗어낫음을 나타내는 경우 포인터(P)가 숨겨져야 한다고 결정한다.
처리 실행 유닛(230)은 처리 내용 결정 유닛(228)에 의해 특정된 처리 내용을 실행한다. 처리 내용은 예를 들어, 미리 정해진 조작 화면의 호출, 화상 표시에 관한 각종 조작, 및 화상 편집에 관한 각종 조작을 포함할 수 있다.
보다 구체적으로는 처리 내용은 조작 화면 상의 스틸 화상의 표시, 스킬 화상 숨기기, 동영상 재생 시작, 동영상 재생 일시정지, 동영상 빨리 감기, 동영상 되감기, 동영상 재생 정지, 스틸 화상 또는 동영상 회전, 스틸 화상 또는 동영상의 표시 범위 확대, 스틸 화상 또는 동영상의 표시 범위의 축소, 스틸 화상 또는 동영상의 시점 이동 등을 포함할 수 있다. 또한 , 처리 내용은 화상 선택, 화상 삭제, 화상의 화상 포맷 변환, 동영상으로부터 스틸 화상 추출, 화상 해상도 변환, 동영상 분할, 및 동영상 재생 볼륨 변화를 포함할 수 있다. 화상의 화상 포맷 변환은 예를 들어 듀얼 어안 화상을 전방향 화상으로 변환하는 것을 포함할 수 있다.
무선 영상 송신 유닛(216)은 도 3에 도시된 무선 통신 인터페이스(140)를 사용하여 처리 실행 유닛(230)에 의해 실행된 처리의 결과를 반영한 조작 화면을 영상으로 외부 장치에 무선 송신한다.
무선 통신 장치(150)는 표시 장치(180)에 연결된다. 무선 통신 장치(150)는 표시 장치(180)가 전방향 촬상 장치(110)의 무선 영상 송신 유닛(216)에 의해 송신된 조작 화면을 표시하게 한다. 본 실시예에서, 무선 통신 장치(150)는 표시 장치(180)에 외부 연결되어 있다. 그러나, 본 발명은 이에 제한되지 않고, 무선 통신 장치(150)는 예를 들어 표시 장치(180)를 포함할 수 있다.
또한, 일부 경우에, 전방향 촬상 장치(110)는 충분한 해상도를 가진 디스플레이를 갖고 있지 않거나, 디스플레이를 갖고 있지 않을 수 있다. 따라서 전방향 촬상 장치(110)가 무선 통신 장치(150)와의 연결을 확립하기 위해 디바이스 등록을 수행하는 경우, 사용자는 번잡한 조작을 행하도록 요구할 수 있다.
이와 관련하여, 바람직한 실시예에서, 무선 통신 장치(150)는 자기 정보(self information) 송신 유닛(252)을 더 포함할 수 있다. 바람직한 실시예에서, 전방향 촬상 장치(110)의 무선 영상 송신 유닛(216)은 검색(search) 처리 유닛(218)을 포함할 수 있다.
사용자가 미리 정해진 버튼을 누르는 것과 같은 디바이스 등록 시작 조작에 응답하여, 자기 정보 송신 유닛(252)는 특정 시구간 동안 무선 통신 장치(150)의 SSID와 같은 디바이스 이름을 특정 이름으로 변경하고 특정 이름을 송신한다. 특정 이름은 디바이스 등록이 시작되지 않은 경우 무선 통신 장치(150)에 할당되는 통상 이름과 구별될 수 있고, 디바이스 등록 모드에 있음을 나타내는 특정 문자열 패턴을 포함한다. 예를 들어, 통상의 디바이스 이름이 "display001"인 경우, 문자열 "_ON"을 추가하여 "display001_ON"이라는 특정 디바이스 이름을 얻을 수 있다.
한편, 표시 장치(180) 상의 무선 통신 장치(150)와의 무선 통신을 시작하기 위해, 전방향 촬상 장치(110)의 검색 처리 유닛(218)은 문자열 검색을 수행하여 특정 이름을 갖는 무선 통신 장치를 연결 상대 후보로서 검색한다. 연결 상대 후보의 검색 방법은 상기에 제한되지 않음을 유의한다. 예들 들어, 사전 등록된 MAC(Media Access Control) 주소를 갖는 무선 통신 장치가 연결 상대 후보로 검색될 수 있거나, 처음으로 발견된 무선 통신 장치가 연결 상대 후보로서 고려될 수 있다. 또한, 일부 실시예에서, 상기 검색 방법 중 하나는 연결 상대를 결정하는데 지정될 수 있고, 다른 실시예에서는, 복수의 검색 방법이 사용되어, 복수의 연결 상대 후보가 발견될 때, 예들 들어 발견된 연결 상대 후보 중에서 가장 우선순위가 높은 연결 상대 후보가 연결 상대로서 결정될 수 있도록 각각의 검색 방법에 미리 우선순위가 할당될 수 있다.
<연결 프로세스>
도 6은 본 실시예에 연결 상대로서 무선 통신 장치(150)와 연결을 확립하기 위한 전방향 촬상 장치(110)에 의해 구현된 연결 방법을 설명하는 흐름도이다. 도 6의 프로세스는 예를 들어, 전방향 촬상 장치(110)의 케이스에 제공된 특정 하드웨어 버튼을 길게 누르기와 같은 특정 조작에 응답하여 단계(S100)에서 시작된다. 도 6에서, 일례로서 무선 통신을 확립하는 연결 방법이 설명될 것이지만, 무선 통신은 단지 통신 연결의 일례이다.
단계(S101)에서, 전방향 촬상 장치(110)는 화상 뷰어의 조작 화면 제공 기능을 유효화한다. 단계(S102)에서, 전방향 촬상 장치(110)는 검색 모드 설정에 따라 처리를 분기시킨다. 검색 모드 설정은 디폴트 검색 모드로 설정될 수 있거나, 원하는 검색 모드가 사용자에 의해 설정될 수 있다.
단계(S102)에서 MAC 주소에 기반한 검색 모드가 유효하다고 결정한 경우(MAC 주소 기반), 프로세스는 단계(S103)로 진행된다. 단계(S103)에서, 전방향 촬상 장치(110)는 검색 처리 유닛(218)에 의해 연결 대상 후보로서 미리 등록된 MAC 주소에 대응하는 무선 통신 장치를 검색하고, 검색을 완료한 후에 단계(S106)로 진행된다.
한편, 단계(S102)에서 특정 이름에 기반한 검색 모드가 유효하다고 결정한 경우(디바이스 이름 기반), 프로세스는 단계(S104)로 진행된다. 단계(S104)에서, 전방향 촬상 장치(110)는 검색 처리 유닛(218)에 의해 연결 대상 후보로서 미리 정해진 문자열 패턴을 포함하는 디바이스 이름을 갖는 무선 통신 장치를 검색하고, 검색을 완료한 후에 단계(S106)로 진행된다. 디바이스 등록 시작을 위해 무선 통신 장치(150)의 하드웨어 버튼이 눌리고 무선 통신 장치(150)의 디바이스 이름이 특정름으로 변경되는 경우, 무선 통신 장치(150)는 상기 검색에 의해 발견될 것임을 유의한다.
한편, 단계(S102)에서 연대순(chronological oder)에 기반한 검색 모드가 유효하다고 결정한 경우(연대순 기반), 프로세스는 단계(S105)로 진행된다. 단계(S105)에서, 전방향 촬상 장치(110)는 네트워크 상의 무선 통신 장치를 검색하고 발견되는 제 1 무선 통신 장치를 연결 대상 후보로서 고려하며, 그 후에 단계(S106)로 진행된다.
단계(S103) 내지 단계(S105)의 프로세스는 사전에 설정된 검색 모드 설정에 기초하여 선택적으로 수행됨을 유의한다. 일부 실시예에서, 상기 복수의 프로세스는 병렬로 또는 순차적으로 수행될 수 있다. 예를 들어, 모든 검색 모드가 유효한 경우, 단계(S103) 내지 단계(S105)의 프로세스는 병렬로 또는 순차적으로 모두 수행될 수 있다.
단계(S106)에서, 전방향 촬상 장치(110)는 단계(S103) 내지 단계(S105)에서 수행된 검색에서 적어도 하나의 연결 상대 후보가 발견되었는지 여부를 결정한다. 단계(S106)에서 연결 상대 후보로서 적어도 하나의 무선 통신 장치가 발견되었다고 결정한 경우(단계(S106)에서 YES), 프로세스는 단계(S107)로 진행된다.
단계(S107)에서, 전방향 촬상 장치(110)는 발견된 무선 통신 장치 중에서 우선순위가 가장 높은 무선 통신 장치와 통신을 시작한다. 우선순위는 MAC 주소 기반 검색, 디바이스 이름 기반 검색, 및 연대순 기반 검색 중에서 복수의 검색을 샐행한 결과로서 복수의 연결 상대 후보가 발견되는 경우에, 우선순위가 가장 높은 연결 상대 후보를 결정하기 위해 검색 모드에 우선순위가 할당됨을 유의한다. 하나의 검색 모드만 지정되는 경우, 지정된 모드가 가장 높은 우선순위에 할당된다.
단계(S108) 이후에, 조작 화면이 표시 장치(180) 상에 표시되고, 전방향 촬상 장치(110)를 사용한 조작 화면 상의 조작이 시작된다.
한편, 단계(S106)에서 연결 상대 후보가 발견되지 않았다고 결정된 경우(단계(S106)에서 NO), 프로세스는 단계(S109)로 진행된다. 단계(S109)에서, 전방향 촬상 장치(110)는 조작 화면 제공 기능을 무효화하고, 본 프로세스를 단계(S110)에서 종료한다. 이 때, 예를 들어 전방향 촬상 장치(110)의 램프 또는 스피커로부터 연결 상대 후보로서의 무선 통신 장치가 발견되지 않았다는 통지가 발행될 수 있다.
한번 연결이 확립되면, 표시 장치(180) 상에 연결 상태 및 기타 연결가능한 디바이스에 대한 정보가 표시될 수 있다. 그 때문에, 예를 들어 표시 장치(180) 상에 표시된 조작 화면을 통해 연결 상대가 스위칭될 수 있다. 또한, 디바이스 등록을 위한 하드웨어 버튼이 눌려진 복수의 무선 통신 장치가 존재하면, 그러한 경우에 예를 들어 제 1 연결 타겟을 결정하기 위해 Bluetooth(등록 상표) 통신 등이 사용될 수 있다.
<전방향 촬상 장치의 자세 및 포인터의 위치>
본 실시예에서, 사용자가 얼마나 많이 전방향 촬상 장치(110)을 기울이는지(측방 및 수직 방향으로)에 기초하여 전방향 촬상 장치(110)가 포인터(P)를 표시할 조작 화면 상의 위치가 결정한다. 전방향 촬상 장치(110)의 자세에 기초하여 조작 화면 상의 포인터(P)를 사용자가 이동시키기 위해서, 표시 장치(180)와 전방향 촬상 장치(110) 사이의 거리 및 표시 장치(180)의 화면 크기를 고려해야 한다. 이는 표시 장치(180)와 전방향 촬상 장치(110) 사이의 거리에 따라 전방향 촬상 장치(110)의 배향의 변화에 대한 표시 장치(180)의 화면 상의 포인터(P)의 움직임량이 변하기 때문이다. 또한, 화면 크기에 따라 포인터(P)의 이동가능 범위가 변하기 때문이다.
도 7은 사용자에 의해 유지되는 전방향 촬상 장치(110)와 표시 장치(180)의 상대적 위치의 측면도의 일례이다. 사용자와 표시 장치(180) 사이의 직선 거리는 를 시청 거리(L1)로 지칭된다. 시청 거리(L1)는 사용자의 머리와 표시 장치(180) 사이의 거리, 또는 전방향 촬상 장치(110)와 표시 장치(180) 사이의 거리일 수 있다. 본 실시예에서, 전방향 촬상 장치(110)의 자세에 기초하여 포인터(P)의 위치가 제어되기 때문에, 전방향 촬상 장치(110)와 표시 장치(180) 사이의 거리가 시청 거리(L1)로서 사용되는 것이 바람직하다. 그러나, 사용자의 머리와 표시 장치(180) 사이의 거리, 또는 상기 두 거리(즉, 사용자의 머리와 표시 장치(180) 사이의 거리, 및 전방향 촬상 장치(110)와 표시 장치(180) 사이의 거리)의 평균이 시청 거리로서 사용될 수 있다.
이하에서 도 8을 참조하여 최적 시청 거리가 설명될 것이다. 도 8은 Japan Ergonomics Society에 의해 발표된 "Ergonomic Design Guidelines for Flat Panel Display Televisions"(20쪽 참조)로부터 발췌한 대각선 화면 크기와 최적 시청 거리 사이의 관계을 나타내는 그래프이다. 표시 장치(180)가 일반 가정의 텔레비전이다고 가정하면, 대부분의 표시 장치(180)의 대각선 화면 크기는 27 내지 60인치의 범위 내일 것이다. 도 8에서 이 경우의 최적 시청 거리는 175 내지 300cm인 것을 알 수 있다 .
도 8에 도시된 최적 뷰잉 시청 거리는 27명의 대상자에 대한 선호도 조사의 결과이며, 최적 시청 거리는 개별차가 있음을 유의한다. 이러한 개별차의 측정값으로서, 도 8에서 ±1 표준 편차의 폭이 도시된다. 따라서, 175 내지 300cm의 최적 시청 거리는 단지 설명을 위한 예시이다. 예를 들어, ±1 표준 편차 내에 있는 시청 거리가 최적 시청 거리로서 사용될 수 있다.
27 내지 60인치의 대각선 화면 크기를 나타내는 수평 축과 175 내지 300cm의 시청 거리를 나타내는 수직 축을 미리 정해진 간격의 분할점으로 분할함으로써, 각각의 분할점에서 표시 장치(180)의 수평 화각이 산출될 수 있다.
도 9a 및 도 9b는 최적의 시청 거리에서 표시 장치(180)의 수평 화각을 설명하는 도면이다. 도 9a는 수평 화각의 산출을 설명하는 도면이고, 도 9b는 대각선 화면 크기와 수평 화각 사이의 관계를 도시한 그래프이다. 표시 장치(180)가 가족 거실에 제공되는 텔레비젼 장치라고 가정하면, 표시 장치(180)의 대각선 화면 크기는 약 49 내지 55인치일 수 있다. 이 경우, 적절한 시청 거리(예를 들어, "Ergonomic Design Guidelines for Flat Panel Display Televisions" 참조)에서 표시 장치(180)의 수평 화각은 약 24도이다. 알 수 있는 바와 같이, 표시 장치(180)의 대각선 화면 크기가 결정되면, 표시 장치(180)의 근사 수평 화각이 결정될 수 있다. 예를 들어, 수평 화각의 디폴트 설정은 약 23 내지 24도로 설정될 수 있다.
그러한 가정하에, 전방향 촬상 장치(110)는 전방향 촬상 장치(110)의 자세를 포인터(P)의 좌표로 변환할 수 있다. 즉, 사용자가 전방향 촬상 장치(110)를 24도 수평으로 회전시키면 포인터(P)가 화면의 좌측 가장자리로부터 화면의 우측 가장자리에 도달하도록 이동할 수 있다.
사용자가 전방향 촬상 장치(110)에서 자신이 사용하고 있는 표시 장치(180)의 대각선 화면 크기를 입력할 수 있도록 설정 화면 등이 제공되는 것이 바람직함을 유의한다. 이 경우, 전방향 촬상 장치(110)는 또한 시청 거리의 입력도 수락할 수 있다. 대각선 화면 크기와 시청 거리의 입력을 수락하도록 전방향 촬상 장치(110)을 구성함으로써, 표시 장치(180)의 수평 화각이 보다 정확하게 결정될 수 있다.
또한, 화면의 종횡비가 9:16이라고 가정하면, 수직 방향의 수직 화각은 13.5도일 것이다. 사용자가 전방향 촬상 장치(110)를 13.5도 수직으로 회전시키면, 포인터(P)는 화면의 상부 가장자리로부터 화면의 하부 가장자리에 도달하도록 이동한다.
다음으로, 도 10 내지 도 12을 참조하여 전방향 촬상 장치(110)의 좌표 축 및 포인터(P)의 좌표가 설명될 것이다. 도 10은 전방향 촬상 장치(110)의 좌표 축의 예를 설명하는 도면이고, 도 11은 기준으로 사용될 전방향 촬상 장치(110)의 자세를 설명하는 도면이다. 기준으로 사용될 전방향 촬상 장치(110)의 자세는 포인터(P)의 좌표가 초기화 될 때의 전방향 촬상 장치(110)의 초기 자세에 대응한다.
도 10에서, Z 축은 전방향 촬상 장치(110)의 길이 방향을 나타내고, Y 축은 셔터 릴리즈 버튼(SB)가 있는 면으로부터 셔터 릴리즈 버튼(SB)가 없는 반대 면을 향한느 전방향 촬상 장치(110)의 2개의 렌즈를 통과하는 깊이 방향을 나타내고, X 축은 전방향 촬상 장치(110)의 폭 방향을 나타낸다. 전방향 촬상 장치(110)의 상기 축들은 전방향 촬상 장치(110)의 이동에 따라 이동한다. 전방향 촬상 장치(110)는 X 축, Y 축, Z 축 각각을 중심으로 회전할 수 있다. X 축을 중심으로 하는 회전 각을 α로 지칭하고, Y 축을 중심으로 하는 회전 각을 β로 지칭하고, Z 축을 중심으로하는 회전 각을 γ로 지칭한다.
도 11에 도시된 바와 같이, 사용자가 표시 장치(180) 상에 표시된 포인터(P)를 조작할 때, 천정 방향은 표시 장치(180)를 향해 포인팅된다. 각 축의 회전 각은 그 축이 직립 위치에 있을 때 90도가 되기 때문에, 포인터(P)의 좌표 초기화 시에 전방향 촬상 장치(110)의 초기 자세는, α=90도 , β=0도, γ=0도이다. 초기 자세는 포인터(P)가 초기 위치에 표시될 때의 전방향 촬상 장치(110)의 자세이다. 따라서, 초기 자세는 전방향 촬상 장치(110)의 자세를 결정하는데 기준으로 사용될 기준 자세로 간주될 수 있다.
전방향 촬상 장치(110)는 전방향 촬상 장치(110)의 실제 자세와 상관없이 어떤 시간에도 포인터(P)의 좌표를 초기화하는 조작을 수락한다. 즉, 사용자가 미리 정해진 조작을 수행할 때, 포인터(P)의 좌표는 초기화된다. 미리 정해진 조작은 예를 들어 셔터 릴리즈 버튼(SB)을 누르는 것일 수 있다.
도 12는 전방향 촬상 장치(110)의 회전 각도와 포인터(P)의 좌표 사이의 대응을 설명하는 도면이다. 도 12는 사용자가 전방향 촬상 장치(110)가 초기 자세로 배향되도록 유지하면서 셔터 릴리즈 버튼(SB)를 누른 경우의 일례를 설명한다. 전방향 촬상 장치(110)는 포인터(P)를 화면의 중앙(원점)에 표시한다. u는 포인터(P)의 좌표의 수평 방향을 나타내고, v는 포인터(P)의 좌표의 수직 방향을 나타낸다고 가정하면, 전방향 촬상 장치(110)가 초기 자로 있을 때 포인터(P)의 좌표(u, v)는 (0, 0)이다. 사용자가 전방향 촬상 장치(110)를 초기 자세로 유지하는 것이 표시 장치(180)의 정면을 향하게 하는 것이라고 가정하면, 포인터(P)를 화면의 중앙에 표시함으로써 사용자는 상하 및 좌우 방향으로 전방향 촬상 장치(110)의 방향을 변경함으로써 화면의 전체 범위에 걸쳐 포인터(P)를 균일하게 이동시킬 수 있다. 이러한 방식으로, 포인터(P)의 위치가 화면의 우측단 또는 좌측단에서 위치되는 경우에 비해 조작성이 향상될 수 있다.
또한, 수평 방향(u)은 Y 축을 중심으로 하는 회전 각(β)에 의해 변경되고, 수직 방향(v)은 X 축을 중심으로하는 회전 각(α)에 의해 변경됨을 유의한다. 즉, u와 β가 서로 대응하고, v와 α가 서로 대응한다. 초기 자세에서, α는 90도(π/2), β는 0도이다. 회전 각(γ)는 포인터(P)의 좌표에 영향을 주지 않음을 유의한다.
(gα, gβ, gγ)가 자이로 센서에 의해 출력되는 X 축, Y 축, Z 축을 중심으로 하는 각 속도를 나타낸다고 가정하면, 포인터(P)의 방향(cα, cβ)은 자이로 센서의 출력을 사용하여 다음의 식 (1) 및 (2)로부터 산출될 수 있다.
Figure pct00001
상기 식 (1) 및 (2)에서, n은 계산 주기를 의미하며, dt는 계산 간의 시간 간격을 의미한다. k는 자이로 센서의 감도에 대한 계수이다. 초기 값을 k=1.0로 설정될 수 있다. 떨림 등의 영향을 감소시키는 경우, 예를 들어 k의 값이 k=0.5으로 감소될 수 있어 로우패스 필터의 효과가 나타날 수 있다. 상기 계산은 전방향 촬상 장치(110)의 OS에서 화상 뷰어 기능이 호출되는 간격(화면 주사율)으로 수행된다.
상기 식 (1) 및 (2)를 사용하여 상출된 포인터(P)의 방향(cα, cβ)은 포인터 위치 관리 유닛(226)에 의해 포인터(P)의 좌표(u, v)로 변환된다. 화면 크기 (W, H)=(1280,720) [pix]로 가정하면, 상기 화면 크기는 수평 화각 24도 및 수직 화각 13.5도에 대응한다. 따라서, 24도가 1280픽셀로 비례하여 분포될 수 있고, 13.5도가 720픽셀로 비례하여 분포될 수 있다. (α, β)=(π/2, 0)와 (u, v)=(0, 0)는 서로 대응하기 때문에, 포인터(P)의 좌표는 이하 설명되는 방식으로 산출될 수 있다.
전방향 촬상 장치(110)의 2가지 가능한 배향(자세): 사용자가 전방향 촬상 장치(110)를 유지할 때 셔터 릴리즈 버튼(SB)이 위를 향하는 것(도 11) 및 사용자가 전방향 촬상 장치(110)를 유지할 때 셔터 릴리즈 버튼(SB)이 아래를 향하는 것이 고려될 수 있음을 유의한다. 전방향 촬상 장치(110)의 셔터 릴리즈 버튼(SB)이 아래를 향할 때의 좌표 축이 도 20을 참조하여 이하 설명될 것임을 유의한다.
(α_0≤-π/2 및 α_0>π/2인 경우의 초기 자세)
정상 조작(셔터 릴리즈 버튼(SB)이 위를 향하는 상태)에서, 각도는 -π<cα≤π/2 또는 π/2<cα≤π를 충족한다. 각도 π 전후의 수치가 연속하지 않기 때문에, 계산을 위해, 다음의 경우 분류가 이루어진다:
cα≥0인 경우, cα2=cα
cα<0인 경우, cα2=cα+2π
그러면, 수치가 연속하도록 (0≤cα2 <2π)으로의 변환이 이루어진다.
좌표는 다음의 식 (3)에 기초하여 산출될 수 있다.
Figure pct00002
( 초기 자세 α _0> -π/2 커틀릿 α _0≤π/2의 경우 ) 　
후면 조작(셔터 릴리즈 버튼(SB)이 아래를 향하는 상태)에서, 각도는 -π/2<cα≤π/2를 충족한다. 수치가 연속하지 않기 때문에, 계산을 위해 경우를 분류할 필요가 있다.
좌표는 다음의 식 (4)에 기초하여 산출될 수 있다.
Figure pct00003
상기 식(3) 및 (4)에서, kd는 자세의 증폭 인자를 의미한다. kd의 초기 값은 kd=2로 설정될 수 있다. kd=2의 경우, 전방향 촬상 장치(110)는 2배 크게 기울일 필요가 있다. u 및 v가 화면의 가장자리(u=-W/2, W/2, v=-H/2, H/2)에 도달하면 화면 가장자리에 클립된다.
<포인터(P)의 좌표를 초기화>
산출된 좌표(u, v)를 이용하여, 사용자는 포인터(P)를 이용하여 전방향 촬상 장치(110)를 조작할 수 있다. 그러나, 시간이 지남에 따른 자이로 센서의 드리프트 축적으로 인해, 전방향 촬상 장치(110)의 자세와 포인터(P)의 위치 사이에 불일치가 발생한다. 전방향 촬상 장치(110)의 자세와 포인터(P)의 위치 사이의 불일치가 커지면, 조작성이 저하된다.
이 점에 있어서, 본 실시예에서, 사용자가 불일치가 크다고 느끼는 경우, 사용자는 포인터(P)의 좌표를 초기화할 수 있다. 초기화시에, 사용자는 셔터 릴리즈 버튼(SB)를 누른다. 그러나, 포인터(P)가 표시되고 있는 상태에서 셔터 릴리즈 버튼(SB)이 눌리면, 처리 내용 결정 유닛(228)은 예를 들어 버튼 또는 아이콘 클릭 조작을 잠재적으로 수락할 수 있다. 따라서, 사용자는 먼저 포인터(P)를 숨기는 조작을 수행한다.
도 13a 및 도 13b는 포인터(P)를 숨기는 조작의 일례를 설명하는 도면이다. 도 13a는 표시 장치(180) 및 전방향 촬상 장치(110)의 상면도를 도시하고, 도 13b는 표시 장치(180) 및 전방향 촬상 장치(110)의 측면도를 도시한다. 표시 장치(180)의 수평 화각이 24도인 경우, 초기 자세를 기준으로 하여 전방향 촬상 장치(110)를 수평 방향으로 12도보다 더 우측을 향하거나 또는 12도보다 더 좌측을 향하게 배향함으로써, 전방향 촬상 장치(110)는 표시 장치(180)의 화면 밖에 배향될 수 있다. cα의 측면에서, |cα2-α_0|>50*π/180의 경우 전방향 촬상 장치(110)는 표시 장치(180)의 화면 밖에 배향될 수 있다.
마찬가지로, 수직 방향에 대해서, 수직 화각이 13.5도인 경우, 초기 자세를 기준으로 하여 전방향 촬상 장치(110)를 수직 방향으로 6.75도보다 더 위를 향하거나 또는, 6.75도보다 더 아래를 향하게 배향함으로써, 전방향 촬상 장치(110)는 표시 장치(180)의 화면 밖에 배향될 수 있다. cβ의 측면에서, |cβ|>60*π/180의 경우 전방향 촬상 장치(110)는 표시 장치(180)의 화면 밖에 배향될 수 있다.
상술된 바와 같이 포인터(P)의 방향(cα 및 cβ)이 표시 장치(180)의 화면으로부터 벗어난 경우, 포인터 위치 관리 유닛(226)은 포인터(P)를 숨긴다. 포인터 위치 관리 유닛(226)은 또한 포인터(P)의 방향(cα 및 cβ) 대신에 포인터(P)의 좌표(u, v)에 기초하여 상기 결정을 할 수 있음을 유의한다. 사용자가 화면의 가장자리 부분을 포인터(P)로 포인팅하거나 큰 화면 크기를 갖는 표시 장치(180) 상에 조작 화면을 표시하기 때문에, 포인터 위치 관리 유닛(226)은 포인터(P)의 방향(cα 및 cβ)이 표시 장치(180)의 화면으로부터 크게 벗어났다는 결정(판단 기준에 마진이 가산됨)에 따라 포인터(P)를 숨긴다. 이러한 방식으로, 사용자는 포인터(P)가 화면 밖으로 벗어나게 하기 위해, 예를 들어 전방향 촬상 장치(110)의 배향을 우측 또는 좌측을 향하게 변경하는 간단한 조작을 통해 포인터(P)의 포인터(P)의 좌표를 초기화할 수 있다.
도 14에 도시된 바와 같이, 포인터(P)가 숨겨진(비표시) 상태에서 사용자가 셔터 릴리즈 버튼(SB)를 누르면, 포인터(P)의 좌표는 초기화된다. 도 14는 그 좌표가 초기화될 때 표시되는 포인터(P)의 표시의 일례를 도시한다. 도 14에서, 초기화된 포인터(P)의 좌표(표시 위치)는 화면의 중앙의 지점에 대응한다. 도 14에 도시된 바와 같이, 표시 장치(180)의 화면의 실질적으로 중앙을 향해 전방향 촬상 장치(110)를 배향한 상태로 셔터 릴리즈 버튼(SB)를 누르는 간단한 조작에 의해 포인터(P)의 좌표가 초기화될 수 있다. 초기화 후에, 사용자는 전방향 촬상 장치(110)를 사용하여 포인터(P)를 보다 자연스럽고 직관적으로 조작할 수 있다.
초기화를 수행하기 위해 사용자가 포인터(P)를 숨기는 조작은, 포인터(P)에 대해 일반적으로 수행되지 않는 일부 특정 조작이기만 하면, 포인터(P)를 화면 밖으로 벗어나게 하는 것에 제한되지 않는다. 예를 들어, 사용자가 전방향 촬상 장치(110)를 진동시키는 조작, 반복적으로 흔드는 조작(X, Y, Z 축 중 어느 것을 중심으로 앞뒤로 회전) 등일 수 있다. 전방향 촬상 장치(110)를 진동시키는 조작은 주로 가속도 센서에 의해 검출되고, 전방향 촬상 장치(110)를 반복적으로 흔드는 조작은 자이로 센서에 의해 검출된다.
포인터(P)의 좌표를 초기화하기 전에 포인터(P)가 반드시 숨겨야 하는 것은 아님을 유의한다. 예를 들어, 전방향 촬상 장치(110)가 셔터 릴리즈 버튼(SB)이 장시간 동안 눌려지고 있음을 검출하면, 포인터(P)의 현재 위치에 관계없이 포인터 위치 관리 유닛(226)은 포인터(P)를 화면의 중앙에 표시한다. 사용자가 셔터 릴리즈 버튼(SB)을 누르는 것을 끝내면, 포인터 위치 관리 유닛(226)은 초기화를 완료한다. 이 경우, 사용자는 포인터(P)를 먼저 숨기지 않고 포인터(P)의 좌표를 초기화할 수 있다.
또한, 도 14에서, 사용자는 전방향 촬상 장치(110)를 표시 장치(180)의 화면의 실질적으로 중앙을 향하게 한 상태로 셔터 릴리즈 버튼(SB)를 누른다. 그러나, 셔터 릴리즈 버튼(SB)가 장시간 동안 눌려질 때 전방향 촬상 장치(110)는 어느 방향도 향할 수 있음을 유의한다. 즉, 전방향 촬상 장치(110)는 그 실제 방향을 검출하지 않기 때문에, 전방향 촬상 장치(110)가 화면의 중앙을 향하지 않는 경우에도 사용자는 포인터(P)를 조작(초기화)할 수 있다. 그러나, 셔터 릴리즈 버튼(SB)가 눌려질 때 전방향 촬상 장치(110)가 어떤 다른 방향으로 배향되는 경우, 포인터(P)의 좌표가 초기화된 직후에 전방향 촬상 장치(110)의 배향(자세)과 포인터(P) 사이의 불일치가 발생한다. 따라서, 셔터 릴리즈 버튼(SB)가 눌려질 때 전방향 촬상 장치(110)는 표시 장치(180)의 화면의 실질적으로 중앙을 향하도록 배향하는 것이 바람직하다.
<포인터(P) 숨기기>
사용자가 의도적인 조작을 통해 포인터(P)를 숨기는 것 외에, 의도적이지 않은 사용자의 조작을 통해 포인터(P)가 숨겨지는 것이 바람직한 상황이 있을 수 있다. 예를 들어, 사용자가 화상을 보고 있을 때, 포인터(P)의 표시는 방해가 될 수 있다. 또한, 표시된 전방향 화상이 자동적으로(사용자의 조작없이) 회전되는 경우, 사용자는 표시된 화상에 대해 조작을 수행할 필요가 없다.
이 점에서, 본 실시예에 따른 전방향 촬상 장치(110)는 특정 시구간 내에 자세 센서에 의해 검출된 신호(물리량)의 변화가 미리 정해지 값보다 이하(미리 정해진 범위 내)인 경우 포인터(P)를 숨기도록 구성된다. 이러한 방식으로, 포인터(P)가 화상 보기를 방해하는 것을 방지할 수 있다.
의도적이지 않은 사용자 조작을 통해 포인터(P)가 숨겨진 경우에도, 상술된 바와 같이 사용자가 셔터 릴리즈 버튼(SB)를 누름으로써 여전히 포인터(P)의 좌표가 초기화될 수 있다. 즉, 사용자가 전방향 촬상 장치(110)의 포인팅 방향(자세)와 포인터(P)의 위치 사이의 어떠한 불일치를 알아차리지 않은 경우에도, 포인터(P)가 숨겨진 후에 사용자는 포인터(P)의 좌표를 초기화할 수 있다.
<조작 수락>
도 15를 참조하여 도 6의 단계(S108) 이후에 본 실시예에 따른 전방향 촬상 장치(110)에 의해 실행되는 조작이 설명된다. 도 15는 전방향 촬상 장치(110)가 표시 장치(180) 상에 화상을 표시하고 조작을 수락하는 처리 조작들을 설명하는 흐름도이다.
도 15의 프로세스는 도 6의 프로세스가 단계(S108)로 진행하는 것에 응답하여 단계(S200)로부터 시작된다. 단계(S201)에서, 전방향 촬상 장치(110)는 교정 처리를 실행한다. 교정 처리는 이하 설명되는 바와 같이 포인터(P)의 좌표를 초기화하는 것을 포함한다. 교정 처리에서, 전방향 촬상 장치(110)의 끝이 화면 중앙과 같은 미리 정해진 방향을 향하여 포인팅하도록 사용자를 프롬프트하는 안내가 제공된다. 그 후, 센서 측정 유닛(214)에 의해 전방향 촬상 장치(110)의 초기 자세 또는 초기 위치가 측정되고, 전방향 촬상 장치(110)의 측정된 초기 상태와 연관하여 포인터(P)의 위치가 화면의 중앙으로 초기화된다.
단계(S202)에서, 전방향 촬상 장치(110)는 화면 출력 처리 유닛(222)에 의해 촬상 화상에 관한 조작 화면을 생성하고, 생성된 조작 화면을 출력한다. 이후, 단계(S203) 내지 단계(S208)에서, 전방향 촬상 장치(110)의 움직임에 기초하여, 출력된 조작 화면 상의 촬상 화상에 관한 조작의 처리 내용이 결정된다.
단계(S203)에서, 전방향 촬상 장치(110)는 센서 측정 유닛(214)에 의해 전방향 촬상 장치(110)의 움직임에 기인한 물리량을 측정한다.
단계(S204)에서, 비표시 결정 유닛(229)은 적어도 미리 정해진 시구간 동안 센서 정보의 변화가 미리 정해진 값 이하(미리 정해진 범위 내)인지를 결정한다.
단계(S205)에서, 미리 정해진 시구간 동안의 센서 정보 변화가 미리 정해진 값을 초과하는 경우(단계(S204)에서 NO), 비표시 결정 유닛(229)은 센서 정보에 기초한 전방향 촬상 장치(110)의 배향이 화면으로부터 벗어나는지(화면 밖에 있는지)를 결정한다.
단계(S204) 또는 단계(S205)에서 긍정적인 결정(Yes)이 이루어지면, 포인터 위치 관리 유닛(226)은 포인터(P)를 숨긴다(단계(S213)). 즉, 포인터 위치 관리 유닛(226)은 포인터(P)의 위치를 업데이트하지 않고 포인터(P)를 표시하지 않는다. 일부 실시예에서, 포인터(P)의 위치는 내부적으로 산출되고 표시하는 것을 중지할 수 있음을 유의한다.
단계(S204) 및 단계(S205)에서 부정적인 결정(NO)이 이루어지면, 프로세스는 단계(S206)로 진행하여 전방향 촬상 장치(110)가 포인터 위치 관리 유닛(226)에 의해 센서 측정 유닛(214)에 의해 측정된 물리량에 기초하여 표시되고 있는 조작 화면 상의 대상을 포인팅하는 포인터(P)의 위치를 업데이트한다.
단계(S207)에서, 전방향 촬상 장치(110)는 추가 조작이 수행되었는지 여부를 결정한다. 추가 조작은 예를 들어 전방향 촬상 장치(110)의 케이스에 제공된 하드웨어 버튼을 누르는 것일 수 있다.
도 15는 단계(S207)에서 추가 조작이 수행되지 않았다고 결정된 경우(단계(S207)에서 NO) 프로세스는 단계(S203)로 되돌아간다.
한편, 단계(S207)에서 추가 조작이 수행되었다고 결정된 경우(단계(S207)에서 YES) 프로세스는 단계(S208)로 진행한다. 단계(S208)에서, 전방향 촬상 장치(110)는 출력되고 있는 조작 화면, 포인터(P) 위치 정보, 및 추가 조작에 기초하여 처리 내용을 결정한다.
단계(S209)에서, 전방향 촬상 장치(110)는 처리 실행 유닛(230)에 의해 단계(S208)에서 결정된 조작을 실행한다. 단계(S210)에서, 처리 실행의 결과로서 화면 전환이 필요한지 여부를 결정한다. 단계(S210)에서 전환이 필요하다고 결정된 경우(단계(S210)에서 YES) 프로세스는 단계(S212)로 진행한다.
단계(S212)에서, 조작 화면의 전환이 수행되고, 단계(S202)로 처리가 루프된다. 이 경우, 단계(S202에서, 전환 후의 조작 화면이 생성 및 출력된다.
한편, 단계(S210)에서 전환이 필요하지 않다고 결정된 경우(단계(S210)에서 NO)는 프로세스는 단계(S211)로 진행한다. 단계(S211)에서, 단계(209)의 처리 내용 실행 결과가 조작 화면 상에 반영되고, 프로세스는 단계(S203)로 루프된다. 이 경우, 처리의 실행을 반영한 조작 화면이 무선 영상 송신 유닛(216)를 통해 외부 출력되고, 출력되고 있는 조작 화면에 대행 처리가 계속된다.
이러한 방식으로, 사용자는 (예를 들어, 표시 장치(180)에) 외부 출력된 조작 화면(S)를 보면서 전방향 촬상 장치(110)를 물리적으로 이동함으로써 원하는 위치에 포인터(P)를 이동시키고 조작 화면에서 원하는 조작을 수행할 수 있다.
<조작 화면>
이하, 도 16 내지 도 18을 참조하여 본 실시예에 따른 조작 화면 및 조작 화면의 전환이 설명될 것이다. 도 16은 본 실시예에 따른 전방향 촬상 장치(110)가 제공하는 조작 화면의 전환을 예시한다. 도 17a 내지 도 18d는 본 실시예에 따른 전방향 촬상 장치(110)가 제공하는 조작 화면을 예시한다.
도 16에 도시된 바와 같이, 본 전방향 촬상 장치(110)의 화상 뷰어는 예를 들어, 로고 표시와 같은 초기 화면(300)을 표시하는 것에 의해 시작한다. 초기 화면(300)을 표시한 후에 미리 정해진 시간이 경과하면, 도 15의 단계(S202)에서 타임라인 목록 화면(310)이 생성 및 출력된다.
도 17a는 타임라인 목록 화면(310)의 일례를 예시한다. 도 16을 참조하면, 타임라인 목록 화면(310)은 타임라인 목록 선택 화면(320) 및 화상 목록 화면(330)으로 전환될 수 있다. 도 17a에 예시된 타임라인 목록 화면(310)은 타임라인 목록 선택 화면(320)으로 스위칭하는 선택 버튼(312) 및 화상 목록 화면(330)으로 스위칭하는 스위칭 버튼(314)을 포함한다.
도 17a의 타임라인 목록 화면(310)은 이하 예시로 설명될 것이다. 전방향 촬상 장치(110)를 이동함으로써, 선택 버튼(312) 또는 스위칭 버튼(314)의 위치에 포인터(P)가 위치될 수 있다. 또한, 전방향 촬상 장치(110)의 하드웨어 버튼을 누르는 것과 같은 추가 조작이 수행되면, 단계(S208)에서 실행될 대응하는 처리의 처리 내용이 결정된다. 처리 내용은 예를 들어 타임라인 목록 선택 화면(320) 또는 화상 목록 화면(330)을 호출하는 것일 수 있다. 이 경우, 단계(S210)에서 화면 전환이 필요하다고 결정한다.
도 17b는 타임라인 목록 선택 화면(320)의 일례를 예시한다. 도 17b의 타임라인 목록 선택 화면(320)은 타임라인 목록 화면(310)으로 되돌아가기 위한 뒤로가기 버튼(322), 나열된 화상 중에서 처리할 타겟 화상을 선택하기 위한 체크 박스(324), 선택된 화상을 삭제하기 위한 삭제 버튼(326)을 포함한다.
도 17b의 타임라인 목록 선택 화면(320)은 이하 예시로서 설명될 것이다. 체크 박스(324)가 체크된 상태로 전방향 촬상 장치(110)를 이동함으로써 삭제 버튼(326)의 위치에 포인터(P)가 놓이고, 하드웨어 버튼을 누르는 것과 같은 추가 조작이 수행되면, 단계(S208)에서 결정된 처리 내용은 선택된 화상의 삭제 처리일 수 있다.
도 17c는 화상 목록 화면(330)의 일례를 예시한다. 도 16을 참조하면, 화상 목록 화면(330)은 타임라인 목록 화면(310), 화상 목록 선택 화면(340), 설정 화면(350), 전방향 스틸 화상 뷰 화면(360) 및 전방향 동영상 뷰 화면(370)으로의 전환될 수 있다. 도 17c의 화상 목록 화면(330)은 화상 목록 선택 화면(340)으로 스위칭하기 위한 스위칭 선택 버튼(332), 타임라인 목록 화면(310)으로 스위칭하기 위한 스위칭 버튼(334), 썸네일 화상(336), 및 설정 버튼(338)을 포함한다.
썸네일 화상은 소위 "리틀 플래닛(little planet)"과 같은 전방향 화상 표시 포맷을 사용하여 표시될 수 있음을 유의한다. 썸네일은 전방향 촬상 장치(110)의 유휴 시간을 검출함으로써 백그라운드에서 생성될 수 있거나, 예들 들어 화상 목록 화면(330)의 하부 측으로 포인트(P)를 가져올 때와 같은 재표시시에 업데이트될 수 있다.
화상 목록 화면(330)에 명확한 컨트롤이 배치되는 것은 아니지만, 예를 들어, 화상 목록 화면(330)의 상부 측 또는 하부 측으로 포인터(P)를 가져오고 특정 시간 동안 그 위치에서 유지하고 있는 경우 스크롤이 수행될 수 있다. 또한, 바람직한 실시예에서, 도 17c의 화상 목록 화면(330)에 다수의 화상이 나열 표시되는 경우, 표시될 화상의 수에 따라 고속 스크롤을 행하기 위한 기능이 제공될 수 있다. 예를 들어, 스크롤 속도는 표시될 대상 화상의 수에 따라 변하도록 배치될 수 있다. 표시될 화상의 수가 비교적 작은 경우, 스크롤 속도는 일정 속도로 설정될 수 있고, 표시될 화상이 하나의 화면 내에 들어가지 않는 경우, 스크롤 속도는 예를 들어 특정 시구간 이후에 높아질 수 있다.
파일의 목록 표시에서, 표시될 수 있는 파일만 나열될 수 있거나, 예를 들어 폴더에 기록된 파일 모두가 나열될 수 있음을 유의한다. 또한 일부 실시예에서, 포인터(P)는 예를 들어 원하는 화상을 선택하기 위해 목록 표시에서 원하는 썸네일 화상으로 자유롭게 이동될 수 있다. 다른 실시예에서, 파일 목록 또는 썸네일 화상 목록은 자동으로 스크롤될 수 있고, 하드웨어 버튼 누르기와 같은 추가 조작이 수행되면, 예를 들어 이때 포인터(P)에 의해 지시된 썸네일 화상에 대응하는 화상이 선택될 수 있다.
도 17d는 화상 목록 선택 화면(340)을 예시한다. 도 17d의 화상 목록 선택 화면(340)은 도 17b의 타임라인 목록 선택 화면(320)과 실질적으로 동일한 구성을 가지며, 뒤로가기 버튼(342) 및 삭제 버튼(344)을 포함한다.
도 18a는 설정 화면(350)의 일례를 예시한다. 도 18a의 설정 화면(350)은 각종 설정을 표시하고, 또한 화상 목록 화면(330)로 스위칭하기 위한 스위칭 버튼(352)을 포함한다. 또한, 설정 화면(350)은 예를 들어 현재 연결 수신지로부터 또다fms 무선 통신 장치로 연결 수신지를 스위칭하기 위한 설정 화면을 포함할 수 있다.
도 17c의 화상 목록 화면(330)이 예로서 이하 설명될 것이다. 미리 정해진 썸네일 화상(336)의 위치에 포인터(P)가 놓이고 하드웨어 버튼 누르기와 같은 추가 조작이 행해지면, 단계(S208)에서, 도 18b에 예시된 바와 같은 전방향 스틸 화상 뷰 화면(360) 또는 도 18c에 예시된 바와 같은 전방향 동영상 뷰 화면(370)을 호출하는 처리가 처리 내용으로서 결정될 수 있다. 이 경우, 단계(S210)에서 화면 전환이 필요하다고 결정한다.
도 18b는 전방향 스틸 화상 뷰 화면(360)의 일례를 예시한다. 도 18b의 전방향 스틸 화상 뷰 화면(360)은 포인터(P)가 위치되는 썸네일 화상에 대응하는 화상가 스틸 화상인 경우에 호출될 수 있다. 도 18b의 전방향 스틸 화상 뷰 화면(360)은 전방향 스틸 화상의 표시 영역(362) 및 각종 컨트롤(374)을 포함한다.
도 18c는 전방향 동영상 뷰 화면(370)의 일례를 예시한다. 도 18c의 전방향 동영상 뷰 화면(370)은 포인터(P)가 위치되는 썸네일 화상에 대응하는 화상이 동영상인 경우 호출된다. 도 18c의 전방향 동영상 뷰 화면(370)은 전방향 동영상의 표시 영역(372), 각종 컨트롤(374), 및 동영상 재생 지시를 수락하기 위한 재생 버튼(376)을 포함한다.
예를 들어, 동영상이 재생되기 전의 상태를 예시하는, 도 18c의 동영상 뷰 화면(370)에 재생 버튼(376) 누름에 대응하는 조작이 수행되면, 동영상의 재생은 도 18d에 예시된 바와 같은 동일한 조작 화면 상의 표시 영역(372) 내에서 시작되고, 그 상태 변화가 동영상 뷰 화면(370) 상에 디스플레이된 컨트롤(374')에 반영된다. 이 경우, 단계(S210)에서, 화면 전환이 필요하지 않다고 결정한다.
도 18b 내지 도 18d에 예시된 바와 같은 전방향 화상 뷰 화면에서는, 사용자는 전방향 촬상 장치(110)를 이동하여 포인터(P)의 위치를 변화시키고, 이에 대응하여, 포인터(P)의 위치에 기초하여 전방향 촬상 장치(110)의 조작 화면 상에 표시된 화상의 확대, 축소, 회전, 시점 변경 등의 처리 조작이 수행될 수 있다. 또한, 그러한 조작에 기초하여, 표시되고 있는 조작 화면에 대응하는 변경이 반영될 수 있다. 예를 들어, 사용자는, 도 2에 예시된 바와 같이, 전방향 촬상 장치(110)를 상방, 하방, 좌측 또는 우측 방향으로 기울여 포인터(P)가 예를 들어 조작 화면의 상부 가장자리, 하부 가장자리, 좌측 가장자리, 또는 우측 가장자리를 향하게 이동시킬 수 있고, 포인터(P)가 이 위치에 위치될 때, 사용자는 버튼을 누르거나 특정 시구간 동안 대기하여 화상 시점의 이동 등의 조작을 수행할 수 있다. 또한, 하드웨어 버튼을 누르고 전방향 촬상 장치(110)의 끝을 조작 화면을 향하여 배향한 상태로, 사용자는 전방향 촬상 장치(110)를 예를 들어 상방, 하방, 좌측 또는 우측 방향으로 이동시켜 화상 시점을 이동시킬 수 있다. 또한, 사용자는 하드웨어 버튼을 누르지 않고 전방향 촬상 장치(110)를 상방, 하방, 좌측 또는 우측 방향으로 이동시켜 예를 들어 커서를 이동시킬 수 있다. 또한, 사용자는 조작 화면 상의 확대 아이콘 또는 축소 아이콘으로 커서를 이동시키고 하드웨어 버튼을 눌러서 화상 크기(배율)를 변경하거나, 메뉴로부터 확대/축소 옵션을 선택하고 전방향 촬상 장치(110)를 상방 또는 하방으로 이동시켜 예를 들어 원하는 배율을 선택할 수 있다.
도 19는 포인터(P)가 표시되지 않은 경우 조작 화면 상에 표시될 포인터(P)의 좌표를 초기화하는 방법을 사용자에게 설명하기 위한 메시지를 포함하는 조작 화면의 일례를 예시한다. 도 19의 조작 화면에서, 초기화 방법을 설명하는 메시지(365)가 표시되고 있는 전방향 화상과 중첩되지 않는 위치에 표시된다. 메시지(365)를 보여줌으로써 사용자는 포인터(P)의 좌표가 초기화되어야 하고 초기화를 수행하는 방법을 이해할 수 있다. 도 19에서, 메시지(365)는 전방향 스틸 화상 뷰 화면(360) 상에 표시됨을 유의한다. 그러한, 메시지(365)는 포인터(P)가 표시되지 않는 임의의 조작 화면 상에 표시될 수도 있다.
초기화 방법을 설명하는 메시지(365)는 포인터(P)가 표시되지 않은 상태로 지속적으로 표시될 수 있거나, 예를 들어 포인터(P)가 숨겨진 직후에 특정 시국간 동안 표시될 수 있다. 또한, 예를 들어, 메시지(365)는 미리 정해진 시간 간격으로 반복적으로 표시되고 숨겨질 수 있다. 즉, 메시지(365)는 포인트(P)가 숨겨진 시간의 일부 동안에만 표시될 수 있다. 또한, 일부 실시예에서, 메시지(365)는 예를 들어 사용자에 의해 전방향 촬상 장치(110)가 이동되었음을 센서 측정 유닛(214)이 검출한 것에 응답하여 표시될 수 있다. 화면 출력 처리 유닛(222)이 조작 화면과 함께 메시지(365)를 생성함을 유의한다.
전방향 촬상 장치(110)의 조작 화면의 특정 예가 도 16 내지 도 19를 참조하여 상술되었지만, 전방향 촬상 장치(110)의 조작 화면은 상술된 특정 예에 한정되지 않는다. 본 발명의 실시예에 따른 조작 화면은 전방향 촬상 장치 (110)를 사용자의 손으로 유지하고 전방향 촬상 장치(110)의 움직임을 센서로 감지하도록 사용자에 의해 조작된다. 따라서, 일부 바람직한 실시예에서, 조작 화면은 원하는 처리 내용의 선택을 가능하게 하기 위해 처리 내용과 연관된 타일, 버튼, 아이콘 등과 같은 컨트롤을 포함하도록 구성될 수 있고, 이러한 방식으로 조작성이 향상될 수 있다. 또한, 조작 화면은, 예를 들어, 미리 정해진 하드웨어 버튼을 누르는 동안에 만 포인터(P) 근처에 메뉴를 표시하도록 구성될 수 있다. 또한, 이러한 메뉴가 포인터(P) 근처에 표시되는 동안, 조작 화면은 예를 들어 포인터(P) 근처에 메뉴를 표시하는 영역을 확대하도록 구성될 수 있다.
<사용자가 셔터 릴리즈 버튼을 아래로 향하게 하여 전방향 촬상 장치를 유지하는 경우>
포인터(P)가 표시되지 않는 상태에서 포인터(P)의 좌표를 초기화할 때 셔터 릴리즈 버튼(SB)이 위를 향하도록 전방향 촬상 장치(110)를 사용자가 유지할 것으로 추정될 수 있다. 그러나, 사용자가 셔터 릴리즈 버튼(SB)이 아래를 향한 상태에서 전방향 촬상 장치(110)를 유지하는 경우가 있을 수있다. 이 경우, 전방향 촬상 장치(110)의 방향과 포인터(P)의 이동 방향 사이에 불일치가 있을 수 있다. 따라서, 후술한 바와 같이, 전방향 촬상 장치(110)는 사용자가 전방향 촬상 장치(110)를 셔터 릴리즈 버튼(SB)이 아래를 향한 상태로 유지하고 있음을 검출하고, 자이로 센서에 의해 출력된 신호를 처리하기 위한 처리 방법을 변경하도록 구성될 수 있다.
도 20은 사용자가 셔터 릴리즈 버튼(SB)이 아래를 향한 상태에서 전방향 촬상 장치(110)를 유지하고 있는 경우의 좌표 축을 예시한 도면이다. 도 20에서, X 축 및 Y 축은 도 11에 도시된 X 축 및 Y 축의 배향에 대하여 반대 방향으로 배향되도록 180도 회전된다. Z 축에서는 변화가 없음을 유의한다. 이 경우, X 축 및 Y 축을 중심으로 하는 전방향 이미지 캡처 장치(110)의 회전 각도에 대한 양/음의 부호는 또한 도 11의 것과 반대이다. 따라서, 사용자가 셔터 위치 버튼(SB)이 아래를 향한 상태에서 전방향 이미지 캡처 장치(110)를 유지하고 있는 경우에, 포인터 위치 관리 유닛(226)은 센서 측정 유닛(214)에 의해 측정된 회전 각도에 대한 양/음의 부호를 반전시키고 상기 식 (4)를 이용하여 포인터(P)의 좌표(cα, cβ)를 산출한다. 이와 같이, 사용자가 셔터 릴리즈 버튼(SB)이 아래를 향한 상태로 전방향 촬상 장치(110)를 유지하고 있는 경우에도, 포인터(P)는 사용자가 전방향 촬상 장치(110)를 업사이드 다운(upside down) 배향으로 이동시키는 방향으로 이동될 수 있다.
사용자가 셔터 릴리즈 버튼(SB)이 아래를 향한 상태에서 전방향 촬상 장치(110)를 유지하고 있는지의 여부는 예를 들어 셔터 릴리즈 버튼(SB)이 눌렸을 때의 가속도 센서의 신호에 기초하여 결정될 수 있다. 즉, 도 20에 도시된 상태에서, 중력은 Y 축 방향과 반대 방향으로 작용한다. 따라서, 셔터 위치 버튼(SB)이 눌렸을 때의 중력의 방향을 검출함으로써, 포인터 위치 관리 유닛(226)은 전방향 촬상 장치(110)가 사용자에 의해 유지되는 방향을 결정할 수 있다.
도 21은 사용자가 셔터 릴리즈 버튼(SB)이 아래를 향한 상태로 전방향 촬상 장치(110)를 유지하고 있는 경우 전방향 촬상 장치(110)의 배향을 산출하기 위한 산출 방법을 변경하기 위한 처리 조작의 일례를 도시하는 흐름도이다. 도 21의 처리는 예를 들어, 도 15의 단계(S201)의 교정 처리 동안 실행될 수 있다. 즉, 도 21의 처리는 포인터(P)가 표시되지 않은 상태에서 실행된다.
단계(S301)에서, 처리 내용 결정 유닛(228)은 셔터 릴리즈 버튼(SB)이 눌렸는지 여부를 결정한다. 단계(S301)에서의 결정은 셔터 릴리즈 버튼(SB)이 눌려질 때까지 반복됨을 유의한다.
셔터 릴리즈 버튼(SB)이 눌려졌다고 결정되면(단계(S301)에서 YES), 포인터 위치 관리 유닛(226)은 센서 측정 유닛(214)으로부터 가속도 센서의 신호를 취득한다(단계(S302)).
그 후, 포인터 위치 관리 유닛(226)은 가속도 센서의 신호에 기초하여 중력의 방향이 Y 축 방향인지 여부를 결정한다(단계(S303)).
중력의 방향이 Y 축 방향이다고 결정되면(단계(S303)에서 YES), 이는 사용자가 전방 측(셔터 릴리즈 버튼(SB) 측)이 위를 향한 상태에서 전방향 촬상 장치(110)를 유지하고 있음을 의미한다. 이와 같이, 포인터 위치 관리 유닛(226)은 자이로 센서에 의해 검출된 회전 각도에 대한 양/음의 부호를 변경하지 않고, 상기 식 (3)을 이용하여 포인터(P)의 좌표를 산출한다(단계(S304)).
한편, 중력의 방향이 Y 축 방향에 대하여 반대 방향이다고 결정되면(단계 (S303)에서 NO), 이는 사용자가 후방 측이 위를 향한 상태에서 전방향 촬상 장치(110)를 유지하고 있음을 의미한다. 이와 같이, 포인터 위치 관리(226)는 자이로 센서에 의해 검출된 회전 각도에 대한 양/음의 부호를 반전시키고 상기 식 (4)을 이용하여 포인터(P)의 좌표를 산출한다(단계(S305)).
이러한 프로세스를 구현함으로써, 사용자가 후방 측이 위를 향한 상태에서 전방향 촬상 장치(110)를 유지하고 있는 경우에도, 사용자는 포인터(P)를 쉽게 제어 할 수 있다.
<요약>
상술된 실시예의 일 양상에 따르면, 포인터(P)가 표시되지 않은 상태에서 사용자가 셔터 버튼(SB)을 누르는 경우 포인터(P)의 좌표가 초기화 될 수 있고, 이러한 방식으로, 전방향 촬상 장치(110)에 의해 포인팅된 방향과 포인터(P)의 위치는 정확하게 상관될 수 있고, 포인터(P)의 위치와 발신 장치에 대응하는 전방향 촬상 장치(110)의 자세 사이의 불일치의 발생이 방지될 수 있다.
<기타의 적용 예>
본 발명은 예시적인 실시예 및 예시에 의해 상술되었지만, 본 발명은 이들 실시예 및 예시에 한정되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 대체 및 변형이 이루어질 수 있다.
예를 들어, 상술된 실시예의 각 기능은 하나 또는 복수의 처리 회로에 의해 구현될 수 있다. 본 명세서에서 사용된 "처리 회로"는 전자 회로에 의해 구현되는 프로세서와 같은 소프트웨어에 의해 각 기능을 실행하도록 프로그래밍된 프로세서, 및 상술된 각 기능 중 하나 이상을 실행하도록 설계된, ASIC(Application Specific Integrated Circuit), DSP(digital signal processor), FPGA(field programmable gate array), SOC(System on a chip), GPU(Graphics Processing Unit) 및 종래의 회로 모듈 등의 각종 디바이스를 포함할 수 있음을 유의한다.
또한, 본 실시예의 기능들을 구현하기 위한 소프트웨어는 예를 들어 플래시 메모리, 플렉시블 디스크, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, 블루레이 디스크, SD 카드, MO 등의 디바이스 판독 가능 기록 매체에 저장되거나, 전기 통신 회선을 통해 배포될 수 있다.
또한, 포인터(P)의 초기 위치는 반드시 조작 화면의 중앙에 있을 필요는 없고, 예를 들어 조작 화면의 우측 상단 코너, 조작 화면의 우측 하단 코너, 조작 화면의 좌측 하단 코너 또는 조작 화면의 좌측 상단 코너에 있을 수도 있다. 또한, 포인터(P)의 초기 위치는 조작 화면 상의 임의의 원하는 위치로 설정될 수 있다. 전방향 촬상 장치(110)를 사용하여 사용자가 포인터(P)의 초기 위치를 포인팅함으로써, 전방향 촬상 장치(110)의 배향(자세)은 포인터(P)의 위치와 정확하게 상관될 수 있다.
또한, 상술된 실시예에서, 포인터(P)의 좌표는 셔터 릴리즈 버튼(SB)을 누름으로써 초기화된다. 그러나, 포인터(P)의 초기화를 트리거링하는 조작은 셔터 릴리즈 버튼(SB)을 누르는 것으로 제한되지 않고, 예를 들어 어떤 다른 하드웨어 버튼을 누르는 조작일 수 있다. 또한, 포인터의 초기화를 트리거하는 동작은, 예를 들어 셔터 릴리즈 버튼(SB)을 포함하는 하드웨어 버튼을 수 초의 장시간 동안 누르는 조작일 수 있다. 또한, 전방향 촬상 장치(110)가 터치 패널을 포함하는 경우, 예를 들어 터치 패널 상에 표시된 소프트 키를 누르는 조작이 포인터(P)의 좌표를 초기화하는 트리거일 수 있다. 또한, 일부 실시예에서, 포인터 "P"의 좌표는 "초기화"라는 음성 명령과 같은 음성 입력에 응답하여 초기화될 수 있다.
또한, 상술된 실시 예에서 전방향 촬상 장치(110)가 단일 유닛으로서 포인터(P)를 표시하도록 구성되어 있지만, 전방향 촬상 기능이 외부에 부착된 정보 처리 장치가 포인터(P)를 표시할 수도 있다. 정보 처리 장치의 예로는, 퍼스널 컴퓨터, 스마트 폰, 태블릿 컴퓨터 등을 포함한다. 또한, 전방향 촬상 장치(110)는 예를 들어 내장 전방향 촬상 기능을 갖는 정보 처리 장치로서 간주될 수 있다.
또한, 일부 실시예에서, 복수의 표시 장치(180)가 연결될 수 있다. 예를 들어, 2개 이상의 표시 장치가 하나의 퍼스널 컴퓨터에 연결될 수 있고, 퍼스널 컴퓨터는 2개 이상의 표시 장치를 하나의 디스플레이로서 사용할 수 있다. 이 경우, 전방향 촬상 장치(110)는, 예를 들어, 화상 표시 범위를 확대하고, 복수의 표시 장치가 하나의 단일 화상(조작 화면)을 공동으로 표시할 수 있다. 전방향 촬상 장치(110)는 또한 예를 들어 2개 이상의 표시 장치 상에 동일한 화상을 표시할 수 있다. 2개의 표시 장치가 연결되어 있고, 하나의 조작 화면이 2개의 표시 장치에 의해 공동인 경우, 포인터(P)가 조작 화면의 중앙에 표시될 때, 포인터(P)는 2개의 표시 장치의 2개의 조작 화면 사이의 경계에 존재할 수 있고, 이것은 사용자가 포인터(P)를 보기 어렵게 함을 유의한다. 따라서, 2개의 표시 장치가 연결된 경우, 포인터(P)는 조작 화면의 폭 방향으로 중앙 이외의 위치에 표시되는 것이 바람직하다. 전방향 촬상 장치(110)는 예를 들어 사용자 설정, 화상 해상도 등에 기초하여 2개 이상의 표시 장치가 연결되어 있는지 여부를 결정할 수 있다.
상술된 실시예의 화면 출력 처리 유닛(222)은 생성 유닛의 일례이고, 센서 측정 유닛(214)은 자세 정보 취득 유닛의 일례이며, 포인터 위치 관리 유닛(226)는 위치 표시 컴포넌트 관리 유닛의 일례이며, 포인터(P)는 위치 표시 컴포넌트의 일례이고, 셔터 릴리즈 버튼(SB)(처리 내용 결정 유닛(228))은 조작 수락 유닛의 일례이며, 비표시 결정 유닛(229)은 비표시 결정 유닛의 일례이다. 무선 영상 송신 유닛(216)은 출력 유닛의 일례 이다.
본 출원은 2017년 8월 29일에 출원된 일본 특허 출원 번호 2017-164794의 우선권 날짜에 기초하고 우선권을 주장하며, 그 전체 내용이 본원에 참조로 통합된다.

Claims (11)

  1. 촬상 장치에 있어서,
    촬상된 화상을 저장하도록 구성된 저장 유닛;
    상기 저장 유닛에 저장된 상기 촬상된 화상에 관한 조작 화면을 생성하도록 구성된 생성 유닛;
    상기 생성 유닛에 의해 생성된 상기 조작 화면을 표시 장치에 출력하도록 구성된 출력 유닛;
    상기 촬상 장치의 자세에 관한 자세 정보를 취득하도록 구성된 자세 정보 취득 유닛;
    상기 자세 정보 취득 유닛에 의해 취득된 상기 자세 정보를 상기 조작 화면 상의 위치 표시 컴포넌트의 위치에 관한 위치 정보로 변환하고, 상기 변환된 위치 정보에 기초하여 상기 조작 화면 상에 상기 위치 표시 컴포넌트를 표시하도록 구성된 위치 표시 컴포넌트 관리 유닛; 및
    상기 위치 표시 컴포넌트의 위치를 초기화하는 초기화 조작을 수락하도록 구성된 조작 수락 유닛
    을 포함하고,
    상기 조작 수락 유닛이 상기 초기화 조작을 수락하는 것에 응답하여 상기 위치 표시 컴포넌트 관리 유닛은 상기 위치 표시 컴포넌트를 상기 조작 화면의 초기 위치에 표시하는 것인 촬상 장치.
  2. 제 1 항에 있어서,
    미리 정해진 조건이 만족되는 경우, 상기 위치 표시 컴포넌트를 숨기는 것으로 결정하도록 구성된 비표시 결정 유닛
    을 더 포함하고,
    상기 비표시 결정 유닛이 상기 위치 표시 컴포넌트를 숨기는 것으로 결정한 것에 응답하여 상기 위치 표시 컴포넌트가 숨겨져 있는 동안, 상기 조작 수락 유닛이 상기 초기화 조작을 수락하는 경우, 상기 위치 표시 컴포넌트 관리 유닛은 상기 위치 표시 컴포넌트를 상기 조작 화면의 초기 위치에 표시하는 것인 촬상 장치.
  3. 제 2 항에 있어서,
    상기 비표시 결정 유닛은, 상기 자세 정보 취득 유닛이 상기 촬상 장치의 미리 정해진 자세에 관한 미리 정해진 자세 정보를 취득한 경우, 상기 위치 표시 컴포넌트를 숨기는 것으로 결정하는 것인 촬상 장치.
  4. 제 3 항에 있어서,
    상기 비표시 결정 유닛은, 상기 자세 정보 취득 유닛에 의해 취득된 상기 미리 정해진 자세 정보가 상기 촬상 장치가 배향된 방향이 미리 정해진 범위를 벗어났음을 나타내는 경우, 상기 위치 표시 컴포넌트를 숨기는 것으로 결정하는 것인 촬상 장치.
  5. 제 4 항에 있어서,
    상기 비표시 결정 유닛은, 상기 자세 정보 취득 유닛에 의해 취득된 상기 미리 정해진 자세 정보가 상기 촬상 장치가 배향된 방향이 상기 표시 장치의 화면으로부터 벗어났음을 나타내는 경우, 상기 위치 표시 컴포넌트를 숨기는 것으로 결정하는 것인 촬상 장치.
  6. 제 2 항에 있어서,
    상기 비표시 결정 유닛은, 상기 자세 정보 취득 유닛에 의해 취득된 상기 자세 정보가 상기 촬상 장치의 자세 변화가 적어도 미리 정해진 시구간 이상 미리 전해진 값 이하임을 나타내는 경우, 상기 위치 표시 컴포넌트 숨기는 것으로 결정하는 것인 촬상 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 조작 화면의 초기 위치는 상기 조작 화면의 중앙인 것인 촬상 장치.
  8. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 위치 표시 컴포넌트 관리 유닛이 상기 위치 표시 컴포넌트를 숨기는 동안에, 적어도 일부 기간 동안 상기 생성 유닛은 상기 조작 화면 상에 상기 위치 표시 컴포넌트의 위치를 초기화하는 방법을 설명하는 정보를 표시하는 것인 촬상 장치.
  9. 제 2 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 위치 표시 컴포넌트 관리 유닛이 상기 위치 표시 컴포넌트를 숨기고 있는 동안 상기 조작 수락 유닛이 상기 초기화 조작을 수락하는 경우, 상기 위치 표시 컴포넌트 관리 유닛은 가속도 센서에 의해 측정된 신호에 기초하여 상기 촬상 장치의 자세를 결정하고, 상기 결정된 자세에 기초하여 상기 자세 정보 취득 유닛에 의해 취득된 자세 정보를 처리하는 처리 방법을 변경하는 것인 촬상 장치.
  10. 촬상 장치, 및 상기 촬상 장치와 통신할 수 있는 표시 장치의 통신 장치를 포함하는 화상 표시 시스템에 있어서,
    촬상된 화상을 저장하도록 구성된 저장 유닛;
    상기 저장 유닛에 저장된 상기 촬상된 화상에 관한 조작 화면을 생성하도록 구성된 생성 유닛;
    상기 생성 유닛에 의해 생성된 상기 조작 화면을 상기 표시 장치에 출력하도록 구성된 출력 유닛;
    상기 촬상 장치의 자세에 관한 자세 정보를 취득하도록 구성된 자세 정보 취득 유닛;
    상기 자세 정보 취득 유닛에 의해 취득된 상기 자세 정보를 상기 조작 화면 상의 위치 표시 컴포넌트의 위치에 관한 위치 정보로 변환하고, 상기 변환된 위치 정보에 기초하여 상기 조작 화면 상에 상기 위치 표시 컴포넌트를 표시하도록 구성된 위치 표시 컴포넌트 관리 유닛;
    상기 위치 표시 컴포넌트의 위치를 초기화하는 초기화 조작을 수락하도록 구성된 조작 수락 유닛; 및
    상기 조작 화면을 상기 통신 장치에 출력하도록 구성된 출력 유닛
    을 포함하고,
    상기 조작 수락 유닛이 상기 초기화 조작을 수락하는 것에 응답하여, 상기 위치 표시 컴포넌트 관리 유닛은 상기 위치 표시 컴포넌트를 상기 조작 화면의 초기 위치에 표시하고,
    상기 통신 장치는 상기 표시 장치를 포함하거나 상기 표시 장치에 연결되어 있고, 상기 통신 장치는 상기 표시 장치로 하여금 상기 촬상 장치의 상기 출력 유닛에 의해 출력된 상기 조작 화면을 표시하게 하는 것인 화상 표시 시스템.
  11. 촬상 장치에 의해 구현된 조작 방법에 있어서,
    저장 유닛에 저장된 화상에 관한 조작 화면을 생성하는 단계;
    상기 생성된 조작 화면을 표시 장치에 출력하는 단계;
    상기 촬상 장치의 자세에 관한 자세 정보를 취득하는 단계;
    상기 취득된 자세 정보를 상기 조작 화면 상의 위치 표시 컴포넌트의 위치에 관한 위치 정보로 변환하고, 상기 변환된 위치 정보에 기초하여 상기 조작 화면 상에 상기 위치 표시 컴포넌트를 표시하는 단계;
    상기 위치 표시 컴포넌트의 위치를 초기화하는 초기화 조작을 수락하는 단계; 및
    　상기 초기화 조작을 수락한 것에 응답하여, 상기 위치 표시 컴포넌트를 상기 조작 화면의 초기 위치에 표시하는 단계
    를 포함하는 촬상 장치에 의해 구현된 조작 방법.
KR1020207005225A 2017-08-29 2018-08-13 촬상 장치, 화상 표시 시스템 및 조작 방법 KR20200028481A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-164794 2017-08-29
JP2017164794A JP6981106B2 (ja) 2017-08-29 2017-08-29 撮像装置、画像表示システム、操作方法、プログラム
PCT/JP2018/030188 WO2019044475A1 (en) 2017-08-29 2018-08-13 IMAGE CAPTURE APPARATUS, IMAGE DISPLAY SYSTEM, AND OPERATING METHOD

Publications (1)

Publication Number Publication Date
KR20200028481A true KR20200028481A (ko) 2020-03-16

Family

ID=63449624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005225A KR20200028481A (ko) 2017-08-29 2018-08-13 촬상 장치, 화상 표시 시스템 및 조작 방법

Country Status (6)

Country Link
US (1) US11375263B2 (ko)
EP (1) EP3677021B1 (ko)
JP (1) JP6981106B2 (ko)
KR (1) KR20200028481A (ko)
CN (1) CN111034181B (ko)
WO (1) WO2019044475A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
CN113095243B (zh) * 2021-04-16 2022-02-15 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
USD971180S1 (en) * 2022-07-11 2022-11-29 Zhenzhen Zhu Remote control for television
USD970476S1 (en) * 2022-07-11 2022-11-22 Yuxian Lin Remote control for television
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
USD969107S1 (en) * 2022-07-19 2022-11-08 Yuxian Lin Remote control for television
USD971181S1 (en) * 2022-07-19 2022-11-29 Xibin Huang Remote control for television
USD969108S1 (en) * 2022-07-19 2022-11-08 Ningfang Zou Remote control for television
USD980822S1 (en) * 2022-08-26 2023-03-14 Yuxian Lin TV remote control device
USD975680S1 (en) * 2022-09-02 2023-01-17 Zhenzhen Zhu TV remote control
USD975681S1 (en) * 2022-09-02 2023-01-17 Jingjing Xu TV remote control
USD975682S1 (en) * 2022-09-06 2023-01-17 Zhenzhen Zhu TV remote control
USD977455S1 (en) * 2022-09-06 2023-02-07 Xibin Huang TV remote control
USD988292S1 (en) * 2022-09-28 2023-06-06 Nana Zhu Remote control

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4394742B2 (ja) 2009-03-31 2010-01-06 ソフトバンクモバイル株式会社 移動体通信端末及びアプリケーションプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190935B2 (ja) * 2002-09-27 2008-12-03 富士フイルム株式会社 携帯端末装置
KR20060084694A (ko) * 2005-01-20 2006-07-25 주식회사 팬택앤큐리텔 이동통신 단말기 및 이 단말기의 멀티미디어 재생 화면을외부 디스플레이 장치에 출력하는 방법
JP2007159038A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置及びその制御方法
JP2008107886A (ja) * 2006-10-23 2008-05-08 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
CN101968655B (zh) * 2009-07-28 2013-01-02 十速科技股份有限公司 光标位置的偏差校正方法
JP2011099980A (ja) 2009-11-05 2011-05-19 Canon Inc 映像表示装置、映像表示システム、及び映像表示装置の制御方法
JP2011210138A (ja) * 2010-03-30 2011-10-20 Sony Corp 電子機器、画像出力方法及びプログラム
CN101872260B (zh) * 2010-06-03 2013-07-31 张通达 一种远程交互笔及书写笔迹检测方法
US9152244B2 (en) * 2011-01-30 2015-10-06 Lg Electronics Inc. Image display apparatus and method for operating the same
JP5844999B2 (ja) * 2011-05-19 2016-01-20 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
TW201310284A (zh) * 2011-08-22 2013-03-01 Wistron Corp 滑鼠及判斷游標作動之方法
JP6142467B2 (ja) 2011-08-31 2017-06-07 株式会社リコー 撮像光学系および全天球型撮像装置および撮像システム
US20130082923A1 (en) * 2011-10-03 2013-04-04 Chip Goal Electronics Corporation, R.O.C. Optical pointer control system and method therefor
CN103257815A (zh) * 2012-02-20 2013-08-21 索尼爱立信移动通讯有限公司 一种触摸位置定位方法、文本选择方法、装置及电子设备
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP5910485B2 (ja) 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP6079031B2 (ja) 2012-08-01 2017-02-15 株式会社リコー 撮像装置
US10666860B2 (en) 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
JP6019970B2 (ja) 2012-09-11 2016-11-02 株式会社リコー 全天球型の撮像システムおよび撮像光学系
JP5971207B2 (ja) 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6204686B2 (ja) 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
WO2017003022A1 (ko) * 2015-06-29 2017-01-05 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20170066021A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
JP6597794B2 (ja) 2015-12-15 2019-10-30 株式会社リコー 画像処理装置及び画像処理方法
JP2018152646A (ja) 2017-03-10 2018-09-27 株式会社リコー 撮像装置、画像表示システム、操作方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4394742B2 (ja) 2009-03-31 2010-01-06 ソフトバンクモバイル株式会社 移動体通信端末及びアプリケーションプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[비특허 문헌 1] Kubota, Satoru.(2012). "Ergonomic Design Guidelines for Flat Panel Display Televisions". Japan Ergonomics Society 53rd Conference.

Also Published As

Publication number Publication date
US11375263B2 (en) 2022-06-28
CN111034181B (zh) 2022-05-03
US20210076091A1 (en) 2021-03-11
EP3677021A1 (en) 2020-07-08
JP2019047167A (ja) 2019-03-22
CN111034181A (zh) 2020-04-17
WO2019044475A1 (en) 2019-03-07
EP3677021B1 (en) 2021-07-07
JP6981106B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
CN111034181B (zh) 图像捕获设备、图像显示系统和操作方法
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US10721116B2 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
US10778865B2 (en) Image processing apparatus, image processing system, and image processing method
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US10939068B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20200186407A1 (en) Communication terminal, image network system, display method, and program
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
EP3621295A1 (en) Display control apparatus, imaging apparatus, control method, program, and computer readable medium
JP2021174317A (ja) 電子機器及びその制御方法
US11950030B2 (en) Electronic apparatus and method of controlling the same, and recording medium
US11681487B2 (en) Electronic apparatus and control method thereof and storage medium
CN110996115B (zh) 直播视频播放方法、装置、设备、存储介质和程序产品
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
CN111381750B (zh) 电子装置及其控制方法和计算机可读存储介质
JP2018152646A (ja) 撮像装置、画像表示システム、操作方法およびプログラム
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
JP2021097280A (ja) 撮像装置、画像生成方法、プログラム
JP2018207466A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application