KR101690646B1 - 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법 - Google Patents

시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법 Download PDF

Info

Publication number
KR101690646B1
KR101690646B1 KR1020160098420A KR20160098420A KR101690646B1 KR 101690646 B1 KR101690646 B1 KR 101690646B1 KR 1020160098420 A KR1020160098420 A KR 1020160098420A KR 20160098420 A KR20160098420 A KR 20160098420A KR 101690646 B1 KR101690646 B1 KR 101690646B1
Authority
KR
South Korea
Prior art keywords
user
smart terminal
camera
distance
angle
Prior art date
Application number
KR1020160098420A
Other languages
English (en)
Inventor
박준현
Original Assignee
아이피랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이피랩 주식회사 filed Critical 아이피랩 주식회사
Priority to KR1020160098420A priority Critical patent/KR101690646B1/ko
Application granted granted Critical
Publication of KR101690646B1 publication Critical patent/KR101690646B1/ko
Priority to US15/666,202 priority patent/US10326929B2/en

Links

Images

Classifications

    • H04N5/2257—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23212—
    • H04N5/23216—
    • H04N5/23219—

Abstract

증강현실에서의 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법을 개시한다. 스마트 단말 후면 카메라 구동 장치는, 스마트 단말 사용자의 시선, 시각, 시야 및 눈동자와 스마트 단말 사이의 거리와 각도를 포함하는 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 센싱모듈; 센싱 모듈로부터 전달된 사용자의 실시간 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 광각, 초점, 초점거리, 배율을 포함하는 촬영조건을 제어하는 제어모듈; 및 제어모듈로부터 전달된 촬영 조건에 따라 구동되는 촬영모듈; 을 포함한다.

Description

시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법{CAMERA DRIVING DEVICE AND METHOD FOR SEE-THROUGH DISPLAYING}
본 개시는 카메라 구동 장치 및 방법에 관한 것으로 구체적으로, 시 스루(see through) 디스플레이를 위한 카메라 구동 장치 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 증강 현실 기술의 이용 예로서, 증강현실 격투 게임은 '현실의 내'가 '현실의 공간'에서 가상의 적과 대결을 벌이는 형태가 된다. 증강현실은 현실의 공간에 가상 이미지를 겹치기 때문에 가상현실에 비해 현실감이 뛰어나다는 특징이 있다. 이 밖에 가상현실은 일반적으로 영화나 영상 분야 등 특수 환경에서만 사용되지만, 증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태다. 구체적으로, 인터넷을 통한 지도 검색, 위치 검색 등도 넓은 의미에서는 증강현실에 포함된다. 다만 컴퓨터는 이동 중 사용이 곤란하기 때문에 스마트폰이나 태블릿 PC 등의 휴대용 스마트 단말을 대상으로 한 증강현실 기술이 주목을 받고 있다.
하지만, 종래 증강현실 기술은 사용자의 몸짓이나 손짓 등의 작업을 조작하는 컨트롤러가 시야를 방해하거나, 사용자가 바라보는 시선 즉 사용자의 자연 시(natural sight)에 의한 화면과 카메라에 의해 촬영된 후 디스플레이 되는 작업 화면이 일치하지 않아 작업을 수행함에 있어서, 직관적인 피드백이 어렵고, 많은 시간의 훈련이 필요한 문제점이 있다.
아울러 스마트 단말에 구비된 카메라로 촬영 시에도, 스마트 단말 후면 카메라렌즈와 눈동자 사이의 거리와 각도 불일치로 인해 화면과 실제 보이는 배경이 스마트 단말 전면 디스플레이에 왜곡되어 출력되고, 이 때문에 증강현실에서의 화면 출력과 일반 사진 촬영이나 동영상 촬영 시에 원하는 화면과 영상을 정확하게 반영하기 어려운 점이 있다. 구체적으로, 종래 증강 현실 디스플레이를 나타낸 도 1a를 참조하면, 사용자의 자연 시(10)로 바라본 피사체 이미지(20)와 스마트 단말 후면 카메라에 의해 촬영되어 스마트 단말 전면에 디스플레이 되는 이미지(50)을 비교해 보면, 스마트 단말 전면에 디스플레이 되는 이미지에 포함된 피사체의 초점, 크기, 배율 등이 사용자가 실제로 보는 자연 시와는 다르게 후면 카메라(40)의 촬영 조건에 의해 왜곡된다. 이렇게 실제 시야로 바라본 이미지와는 다른 이미지(50)가 스마트 단말 전면에 디스플레이 되기 때문에, 증강 현실 관련 어플리케이션(예컨대 포켓몬(60)고 등) 사용시에는 육안으로 보이는 것과 디바이스의 화면의 각도와 거리가 맞지 않아서 생동감이 떨어지는 경우가 많다. 아울러, 일반 카메라 촬영 시, 사용자가 자신의 자연 시 조건 그대로 촬영하려는 경우, 촬영 조건을 직접 자연 시 조건과 동일하게 조정 해야 하기 때문에 번거롭다. 또한, 실제로 자연 시 조건과 동일하게 촬영조건을 제어하는 과정은 상당히 어렵기 때문에, 일반 사진이나 동영상 촬영 시 자연 시와 동일한 이미지를 획득하는 것은 쉽지 않다.
1. 한국 특허공개 제10-2013-0139280호(2013.12.20) 2. 한국 특허공개 제10-2013-0127472호(2013.11.22)
휴대용 스마트 단말 전면에서 사용자의 자연 시(natural sight)를 인식하여, 사용자가 자신의 눈으로 바라보는 것과 동일한 조건으로 스마트 단말 후면에 장착된 카메라를 구동할 수 있도록 후면 카메라의 촬영 조건을 제어 함으로써, 사용자 자연 시로 인식되는 이미지와 후면 카메라로 촬영되어 스마트 단말 전면에 디스플레이 되는 이미지 사이의 왜곡을 최소화 하는 카메라 구동 장치 및 그 방법을 제공한다.
하나의 실시예로서, 스마트 단말 후면 카메라 구동 장치는 스마트 단말 사용자의 시선, 시각, 시야 및 눈동자와 스마트 단말 사이의 거리와 각도를 포함하는 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 센싱모듈; 센싱 모듈로부터 전달된 사용자의 실시간 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 광각, 초점, 초점거리, 배율을 포함하는 촬영조건을 제어하는 제어모듈; 및 제어모듈로부터 전달된 촬영 조건에 따라 구동되는 촬영모듈; 을 포함한다.
다른 실시예로서, 스마트 단말 후면 카메라에 의해 촬영된 이미지의 시 스루(see through) 디스플레이를 위한 카메라 구동 방법은 (A) 센싱모듈에서 스마트 단말 사용자의 시선, 시각, 시야 및 눈동자와 스마트 단말 사이의 거리와 각도를 포함하는 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 단계; (B) 제어모듈에서 센싱 모듈로부터 전달된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 촬영각도, 초점, 초점거리를 포함하는 촬영조건을 제어하는 단계; (C) 카메라에서 제어모듈로부터 전달된 촬영조건에 따라 구동되어 촬영하는 단계; 를 포함한다.
실시예에 따른 카메라 구동 장치 및 방법은 증강현실(augmented reality)에서의 사용자 경험을 개선시키고, 일반 촬영 시 에는 사용자의 자연 시와 동일한 조건으로 카메라를 자동 조작하여 사용자 편의성을 향상 시킨다. 실시예에 따른 카메라 구동 장치 및 방법은 기재한 효과 외에 다른 효과도 가질 수 있다.
도 1a는 종래 증강 현실 디스플레이를 나타낸 도면
도 1b는 카메라 구동 장치의 이용 실시예를 나타내기 위한 도면
도 2는 실시예에 따른 카메라 구동 장치의 대략적인 구성을 나타낸 블록도
도 3은 실시예에 따른 카메라 구동 장치의 보다 구체적인 구성을 나타낸 블록도
도 4는 실시예에 따른 카메라 구동을 위한 데이터 처리 흐름을 나타낸 흐름도
도 5는 실시예에 따른 사용자의 자연 시 조건 센싱 과정을 보다 구체적으로 나타낸 흐름도
도 6은 실시예에 따른 카메라 구동 조건 조정과정을 보다 구체적으로 나타낸 흐름도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1b는 카메라 구동 장치의 이용 실시예를 나타내기 위한 도면이다.
도 1b를 참조하면, 본 개시는 휴대용 스마트 단말(100) 전면(A)에서 사용자의 자연 시(natural sight)를 인식하여, 사용자가 자신의 눈으로 바라보는 것과 동일한 조건으로 스마트 단말 후면(B)에 구비된 카메라(40)로 촬영할 수 있도록 후면 카메라(40)의 촬영조건을 제어한다. 이로써, 사용자 자연 시로 인식되는 이미지(20)와 후면 카메라(40)로 인식된 후 스마트 폰(100) 전면(A)에 디스플레이 되는 이미지(50) 사이의 왜곡을 최소화 하여, 사용자의 자연 시로 바라본 이미지와 동일한 이미지가 스마트 단말 전면에 디스플레이 되도록 하여 증강현실 이용자들의 사용자 경험을 개선 시킨다. 도 1에 도시된 바와 같이, 증강현실 게임(예컨대, 포켓몬(60) 고)을 하는 경우, 본 개시를 적용하면 사용자가 소지한 스마트 단말의 전면에 디스플레이 되는 화면과, 자연 시 사이의 왜곡을 인식 할 수 없어, 증강현실을 이용한 게임의 리얼리티가 더욱 향상된다. 아울러, 일반 사진 촬영이나 동영상 촬영 시에도, 사용자의 자연 시 조건을 자동으로 인식하여 카메라 촬영조건을 자연 시 조건과 동일하게 조정한 후 자연 시 그대로 촬영하는 촬영 옵션을 추가적으로 제공 할 수 있다.
실시예에 있어서, 스마트 단말은 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트 폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 카메라, 게임기 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 즉, 스마트 단말은 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 전자기기를 의미한다.
본 개시의 이해를 돕기 위해, 실시예를 설명 함에 있어 스마트 단말에 구비된 카메라를 구동하는 예를 설명하지만, 본 개시의 범주가 이에 한정 되는 것은 아니다. 스마트 단말에 구비된 카메라 구동뿐만 아니라, 일반 카메라 구동 및 사용자의 시선 인식 후 이를 반영하여 촬영하는 실시 예 등 사용자의 자연 시를 인식하여 자연 시 조건과 동일하게 촬영조건을 제어하는 다양한 실시 예에 본 개시가 적용 될 수 있다.
도 2는 실시예에 따른 카메라 구동 장치의 대략적인 구성을 나타낸 블록도이다.
도 2를 참조하면, 카메라 구동 장치는 센싱모듈(210), 제어모듈(230) 및 촬영모듈(250)을 포함하여 구성될 수 있다. 실시예에 있어서, 센싱모듈(210)은 스마트 단말(100) 전면(A)에 구비되고 촬영모듈(250)은 카메라로서, 스마트 단말 후면(B)에 구비될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
센싱모듈(210)은 스마트 단말 사용자의 자연 시(natural sight) 조건을 실시간으로 감지한다. 자연 시 조건은 사용자가 바라보는 시선, 시각, 시야 조건 그대로 카메라를 조정하여, 사용자의 눈으로 인식되는 이미지와 동일한 이미지를 스마트 단말(100) 전면(A)에 디스플레이 하기 위해 감지하는 조건이다. 예컨대, 센싱 모듈(210)에 의해 감지되는 자연 시 조건은 사용자의 시야, 시선, 시각, 눈동자와 스마트 단말 사이의 거리, 사용자 시선과 스마트 단말 사이의 각도, 사용자 고개의 회전 정도 등, 사용자가 자신의 눈으로 인식하는 이미지를 변화 시킬 수 있는 모든 조건 데이터를 포함할 수 있다. 또한 센싱 모듈(210)은 스마트 단말(100) 카메라에 의해 촬영되는 주변 환경의 밝기 정보까지 센싱하여, 스마트 단말 전면에 디스플레이 되는 화면의 밝기를 촬영되는 주변 환경의 밝기와 유사한 수준으로 조정할 수 있다.
제어모듈(230)은 센싱 모듈(210)로부터 전달된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면(B)에 구비된 카메라의 촬영 조건을 제어한다. 구체적으로, 자연 시 조건에 포함된 사용자의 시선, 시야, 시각 정보, 눈동자와 스마트 단말 사이의 거리 및 각도 정보를 기반으로 스마트 단말 후면 카메라의 촬영각도, 초점, 초점거리를 포함하는 촬영조건을 제어한다. 예컨대, 제어모듈(230)은 인식된 사용자와 스마트 단말간 거리를 이용하여, 카메라에 의해 촬영되는 객체의 줌인 정도를 조정하고, 초점 정보를 기반으로 객체 별 초점을 조정한다. 또한, 실시예에 따라 제어모듈(230)은 고개회전 등 사용자의 움직임과 움직임 변화를 분석하여 디스플레이 되는 이미지를 조정하고, 디스플레이 되는 이미지의 크기와 배율 또한 조정할 수 있다.
촬영모듈(250)은 실시예에 따라 스마트 단말(100) 후면(B)에 구비되는 카메라로서, 광각 카메라를 포함하는 복수 개의 카메라일 수 있다. 촬영 모듈(250)은 제어모듈(230)로부터 전달된 촬영 조건에 따라 구동된다. 개시한 바와 같이, 스마트 단말 후면 카메라가 촬영조건에 따라 구동되기 때문에, 사용자 자연 시로 인식된 이미지와, 카메라에 의해 촬영되어 스마트 단말 전면에 디스플레이 되는 이미지를 왜곡을 최소화 함으로써 사용자가 자신이 실제로 보는 이미지가 그대로 스마트 단말 전면에 디스플레이 된다. 이러한 실시예를 증강현실 기술에 이용할 경우, 사용자의 자연 시 조건 그대로 촬영된 이미지 위에 3차원 가상이미지가 겹쳐지기 때문에 증강현실의 리얼리티를 더욱 향상시킨다. 아울러, 일반 사진 및 동영상 촬영에 실시예를 적용할 경우, 사용자가 자신의 자연 시 조건과 동일하도록 카메라의 촬영 조건을 직접 조작할 필요가 없기 때문에 편리한 장점이 있다.
도 3은 실시예에 따른 카메라 구동 장치의 보다 구체적인 구성을 나타낸 블록도이다.
도 3을 참조하면, 센싱모듈(210)은 거리측정부(211), 초점 인식부(213). 각도 측정부(215), 및 보정부(217)를 포함하여 구성될 수 있고, 제어모듈(230)은 광각제어부(231), 초점 제어부(233) 및 화면 밝기 제어부(235)를 포함하여 구성될 수 있다.
센싱모듈(210)의 거리 측정부(211)는 스마트 단말(100) 전면(A) 카메라와 사용자 사이의 거리를 측정한다. 예컨대, 거리 측정부(211)는 삼각측량 또는 전파 레이더에 의한 전파 송수신 시간연산 등 각종 거리 측정 기법을 이용하여 스마트 단말과 전면 카메라와 사용자 사이의 거리를 측정한다.
초점 인식부(213)는 측정된 거리와 스마트 단말 전면 카메라를 이용하여 사용자의 눈을 인식하고, 인식된 눈에서 홍채 및 동공을 센싱하여 사용자의 초점을 인식한다.
각도 측정부(215)는 스마트 단말(100) 전면 카메라와 사용자 시선 사이의 각도를 측정한다. 예컨대, 각도 측정부(215)는 스마트 단말에 구비된 어안렌즈 (fish-eye lens)에서 수집된 화상 중 스마트 단말과 시선 사이의 각도에 따라 해당 영역을 선택하여 전면에 디스플레이 되도록 할 수 있다. 또한, 각도 측정부(215)는 전면 카메라 렌즈에 구동부를 구비하여 사용자 시선을 트래킹 하고, 트랙킹 된 사용자 시선과 스마트 단말 사이의 각도를 측정 할 수 있다.
보정부(217)는 기 저장된 스마트 단말(100)의 전면 카메라(30)와 후면 카메라(40) 간 거리를 반영하여 거리측정부(211)로부터 전달받은 사용자와 스마트 단말(100) 사이의 거리 데이터 및 초점 인식부(213)로부터 전달받은 사용자의 초점 데이터를 보정한다. 예컨대, 스마트 단말 전면의 카메라와 후면 카메라 사이의 상대 위치(스마트 단말기 별 고정 값)을 기 저장하여 해당 거리와 각도를 보정한 값을 기반으로 스마트 단말 전면에 구비된 복수개의 카메라를 이용하여 감지한 사용자 눈동자와의 거리 및 시선 방향을 보정 할 수 있다.
또한, 보정부(217)는 기 저장된 스마트 단말 사용자의 거리 별 눈의 위치, 최대 팔 길이, 홍채, 동공 인식 정보를 포함하는 사용자 신체 데이터 및 누적된 센싱데이터를 이용하여 거리 측정부(211), 초점 인식부(213), 각도 측정부(215)로부터 전달 받은 데이터를 보정할 수 있다. 또한 실시예에 따라 보정부(217)는 사용자의 고개의 상하 좌우 움직임을 분석하여 센싱된 사용자와 스마트 단말 간 거리와 초점 데이터를 보정 할 수 있다.
제어모듈(230)의 광각(optical angle) 제어부(231)은 스마트 단말 주변 배경과 스마트 단말 후면 카메라에 의해 촬영되는 화면의 크기와 각도를 일치시키기 위해, 센싱된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 시야각, 촬영 방향을 포함하는 카메라의 구동 광각을 제어한다. 예컨대, 광각 제어부(213)는 스마트 단말의 위치 사용자 눈의 위치 및 스마트 단말과 사용자 눈 사이의 거리와 초점 데이터를 기반으로 사용자의 자연 시에 의해 인식되는 이미지 그대로 스마트 단말에 디스플레이 되도록 사용자의 시각(visual angle)에 따라 스마트 단말의 후면 카메라의 광각을 조정한다. 실시예에 있어서, 광각 제어부(213)은 광각 카메라가 촬영 모듈(250)에 포함될 경우, 광각 카메라의 온 오프를 제어 할 수도 있다.
초점 제어부(233)는 센싱된 사용자의 초점 정보를 이용하여 촬영되는 이미지에 포함된 객체 별 초점을 제어한다. 예컨대, 초점 제어부(233)는 센싱된 사용자의 주 초점이 맺히는 객체 및 주 초점이 맺히지는 않지만 사용자 시야에 포함되어 스마트 단말 전면에 디스플레이 되는 객체 각각의 초점을 각각 조정할 수 있다.
화면 밝기 제어부(235)는 센싱된 주변 밝기 데이터를 기반으로 디스플레이 되는 화면의 밝기를 주변 밝기와 일정 범위에서 유사하도록 제어한다. 예컨대, 화면 밝기 제어부(235)는 주변 밝기 데이터에 따라 변하는 화면의 컬러 구성요소인 색상, 명도, 채도를 조정 할 수 있다.
이하에서는 카메라 구동 방법에 대해서 차례로 설명한다. 실시예에 따른 카메라 구동 방법의 작용(기능)은 카메라 구동 장치 및 시스템상의 기능과 본질적으로 같은 것이므로 도 1 내지 도 3과 중복되는 설명은 생략하도록 한다.
도 4는 실시예에 따른 카메라 구동을 위한 데이터 처리 흐름을 나타낸 흐름도 이다.
S410 단계에서 센싱모듈(210)은 스마트 단말(100) 후면 카메라(40)에 의해 촬영된 이미지의 시 스루(see through) 디스플레이를 위해 스마트 단말 사용자의 시선, 시야, 시각 및 눈동자와 스마트 단말 사이의 거리와 각도를 포함하는 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 과정을 수행한다.
S420 단계에서 제어모듈(230)은 센싱 모듈(210)로부터 전달된 사용자의 자연 시 조건에 포함된 사용자의 시선, 시각, 시야 및 눈동자와 스마트 단말 사이의 거리 및 각도 정보를 기반으로 스마트 단말 후면 카메라의 촬영각도, 초점, 초점거리를 포함하는 촬영조건을 제어하는 과정을 수행한다.
S430 단계에서는 카메라에서 제어모듈(230)로부터 전달된 촬영 조건에 따라 구동되어 촬영하는 과정을 수행한다.
도 5는 실시예에 따른 사용자의 자연 시 조건 센싱 과정을 보다 구체적으로 나타낸 흐름도이다.
S411 단계에서는 센싱모듈(210)의 거리 측정부(211)에서 스마트 단말과 사용자의 사이의 거리 및 각도를 센싱 한다. S411 단계에서, 거리 측정부(211)는 추가적으로 사용자가 스마트 단말을 들고 있는 자세, 고개 회전 정도 등을 포함하는 사용자의 움직임 정보 등도 인식한 후 사용자와 스마트 단말 사이의 거리와 각도를 측정 할 수 있다.
S413 단계에서는 초점 인식부(213)에서 센싱된 거리를 기반으로 사용자 눈을 인식하고, 인식된 눈에서 홍채, 동공 인식을 통해 사용자의 시야, 시각, 초점 등 사용자의 자연 시 조건을 센싱 한다. S415 단계에서는 센싱모듈(210)에서 주변 밝기 정보를 더 인식 하는 과정을 수행한다.
S417 단계에서는 보정부(215)에서 센싱된 거리, 사용자의 자연 시 조건 정보를 기 저장된 사용자의 신체 데이터 및 전 후면에 구비된 카메라 사이의 거리와 각도를 반영하여 보정하는 과정을 수행한다. 또한, S417 단계에서는 누적된 스마트 단말 사용자와 스마트 단말의 거리 별로 인식된 눈의 위치, 눈의 위치 별 시선, 시야, 초점 정보를 이용하여 센싱 데이터를 보정하고, 기 저장된 사용자의 최대 팔 길이, 홍채, 동공 인식 정보를 포함하는 사용자 신체 데이터를 이용하여 센싱 데이터를 보정할 수 있다.
도 6은 실시예에 따른 카메라 구동 조건 조정과정을 보다 구체적으로 나타낸 흐름도이다.
S421 단계에서는 광각 제어부(231)에서 스마트 단말(100) 주변 배경과 스마트 단말 후면 카메라에 의해 촬영되는 화면의 크기와 각도를 일치시키기 위해, 센싱된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 시야각, 촬영 방향을 포함하는 구동 광각을 제어하는 과정을 수행한다.
S423 단계에서는 초점 제어부(233)에서 센싱된 사용자의 초점 정보를 이용하여 촬영되는 이미지에 포함되는 객체 별 초점을 제어하는 과정을 수행한다.
S425 단계에서는 화면 밝기 제어부(235)에서 주변 밝기 데이터를 센싱하여 디스플레이 되는 화면의 밝기를 주변 밝기로 제어하는 과정을 수행한다.
개시된 실시예에 따른 카메라 구동 장치 및 방법은 휴대용 스마트 단말 전면에서 사용자의 자연 시(natural sight)를 인식하여, 사용자가 자신의 눈으로 바라보는 것과 동일한 조건으로 스마트 단말 후면에 장착된 카메라를 구동할 수 있도록 후면 카메라의 촬영 조건을 제어 함으로써, 사용자 자연 시로 인식되는 이미지와 후면 카메라로 촬영되어 스마트 폰 전면에 디스플레이 되는 이미지 사이의 왜곡을 최소화 할 수 있다. 본 개시에 기재된 실시예를, 증강현실(augmented reality)기술에 적용하면, 증강현실에서의 사용자 경험을 개선시킬 수 있다. 아울러, 카메라를 통한 일반 사진 및 동영상 촬영에 적용할 경우, 사용자가 자신이 직접 카메라 촬영조건을 조작 할 필요 없이, 사용자의 자연 시 조건을 인식하고 이와 동일한 조건으로 카메라를 자동 조작하여 사용자 편의성을 향상 시킬 수 있다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
100: 스마트 단말
40: 전면 카메라
40: 후면 카메라
210: 센싱모듈
211: 거리 측정부
213: 초점 인식부
215: 보정부
230: 제어모듈
231: 광각 제어부
233: 초점 제어부
235: 화면 밝기 제어부
250: 촬영모듈

Claims (12)

  1. 스마트 단말 후면 카메라 구동 장치에 있어서,
    스마트 단말 사용자의 시선, 시각, 시야 및 눈동자와 스마트 단말 사이의 거리와 각도를 포함하는 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 센싱모듈;
    상기 센싱 모듈로부터 전달된 상기 사용자의 실시간 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 광각, 초점, 초점거리, 배율을 포함하는 촬영조건을 제어하는 제어모듈; 및
    상기 제어모듈로부터 전달된 촬영 조건에 따라 구동되는 촬영모듈; 을 포함하고,
    상기 센싱모듈은
    스마트 단말과 사용자 간 거리와 고개의 움직임 및 회전 정도를 포함하는 사용자 모션에 따라 누적된 눈 위치 인식 데이터, 기 저장된 사용자의 최대 팔 길이, 홍채, 동공 인식 정보를 포함하는 사용자 신체 데이터를 이용하여 사용자의 실시간 자연 시 조건을 감지하고,
    상기 센싱모듈은
    스마트 단말 전면 카메라와 사용자 간 삼각측량 또는 전파 송수신을 통해 스마트 단말과 전면 카메라와 사용자 사이의 거리를 측정하는 거리 측정부;
    상기 측정된 거리와 사용자의 움직임을 인식하여 사용자 눈을 인식하고, 인식된 눈에서 홍채 또는 동공을 센싱하여 사용자의 초점을 인식하는 초점 인식부;
    사용자의 눈동자와 스마트 단말 사이의 각도를 측정하는 각도 측정부; 및
    기 저장된 스마트 단말의 전면 카메라와 후면 카메라 간 거리를 고려하여 상기 거리측정부로부터 전달받은 사용자와 스마트 단말 사이의 거리 데이터 및 상기 초점 인식부로부터 전달받은 사용자의 초점 데이터 및 각도 측정부로부터 전달받은 스마트 단말과 눈동자 사이의 각도 데이터를 보정하는 보정부; 를 포함하는 것을 특징으로 하는 카메라 구동장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서, 상기 보정부는
    스마트 단말과 사용자의 간 거리와 고개의 움직임 및 회전 정도를 포함하는 사용자 모션에 따라 누적된 눈 위치 인식 데이터, 기 저장된 사용자의 최대 팔 길이, 홍채, 동공 인식 정보를 포함하는 사용자 신체 데이터를 이용하여 상기 거리 측정부, 초점 인식부 및 각도 측정부로부터 전달 받은 데이터를 보정하고,
    상기 초점 인식부는 상기 사용자의 신체데이터 및 사용자 모션에 따라 누적된 눈 위치 인식 데이터를 이용하여 카메라와 사용자의 거리 정보를 파악하고, 사용자 눈 인식 이후, 초점을 인식하는 것을 특징으로 하는 카메라 구동 장치.
  5. 제 1항에 있어서, 상기 센싱모듈은
    스마트 단말 카메라에 의해 촬영되는 주변 환경의 밝기 정보를 더 센싱하는 것을 특징으로 하는 카메라 구동 장치.
  6. 제 1항에 있어서, 상기 제어모듈은
    스마트 단말 주변 배경과 스마트 단말 후면 카메라에 의해 촬영되는 화면의 크기와 각도를 일치시키기 위해, 상기 센싱된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 시야각, 촬영 방향을 포함하는 구동 광각을 제어하는 광각(optical angle) 제어부;
    상기 센싱된 사용자의 초점 정보를 이용하여 스마트 단말 후면 카메라에 의해 촬영되는 이미지에 포함되는 객체 별 초점을 제어하는 초점 제어부; 및
    센싱된 주변 밝기 데이터에 따라 스마트 단말 전면에 디스플레이 되는 화면의 밝기를 센싱된 주변 밝기로 제어하는 화면 밝기 제어부; 를 포함하는 것을 특징으로 하는 카메라 구동 장치.
  7. 스마트 단말 후면 카메라에 의해 촬영된 이미지의 시 스루(see through) 디스플레이를 위한 카메라 구동 방법에 있어서,
    (A) 센싱모듈에서 스마트 단말 사용자의 시선, 시각, 시야 및 눈동자와 스마트 단말 사이의 거리와 각도를 포함하는 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 단계;
    (B) 제어모듈에서 상기 센싱 모듈로부터 전달된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 촬영각도, 초점, 초점거리를 포함하는 촬영조건을 제어하는 단계;
    (C) 카메라에서 상기 제어모듈로부터 전달된 촬영조건에 따라 구동되어 촬영하는 단계; 를 포함하고
    상기 (A) 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 단계; 는
    스마트 단말과 사용자 간 거리와 고개의 움직임 및 회전 정도를 포함하는 사용자 모션에 따라 누적된 눈 위치 인식 데이터, 기 저장된 사용자의 최대 팔 길이, 홍채, 동공 인식 정보를 포함하는 사용자의 신체데이터를 이용하여 사용자의 실시간 자연 시 조건을 감지하고,
    기 저장된 스마트 단말의 전면 카메라와 후면 카메라 간 거리를 반영하여 사용자와 스마트 단말 사이의 거리 데이터 및 사용자의 시선과 초점, 사용자 시선과 스마트 단말 사이의 각도 데이터를 보정하는 단계; 를 더 포함하고,
    상기 사용자와 스마트 단말 사이의 거리 데이터 및 사용자의 시선과 초점 데이터를 보정하는 단계는
    스마트 단말 사용자와 스마트 단말 간 거리 별로 인식되어 누적된 눈의 위치 데이터, 눈의 위치 별 시선, 시야, 초점 정보를 이용하여, 센싱된 거리, 각도 및 초점 데이터를 보정하고, 기 저장된 사용자의 최대 팔 길이, 홍채, 동공 인식 정보, 사용자 모션 정보를 포함하는 사용자 신체 데이터를 이용하여, 센싱된 거리, 각도 및 초점 데이터를 보정하는 것을 특징으로 하는 카메라 구동 방법.
  8. 제 7항에 있어서, 상기 (A) 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 단계; 는
    스마트 단말 전면 카메라와 인식된 사용자의 눈 사이의 삼각측량 또는 전파 송수신을 통해 스마트 단말 전면 카메라와 사용자 사이의 거리를 측정하는 단계;
    상기 측정된 거리를 기반으로 사용자의 눈을 인식하고, 인식된 눈에서 홍채 또는 동공을 센싱하여 사용자 시선 및 초점을 인식하는 단계; 및
    상기 센싱된 사용자 시선과 스마트 단말 사이의 각도를 측정하는 단계; 를 포함하는 것을 특징으로 하는 카메라 구동 방법.
  9. 삭제
  10. 제 7항에 있어서, 상기 사용자와 스마트 단말 사이의 거리 데이터 및 사용자의 시선과 초점 데이터를 보정하는 단계는
    스마트 단말 사용자와 스마트 단말 간 거리 별로 인식되어 누적된 눈의 위치 데이터, 눈의 위치 별 시선, 시야, 초점 정보를 이용하여, 센싱된 거리, 각도 및 초점 데이터를 보정하고, 기 저장된 사용자의 최대 팔 길이, 홍채, 동공 인식 정보, 사용자 모션 정보를 포함하는 사용자 신체 데이터를 이용하여, 센싱된 거리, 각도 및 초점 데이터를 보정 하는 것을 특징으로 하는 카메라 구동 방법.
  11. 제 7항에 있어서, 상기 (A) 사용자의 실시간 자연 시(natural sight) 조건을 감지하는 단계;
    스마트 단말 카메라에 의해 촬영되는 주변 환경의 밝기 정보를 더 센싱하는 것을 특징으로 하는 카메라 구동 방법.
  12. 제 7항에 있어서, (B)상기 촬영조건을 제어하는 단계; 는
    스마트 단말 주변 배경과 스마트 단말 후면 카메라에 의해 촬영되는 화면의 크기와 각도를 일치시키기 위해, 상기 센싱된 사용자의 자연 시 조건을 기반으로 스마트 단말 후면 카메라의 시야각, 촬영 방향을 포함하는 구동 광각을 제어하는 단계;
    상기 센싱된 사용자의 초점 정보를 이용하여 스마트 단말 후면 카메라에 의해 촬영되는 이미지에 포함되는 객체 별 초점을 제어하는 단계;
    센싱된 주변 밝기 데이터에 따라 디스플레이 되는 화면의 밝기를 주변 밝기로 제어하는 단계; 를 포함하는 것을 특징으로 하는 카메라 구동 방법.









KR1020160098420A 2016-08-02 2016-08-02 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법 KR101690646B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160098420A KR101690646B1 (ko) 2016-08-02 2016-08-02 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
US15/666,202 US10326929B2 (en) 2016-08-02 2017-08-01 Camera driving device and method for see-through displaying

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160098420A KR101690646B1 (ko) 2016-08-02 2016-08-02 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101690646B1 true KR101690646B1 (ko) 2016-12-28

Family

ID=57724102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160098420A KR101690646B1 (ko) 2016-08-02 2016-08-02 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10326929B2 (ko)
KR (1) KR101690646B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126140B2 (en) 2018-03-05 2021-09-21 Samsung Electronics Co., Ltd. Electronic device, external device capable of being combined with the electronic device, and a display method thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246116B (zh) * 2020-03-20 2022-03-11 谌春亮 一种用于屏幕上智能取景显示的方法及移动终端
US11729507B2 (en) * 2021-02-12 2023-08-15 Sony Group Corporation Progressive morphological lens parameter encoding
CN114615430B (zh) * 2022-03-07 2022-12-23 清华大学 移动终端与外部对象之间的交互方法、装置和电子设备
CN115165115B (zh) * 2022-09-07 2023-07-04 中亿(深圳)信息科技有限公司 智能手表的体温测量方法、装置、介质及穿戴设备
US11816262B1 (en) * 2023-03-14 2023-11-14 Illuscio, Inc. Systems and methods for modifying a user interface based on eye focus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104606A (ko) * 2005-03-31 2006-10-09 주식회사 팬택 촬영자 거리에 기반한 카메라 줌 제어 장치 및 그 방법
KR20070066668A (ko) * 2005-12-22 2007-06-27 주식회사 팬택 이동통신 단말기 및 이의 제어방법
KR20130127472A (ko) 2010-12-17 2013-11-22 마이크로소프트 코포레이션 증강 현실 디스플레이용 최적화 초점 영역
KR20130139280A (ko) 2010-11-08 2013-12-20 마이크로소프트 코포레이션 증강 현실 디스플레이를 위한 자동 가변 가상 초점
KR20140122126A (ko) * 2013-04-09 2014-10-17 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957981B2 (en) * 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US9124798B2 (en) * 2011-05-17 2015-09-01 Eyelock Inc. Systems and methods for illuminating an iris with visible light for biometric acquisition
JP6056323B2 (ja) * 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
WO2015066475A1 (en) * 2013-10-31 2015-05-07 The University of North Carlina at Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104606A (ko) * 2005-03-31 2006-10-09 주식회사 팬택 촬영자 거리에 기반한 카메라 줌 제어 장치 및 그 방법
KR20070066668A (ko) * 2005-12-22 2007-06-27 주식회사 팬택 이동통신 단말기 및 이의 제어방법
KR20130139280A (ko) 2010-11-08 2013-12-20 마이크로소프트 코포레이션 증강 현실 디스플레이를 위한 자동 가변 가상 초점
KR20130127472A (ko) 2010-12-17 2013-11-22 마이크로소프트 코포레이션 증강 현실 디스플레이용 최적화 초점 영역
KR20140122126A (ko) * 2013-04-09 2014-10-17 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126140B2 (en) 2018-03-05 2021-09-21 Samsung Electronics Co., Ltd. Electronic device, external device capable of being combined with the electronic device, and a display method thereof

Also Published As

Publication number Publication date
US20180041695A1 (en) 2018-02-08
US10326929B2 (en) 2019-06-18

Similar Documents

Publication Publication Date Title
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
US11235871B2 (en) Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight
US10382699B2 (en) Imaging system and method of producing images for display apparatus
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US20110234475A1 (en) Head-mounted display device
US10754420B2 (en) Method and device for displaying image based on virtual reality (VR) apparatus
US9160931B2 (en) Modifying captured image based on user viewpoint
WO2016118371A1 (en) Mixed reality system
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN114730094A (zh) 具有人工现实内容的变焦显示的人工现实系统
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US9990037B1 (en) Display apparatus and method using portable electronic device
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6509101B2 (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
CN112578562A (zh) 显示系统、显示方法以及记录介质
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
US11831976B2 (en) Display apparatus
US11854234B2 (en) Calibration of mobile electronic devices connected to headsets wearable by users
US20230308753A1 (en) Camera system for focusing on and tracking objects
US20230379594A1 (en) Image blending
JP2022113973A (ja) 表示方法、表示装置、及び、プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 4