KR102543817B1 - real road avtar image velocity position matching augmented reality interior bike - Google Patents
real road avtar image velocity position matching augmented reality interior bike Download PDFInfo
- Publication number
- KR102543817B1 KR102543817B1 KR1020220126316A KR20220126316A KR102543817B1 KR 102543817 B1 KR102543817 B1 KR 102543817B1 KR 1020220126316 A KR1020220126316 A KR 1020220126316A KR 20220126316 A KR20220126316 A KR 20220126316A KR 102543817 B1 KR102543817 B1 KR 102543817B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- avatar
- user
- unit
- speed
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
- A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
- A63B22/0605—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B23/00—Exercising apparatus specially adapted for particular parts of the body
- A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
- A63B23/04—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs
- A63B23/0476—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs by rotating cycling movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/30—Speed
- A63B2220/34—Angular speed
- A63B2220/35—Spin
Abstract
본 발명은 안장을 구비한 저전거 몸체, 회전체, 상기 회전체를 회전시키는 페달과 상기 페달 회전 속도를 감지하는 속도감지모듈(S)를 포함하는 실내 자전거(10)와, 사용자의 페달링 속도와 연동하는 실로드 영상 및 사용자 아바타 영상을 생성하여 제공하는 처리 제어부(100)와, 상기 처리 제어부(200)에서 수신되는 아바타와 실로드 영상이 포함된 융합 영상을 화면에 표출하는 디스플레이(200)를 포함하여 구성되되; 상기 처리 제어부(100)는, 일정 시간 간격(t1)으로 단위 시간당 복수의 프레임으로 주행 장면을 촬영한 촬영 영상(실사 영상)이 저장된 동영상 저장부(110)와, 사용자 아바타 형상이 미리 생성 저장되는 사용자 아바타 저장부로부터 사용자에 의해 선택된 아바타를 업로드하여 사용자 아바타 영상을 생성하는 사용자 아바타 생성부(120)와, 사용자의 실내 자전거 주행 속도와 주행 영상의 주행 속도를 매칭하여 주행 영상을 재생하고 사용자 아바타 영상을 융합하여 함께 재생하는 영상 융합 재생부(130)를 포함하여 구성되는 것을 특징으로 하는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크에 관한 것이다.The present invention relates to an indoor bicycle (10) including a bicycle body with a saddle, a rotating body, a pedal for rotating the rotating body, and a speed sensing module (S) for detecting the rotational speed of the pedal, and interlocking with the user's pedaling speed. A processing control unit 100 that generates and provides a seal road image and a user avatar image to be displayed, and a display 200 that displays a fusion image including the avatar and the seal road image received from the processing control unit 200 on a screen. It consists of; The processing control unit 100 includes a video storage unit 110 in which captured images (live-action images) in which a driving scene is captured in a plurality of frames per unit time at a predetermined time interval t1 are stored, and a user avatar shape is created and stored in advance The user avatar generator 120 generates a user avatar image by uploading an avatar selected by the user from the user avatar storage unit, matches the driving speed of the user's indoor bicycle with the driving speed of the driving image, reproduces the driving image, and reproduces the user avatar image. It relates to an augmented reality indoor bike for matching Sylrod image avatar speed location, characterized in that it is configured to include an image fusion reproducing unit 130 that fuses images and reproduces them together.
Description
본 발명은 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크에 관한 것이다.The present invention relates to an augmented reality indoor bike for matching the speed and location of a Silod image avatar.
한국 특허 KR 10-2108687(2019 10. 18일 출원)은 페달 속도가 연동된 콘텐츠를 제공하는 헬스 자전거 시스템에 있어서, 상기 콘텐츠가 실제 카메라를 통해 실제 장소가 촬영된 영상 또는 상기 실제 장소와 동일한 형태의 가상 영상에 해당하면서, 상기 실제 장소에서 도로를 중심으로 주변이 뒤로 이동하는 형태의 영상이라고 할 때, 헬스 자전거의 페달 속도를 센싱하는 페달링 속도 센서; 및 상기 페달링 속도 센서와 연결되어 상기 페달 속도에 대응하는 센서 값을 수신하고 상기 콘텐츠와 상기 센서 값을 실시간으로 연동하는 전자 장치;를 포함하고 상기 전자 장치는, 디스플레이를 포함하고, 상기 디스플레이를 통해 상기 콘텐츠를 표시하고, 상기 콘텐츠를 표시하는 동안 수신한 센서 값에 기반하여 주행 상태 정보를 획득하고, 상기 획득한 주행 상태 정보에 기반하여 상기 표시 중인 콘텐츠를 실시간으로 변경하며, 상기 주행 상태 정보는 i-1) 상기 콘텐츠의 주행 총 길이에서 현재 위치, i-2) 주행 속도, i-3) 출발부터 누적된 거리에 해당하는 주행 거리, i-4) 상기 주행 거리, 주행 시간 및 가중치를 고려하여 계산된 소모 칼로리를 포함하며, 상기 페달링 속도 센서는, 상기 헬스 자전거의 페달 크랭크 축에 부착되는 자석; 상기 자석에 인접하도록 상기 페달 크랭크 축 주변에 부착되는 자기 센서; 및 상기 자기 센서와 연결되어 상기 자기 센서로부터 센싱한 센서 값을 수신하며 상기 전자 장치와 연결되고 상기 헬스 자전거의 손잡이에 설치되는 회로 기판을 포함하고, 상기 센서 값은 페달 1회전 당 1번 센싱되어 시리얼 통신으로 전달되는 값에 해당하는 것을 특징으로 하는 페달 속도가 연동된 콘텐츠를 제공하는 페달 속도가 연동된 콘텐츠를 제공하는 헬스 자전거 시스템를 개시한다.Korean patent KR 10-2108687 (filed on October 18, 2019) is an exercise bike system that provides content linked to pedal speed, wherein the content is an image of a real place captured through a real camera or the same form as the real place A pedaling speed sensor that senses the pedaling speed of the exercise bike when it corresponds to the virtual image of the image in which the surroundings move backward around the road in the real place; and an electronic device that is connected to the pedaling speed sensor, receives a sensor value corresponding to the pedaling speed, and interlocks the content and the sensor value in real time, wherein the electronic device includes a display, and through the display displaying the content, obtaining driving state information based on a sensor value received while displaying the content, and changing the displayed content in real time based on the obtained driving state information; i-1) Current position in the total driving length of the content, i-2) Driving speed, i-3) Driving distance corresponding to the accumulated distance from departure, i-4) Considering the driving distance, driving time and weight. The pedaling speed sensor includes a magnet attached to a pedal crankshaft of the exercise bike; a magnetic sensor attached around the pedal crank shaft so as to be adjacent to the magnet; And a circuit board connected to the magnetic sensor to receive a sensor value sensed from the magnetic sensor and connected to the electronic device and installed on the handle of the exercise bike, the sensor value is sensed once per rotation of the pedal Disclosed is an exercise bike system that provides content linked to pedal speed, characterized in that it corresponds to a value transmitted through serial communication.
종래의 실내 바이크의 속도 방향을 디스플레이에 반영하는 실내 홈트레이닝용 가상 현실 자전거는 가상의 이미지 가상 로드에 아바타를 발생시켜서 현실감이 떨어지고 사용자의 흥미를 이끌어내지 못하는 문제점이 있었다.Conventional virtual reality bikes for indoor home training that reflect the speed direction of indoor bikes on the display generate an avatar on a virtual image virtual rod, so the reality is poor and the user's interest is not aroused.
본 발명은 운동자가 탑승한 실내 바이크의 운전 속도 방향을 디스플레이에 생성된 사용자 아바타 및 영상에 반영하고 실제 촬영된 실로드 영상을 사용함으로써 현실감을 증가시키고 운동효과뿐 아니라 기 촬영 영상을 감상하는 형태로 운동이 진행 될 수 있는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크를 제공하기 위한 것이다.The present invention reflects the driving speed direction of the indoor bike on which the exerciser rides on the user avatar and image generated on the display, and increases the sense of reality by using the actual filmed image of the road and enjoys not only the exercise effect but also the previously photographed image. It is to provide an augmented reality indoor bike that matches the speed and location of a real road image avatar that can exercise.
종래 기술은 촬영 영상의 일정 속도 주행 촬영으로 가정하여 재생 배속을 정함으로써 속도 변동 구간(횡단보도 서행 정지 촬영, 내리막길 과속 촬영)에서 실감이 떨어지는 문제점이 있었다. In the prior art, by assuming that the captured image is taken at a constant speed and the playback speed is determined, there is a problem in that the sense of reality is poor in the speed variation section (crosswalk slow stop shooting, downhill speed shooting).
본 발명은 영상 인식 기법으로 촬영 영상의 변동하는 주행 속도를 실시간 연산하여 재생 배속 결정에 반영함으로써 실로드 영상의 횡단보도 서행 정지 촬영, 내리막길 과속 촬영의 경우에도 사용자의 실제 주행감을 증가시킬수 있는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크를 제공하기 위한 것이다.The present invention is an image recognition technique, which calculates the fluctuating driving speed of a captured image in real time and reflects it in determining the reproduction speed, thereby increasing the actual driving feeling of the user even in the case of slow stop shooting of a crosswalk or speeding downhill road of a real road image. It is to provide road image avatar speed location matching augmented reality indoor bike.
본 발명은 영상 분석부에서 도로 선을 이용하여 소실점을 산출하고 이를 기초로 하여 사용자 아바타의 방향 전환을 자연스럽게 달성함으로써 사용자의 실제 주행감을 증가시킬수 있는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크를 제공하기 위한 것이다.The present invention calculates a vanishing point using a road line in an image analysis unit, and based on this, naturally achieves a change in direction of the user avatar, thereby increasing the user's actual driving feeling. Provides an augmented reality indoor bike that matches the speed and location of the real road video avatar It is to do.
<속도 실로드 영상 연동 재생><Interactive playback of speed seal road video>
본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크는, The seal road video avatar speed location matching augmented reality indoor bike of the present invention,
안장을 구비한 저전거 몸체, 회전체, 상기 회전체를 회전시키는 페달과 상기 페달 회전 속도를 감지하는 속도감지모듈(S)를 포함하는 실내 자전거(10)와, 사용자의 페달링 속도와 연동하는 실로드 영상 및 사용자 아바타 영상을 생성하여 제공하는 처리 제어부(100)와, 상기 처리 제어부(200)에서 수신되는 아바타와 실로드 영상이 포함된 융합 영상을 화면에 표출하는 디스플레이(200)를 포함하여 구성되되;An indoor bicycle (10) including a bicycle body with a saddle, a rotating body, a pedal for rotating the rotating body, and a speed sensing module (S) for detecting the rotational speed of the pedal, and a seal rod interlocking with the user's pedaling speed. It is configured to include a
상기 처리 제어부(100)는, 일정 시간 간격(t1)으로 단위 시간당 복수의 프레임으로 주행 장면을 촬영한 촬영 영상(실사 영상)이 저장된 동영상 저장부(110)와, 사용자 아바타 형상이 미리 생성 저장되는 사용자 아바타 저장부로부터 사용자에 의해 선택된 아바타를 업로드하여 사용자 아바타 영상을 생성하는 사용자 아바타 생성부(120)와, 사용자의 실내 자전거 주행 속도와 주행 영상의 주행 속도를 매칭하여 주행 영상을 재생하고 사용자 아바타 영상을 융합하여 함께 재생하는 영상 융합 재생부(130)를 포함하여 구성되는 것을 특징이다.The
<경쟁자 아바타 생성><Create Competitor Avatar>
본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크는, 경쟁자 정보 제공부(141)로부터 경쟁자 자전거의 주행 속도 와 및 위치 정보를 수신하여 경쟁자 아바타를 상기 실로드 동영상 속에 사용자 아바타와 대비되게 상대적으로 표출하는 경쟁자 아바타 생성부(140)를 더 포함하여 구성되는 것이 바람직하다.The seal road video avatar speed location matching augmented reality indoor bike of the present invention receives the driving speed and location information of the competitor's bicycle from the competitor information providing unit 141, and compares the competitor's avatar with the user's avatar in the seal road video. It is preferable to further include a competitor avatar generating unit 140 expressed as .
<촬영 영상의 실시간 주행속도 인식 반영에 의한 실감 재생><Real-time playback by reflecting the real-time driving speed recognition of the captured video>
본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크는, 실로드 촬영 영상에 존재하는 도로, 차량, 정지 객체를 인식하는 기능을 구비한 영상분석부(150);를 더 포함하여 구성된다. The seal road image avatar speed location matching augmented reality indoor bike of the present invention further includes an image analysis unit 150 having a function of recognizing roads, vehicles, and stationary objects existing in the seal road captured image.
상기 영상분석부(150)는 촬영된 주행 영상의 주행 속도(V_영상실시간)를 실시간으로 산출하여 영상 융합 재생부(130)에 전달하는 실시간 주행속도 인식부(151)를 구비하며, 상기 실시간 주행속도 인식부(151)는 프레임의 픽셀 이미지 안에서 정지된 것으로 분류되는 특정 객체를 인식하고, 제2 시간(t2)에 촬상된 과거 프레임의 픽셀 이미지(I2)과 제1 시간(t1)에 촬상된 현재되는 현재 프레임의 픽셀 이미지(I1) 안에서 양 프레임 간(사이) 상기 특정 객체의 위치의 차이, 객체 크기의 차이, 또는 객체가 찾이하는 픽셀 수의 차이를 이용하여, 일정 시간(t1 - t2) 동안 특정 객체의 이동 거리를 연산함으로써 주행 영상의 실시간 주행 속도를 추정한다.The video analysis unit 150 includes a real-time driving speed recognition unit 151 that calculates the driving speed ( V_video real-time ) of the captured driving video in real time and transmits it to the video convergence playback unit 130, and the real-time The traveling speed recognition unit 151 recognizes a specific object classified as stationary in the pixel image of the frame, and captures the pixel image I2 of the past frame captured at the second time t2 and the image captured at the first time t1. A certain time (t1 - During t2), the real-time driving speed of the driving image is estimated by calculating the moving distance of the specific object.
제2 시간(t2)에 촬상된 과거 프레임의 픽셀 이미지(I2)과 제1 시간(t1)에 촬상된 현재되는 현재 프레임의 픽셀 이미지(I1) 안에서 양 프레임 간(사이) 상기 특정 객체의 위치의 차이, 객체 크기의 차이, 또는 객체가 찾이하는 픽셀 수의 차이를 이용하여, 일정 시간(t1 - t2) 동안 특정 객체의 이동 거리를 연산함으로써 주행 영상의 실시간 주행 속도를 추정The position of the specific object between (between) both frames in the pixel image I2 of the past frame captured at the second time t2 and the pixel image I1 of the current frame captured at the first time t1 Estimate the real-time driving speed of the driving video by calculating the moving distance of a specific object for a certain period of time (t1 - t2) using the difference, the difference in object size, or the difference in the number of pixels found by the object
여기서, 영상 융합 재생부(130)는 Here, the image fusion reproducing unit 130
재생 배속 = V_자전거 / V_영상실시간 Playback speed = V_ bike / V _ video real-time
으로 실로드 영상을 재생한다.Play the Silode video with
<소실점 산정 : 사용자 아바타 방향 전환><Calculating the vanishing point: changing the direction of the user's avatar>
영상분석부(150)는 도로 좌측선, 우측선 또는 중앙선을 검출하여 실시간으로 현재 프레임의 소실점(vanishing point) 예측하고 메모리에 저장하는 실시간 소실점 산정부(155)를 구비하고, 상기 사용자 아바타 생성부(120)는 상기 실시간 소실점 산정부(155)로부터 소실점 정보를 수신하여 이를 기초로 하여 사용자 아바타의 방향 전환을 수행하는 것이 바람직하다.The image analysis unit 150 includes a real-time vanishing point calculating unit 155 that detects the left line, right line, or center line of the road, predicts a vanishing point of the current frame in real time, and stores the vanishing point in memory, and the user avatar generation unit It is preferable that 120 receives vanishing point information from the real-time vanishing point calculation unit 155 and changes the direction of the user avatar based on this.
영상분석부(150)는 도로 좌측선, 우측선 또는 중앙선을 검출하여 실시간으로 현재 프레임의 소실점(vanishing point) 예측하는 실시간 소실점 산정부(155)를 구비하고, The image analysis unit 150 includes a real-time vanishing point calculation unit 155 that detects the left line, right line, or center line of the road and predicts the vanishing point of the current frame in real time,
상기 영상분석부(150)는 상기 실시간 소실점 산정부(155)에서 산정된 소실점이 픽셀 영상의 좌측으로 이동하는 경우 촬영 카메라가 우회전하는 것으로 판단하고, 상기 실시간 소실점 산정부(155)에서 산정된 소실점이 픽셀 영상의 우측으로 이동하는 경우 촬영 영상이 좌회전하는 것으로 판단하고,The image analysis unit 150 determines that the camera is turning right when the vanishing point calculated by the real-time vanishing point calculation unit 155 moves to the left side of the pixel image, and the vanishing point calculated by the real-time vanishing point calculation unit 155 When moving to the right of the pixel image, it is determined that the captured image is turning left;
상기 사용자 아바타 생성부(120)는 상기 영상분석부(150)에서 판단된 촬영 카메라 회전 방향으로 아바타의 방향 전환을 수행하는 것이 바람직하다.It is preferable that the user avatar generation unit 120 converts the direction of the avatar in the rotation direction of the shooting camera determined by the image analysis unit 150 .
<경쟁자 아바타 사이즈 조절 - 거리> <Competitor Avatar Size Adjustment - Distance>
경쟁자 아바타 생성부(140)는 경쟁자 정보 제공부(141)로부터 수신된 경쟁자 위치 정보에 따라 경쟁자 아바타의 크기를 원근법으로 경쟁자 아바타 현재 크기를 표현하되,The competitor avatar creation unit 140 expresses the current size of the competitor's avatar in terms of the size of the competitor's avatar according to the location information of the competitor received from the competitor information providing unit 141,
h2(경쟁자 아바타 현재 크기) = h1( 기준선상 경쟁자 아바타 크기)× y2 / y1,h2 (competitor avatar current size) = h1 (competitor avatar size on baseline) × y2 / y1,
여기서, y2 : 소실점부터 경쟁자 아바타까지 픽셀 거리Where, y2: Distance in pixels from the vanishing point to the competitor's avatar
y1 : 소실점부터 기준선까지 픽셀 거리y1: pixel distance from the vanishing point to the baseline
인 것이 바람직하다.It is preferable to be
<목표지점 표식 : 도형 원형 표식><Target point marker: shape circular marker>
처리 제어부(100)는 표식 생성부(160)를 더 포함하고, 상기 표식 생성부(160)는 상기 실시간 소실점 산정부(155)에서 제공되는 소실점(vanishing point)을 기초로하여 사용자 아바타 캐릭터가 일정 시간 이후 도달이 예상되는 주행로 일지점에 진행 방향을 표시하는 목표 지점 표식을 도형 표식, 원형 표식 형태로 표출하는 것이 바람직하다.The
디스플레이(200)는 사용자의 운동거리, 속도, 소모 칼로리, 참가중인 경쟁자를 화면에 함께 표출하는 것이 바람직하다.It is preferable that the display 200 displays the user's exercise distance, speed, calories consumed, and participating competitors together on the screen.
본 발명에 따르는 경우, 운동자가 탑승한 실내 바이크의 운전 속도 방향을 디스플레이에 생성된 사용자 아바타 및 영상에 반영하고 실제 촬영된 실로드 영상을 사용함으로써 현실감을 증가시키고 운동효과뿐 아니라 기 촬영 영상을 감상하는 형태로 운동이 진행 될 수 있는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크가 제공된다.According to the present invention, by reflecting the driving speed direction of the indoor bike on which the exerciser rides on the user avatar and image generated on the display, and using the actually photographed seal road image, the sense of reality is increased and the exercise effect as well as the previously photographed image can be enjoyed. There is provided an augmented reality indoor bike for real road image avatar speed location matching that can exercise in the form of doing.
또한, 본 발명에 따르는 경우 영상 인식 기법으로 촬영 영상의 변동하는 주행 속도를 실시간 연산하여 재생 배속 결정에 반영함으로써 실로드 영상의 횡단보도 서행 정지 촬영, 내리막길 과속 촬영의 경우에도 사용자의 실제 주행감을 증가시킬수 있는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크가 제공된다.In addition, in the case of the present invention, real-time operation of the changing driving speed of the captured video using an image recognition technique is reflected in determining the playback speed, so that the actual driving feeling of the user can be improved even in the case of slow-moving stop shooting of a crosswalk or speeding downhill speed of a real road image. An augmented reality indoor bike that can increase the speed and location of the video avatar is provided.
또한, 본 발명에 따르는 경우 영상 분석부에서 도로 선을 이용하여 소실점을 산출하고 이를 기초로 하여 사용자 아바타의 방향 전환을 자연스럽게 달성함으로써 사용자의 실제 주행감을 증가시킬수 있는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크가 제공된다.In addition, according to the present invention, the image analysis unit calculates the vanishing point using the road line, and based on this, the direction change of the user avatar is naturally achieved, thereby increasing the user's actual driving feeling. Real road image avatar speed location matching Augmented reality Indoor bikes are provided.
도 1은 본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크 전체 구성도.
도 2는 본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크 사용 상태도(디스플레이).1 is an overall configuration diagram of a real road video avatar speed location matching augmented reality indoor bike of the present invention.
2 is a state diagram (display) of the use of an augmented reality indoor bike for speed location matching of a seal road video avatar of the present invention.
이하에서 본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크 전체 구성도, 도 2는 본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크 사용 상태도(디스플레이)이다.Hereinafter, with reference to the accompanying drawings, the seal road video avatar speed location matching augmented reality indoor bike of the present invention will be described in detail. 1 is an overall configuration diagram of the seal road video avatar speed location matching augmented reality indoor bike of the present invention, and FIG. 2 is a state diagram (display) of the seal road image avatar speed location matching augmented reality indoor bike of the present invention.
<속도 실로드 영상 연동 재생><Interactive playback of speed seal road video>
본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크는, The seal road video avatar speed location matching augmented reality indoor bike of the present invention,
안장을 구비한 저전거 몸체, 회전체, 상기 회전체를 회전시키는 페달과 상기 페달 회전 속도를 감지하는 속도감지모듈(S)를 포함하는 실내 자전거(10)와, 사용자의 페달링 속도와 연동하는 실로드 영상 및 사용자 아바타 영상을 생성하여 제공하는 처리 제어부(100)와, 상기 처리 제어부(200)에서 수신되는 아바타와 실로드 영상이 포함된 융합 영상을 화면에 표출하는 디스플레이(200)를 포함하여 구성되되;An indoor bicycle (10) including a bicycle body with a saddle, a rotating body, a pedal for rotating the rotating body, and a speed sensing module (S) for detecting the rotational speed of the pedal, and a seal rod interlocking with the user's pedaling speed. It is configured to include a
상기 처리 제어부(100)는, 일정 시간 간격(t1)으로 단위 시간당 복수의 프레임으로 주행 장면을 촬영한 촬영 영상(실사 영상)이 저장된 동영상 저장부(110)와, 사용자 아바타 형상이 미리 생성 저장되는 사용자 아바타 저장부로부터 사용자에 의해 선택된 아바타를 업로드하여 사용자 아바타 영상을 생성하는 사용자 아바타 생성부(120)와, 사용자의 실내 자전거 주행 속도와 주행 영상의 주행 속도를 매칭하여 주행 영상을 재생하고 사용자 아바타 영상을 융합하여 함께 재생하는 영상 융합 재생부(130)를 포함하여 구성되는 것을 특징이다.The
<경쟁자 아바타 생성><Create competitor avatar>
본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크는, 경쟁자 정보 제공부(141)로부터 경쟁자 자전거의 주행 속도 와 및 위치 정보를 수신하여 경쟁자 아바타를 상기 실로드 동영상 속에 사용자 아바타와 대비되게 상대적으로 표출하는 경쟁자 아바타 생성부(140)를 더 포함하여 구성되는 것이 바람직하다.The seal road video avatar speed location matching augmented reality indoor bike of the present invention receives the driving speed and location information of the competitor's bicycle from the competitor information providing unit 141, and compares the competitor's avatar with the user's avatar in the seal road video. It is preferable to further include a competitor avatar generating unit 140 expressed as .
<촬영 영상의 실시간 주행속도 인식 반영에 의한 실감 재생><Real-time playback by reflecting the real-time driving speed recognition of the captured video>
본 발명의 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크는, 실로드 촬영 영상에 존재하는 도로, 차량, 정지 객체를 인식하는 기능을 구비한 영상분석부(150);를 더 포함하여 구성된다. The seal road image avatar speed location matching augmented reality indoor bike of the present invention further includes an image analysis unit 150 having a function of recognizing roads, vehicles, and stationary objects existing in the seal road captured image.
상기 영상분석부(150)는 촬영된 주행 영상의 주행 속도(V_영상실시간)를 실시간으로 산출하여 영상 융합 재생부(130)에 전달하는 실시간 주행속도 인식부(151)를 구비하며, 상기 실시간 주행속도 인식부(151)는 프레임의 픽셀 이미지 안에서 정지된 것으로 분류되는 특정 객체를 인식하고, 제2 시간(t2)에 촬상된 과거 프레임의 픽셀 이미지(I2)과 제1 시간(t1)에 촬상된 현재되는 현재 프레임의 픽셀 이미지(I1) 안에서 양 프레임 간(사이) 상기 특정 객체의 위치의 차이, 객체 크기의 차이, 또는 객체가 찾이하는 픽셀 수의 차이를 이용하여, 일정 시간(t1 - t2) 동안 특정 객체의 이동 거리를 연산함으로써 주행 영상의 실시간 주행 속도를 추정한다.한다.The video analysis unit 150 includes a real-time driving speed recognition unit 151 that calculates the driving speed ( V_video real-time ) of the captured driving video in real time and transmits it to the video convergence playback unit 130, and the real-time The traveling speed recognition unit 151 recognizes a specific object classified as stationary in the pixel image of the frame, and captures the pixel image I2 of the past frame captured at the second time t2 and the image captured at the first time t1. A certain time (t1 - During t2), the real-time driving speed of the driving image is estimated by calculating the moving distance of the specific object.
여기서, 영상 융합 재생부(130)는 Here, the image fusion reproducing unit 130
재생 배속 = V_자전거 / V_영상실시간 Playback speed = V_ bike / V _ video real-time
으로 실로드 영상을 재생한다.Play the Silode video with
도 3과 같은 소실점의 산정과정은 1) 영상 분할(예를들어, K_means segmation, 영상 이진화), 2) 직선 검출, 3) 소실점 예측 단계가 적용될 수 있다.The process of calculating the vanishing point as shown in FIG. 3 may include 1) image segmentation (eg, K_means segmentation, image binarization), 2) straight line detection, and 3) vanishing point prediction.
본 발명의 일실시예에서 거리의 산정에 있어서 도 4와 같이, 소실점을 이용한 방법이 적용될 수 있다. In one embodiment of the present invention, in calculating the distance, a method using a vanishing point may be applied as shown in FIG. 4 .
L = a0(W1/W2) = a0(y1/y2)L = a 0 (W1/W2) = a 0 (y1/y2)
a0 : 촬영 영상 카메라 지점에서 기준선 까지의 거리 상수로서 일반적으로 전방 2~3m 지점에 설정된다. W1은 기준폭이며 예를들어 영상 내 도로 폭일 수 있고, W2는 관찰 지점의 폭을 나타낸다. y1은 소실점부터 기준선까지의 거리이고 y2는 소실점부터 관찰선까지 거리이다.a 0 : The distance constant from the shooting video camera point to the reference line, which is generally set 2 to 3 m in front. W1 is a reference width and may be, for example, the width of a road in an image, and W2 represents the width of an observation point. y1 is the distance from the vanishing point to the reference line, and y2 is the distance from the vanishing point to the observation line.
이때 V_영상실시간 = L / (t1 - t2)이다. At this time, V_video real time = L / (t1 - t2).
미리 알려진 촬영 영상의 정속 주행 속도값(예를들어 5m/s)을 사용하여 정지 객체의 이동 특성을 관찰함으로써 a0 : 거리 상수를 추출하고 이를 비정속 주행의 실시간 주행속도 연산에 사용할 수도 있다. By observing the moving characteristics of a stationary object using a constant speed value (for example, 5 m/s) of a previously known photographed image, a 0 : distance constant can be extracted and used for real-time speed calculation of non-constant speed driving.
또 다른 이동 거리 연산 방법으로서 픽셀 영상 그리드 방법을 적용할 수 있다. 픽셀 영상내 고정(정사각형) 그리드 또는 변환 그리드를 맵핑한 후 과거와 현재 프레임 간의 그리드 상 객체의 위치 이동을 통하여 프레임간 객체의 이동거리를 산정할 수 있다. 그리드별 이동거리는 시험치(고정 그리드) 또는 동차 변환(변환 그리드)을 통하여 월드 좌표와 영상 좌표의 관계를 산정할 수 있다.As another movement distance calculation method, a pixel image grid method may be applied. After mapping a fixed (square) grid or transformation grid within a pixel image, the moving distance of an object between frames can be calculated by moving the location of the object on the grid between the past and present frames. The movement distance per grid can calculate the relationship between world coordinates and image coordinates through test values (fixed grid) or homogeneous transformation (transformation grid).
<소실점 산정 : 사용자 아바타 방향 전환, 소실점 산정 과정><Calculation of vanishing point: conversion of user avatar direction, process of calculating vanishing point>
영상분석부(150)는 도로 좌측선, 우측선 또는 중앙선을 검출하여 실시간으로 현재 프레임의 소실점(vanishing point) 예측하고 메모리에 저장하는 실시간 소실점 산정부(155)를 구비하고, 상기 사용자 아바타 생성부(120)는 상기 실시간 소실점 산정부(155)로부터 소실점 정보를 수신하여 이를 기초로 하여 사용자 아바타의 방향 전환을 수행하는 것이 바람직하다.The image analysis unit 150 includes a real-time vanishing point calculating unit 155 that detects the left line, right line, or center line of the road, predicts a vanishing point of the current frame in real time, and stores the vanishing point in memory, and the user avatar generation unit It is preferable that 120 receives vanishing point information from the real-time vanishing point calculation unit 155 and changes the direction of the user avatar based on this.
영상분석부(150)는 도로 좌측선, 우측선 또는 중앙선을 검출하여 실시간으로 현재 프레임의 소실점(vanishing point) 예측하는 실시간 소실점 산정부(155)를 구비하고, The image analysis unit 150 includes a real-time vanishing point calculation unit 155 that detects the left line, right line, or center line of the road and predicts the vanishing point of the current frame in real time,
상기 영상분석부(150)는 상기 실시간 소실점 산정부(155)에서 산정된 소실점이 픽셀 영상의 좌측으로 이동하는 경우 촬영 카메라가 우회전하는 것으로 판단하고, 상기 실시간 소실점 산정부(155)에서 산정된 소실점이 픽셀 영상의 우측으로 이동하는 경우 촬영 영상이 좌회전하는 것으로 판단하고,The image analysis unit 150 determines that the camera is turning right when the vanishing point calculated by the real-time vanishing point calculation unit 155 moves to the left side of the pixel image, and the vanishing point calculated by the real-time vanishing point calculation unit 155 When moving to the right of the pixel image, it is determined that the captured image is turning left;
상기 사용자 아바타 생성부(120)는 상기 영상분석부(150)에서 판단된 촬영 카메라 회전 방향으로 아바타의 방향 전환을 수행하는 것이 바람직하다.It is preferable that the user avatar generation unit 120 converts the direction of the avatar in the rotation direction of the shooting camera determined by the image analysis unit 150 .
도 3과 같은 소실점의 산정과정은 1) 영상 분할(예를들어, K_means segmation, 영상 이진화), 2) 직선 검출, 3) 소실점 예측 단계가 적용될 수 있다.The process of calculating the vanishing point as shown in FIG. 3 may include 1) image segmentation (eg, K_means segmentation, image binarization), 2) straight line detection, and 3) vanishing point prediction.
<경쟁자 아바타 사이즈 조절 - 거리> <Competitor Avatar Size Adjustment - Distance>
도 4에 도시된 바와 같이, 경쟁자 아바타 생성부(140)는 경쟁자 정보 제공부(141)로부터 수신된 경쟁자 위치 정보에 따라 경쟁자 아바타의 크기를 원근법으로 경쟁자 아바타 현재 크기를 표현하는 것이 바람직하다.As shown in FIG. 4 , it is preferable that the competitor avatar generator 140 express the current size of the competitor's avatar in perspective according to the location information of the competitor received from the competitor information providing unit 141 .
h2(경쟁자 아바타 현재 크기) = h1( 기준선상 경쟁자 아바타 크기)× y2 / y1 이고,h2 (competitor avatar current size) = h1 (competitor avatar size on baseline) × y2 / y1,
여기서, y2 : 소실점부터 경쟁자 아바타까지 픽셀 거리Where, y2: Distance in pixels from the vanishing point to the competitor's avatar
y1 : 소실점부터 기준선까지 픽셀 거리y1: pixel distance from the vanishing point to the baseline
이다. am.
<목표지점 표식 : 도형 원형 표식><Target point marker: shape circular marker>
처리 제어부(100)는 표식 생성부(160)를 더 포함하고, 상기 표식 생성부(160)는 상기 실시간 소실점 산정부(155)에서 제공되는 소실점(vanishing point)을 기초로하여 사용자 아바타 캐릭터가 일정 시간 이후 도달이 예상되는 주행로 일지점에 진행 방향을 표시하는 목표 지점 표식을 도형 표식, 원형 표식 형태로 표출하는 것이 바람직하다.The
디스플레이(200)는 사용자의 운동거리, 속도, 소모 칼로리, 참가중인 경쟁자를 화면에 함께 표출하는 것이 바람직하다.It is preferable that the display 200 displays the user's exercise distance, speed, calories consumed, and participating competitors together on the screen.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.Although the present invention has been described in relation to the preferred embodiments mentioned above, the scope of the present invention is not limited to these embodiments, and the scope of the present invention is defined by the following claims, and the scope equivalent to the present invention It will contain various modifications and variations pertaining to.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.The reference numerals described in the claims below are merely to aid understanding of the invention and do not affect the interpretation of the scope of rights, and the scope of rights should not be interpreted narrowly by the reference numerals described.
10 : 실내 자전거
S : 속도감지모듈
100 : 처리 제어부
110 : 동영상 저장부
120 : 사용자 아바타 생성부
130 : 영상 융합 재생부
140 : 경쟁자 아바타 생성부
141 : 경쟁자 정보 제공부
150 : 영상분석부
151 : 실시간 주행속도 인식부
155 : 실시간 소실점 산정부
200 : 디스플레이10: Indoor bike
S: speed detection module
100: processing control unit
110: video storage unit
120: user avatar creation unit
130: video fusion playback unit
140: competitor avatar generation unit
141: competitor information provision department
150: image analysis unit
151: real-time driving speed recognition unit
155: real-time vanishing point calculator
200: display
Claims (8)
사용자의 페달링 속도와 연동하는 실로드 영상 및 사용자 아바타 영상을 생성하여 제공하는 처리 제어부(100)와,
상기 처리 제어부(100)에서 수신되는 아바타와 실로드 영상이 포함된 융합 영상을 화면에 표출하는 디스플레이(200)를 포함하여 구성되되;
상기 처리 제어부(100)는,
일정 시간 간격(t1)으로 단위 시간당 복수의 프레임으로 주행 장면을 촬영한 촬영 영상(실사 영상)이 저장된 동영상 저장부(110)와,
사용자 아바타 형상이 미리 생성 저장되는 사용자 아바타 저장부로부터 사용자에 의해 선택된 아바타를 업로드하여 사용자 아바타 영상을 생성하는 사용자 아바타 생성부(120)와,
사용자의 실내 자전거 주행 속도와 주행 영상의 주행 속도를 매칭하여 주행 영상을 재생하고 사용자 아바타 영상을 융합하여 함께 재생하는 영상 융합 재생부(130)와,
경쟁자 정보 제공부(141)로부터 경쟁자 자전거의 주행 속도 와 및 위치 정보를 수신하여 경쟁자 아바타를 상기 실로드 동영상 속에 사용자 아바타와 대비되게 상대적으로 표출하는 경쟁자 아바타 생성부(140)와,
실로드 촬영 영상에 존재하는 도로, 차량, 정지 객체를 인식하는 기능을 구비한 영상분석부(150)를 포함하여 구성되고;
상기 영상분석부(150)는 촬영된 주행 영상의 주행 속도(V_영상실시간)를 실시간으로 산출하여 영상 융합 재생부(130)에 전달하는 실시간 주행속도 인식부(151)를 구비하며,
상기 실시간 주행속도 인식부(151)는,
프레임의 픽셀 이미지 안에서 정지된 것으로 분류되는 특정 객체를 인식하고,
제2 시간(t2)에 촬상된 과거 프레임의 픽셀 이미지(I2)과 제1 시간(t1)에 촬상된 현재되는 현재 프레임의 픽셀 이미지(I1) 안에서 양 프레임 간(사이) 상기 특정 객체의 위치의 차이, 객체 크기의 차이, 또는 객체가 찾이하는 픽셀 수의 차이를 이용하여, 일정 시간(t1 - t2) 동안 특정 객체의 이동 거리를 연산함으로써 주행 영상의 실시간 주행 속도를 추정하고,
상기 영상 융합 재생부(130)는
재생 배속 = V_자전거 / V_영상실시간
으로 실로드 영상을 재생하고;
상기 영상분석부(150)는 도로 좌측선, 우측선 또는 중앙선을 검출하여 실시간으로 현재 프레임의 소실점(vanishing point) 예측하고 메모리에 저장하는 실시간 소실점 산정부(155)를 구비하고,
상기 사용자 아바타 생성부(120)는 상기 실시간 소실점 산정부(155)로부터 소실점 정보를 수신하여 이를 기초로 하여 사용자 아바타의 방향 전환을 수행하고;
상기 영상분석부(150)는 도로 좌측선, 우측선 또는 중앙선을 검출하여 실시간으로 현재 프레임의 소실점(vanishing point) 예측하는 실시간 소실점 산정부(155)를 구비하고,
상기 영상분석부(150)는 상기 실시간 소실점 산정부(155)에서 산정된 소실점이 픽셀 영상의 좌측으로 이동하는 경우 촬영 카메라가 우회전하는 것으로 판단하고, 상기 실시간 소실점 산정부(155)에서 산정된 소실점이 픽셀 영상의 우측으로 이동하는 경우 촬영 영상이 좌회전하는 것으로 판단하고,
상기 사용자 아바타 생성부(120)는 상기 영상분석부(150)에서 판단된 촬영 카메라 회전 방향으로 아바타의 방향 전환을 수행하고;
상기 경쟁자 아바타 생성부(140)는 경쟁자 정보 제공부(141)로부터 수신된 경쟁자 위치 정보에 따라 경쟁자 아바타의 크기를 원근법으로 경쟁자 아바타 현재 크기를 표현하되,
h2(경쟁자 아바타 현재 크기) = h1( 기준선상 경쟁자 아바타 크기)× y2 / y1
h2 = h1× y2 / y1
여기서, y2 : 소실점부터 경쟁자 아바타까지 픽셀 거리
y1 : 소실점부터 기준선까지 픽셀 거리
인 것을 특징으로 하는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크.
An indoor bicycle (10) including a bicycle body having a saddle, a rotating body, a pedal for rotating the rotating body, and a speed sensing module (S) for detecting a rotational speed of the pedal;
A processing control unit 100 that generates and provides a thread road image and a user avatar image linked to the user's pedaling speed;
It is configured to include a display 200 that displays a fusion image including an avatar and a seal road image received from the processing control unit 100 on a screen;
The processing control unit 100,
A video storage unit 110 in which captured images (live-action images) in which a driving scene is photographed at a plurality of frames per unit time at a predetermined time interval t1 are stored;
a user avatar generation unit 120 for generating a user avatar image by uploading an avatar selected by a user from a user avatar storage unit in which a user avatar shape is created and stored in advance;
An image fusion playback unit 130 that reproduces a driving image by matching the driving speed of the user's indoor bicycle with the driving speed of the driving image and fuses and reproduces the user's avatar image together;
A competitor avatar generation unit 140 that receives the running speed and location information of the competitor's bicycle from the competitor information provider 141 and relatively expresses the competitor's avatar in contrast to the user's avatar in the seal road video;
It is configured to include an image analysis unit 150 having a function of recognizing roads, vehicles, and stationary objects existing in the actual road-captured image;
The video analysis unit 150 includes a real-time driving speed recognition unit 151 that calculates the driving speed ( V_video real-time ) of the captured driving video in real time and transmits it to the video convergence playback unit 130,
The real-time driving speed recognition unit 151,
Recognize specific objects that are classified as stationary within the pixel image of the frame,
The position of the specific object between (between) both frames in the pixel image I2 of the past frame captured at the second time t2 and the pixel image I1 of the current frame captured at the first time t1 Estimating the real-time driving speed of the driving image by calculating the moving distance of a specific object for a certain time period (t1 - t2) using the difference, the difference in object size, or the difference in the number of pixels found by the object,
The image fusion reproducing unit 130
Playback speed = V_ bike / V _ video real-time
replaying the seal road image with;
The image analysis unit 150 includes a real-time vanishing point calculation unit 155 that detects the left line, right line, or center line of the road, predicts the vanishing point of the current frame in real time, and stores it in memory,
The user avatar generator 120 receives vanishing point information from the real-time vanishing point calculation unit 155, and converts the direction of the user avatar based on the vanishing point information;
The image analysis unit 150 includes a real-time vanishing point calculating unit 155 that detects the left line, right line or center line of the road and predicts the vanishing point of the current frame in real time,
The image analysis unit 150 determines that the camera is turning right when the vanishing point calculated by the real-time vanishing point calculation unit 155 moves to the left side of the pixel image, and the vanishing point calculated by the real-time vanishing point calculation unit 155 When moving to the right of the pixel image, it is determined that the captured image is turning left;
The user avatar generation unit 120 converts the direction of the avatar in the rotation direction of the shooting camera determined by the image analysis unit 150;
The competitor avatar creation unit 140 expresses the current size of the competitor avatar in perspective according to the location information of the competitor received from the competitor information providing unit 141,
h2 (competitor avatar current size) = h1 (competitor avatar size on baseline) × y2 / y1
h2 = h1 × y2 / y1
Where, y2: Distance in pixels from the vanishing point to the competitor's avatar
y1: pixel distance from the vanishing point to the baseline
A seal road video avatar speed location matching augmented reality indoor bike, characterized in that.
상기 처리 제어부(100)는 표식 생성부(160)를 더 포함하고,
상기 표식 생성부(160)는 상기 실시간 소실점 산정부(155)에서 제공되는 소실점(vanishing point)을 기초로하여 사용자 아바타 캐릭터가 일정 시간 이후 도달이 예상되는 주행로 일지점에 진행 방향을 표시하는 목표 지점 표식을 도형 표식, 원형 표식 형태로 표출하는 것을 특징으로 하는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크.
According to claim 6,
The processing control unit 100 further includes a mark generating unit 160,
The mark generation unit 160 aims to display the direction of travel at a point on a driving route where the user avatar character is expected to reach after a certain time based on the vanishing point provided by the real-time vanishing point calculation unit 155. A seal road video avatar speed location matching augmented reality indoor bike, characterized in that the point mark is expressed in the form of a figure mark or a circular mark.
상기 디스플레이(200)는 사용자의 운동거리, 속도, 소모 칼로리, 참가중인 경쟁자를 화면에 함께 표출하는 것을 특징으로 하는 실로드 영상 아바타 속도 위치 매칭 증강현실 실내 바이크.According to claim 6,
The display 200 is a real road video avatar speed location matching augmented reality indoor bike, characterized in that the user's exercise distance, speed, calories consumed, and participating competitors are displayed together on the screen.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220126316A KR102543817B1 (en) | 2022-10-04 | 2022-10-04 | real road avtar image velocity position matching augmented reality interior bike |
| KR1020230072641A KR20240047901A (en) | 2022-10-04 | 2023-06-07 | real road avtar image velocity position matching augmented reality interior bike |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220126316A KR102543817B1 (en) | 2022-10-04 | 2022-10-04 | real road avtar image velocity position matching augmented reality interior bike |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230072641A Division KR20240047901A (en) | 2022-10-04 | 2023-06-07 | real road avtar image velocity position matching augmented reality interior bike |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102543817B1 true KR102543817B1 (en) | 2023-06-19 |
Family
ID=86988285
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220126316A KR102543817B1 (en) | 2022-10-04 | 2022-10-04 | real road avtar image velocity position matching augmented reality interior bike |
| KR1020230072641A KR20240047901A (en) | 2022-10-04 | 2023-06-07 | real road avtar image velocity position matching augmented reality interior bike |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230072641A KR20240047901A (en) | 2022-10-04 | 2023-06-07 | real road avtar image velocity position matching augmented reality interior bike |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102543817B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040043280A (en) * | 2002-11-18 | 2004-05-24 | 한국전자통신연구원 | System and method for embodying virtual reality |
| JP2011097988A (en) * | 2009-11-04 | 2011-05-19 | Pioneer Electronic Corp | Training support device |
| JP2022097318A (en) * | 2020-12-18 | 2022-06-30 | 健介 江口 | Virtual space marathon event management system |
-
2022
- 2022-10-04 KR KR1020220126316A patent/KR102543817B1/en active IP Right Grant
-
2023
- 2023-06-07 KR KR1020230072641A patent/KR20240047901A/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040043280A (en) * | 2002-11-18 | 2004-05-24 | 한국전자통신연구원 | System and method for embodying virtual reality |
| JP2011097988A (en) * | 2009-11-04 | 2011-05-19 | Pioneer Electronic Corp | Training support device |
| JP2022097318A (en) * | 2020-12-18 | 2022-06-30 | 健介 江口 | Virtual space marathon event management system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240047901A (en) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11554785B2 (en) | Driving scenario machine learning network and driving environment simulation | |
| CN103797530B (en) | Vehicle periphery monitoring device | |
| KR100801827B1 (en) | VlDEO TYPE JUDGMENT SYSTEM, VlDEO PROCESSlNG SYSTEM, VIDEO PROCESSING METHOD, AND VIDEO PROCESSING PROGRAM | |
| US6366221B1 (en) | Rendering device | |
| CN101780321A (en) | Method for making high-presence virtual reality of exercise fitness equipment, and interactive system and method based on virtual reality | |
| EP1922863B1 (en) | System and method for managing the visual effects insertion in a video stream | |
| TWI548276B (en) | Method and computer-readable media for visualizing video within existing still images | |
| CN108939418A (en) | A kind of VR body-building interactive system based on unity 3D | |
| CN102592456B (en) | Video-based vehicle speed measuring method | |
| KR102349915B1 (en) | Image creation record display device and program for moving object | |
| JP2010178777A (en) | Exercise system with display function | |
| WO2004008744A1 (en) | Road and other flat object video plan-view developing image processing method, reverse developing image conversion processing method, plan-view developing image processing device, and reverse developing image conversion processing device | |
| CN107346174B (en) | Interaction method and system for real environment and virtual environment | |
| KR102543817B1 (en) | real road avtar image velocity position matching augmented reality interior bike | |
| CN114119896A (en) | Driving path planning method | |
| JP5825713B2 (en) | Dangerous scene reproduction device for vehicles | |
| JP6697115B2 (en) | Image generating / recording / displaying device for moving body and program | |
| KR101912430B1 (en) | Method for providing virtual reality contents | |
| KR102467903B1 (en) | Method for presenting motion by mapping of skeleton employing Augmented Reality | |
| Rizzoli et al. | SynDrone-Multi-Modal UAV Dataset for Urban Scenarios | |
| KR101703316B1 (en) | Method and apparatus for measuring velocity based on image | |
| CN115445183A (en) | Indoor bicycle matched with real road image and speed position | |
| CN116974416A (en) | Data processing method, device, equipment and readable storage medium | |
| CN115564929A (en) | Method for dynamic real-time perspective fusion of virtual character and real scene | |
| CN114898275A (en) | Student activity track analysis method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |