|

Pengembangan Sistem Wearable Cerdas dengan Smart Band untuk Klasifikasi Jenis Pukulan Menggunakan Sensor IMU dan Model LSTM pada ESP32

Project Domain

Proyek BoxingHands jatuh ke dalam kategori Wearable Devices yang dipasangkan dengan web dashboard interaktif, yang dapat menyajikan statistik tinju yang dilakukan pengguna berupa grafik 2D, dilengkapi visualisasi garis pukulan 3D, menggunakan data real-time sensor IMU untuk klasifikasi jenis tinju oleh model CNN 1D yang berjalan di mikrokontroler ESP32. Komunikasi data antara ESP32 dengan web dashboard ditangani melalui protokol MQTT dengan QOS 2, sehingga real-time dan andal.

Meet the Team

Yudhistira

Data Comms & Acquisition

Fahmi Robbani

Machine Learning

Muhammad Rif'at F.

Electrical

Shadam J’Verron

Backend

Rafi Alutfi Zulfikar

Frontend

Problem Background

  • Pemula sering kesulitan untuk memulai tinju karena tidak menguasai teknik dasar.
  • Evaluasi masih subjektif dan mengandalkan pengamatan pelatih secara langsung atau melalui video rekaman.
  • Ketergantungan dan kurangnya pelatih bersertifikat.
  • Kurangnya alat evaluasi yang akurat mengakibatkan kesulitan dalam mengembangkan teknik secara optimal.
  • Tingginya risiko cedera akibat latihan yang tidak tepat.

Our Solution

Sebagai solusi, dikembangkan perangkat wearable berbentuk gelang cerdas yang dilengkapi dengan sensor Inertial Measurement Unit (IMU). Perangkat ini menggunakan CNN yang diimplementasikan pada ESP32 yang mampu:

  • Mengklasifikasikan pukulan secara otomatis berdasarkan data sensor yang dikumpulkan.
  • Mengakuisisi dan mengumpulkan data yang dapat digunakan oleh atlet dan pelatih sebagai dasar dalam menyusun strategi pelatihan yang lebih terukur dan berbasis bukti.

Prerequisites

🔧 Embedded Program (ESP32)

  • Adafruit MPU6050

  • Adafruit Unified Sensor

  • WiFi (bawaan ESP32 Core)

  • PubSubClient

  • TensorFlowLite_ESP32 (clone atau install secara manual jika tidak tersedia di library manager)

🌐 Web Dashboard (Python)

  • Flask
  • Paho MQTT

install menggunakan perintah berikut:

pip install flask paho-mqtt

Hardware Specs

Datasheet

Pinout

Schematics

System Block Diagram

Wiring

Demo

Technology Used

ESP32

Dalam konteks penelitian ini, ESP32 berperan sebagai pusat pemrosesan data yang mengelola input dan output dari sistem.

Inertial Measurement Unit

IMU sensor yang dipakai pada proyek ini adalah IMU dengan 6 Degree of Freedom (DoF) yang memiliki elemen akselerometer dan giroskop

MQTT

Bertanggungjawab atas komunikasi yang dilakukan. MQTT digunakan karena dapat mengirimkan berbagai topik sekaligus.

Convolutional Neural Network

Merupakan machine learning yang digunakan perangkat untuk bisa mengklasifikasikan pukulan kedalam 5 kelas.

TensorFlow Lite Micro

Teknologi yang digunakan untuk melakukan deployment ke microcontroller ESP32.

SQLite3

Tempat menyimpan data hasil latihan yang digunakan untuk melakukan evaluasi latihan tinju.

📲 Visit Our GitHub!

https://github.com/yudhisthereal/BoxingHands/tree/master

Similar Posts