هوش مصنوعی در ورزش شمشیربازی

تا به حال مسابقات شمشیربازی را تماشا کرده‌اید؟ ورزشی اصیل و پرهیجان که در کنار تمام جذابیت‌هایش، یک چالش بزرگ برای تماشاگران به همراه دارد: سرعت سرسام‌آور! حرکات نوک شمشیر به قدری سریع است که چشم انسان به‌سختی می‌تواند آن‌ها را تعقیب کند. به همین دلیل، بیننده عادی اغلب متوجه نمی‌شود که ضربه دقیقا چگونه، چه زمانی و به کجا اصابت کرده است! اما خبر خوب این است که تکنولوژی به کمک این ورزش و هوادارانش آمده است. هوش مصنوعی و به‌طور دقیق‌تر بینایی کامپیوتر (Computer Vision) وارد میدان شده‌اند تا این محدودیت بصری را از بین ببرند و تجربه‌ای شفاف، مدرن و فوق‌العاده جذاب را به علاقه‌مندان این ورزش ارائه دهند. در این مقاله می‌خواهم شما را با یک پروژه جذاب به نام Fencing Visualized آشنا کنم؛ پروژه‌ای که نحوه تماشای شمشیربازی را برای همیشه تغییر می‌دهد.

از یک ایده جسورانه تا واقعیت افزوده: مسیر تکامل پروژه Fencing Visualized

همه چیز از سال ۲۰۱۳ شروع شد؛ زمانی که یوکی اوتا (Yuki Ota)، اولین مدال‌آور المپیک ژاپن در رشته شمشیربازی، با همکاری شرکت Dentsu یک پروژه تحقیق و توسعه (R&D) را کلید زدند که هدفش بهبود تجربه/لذت تماشای بازی‌های ورزشی به کمک تکنولوژی بود.

تکنولوژی + ورزش = لذت بیشتر تماشاگر

در همین راستا، شرکت Rhizomatiks ایده هیجان‌انگیزی را مطرح کرد: بصری‌سازی نوک شمشیرها! هدف این بود که درک حرکات شمشیربازی ساده‌تر شود و تماشای آن برای مخاطب عام جذابیت بیشتری پیدا کند. با ساخت نمونه‌های اولیه، پروژه Fencing Visualized رسما متولد شد.

گام‌های اول: از مارکرها تا پیشنهاد میزبانی المپیک

همان‌طور که می‌دانید، دنبال کردن نوک شمشیر با چشم غیرمسلح تقریبا غیرممکن است. اما تیم توسعه شرکت Rhizomatiks به این نتیجه رسید که می‌توان با نصب یک نشانگر (Marker) کوچک روی نوک شمشیر و استفاده از دوربین‌های پرسرعت، این حرکات را ثبت کرد. پس از انجام مطالعات امکان‌سنجی، مشخص شد که حتی با تکنولوژی‌های سال ۲۰۱۲ نیز این کار شدنی است.

نتیجه این تلاش‌ها، تولید ویدئوهایی بود که مسیر حرکت نوک شمشیر را با فناوری واقعیت افزوده (AR) به تصویر می‌کشیدند؛ ویدئوهای جذابی که حتی در کمپین موفق توکیو برای گرفتن میزبانی المپیک ۲۰۲۰ نیز مورد استفاده قرار گرفتند.

خداحافظی با مارکرها: ورود بینایی کامپیوتر به میدان 👑

در سال‌های ۲۰۱۳ تا ۲۰۱۷، سیستم متکی به تکنولوژی موشن‌کپچر، مارکرها و اضافه کردن جلوه‌های AR در مرحله تدوین یا پخش زنده بود. اما تیم پروژه پیش‌بینی می‌کرد که با سرعت پیشرفت یادگیری ماشین و بینایی کامپیوتر، تا زمان المپیک توکیو 2020 می‌توان این سیستم را بدون نشانگر فیزیکی در مسابقات واقعی پیاده‌سازی کرد. از سال ۲۰۱۶، چالش اصلی آغاز شد:

توسعه سیستمی که بتواند نوک شمشیر را تنها از طریق تصاویر دوربین و بدون کوچک‌ترین مزاحمتی برای ورزشکار (مارکر) تشخیص دهد.

این کار اصلا ساده نیست! شمشیرها با سرعت وحشتناکی حرکت می‌کنند، هنگام ضربه زدن به شدت خم می‌شوند و تغییر فرم می‌دهند. از همه مهم‌تر، نوک شمشیر حتی در باکیفیت‌ترین دوربین‌های 4K، تنها چند پیکسل از تصویر را اشغال می‌کند که برای سیستم‌های سنتی پردازش تصویر، هدفی بیش از حد کوچک است.

راه‌حل: شبکه عصبی عمیق و ۲۴ دوربین همزمان

برای غلبه بر این چالش، تیم مهندسی روشی بر پایه‌های شبکه‌های عصبی عمیق توسعه داد. آن‌ها با استفاده از الگوریتم معروف YOLOv3 و ترکیب آن با سخت‌افزارها و پیکربندی خاص دوربین‌ها، موفق شدند موقعیت نوک شمشیر را با دقتی بی‌نظیر تشخیص دهند. بازهم یولو! 😋

از آنجا که هر دوربین تنها می‌توانست ۸ متر از پیست را پوشش دهد، مجموعه‌ای از ۲۴ دوربین در دو طرف میدان مسابقه نصب شد. این پوشش همه‌جانبه یک دستاورد دیگر هم داشت؛ باعث شد با ترکیب داده‌های دوبعدی دوربین‌های مختلف، بتوان به یک تخمین موقعیت سه‌بعدی (3D) دست پیدا کرد.

تکامل نهایی: ورود به مسابقات واقعی

پس از نمایش موفقیت‌آمیز در سال ۲۰۱۸، این سیستم در سال ۲۰۱۹ برای اولین بار وارد رقابت‌های واقعی (قهرمانی شمشیربازی ژاپن) شد. ورود به مسابقات واقعی یک جهش بزرگ بود؛ حالا سیستم نه‌تنها موقعیت نوک شمشیر را به صورت سه‌بعدی تشخیص می‌داد، بلکه زاویه شمشیر و موقعیت گارد (محافظ دست) را نیز ردیابی می‌کرد.

همچنین، با افزودن تخمین ژست بدن (Pose Estimation)، جلوه‌های بصری واقعیت افزوده از حالت دوبعدیِ ساده به انیمیشن‌های سه‌بعدی و دقیق ارتقا یافتند. حالا دیگر شمشیربازی به ورزشی تبدیل شده بود که هر تماشاگری، فارغ از میزان آشنایی‌اش با قوانین، می‌توانست از تماشای نبردهای برق‌آسای آن لذت ببرد.

داده آموزشی: از صدها هزار تصویر واقعی تا خلق میلیون‌ها داده مجازی

برای ورود این سیستم به میدان واقعی مسابقات، دقت حرف اول را می‌زد؛ بنابراین به یک مجموعه داده (Dataset) بسیار غنی برای آموزش مدل‌های یادگیری ماشین نیاز بود. تیم Kiramesse Numazu، با استفاده از ۸ دوربین و حضور ۱۲ شمشیرباز، سناریوهای مختلفی را با نورپردازی‌ها و پس‌زمینه‌های متفاوت فیلم‌برداری کرد. نتیجه این تلاش متمرکز، برچسب‌گذاری (Annotate and Label) بیش از ۲۰۰,۰۰۰ تصویر واقعی بود.

اما برای رسیدن به بی‌نقص‌ترین حالت ممکن، تصاویر واقعی کافی نبودند. در گام بعدی، با تکنیک افزایش داده‌ها (Data Augmentation)، بیش از یک میلیون مجموعه داده گرافیکی ساختگی تولید شد. ایده تولید داده ساختگی کمک می‌کند که داده‌هایی شامل تغییرات پیچیده در پس‌زمینه، ظاهر شمشیر و نورپردازی‌های متفاوت ایجاد شود و به عنوان داده‌های آموزشی به سیستم تزریق شود.

حاصل این مجموعه داده عظیم، توسعه یک الگوریتم و سیستم بسیار دقیق‌تر بود که توانست محدودیت‌های پیشین در ردیابی را به طور کامل از بین ببرد. با ارتقای سیستم تخمین موقعیت نوک شمشیر از حالت ۲ بعدی به ۳ بعدی و لحاظ کردن متغیرهای پیچیده و مختص ورزش شمشیربازی، سیستمی به مراتب پایدارتر متولد شد که با اطمینان کامل قابلیت استفاده در مسابقات واقعی را داشت.

چه درس‌هایی می‌توان از این پروژه گرفت؟

به عنوان یک مدرس و فعال در حوزه هوش مصنوعی، وقتی به مسیر تکامل این پروژه نگاه می‌کنم، درس‌های بسیار ارزشمندی در آن می‌بینم که فراتر از کدنویسی و الگوریتم‌هاست. اگر بخواهیم مهم‌ترین آموزه‌های این پروژه بیش از ده ساله را مرور کنیم، به این موارد می‌رسیم:

• پادشاهی بی‌چون‌وچرای داده‌ها: مهم‌ترین درس این پروژه این است که بهترین سیستم‌های هوش مصنوعی، لزوما پیچیده‌ترین الگوریتم‌ها را ندارند، بلکه بهترین داده‌ها را در اختیار دارند. جمع‌آوری ۲۰۰ هزار تصویر واقعی و ساخت بیش از یک میلیون داده مجازی، نشان می‌دهد که برای رسیدن به دقت در سطح مسابقات جهانی، باید روی کیفیت و کمیت داده‌ها سرمایه‌گذاری عظیمی کرد.
• ماکت: برای من جالب است که برای این پروژه یک ماکت تمام عیار ساخته شده است. محیطی ساخته‌اند که بتوانند به‌راحتی مراحل تحقیق و توسعه را پیش ببرند.
• تکامل تدریجی؛ هنر خلق، نه رویاپردازی فضایی: تعریف کردن یک پروژه تخیلی و غیرممکن هنر نیست؛ هنر واقعی تعریف یک پروژه ممکن و توسعه مداوم آن است. این پروژه از سال ۲۰۱۲ با یک ایده ساده (مارکر فیزیکی) شروع شد و قدم‌به‌قدم طی یک دهه به بلوغ رسید تا اینکه امروز به یک سیستم کاملا هوشمند و بدون مارکر تبدیل شده است.
• بینایی کامپیوتر، فراتر از یک الگوریتم آماده (مثل YOLO): خیلی از تازه‌کارها فکر می‌کنند هوش مصنوعی یعنی دانلود یک مدل آماده و آموزش دادن آن! اگرچه در این پروژه از الگوریتم معروف YOLO استفاده شده، اما راز موفقیت در مهندسی سیستم است؛ کارهایی مثل تغییر ساختار الگوریتم به صورت سلسله‌مراتبی، همگام‌سازی ۲۴ دوربین همزمان، ترکیب داده‌های دوبعدی برای رسیدن به مختصات سه‌بعدی و ادغام آن با تخمین ژست بدن نشان می‌دهند که بینایی کامپیوتر صرفا یولو نیست.
• تولید داده‌های مصنوعی (Synthetic Data)، کلید حل بن‌بست‌ها: وقتی داده‌های واقعی در شرایط مختلف (نور، پس‌زمینه و خم شدن شمشیر) کافی نبودند، تیم توسعه منتظر نماند؛ آن‌ها با استفاده از گرافیک کامپیوتری (CG) میلیون‌ها داده مجازی تولید کردند. این یک تکنیک بسیار پیشرو در هوش مصنوعی است تا محدودیت‌های فیزیکی دور زده شوند.
• تکنولوژی در خدمت انسان و تجربه کاربری: در نهایت، هدف تمام این شبکه‌های عصبی پیچیده و پردازش‌های سنگین، فخرفروشی تکنولوژیک نبود؛ بلکه هدف لذت‌بخش‌تر کردن تماشای یک ورزش، شاید جذب تماشاگران بیشتر و طبیعتا سرمایه بیشتر بود. هوش مصنوعی زمانی به اوج موفقیت می‌رسد که یک مشکل واقعی را حل کند و تجربه‌ای زیبا و کاربردی برای انسان‌ها بیافریند.

منبع