کاهش ۱۰ برابری هزینه استنتاج هوش مصنوعی با Blackwell انویدیا؛ اما سخت‌افزار تنها نصف ماجراست!

خبر داغ برای فعالان حوزه هوش مصنوعی! انویدیا با پلتفرم جدید Blackwell خودش، هزینه استنتاج (Inference) مدل‌های هوش مصنوعی رو تا ۱۰ برابر کاهش داده. البته این کاهش چشمگیر، فقط به خاطر سخت‌افزار نیست و نرم‌افزار هم نقش مهمی داره. گزارش‌های جدید نشون می‌ده که شرکت‌هایی مثل Baseten، DeepInfra، Fireworks AI و Together AI با استفاده از Blackwell و مدل‌های متن‌باز، تونستن هزینه‌ها رو به شکل قابل توجهی پایین بیارن.

این کاهش هزینه فوق‌العاده، حاصل ترکیب قدرت سخت‌افزاری Blackwell، نرم‌افزارهای بهینه‌سازی شده و استفاده از مدل‌های متن‌باز به جای مدل‌های اختصاصی و گران‌قیمت بوده. در واقع، سخت‌افزار به تنهایی حدود ۲ برابر بهبود ایجاد کرده، اما برای رسیدن به اون کاهش هزینه ۱۰ برابری، باید از فرمت‌های کم‌دقت مثل NVFP4 هم استفاده کرد و قید API های انحصاری رو زد. این یعنی برای کاهش هزینه‌ها، باید روی زیرساخت‌های قوی‌تر سرمایه‌گذاری کرد، چون افزایش توان پردازشی، مستقیماً به کاهش هزینه‌ها منجر می‌شه.

برای مثال، Sully.ai با استفاده از پلتفرم Blackwell و مدل‌های متن‌باز، هزینه‌های استنتاج هوش مصنوعی در حوزه سلامت رو تا ۹۰ درصد کاهش داده و سرعت پاسخگویی رو هم ۶۵ درصد افزایش داده. شرکت Latitude هم با استفاده از Blackwell و فرمت NVFP4، هزینه‌های استنتاج هوش مصنوعی در پلتفرم AI Dungeon رو ۴ برابر کم کرده. این نشون می‌ده که ترکیب درست سخت‌افزار و نرم‌افزار، چه تاثیر شگفت‌انگیزی می‌تونه داشته باشه.

تحلیل و بررسی: به نظر می‌رسه که انویدیا با Blackwell، یه جهش بزرگ در زمینه استنتاج هوش مصنوعی داشته و رقابت رو برای سایر شرکت‌ها سخت‌تر کرده. استفاده از مدل‌های متن‌باز هم داره کم‌کم جای مدل‌های اختصاصی رو می‌گیره و این به نفع توسعه‌دهندگان و کسب‌وکارهاست. انتظار می‌ره در آینده، شاهد بهینه‌سازی‌های بیشتری در زمینه نرم‌افزار و سخت‌افزار باشیم و هزینه‌های استنتاج هوش مصنوعی باز هم کاهش پیدا کنه.

منبع: VentureBeat (مشاهده متن اصلی)