در دو سال اخیر، کسب و کارها سعی کردهاند تا مدلهای زبانی بزرگ (LLMs) را به شکلی بیسابقه در حوزههایی مثل پشتیبانی، تجزیه و تحلیل، توسعه و خودکارسازی داخلی مورد استفاده قرار دهند. اما در کنار این روند رو به رشد، یک مسئله جدیتری این روزها مورد توجه قرار گرفته: کلاهبرداران سایبری به طرز هوشمندانهای از اختلاف میان انتظارات از LLMها و ویژگیهای واقعیشان بهرهبرداری میکنند.
طبق گزارشها، تزریق دستوری (Prompt Injection) به عنوان یکی از مهمترین و پرکاربردترین روشهای حمله به سیستمهای LLM شناسایی شده است. این روش به مهاجمان این امکان را میدهد که با ارسال ورودیهای خاص، دستورات مخربی را به سیستمها تزریق کرده و از این طریق اطلاعات حساسی مانند اعتبارنامهها و ارز دیجیتال را سرقت کنند. مثلاً در یکی از حملات اخیر، پژوهشگران به آسیبپذیریای در ابزارهای هوش مصنوعی اسلک پی بردند که امکان استخراج اطلاعات از کانالهای خصوصی را برای مهاجمین فراهم میکرد.
حال، سوال اینجاست که سازمانها چطور میتوانند از این خطرات جلوگیری کنند؟ اولین قدم این است که اجازههای مدلها را محدود کنند و محتوای غیرقابلاعتماد را بهعنوان تهدیدی جدی در نظر بگیرند. همچنین، نظارت بر فعالیتها و اطمینان از صحت منابع اطلاعاتی میتواند به رفع این معضل کمک کند. اگر شرکتها هوش مصنوعی را به عنوان ابزارهایی غیرقابلاعتماد در نظر بگیرند، احتمال موفقیت در برابر چنین حملاتی افزایش مییابد.
تحلیل و بررسی:این روند نگرانکننده نشان میدهد که اعتماد بیمورد به ابزارهای هوش مصنوعی میتواند عواقب وخیمی به همراه داشته باشد. با افزایش شورای سازمانهای مختلف در استفاده از LLMها، نیاز به توجه بیشتر به امنیت دادهها و فرمانهای ورودی حائز اهمیت است. انتظار میرود که با پیشرفتهای تکنولوژیکی، اقدامات امنیتی بیشتری نیز برای حفاظت از این سیستمها توسعه یابند.
منبع: VentureBeat (مشاهده متن اصلی)
n8n.ir/iit314f
کپی شد!