با الهام از هفت خوان رستم؛
ساخت پلت فرم ایرانی تست اقدامات مخرب سایبری به AI
به گزارش تعمیر تلفن، یک تیم استارتاپی جوان موفق به ساخت پلتفرمی برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ (LLM) شدند.
به گزارش تعمیر تلفن به نقل از مهر، همزمان با رشد فراگیر فناوری هوش مصنوعی در کشور و نفوذ آن به زیرساخت های حیاتی، بحث امنیت و تاب آوری مدلهای زبانی به چالشی راهبردی برای سازمان ها تبدیل گشته است. در این راستا، جمعی از دانش آموزان نخبه و سمپادی کشور با طراحی پلت فرم «هفت خوان»، راهکاری بومی و مبتنی بر بازی سازی برای ارزیابی و تقویت امنیت مدلهای زبانی بزرگ (LLM) عرضه کرده اند که تلاش دارد با پر کردن شکاف های موجود، فضایی امن و تعاملی را برای تست نفوذ و آموزش تخصصی فراهم آورد.
«هفت خوان»؛ معماری نوین برای کالبدشکافی امنیت هوش مصنوعی
طاها الهی بخش دانش پژوه المپیاد هوش مصنوعی و عضو تیم استارتاپی «هفت خوان» در گفت و گو با گزارشگر ما درباره ی ماهیت این پلت فرم توضیح داد و اظهار داشت: تیم ما متشکل از دانش آموزان پایه یازدهم رشته نرم افزار در دبیرستان علامه حلی است که پروژه ای را در عرصه امنیت مدلهای زبانی تعریف کرده اند. پلت فرم آموزشی «هفت خوان»، بستری امن برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ است که کاربران را در قالب یک مسیر داستانی هفت مرحله ای، با الهام از هفت خوان رستم، با چالش های امنیتی این حوزه آشنا می کند.
وی اضافه کرد: برعکس نمونه های جهانی که عمدتا فاقد روایت پردازی فرهنگی هستند، ما در این پلت فرم با ادغام داستان سرایی الهام گرفته از شاهنامه و ساز و کار های پیشرفته بازی سازی، یادگیری امنیت هوش مصنوعی را از فرآیندی تئوریک و خشک به یک ماجراجویی تعاملی و ماندگار تبدیل نموده ایم.
شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها
این عضو تیم استارتاپی مسیر هفت خوان در این پلت فرم را شرح داد و اظهار داشت: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدلهای چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنی سازی پایگاه داده حملات کمک می نماید.
پدافند سایبری در عصر مدلهای زبانی؛ گذار از نظریه به سناریوهای عملیاتی
الهی بخش در تشریح ضرورت ایجاد این پلت فرم عنوان کرد: طی سالیان اخیر، تمرکز اصلی در ایران معطوف به توسعه سرویسهای هوش مصنوعی بوده است؛ اما حالا موضوع امنیت این سرویس ها و ممانعت از تبدیل شدن آنها به ریسک برای سازمان ها، خصوصاً در عرصه محتوای تولیدی، اهمیت یافته است. خیلی از مدلهای تازه تیون شده (Fine-tuned) در ایران، بدون گذراندن آزمون های امنیتی کافی و بدون وجود «گاردریل های» مناسب، در معرض خطرات جدی هستند؛ خطراتی که می تواند از افشای اطلاعات حساس بانکی تا تولید محتوای مخرب را در بر بگیرد.
به گفته وی، مشکل اصلی در این عرصه، کمبود داده های معتبر و بومی برای تنظیم مدلهای حفاظتی است. پلت فرم «هفت خوان» تلاش می کند از یک سو جامعه ای از آزمون گران امنیتی را در محیطی شبیه سازی شده گردهم آورد و از طرف دیگر، بستری برای سازمان ها فراهم آورد تا مدلهای خودرا تحت ارزیابی های دقیق امنیتی قرار دهند.
زیست بوم تست نفوذ؛ راهکاری برای پیشرفت تاب آوری هوشمند
این عضو تیم استارتاپی ضمن اشاره به گروههای هدف این محصول اظهار داشت: این پلت فرم برای دو گروه اصلی طراحی شده است؛ نخست، جوانان ۱۸ تا ۲۴ سال شامل دانشجویان و علاقمندان به حوزه امنیت سایبری که به دنبال یادگیری عملی و مهارت محور هستند. گروه دوم هم سازمان ها و تیم های فنی، شامل شرکت های دانش بنیان و نهادهای دولتی هستند که با چالش کمبود داده های پویا و بومی برای تست امنیت مدلهای خود مواجه اند.
الهی بخش درباره ی قابلیت های فنی و خاصیت های کلیدی این محصول اضافه کرد: «هفت خوان» بطور ویژه به نیازهای خاص در ایران توجه دارد و سناریوهایی مانند حملات به مدلهای ایجنتیکال بانکی، سوءاستفاده از مدلهای تولید تصویر، تشخیص شایعه پراکنی و رویارویی با «هالوسینیشن» (توهم مدل) در پاسخ های حساس را شبیه سازی می کند.
ویژگی های کلیدی پلت فرم هفت خوان
وی خاصیت های کلیدی پلت فرم هفت خوان را حفظ حریم خصوصی و طراحی محیطی ایمن برای تمامی کاربران و سازمان ها، تکمیل پایگاه داده حملات و شیوه های نفوذ بومی، شبیه سازی ۷ مرحله مبتنی بر آسیب پذیری های واقعی در مدلهای زبانی، گیمیفیکیشن (آموزش تعاملی با بهره گیری از سیستم لیدربورد و چالش های گروهی) و محیطی امن برای تست حملات ایجنتیکال، بانکی و تولید محتوا برشمرد و اظهار داشت: هم اکنون این پلت فرم در مرحله آزمایشی قرار دارد و برنامه ریزی های ضروری جهت توسعه همکاریهای سازمانی و انعقاد قراردادهای کسب وکار در حال انجام می باشد.
به طور خلاصه، این عضو تیم استارتاپی مسیر هفت خوان در این پلتفرم را تشریح کرد و گفت: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدل های چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس آسیب پذیری حقیقی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنی سازی پایگاه داده حملات کمک می نماید. پلتفرم هفت خوان تلاش می کند از یک سو جامعه ای از آزمون گران امنیتی را در محیطی شبیه سازی شده گردهم آورد و از سوی دیگر، بستری برای سازمان ها فراهم آورد تا مدل های خودرا تحت ارزیابی های دقیق امنیتی قرار دهند.
این مطلب را می پسندید؟
(0)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب