Аналіз та оцінка ефективності засобів захисту - це визначення того, наскільки повно й надійно засіб забезпечує захист інформації від актуальних загроз. Саме така оцінка дає змогу обґрунтовано обирати та вдосконалювати засоби захисту.
У гуртку студенти поступово опановуватимуть методи оцінювання: від вимірювання показників засобів захисту, створених і налаштованих у напрямах «Програмні засоби захисту» та «Технічні засоби захисту», до їх порівняння й оформлення результатів у вигляді звітів, тез і доповідей.
Методика оцінювання ефективності захисту
Визначення об'єкта. Встановлення об'єкта захисту: файлів, каналу зв'язку, приміщення, інформаційної системи чи об'єкта критичної інфраструктури.
Вибір показників. Визначення критеріїв оцінювання: надійності, швидкодії, точності, частки хибних спрацьовувань і пропущених подій.
Вимірювання. Проведення експериментів, узагальнення результатів у таблицях і графіках, формулювання висновків і рекомендацій.
Стандарти. Під час аналізу ризиків враховуються міжнародні підходи: ISO/IEC 27001 та рекомендації NIST, а для морської галузі - вимоги IMO щодо управління кіберризиками.
Об'єкти оцінювання
Програмні засоби
Порівняння засобів шифрування за алгоритмом, довжиною ключа і швидкодією, оцінка стійкості паролів, якість стеганографічних методів.
Технічні засоби
Час реакції та хибні тривоги сигналізації, точність розпізнавання об'єктів з камери дрона, зони покриття відеоспостереження.
Ризики
Визначення активів, загроз і вразливостей для обраного об'єкта: серверної, судна, та обґрунтування заходів зі зниження ризиків.
Звіти та публікації
Оформлення результатів: звіт з висновками, доповідь на засіданні гуртка, тези на студентській науковій конференції.
Показники ефективності
Для порівняння засобів захисту необхідні чітко визначені кількісні показники. У роботах гуртка передбачається використання таких показників.
Швидкість виявлення та реагування
- MTTD (Mean Time To Detect) - середній час від початку події до моменту, коли її виявила система чи людина.
- MTTA (Mean Time To Acknowledge) - середній час від сигналу тривоги до моменту, коли відповідальна особа взяла його в роботу.
- MTTR (Mean Time To Respond / Recover) - середній час від виявлення до усунення проблеми та відновлення нормальної роботи.
Точність і надійність
- Частка хибних спрацьовувань - частка тривог, що виникли без реальної причини, від загальної кількості спрацьовувань.
- Частка пропущених подій - частка реальних подій, які система не виявила, від їх загальної кількості.
- Точність і повнота - показники правильності розпізнавання об'єктів чи загроз, наприклад людей на відео з камери дрона.
Продуктивність і покриття
- Швидкодія - обсяг даних, що обробляється засобом за одиницю часу, наприклад кількість мегабайтів, зашифрованих алгоритмом за секунду.
- Покриття - частка загроз, територій чи систем, охоплених захистом, наприклад відсоток площі в зоні огляду камер.
Приклад. Макет сигналізації спрацював через 3 секунди після проникнення, а черговий підтвердив тривогу через 42 секунди. За результатами 20 повторних вимірювань обчислюються середні значення MTTD і MTTA цієї системи, які надалі можна порівняти з показниками після її вдосконалення, наприклад після додавання сповіщень у месенджер.
Відкриті бази знань
У світовій практиці кібербезпеки використовуються відкриті бази знань, у яких систематизовано відомості про загрози, вразливості та методи захисту. Вони забезпечують оцінювання захищеності на основі визнаних класифікацій.
Застосування в роботі гуртка. Для обраної системи за MITRE ATT&CK визначатиметься, від яких технік зловмисників її захищено, а за MITRE D3FEND добиратимуться відповідні заходи протидії. Це надає оцінці ефективності чіткої структури.
Інструментарій для аналізу
Моделювання загроз і оцінка ризиків
Моніторинг і журнали подій
Обробка й подання результатів
Вбудовані засоби вимірювання. Багато програм містять власні засоби оцінювання, наприклад тест швидкодії алгоритмів шифрування у VeraCrypt чи оцінювач стійкості паролів у KeePassXC. Їх доцільно використовувати для попередніх порівнянь.
Рекомендації для початку роботи
Порівняти алгоритми шифрування за швидкодією за допомогою вбудованого тесту VeraCrypt і занести результати до таблиці.
Побудувати в OWASP Threat Dragon модель загроз, наприклад комп'ютерного класу, та визначити заходи захисту.
Долучитися до засідань гуртка, на яких обговорюватимуться результати, формулюватимуться висновки.
Усі перевірки проводяться лише на власних розробках, макетах і в навчальному середовищі кафедри.