En esencia, un KPI es una forma de medir el éxito o el fracaso de una meta, un medio de proporcionar información en la que se pueden basar las decisiones. Los objetivos en otras unidades de negocios a menudo están claramente definidos, por ejemplo, la unidad de marketing puede tener el objetivo de aumentar el tráfico web un 20% durante el próximo año ( Objetivos SMART ). Si bien las operaciones de ciberseguridad pueden tener objetivos similares, la mayoría de los objetivos de las operaciones de ciberseguridad son menos finitos. La mayoría de los objetivos de operaciones de ciberseguridad se centran más en tendencias positivas o negativas a lo largo del tiempo que en alcanzar un objetivo específico.

Gran parte del proceso de  las operaciones de ciberseguridad se centra en el análisis de datos y la identificación de patrones y tendencias. Adecuado para las funciones tácticas de las operaciones de ciberseguridad, que buscan patrones de ataque y tendencias de actividad maliciosa, como para las funciones estratégicas de las operaciones de seguridad, que identifican brechas en los planes estratégicos y toman decisiones a largo plazo. Los KPSI de calidad sirven como habilitadores y controladores del plan estratégico de ciberseguridad como mejora continua.

El panorama de amenazas es un entorno dinámico y en constante cambio, provoca que los KPSI ayuden a garantizar que los programas de operaciones de ciberseguridad continúen siendo efectivos y que cualquier desviación en el proceso o la tecnología se aborde adecuadamente.

¿Qué KPSI debemos medir?

Al elegir los KPSI a medir, la calidad debe valorarse por encima de la cantidad.
Cada KPI debe tener un significado para la organización y agregar valor al programa de ciberseguridad.

Existen muchos métodos diferentes para evaluar la efectividad de un KPSI, pero en mi opinión es, y como hemos adelantado antes , cada KPSI debe ser:

  • (S) SIMPLE: los KPSI no deberían ser demasiado complicados de medir. Debe quedar claro cuál es el propósito de cada KPI y cómo impacta el programa de ciberseguridad.
  • (M) MEDIBLE: Un KPSI debe poder medirse de alguna manera, cuantitativa o cualitativamente. El método por el cual se mide cada KPSI debe estar claramente definido y ser consistente.
  • (A) ACCIONABLE: Los KPSI deben usarse como impulsores para la toma de decisiones. El propósito de un KPSI es medir el rendimiento y, si es necesario, tomar medidas en función de los resultados. Un KPSI que no es accionable tiene poco o ningún propósito.
  • (R) RELEVANTE: Cada KPSI debe ser una medida de la función que se evalúa. En este caso, el programa / plan estratégico de ciberseguridad. Los KPSI que son simples, medibles y accionables, pero que no son relevantes para la función que se evalúa serán de poco valor.
  • (T) BASADO EN EL TIEMPO: Los KPSI pueden y deben usarse para mostrar los cambios a lo largo del tiempo. Un KPSI efectivo debería poder recopilarse y agruparse por varios intervalos de tiempo para mostrar variaciones y patrones.

Los KPSI SMART serán diferentes para cada organización, simplemente no es posible crear una lista "tipo" de KPSI única (aunque algo veremos, como punto de partida). Sin embargo, es posible considerar los componentes de un programa exitoso de operaciones de ciberseguridad que deben evaluarse utilizando KPSI. La mayoría de los KPSI de las operaciones de ciberseguridad deben estar dirigidos a evaluar al menos uno de estos componentes comunes de ciberseguridad:

  • HABILIDADES DE LOS ANALISTAS: ¿El conjunto actual de habilidades de los analistas coincide con las necesidades que actualmente se demandan? Las brechas o "debilidades" en el conjuntos de habilidades de los analistas pueden conducir a ineficiencias en el proceso de gestión de incidentes, aumentando el riesgo para la organización o los clientes. La utilización de KPSI para medir los conjuntos de habilidades actuales de los analistas y compararlos con las necesidades actuales, puede identificar lagunas en la capacitación del personal, lo que hace que cuando se aborde pueda mejorar la preparación general y en consecuencia retorne mejores resultados o ingresos.
  • ÉXITO EN LA DETECCIÓN: ¿Cómo de efectivas son las tecnologías de prevención y detección? ¿Son propensas a falsos positivos o falsos negativos? Las tecnologías de prevención y detección deberían funcionar como amplificador para el equipo de seguridad. Las tecnologías de prevención y detección ineficaces significan que es más probable que se pierdan los incidentes de seguridad y que los analistas se vean obligados a pasar más tiempo realizando análisis manuales. La utilización de KPSIs para medir el rendimiento de las tecnologías de prevención y detección puede identificar brechas donde la tecnología puede beneficiar a la organización, así valer de catalizador de aumento de la eficiencia en las tecnologías de prevención y detección existentes.
  • KEY RISKS: ¿Cuáles son los riesgos clave a los que enfrenta la organización? Las organizaciones se enfrentan a una multitud de riesgos y un presupuesto limitado y en muchos casos ínfimo para abordar el mismo. La mayoría de las organizaciones (Por no decir todas) se enfrentan al arduo proceso de decidir qué riesgos deben abordarse y qué riesgos deben aceptarse (Apetito de Riesgo). El uso de KPSIs para ayudar a identificar qué riesgos representan el mayor impacto potencial para la organización permite que el equipo de seguridad envíe información procesable al proceso general de evaluación de riesgos, maximizando la efectividad del tiempo limitado y los recursos financieros de la organización.
  • ÉXITO EN LA MITIGACIÓN : ¿Cómo de efectivas son las tecnologías de mitigación? Una vez que se ha identificado un incidente de seguridad, debe mitigarse. Al igual que en la prevención y la detección, la tecnología a menudo se utiliza para aumentar la eficiencia y el éxito del proceso de mitigación. Sin embargo, esta eficiencia y éxito solo pueden realizarse si las tecnologías son efectivas. Las tecnologías de mitigación ineficaces pueden conducir a un menor éxito comparandolo con el proceso de mitigación realizado manualmente, lo que resulta en un mayor impacto del incidente. La utilización de KPSIs para medir el rendimiento de las tecnologías de mitigación puede identificar brechas, así como si el uso de las tecnologías de mitigación existentes puede modificarse/afinarse para aumentar la eficiencia de las mismas.
  • ÉXITO DEL PROCESO: ¿Cómo de efectivos son los procesos y procedimientos? Estos son un componente crítico en el éxito de cualquier equipo de operaciones de ciberseguridad. Sin embargo, para tener éxito, los procesos y procedimientos no pueden permanecer estáticos. Deben reevaluarse y ajustarse continuamente para garantizar que permiten que el equipo de ciberseguridad aborde los incidentes de la manera más efectiva y eficiente posible. Los procesos y procedimientos mal diseñados puede generar confusión, frustración, y que los analistas se salgan del guión, con un aumento dramático en el impacto de un incidente de ciberseguridad. La utilización de KPSIs para medir el rendimiento de los procesos y procedimientos actuales permite a la organización garantizar que los mismos permanezcan optimizados y lo más efectivos posible contra una amplia gama de incidentes de ciberseguridad.
  • CARGA DE TRABAJO: ¿Es adecuada la carga de trabajo para el equipo? Es más probable que los analistas con exceso de trabajo tomen atajos u omitan indicadores clave de incidentes de seguridad. Los analistas con exceso de trabajo también tienen más probabilidades de buscar otras oportunidades, llevando su valiosa capacitación y experiencia a otra parte. La utilización de KPSIs para medir la carga de trabajo de los analistas puede identificar las ineficiencias de personal que pueden dar lugar a un riesgo indebido para la organización.

Ejemplos de Key Performance Security Indicators (KPSIs)

Como se comentó, los KPSIs de operaciones de ciberseguridad variarán de una organización a otra. Para que sean efectivos, es crucial que los KPSIs selecionados, cumplan los criterios SMART. La siguiente lista, muestra una serie de ejemplos de KPSIs que deberían ser aplicables para la mayoría de las organizaciones. Se debe determinar si cada KPSI es apropiado o no para una organización individual a través de una evaluación detallada del programa de operaciones de ciberseguridad y una evaluación según los criterios SMART. La lista, proporciona ejemplos de por qué cada KPSI puede ser importante, posibles mediciones para cada uno y cuál de los seis componentes más comunes de un programa de operaciones de ciberseguridad está evaluando. Un pequeño empujon que os puede dar ideas para aplicar vuestros PKSIs.

  • Cantidad de dispositivos monitorizados : ¿Cuántos dispositivos se están monitoreando? ¿El número aumenta o disminuye? ¿Por qué? | Medida : Número de dispositivos - Número de dispositivos / analista | Evaluación: Carga de trabajo
  • Numero total de eventos : ¿Cuántos eventos se están manejando? ¿El número aumenta o disminuye? ¿Por qué? ¿Son adecuados los niveles actuales de personal? | Medida : Número de eventos / hora (/ analista) - Número de eventos / día (/ analista) - Número de eventos / mes (/ analista) - Número de eventos / año (/ analista) - Número de eventos / tipo de evento | Evaluación: Coste de valor  -Riesgos clave - Carga de trabajo
  • Número de eventos por dispositivo o host : ¿Cuántos eventos se reciben para cada dispositivo o host? ¿Hay ciertos dispositivos o hosts que son más propensos a problemas de seguridad, aumentan el riesgo? ¿Por qué? ¿Hay ciertos dispositivos o hosts que son más propensos a eventos de falsos positivos? ¿Por qué? | Medida : Número de eventos por dispositivo o host / día - Número de eventos por dispositivo o host / mes - Número de eventos por dispositivo o host / año - Número de eventos / dispositivo o tipo de host - Número de eventos / tipo de sistema operativo | Evaluación: Detección exitosa - Riesgos clave
  • Número de eventos por servicio o aplicación : ¿Cuántos eventos se reciben por cada servicio o aplicación? ¿Hay ciertos servicios o aplicaciones que son más propensos a problemas de seguridad y causan un mayor riesgo? ¿Por qué? ¿Hay ciertos servicios o aplicaciones que son más propensos a eventos de falsos positivos? ¿Por qué? | Medida : Número de eventos / servicio - Número de eventos / aplicación | Evaluación: Detección exitosa - Riesgos clave
  • Cantidad de eventos por cuenta : ¿Cuántos eventos se reciben por cuenta? ¿Hay ciertas cuentas (usuarios) que tienen más probabilidades de realizar comportamientos peligroso, lo que genera eventos de seguridad y un mayor riesgo? ¿Por qué? | Medida : Número de eventos / cuenta  - Número de eventos / usuario | Evaluación : Detección exitosa - Riesgos clave
  • Número de eventos por ubicación : ¿Cuántos eventos se reciben por ubicación geográfica, oficina, etc.? ¿Hay lugares más propensos a eventos de seguridad? ¿Por qué? | Medida : Número de eventos / departamento - Número de eventos / oficina - Número de eventos / región | Evaluación : Riesgos clave
  • Número de alertas falso positivo : ¿Cuántos eventos falso positivo se reciben? ¿Es esto aceptable? ¿Se puede reducir el número de eventos falsos positivos? ¿Cómo? | Medida : Número de falsos positivos / hora - Número de falsos positivos / día - Número de falsos positivos / mes - Número de falsos positivos / año -
    Porcentaje de eventos que son falsos positivos. | Evaluación : Detección exitosa
  • Tiempo de detección : ¿Cuánto tiempo toma a la organización detectar un evento de seguridad? ¿Es esto aceptable? ¿Hay formas de reducir este tiempo de detección? ¿Cómo? | Medida : Medido en minutos, horas o días - Tiempo promedio de detección - Tiempo promedio de detección / tecnología - Tiempo promedio de detección / tipo de evento - Valores atípicos | Evaluación : Detección exitosa - Proceso de éxito
  • Tiempo de resolución : ¿Cuánto tiempo lleva a la organización resolver un evento de seguridad real? ¿Es esto aceptable?¿Hay mejoras de proceso o tecnología que se pueden hacer para reducir este tiempo? ¿Qué son?¿Se requiere personal o capacitación adicional? ¿Cuánto personal o qué capacitación adicional se requiere? | Medida : Medido en minutos, horas o días - Tiempo promedio de resolución - Tiempo promedio de resolución / tipo de evento - Tiempo promedio de resolución / estrategia de resolución - Valores atípicos | Evaluación : Mitigación exitosa - Proceso de éxito
  • Tiempo para identificar un evento como falso positivo : ¿Cuánto tiempo toma a la organización determinar que un evento es un falso positivo? ¿Es esto aceptable? ¿Los analistas pasan demasiado tiempo investigando falsos positivos? ¿Por qué? ¿Se requiere capacitación adicional? ¿Que tipo? | Medida : Medido en minutos, horas o días - Tiempo promedio para identificar - Tiempo promedio para identificar / tecnología - Tiempo promedio para identificar / tipo de evento - Valores atípicos | Evaluación : Habilidades del analista - Éxito del proceso
  • Número de analistas asignados : ¿Cuántos analistas se asignan a cada evento? ¿Es un número correcto? ¿Se asignan demasiados analistas a un evento, lo que significa que no están disponibles para responder a otros eventos? ¿Por qué?
    ¿Se asignan muy pocos analistas a un evento debido a la escasez de personal? | Medida : Número promedio de analistas / evento - Número promedio de analistas / tipo de evento - Número promedio de analistas (por nivel) / evento - Número promedio de analistas (por nivel) / tipo de evento | Evaluación : Habilidades de los analistas - Coste por valor - Carga de trabajo
  • Nivel de escalado : ¿Cuántos eventos se están escalando y a qué nivel? ¿Los eventos se escalan demasiado rápido o no lo suficientemente pronto? ¿Por qué?
    ¿Existen mejoras en el proceso de escalado que pueden hacer que el manejo de eventos sea más eficiente? ¿Qué son? ¿El entrenamiento para cada nivel es suficiente para producir el nivel de habilidad deseado? Si no, ¿qué capacitación adicional se requiere? | Medida : Número promedio de eventos / nivel - Número promedio de eventos / nivel / (período de tiempo) - Nivel de escalado / tipo de evento - Nivel de escalado / tecnología - Tiempo promedio (min u horas) para escalar | Evaluación : Habilidades de analista - Coste por valor - Éxito del proceso
  • Fuente del evento :  ¿Son ciertas tecnologías de detección más o menos efectivas para detectar eventos de seguridad? ¿Por qué? ¿Son ciertas tecnologías de detección más propensas a falsos positivos? ¿Por qué? ¿Con qué frecuencia los usuarios o analistas detectan manualmente un evento antes de que lo detecte una tecnología de detección? ¿Por qué? | Medida : Número total de eventos / tecnología - Número total de eventos / tecnología / (período de tiempo) - Número total de falsos positivos / tecnología | Evaluación : Detección exitosa - Riesgos clave