- Los estados de EE.UU. están intensificando sus esfuerzos en el despliegue de sistemas estatales de datos longitudinales (SLDS) que contienen información sobre los estudiantes de las escuelas públicas. Los registros se recopilan a lo largo de la vida de los estudiantes, desde el momento en que ingresan en una institución pública hasta el momento en que se incorporan al mercado laboral. Los datos obtenidos se utilizan para evaluar el progreso de los estudiantes e identificar áreas de mejora en el ecosistema educativo mediante un enfoque científico basado en datos.
Para lograr este objetivo, se ofrecen subvenciones del SLDS para que los estados mejoren sus sistemas de datos existentes o implanten el SLDS. En ambos casos, el Estado tendrá que iniciar el proceso gestionando y actualizando sus datos. Y aquí está el corazón del desafío.
Tres retos clave en materia de datos a los que se enfrentan los Estados con el sistema SLDS
Los datos longitudinales son datos a largo plazo que hacen un seguimiento de la misma entidad o, en este caso, de un estudiante en diferentes momentos. Las instituciones públicas y los sistemas educativos tienen la responsabilidad de obtener datos precisos y relevantes, sin embargo, con el tiempo, los datos longitudinales pueden quedar obsoletos, reflejar información redundante o duplicada, lo que dificulta que las partes interesadas hagan un uso eficiente de los datos.
En pocas palabras, las partes interesadas del sistema SLDS tienen que luchar:
- Mala calidad de los datos: Incluso hoy en día, el registro de datos se realiza manualmente. Durante este proceso, es muy posible que un humano escriba una ortografía incorrecta, que utilice abreviaturas y puntuaciones que no son necesarias o incluso que introduzca los datos en un formato con el que está familiarizado. Además, existe una alta probabilidad de duplicación, especialmente si el operador que introduce los datos se equivoca al asignar el identificador de clave único correcto. Todos estos son problemas aparentemente menores que se convierten en graves cuellos de botella. No se pueden ignorar los datos deficientes.
- Dificultad en el cotejo de registros entre organismos: En el centro de los desafíos del SLDS se encuentra esta lucha de vinculación de registros o cotejo de datos entre organismos. Los datos longitudinales de un individuo son registrados por las múltiples agencias, escuelas, distritos o estados en los que ha vivido a lo largo de su vida. El SLDS exigirá que todos estos datos coincidan con los del individuo al que representan. De hecho, el personal del SLDS dedica gran parte de su tiempo a cotejar registros. Los estados de Estados Unidos están probando y empleando varios métodos para superar este problema. Algunos estados utilizan herramientas comerciales, otros crean sus propios procesos de cotejo y otros utilizan una combinación de ambos. A pesar de la utilización de varios procesos y herramientas, la mayoría de los estados han tenido problemas para realizar un cotejo preciso. El SLDS exige que el estado cumpla con el 95% de la exactitud de los datos para recibir una subvención.
- La resolución de identidades sigue siendo un reto: La mala resolución de identidades es consecuencia de la mala calidad de los datos y de la escasa precisión de las coincidencias. Con presupuestos limitados, los institutos gubernamentales no pueden permitirse contratar especialistas en datos o soluciones de datos que podrían costar millones de dólares. Por ello, tienen que recurrir a los limitados miembros del equipo y a los procesos manuales para resolver los problemas de cotejo de identidades. Se pierde mucho tiempo en identificar la información y cotejarla con las personas pertinentes, lo que deja poco margen para el análisis o la elaboración de informes, dos objetivos fundamentales del SLDS. Si a esto le añadimos la duplicación de registros de múltiples agencias, tenemos una crisis de gestión de datos.
¿Cuál es el papel de Data Ladder en la vinculación de registros y cómo ayuda a los estados con subvenciones del SLDS?
Data Ladder es una solución de calidad de datos a nivel empresarial que ofrece como servicios principales la preparación, la limpieza y el cotejo de datos. Hemos trabajado con el Departamento de Educación de varios estados que requieren una herramienta de concordancia de datos para ayudarles a cumplir con la precisión del 95% de la tasa de concordancia para adquirir la subvención del SLDS.
El cotejo de datos se basa en una información precisa. Si los conjuntos de datos muestran información errónea, incompleta o incorrecta, será imposible obtener coincidencias de datos precisas. Por lo tanto, el punto de partida de cualquier actividad de cotejo de datos no radica en el cotejo en sí, sino en garantizar que la calidad de los datos esté a la altura. Para ello, el buque insignia de Data Ladder, DataMatch Enterprise, lleva al usuario a través de un módulo paso a paso que comienza con la integración de la fuente de datos, seguida de la preparación de los datos, la limpieza de los mismos, su cotejo y, por último, su fusión.
Gracias a Data Ladder, los jefes de proyecto de los departamentos estatales han podido:
- Deduplicar los datos redund antes y duplicados en las fuentes de datos: Los datos interinstitucionales están destinados a tener datos redundantes y duplicados, especialmente porque las leyes de privacidad de datos impiden compartir identificadores únicos como el SSN para identificar a los individuos. Esto deja a las agencias sin otra opción que crear sus propios identificadores únicos, lo que conduce a la duplicación de información si otra agencia tiene la misma información del individuo. Además, los errores humanos en la introducción de datos pueden causar accidentalmente duplicados que son difíciles de rastrear con algoritmos de cotejo deterministas. El software insignia de Data Ladder, DataMatch Enterprise, utiliza cuatro tipos diferentes de algoritmos en combinación con su algoritmo propio para obtener una tasa de coincidencia del 96%, la más alta del sector.
- Problemas de calidad de datos y estandarización de datos: La calidad de los datos sigue siendo un reto persistente, ya que cada nuevo proyecto tiene que ser depurado antes de ser cotejado. Esto significa que los estados necesitan una solución rápida que permita la limpieza periódica de los datos sin necesidad de involucrar al personal. Tras la integración, el software del ISD escanea automáticamente los datos y destaca la salud de los mismos. A continuación, se pide al usuario que utilice reglas de negocio predefinidas para limpiar sus datos. Esto incluiría una acción básica como poner en mayúsculas la primera letra de un nombre hasta un paso avanzado como definir reglas de negocio para ordenar los datos. Data Ladder permite a los usuarios estandarizar los datos entre las fuentes de datos integradas con sólo unos pocos clics.
- Obtenga el mayor índice de coincidencia de datos: En un experimento llevado a cabo por el Estado de Connecticut para determinar si el NSC o una herramienta de un proveedor comercial ofrecían mayores tasas de coincidencia, Data Ladder obtuvo una tasa de coincidencia del 100%, superior a la del NSC. En otra muestra, un estado no consiguió casi la mitad de las coincidencias con su algoritmo de coincidencia interno. Con Data Ladder, la muestra experimentó un aumento del 20% en la coincidencia de datos. Un alto índice de coincidencia refleja la precisión de los datos, que es el indicador clave de la eficacia del programa SLDS. Sin un cotejo de datos preciso, el SLDS no podrá obtener información exacta, que es importante para identificar las lagunas que deben abordarse y las mejoras que deben aplicarse.
Lea este artículo técnico para ver cómo Data Ladder ayuda a vincular la información de los estudiantes en varias bases de datos, a mejorar el PSIS en el seguimiento de las experiencias educativas y a evaluar el impacto de la educación secundaria y postsecundaria de los estudiantes en sus experiencias en el mundo laboral.
Para que un estado despliegue un programa SLDS con éxito, es imprescindible que cuente con la herramienta adecuada para realizar el trabajo sin que le cueste millones de dólares. Data Ladder es la única solución de calidad de datos asequible, la mejor de su clase y con la mayor precisión de coincidencia de datos del sector. Decir que está en el corazón de un despliegue exitoso del SLDS es afirmar el hecho.
