Metodología
El proyecto aporta un modelo metodológico a nuestro parecer riguroso, innovador y adecuado para la evaluación de las políticas públicas de impulso de la sociedad de la información en España, estructurado en siete categorías analíticas: 1) la pertinencia; 2) la efectividad; 3) la coherencia; 4) la permanencia; 5) la eficacia; 6) el impacto; y 7) la eficiencia. Este modelo permite evaluar el desarrollo de los instrumentos políticos de promoción de las TIC desde su formulación, definición y diseño, hasta sus consecuencias e impactos a corto y medio plazo.
Mediante una cartografía de los principales objetivos, actuaciones, resultados e impactos, y de sus interacciones mutuas, se puede determinar la complejidad y las interrelaciones que plantean la implementación de una política. Esto significa que una multitud de vínculos de causa y efecto pueden ser demostrados y, por lo tanto, es posible platear un número importante de preguntas en la evaluación. Con el fin de prever una política de evaluación, es útil describir esa complejidad ya en la fase preparatoria de un plan de acción. Esto puede ayudar a identificar, de manera preliminar, los efectos más importantes, las vías y los obstáculos para el éxito de la política que, por consiguiente, pueden ser considerados como elementos prioritarios a ser examinados a través de la evaluación.
El resultado de este enfoque metodológico constituye el mapa de los criterios de evaluación, los indicadores y los datos apropiados a esos criterios y las hipótesis y los factores de riesgo aplicables. El marco lógico utilizado incorpora la complejidad dinámica de los actuales programas de impulso a las TIC, incluyendo los diferentes niveles, la medición del comportamiento, los factores de riesgo externos, etc., sin ser dependientes de ellos.
La metodología se basa en una combinación de información métrica o cuantitativa y criterios de valoración acordes con los estándares de evaluación consensuados por las principales instituciones internacionales.
Los siete criterios propuestos para la evaluación son los siguientes:
1) Pertinencia de la acción estudiada. Se trata de precisar si los objetivos explícitos están adaptados a la naturaleza o a los problemas que supuestamente deberán solucionarse. En este apartado lo fundamental es saber si el instrumento político se inscribe en un plan director a nivel departamental; si se parte de un diagnóstico; si se realizó una actualización del diagnóstico o se reorientó el proyecto en función del mismo; si se realizó una encuesta específica sobre las necesidades e intereses de los colectivos que deberán beneficiarse con la actuación; y si hay encuestas generales sobre las necesidades de los hogares y las empresas.
2) Efectividad o las circunstancias de la implementación del proyecto. Se trata de uncriterio operativo sobre el gestor del proyecto, basado en elgrado de realización de los trabajos al final del proceso de ejecución; en elrespeto de los plazos (proporción de tareas efectuadas en la fecha final prevista y diferencia entre el final previsto y el final efectivo de los trabajos); y en los posibles sobrecostes del proyecto como porcentaje del coste total del mismo.
3) Eficacia o relación entre los objetivos del proyecto y los resultados constatados. En primer lugar se verificará si ha transcurrido el tiempo necesario para obtener resultados y de esta forma se establecerá la comparación entre los objetivos del proyecto y los resultados constatados. En caso contrario, se compararán los resultados obtenidos con los resultados esperados. Se evalúan aquí aspectos como la cobertura territorial de la iniciativa (a nivel de los hogares, las empresas y las instituciones públicas); el interés colectivo por los bienes y servicios promovidos (catálogos, tarifas, encuestas de satisfacción de usuarios, etc.); yladisponibilidad de servicios innovadores.
4) Impacto socioeconómico de las intervenciones públicas. Resulta importante separar los efectos de la política en sí misma de los resultantes de una tendencia socioeconómica general. La evaluación se centra aquí en el terreno de los usos: evolución de los usos en los particulares; evolución de los usos en las empresas;desarrollo de las empresas locales gracias a las TIC (progreso del número de empresas locales en el sector TIC y evolución del empleo local en este sector, por ejemplo); y desarrollo de los usos de las TIC por las administraciones locales.
5) Permanencia o durabilidad de los efectos observados. Se trata de determinar si el proyecto generó una estructura estable o si sólo impulsó iniciativas capaces de prolongarse y desarrollarse después del final de la intervención pública. Dos elementos resultan claves para considerar este aspecto: los escenarios previstos a corto y medio plazo; y el potencial prospectivo de las iniciativas públicas.
6) Eficiencia o relación entre los medios puestos en marcha y los resultados constatados. En este caso se trata de determinar si la intervención política permite aprovechar al máximo los recursos públicos. Debe constatarse si se utilizan las infraestructuras ya existentes y si los distintos proyectos públicos promovidos en un mismo territorio son coherentes. También adquiere una importancia especial el análisis de costes y beneficios.
7) Coherencia o compatibilidad entre los objetivos perseguidos por la colectividad y la correspondencia entre estos objetivos y los medios movilizados para alcanzarlos. Este criterio necesita un análisis cualitativo que permita determinar la adecuación entre los objetivos de desarrollo a medio y largo plazo y el coste de las acciones emprendidas. Se trata, por tanto, de establecer si la colectividad puede lograr simultáneamente todos los objetivos planteados por la política implementada y si se emplearon los medios suficientes o adecuados para ello.