LA CLASIFICACIÓN COMO HIPÓTESIS: INDICADORES Y

DESTINATARIOS DEL VALOR

Clasificador maestro de efectos y resultados y “bancos de

indicadores”

El clasificador maestro de destinatarios

La construcción de bancos de indicadores

Tratamiento cuantitativo y cualitativo de la información

CONCLUSIONES

BIBLIOGRAFÍA

(*) Director de TOP-Tecnología para la Organización Pública (Asociación Civil) - www.top.org.ar

2

INTRODUCCIÓN

El valor público es la medida en que se logra ejercer el derecho a satisfacer necesidades

humanas mediante el uso de los recursos disponibles en la sociedad. Las políticas públicas se

orientan a la producción de valor público, por lo que es indispensable saber cuál, cuánto, para quién

se produce valor público; no en otra cosa consiste su evaluación. Sin embargo, no es suficiente con

saberlo, es preciso además, expresar este conocimiento de modo que resulte útil para la toma de

decisiones políticas, estratégicas y operativas. Los decisores políticos toman decisiones políticas

sobre el destino de los recursos y sobre los gestores, los gestores sobre el uso de los recursos y -en

las democracias-, cuando dispone de información le permita exigir cuentas, la sociedad

indefectiblemente toma a su vez decisiones sobre los políticos. En este círculo decisorio, no siempre

la información es apta para la toma de decisiones. Pero cuando lo es y, especialmente, de modo

equitativo para la toma de decisiones por parte de los diferentes actores, es valor público en sí

misma, pues contribuye a satisfacer una necesidad humana esencial: el ejercicio de los propios

derechos, es decir, de la libertad. La palabra con que más frecuentemente se alude a tal valor es

transparencia. Por el contrario, cuando la información sobre el valor público no se halla distribuida

entre los actores de manera que puedan intervenir equitativamente en la toma de las decisiones, es

decir, cuando en lugar de transparencia hay opacidad, ello da lugar a la pérdida de logro de valor

posible por ineficacia o ineficiencia en las decisiones y gestión de los recursos y a la apropiación

inequitativa del valor efectivamente logrado por corrupción. Es comprensible, por lo tanto, que haya

tantos intereses creados a favor de la opacidad, por más que la información transparente sobre valor

público sea en sí misma un valor público tan importante. Sin embargo, para que la información sobre

el valor público producido sea útil para la toma de decisiones no es suficiente con que los datos

existan y se hallen disponibles, es preciso también que se hallen disponibles de modo accesible e

interpretable en forma oportuna para los diferentes actores, es decir en forma de conocimiento

aplicable a la realidad. Convencionalmente, cuando se dan tales condiciones, suele decirse que se

dispone de un “tablero de control” sobre dicha realidad.

El reloj de agujas es, probablemente, el tablero de control mejor diseñado de la historia: todos

sabemos intuitivamente qué hora es con una simple mirada a la posición de las agujas, lo que se

traduce en el conocimiento cualitativo, valorativo y específico de si es tarde o temprano en cada caso

y momento. Aunque la producción de valor público para la sociedad por parte de sus instituciones en

términos de resultados, efectos e impactos es infinitamente más compleja que la simple ubicación de

cada situación en el tiempo cotidiano que permite el reloj, en el fondo, también se trata de tornar

comprensible en términos cualitativos, valorativos (o sea políticos) y específicos (desde los

destinatarios). No es otra cosa un tablero de control por más complejo que sea.

Este trabajo tratará del camino metodológico que va desde la complejidad de la construcción de

indicadores a la simplicidad de la presentación en términos de tableros de control, es decir, de la

transformación de datos en conocimiento. A pesar de que, por razones de espacio no será posible

incluir el análisis detallado del concepto de valor público mismo ni de las condiciones y metodologías

con que se lleva a la práctica el proceso de evaluación1, deberemos recorrer este camino

comenzando por esos conceptos, en particular, por los de efectividad y sostenibilidad.

Pasaremos luego a describir cómo estos conceptos esenciales pueden ser empleados como base

para definir tableros de control de efectividad en el logro de valor público. Para ello deberemos

considerar el hecho de que los tableros de control de este tipo son bastante más complejos que el

que el reloj de agujas del ejemplo que antes usamos. En lugar de representar, como el reloj una sola

variable –el transcurso del tiempo-, deben mostrar múltiples aspectos y sus relaciones. Veremos que

el concepto de valor público no puede ser concebido con independencia de la dimensión temporal, de

manera que es preciso considerar no sólo la medida en que se ha logrado valor en el pasado sino

también el grado en que tal logro es sostendrá en el futuro. Para ello, en el tablero de control de

efectividad que mostraremos se emplea para representar esta relación un instrumento especialmente

interesante, la matriz de efectividad sostenible, cuya lógica hemos analizado en detalle en otros

trabajos. Una segunda complejidad que analizaremos se refiere a los puntos de vista desde los que

1 Un desarrollo más amplio de los conceptos e instrumentos en que se basa el presente documento puede encontrarse en el artículo

“Evaluación del valor público”, Hintze, Jorge, 2004, Biblioteca Virtual TOP.

3

es posible considerar el valor, a los que llamaremos “visiones”: según la naturaleza del valor que se

logre, según quiénes son los destinatarios y cuáles fueron las fuentes de recursos y responsables de

usarlos. Llamaremos “visiones” a tales perspectivas puntos de vista, por referirse a la misma realidad

vista desde diferentes lugares. Las visiones antes aludidas, sin embargo, se refieren sólo a la

eficacia pasada y futura, sin tomar en cuenta la eficiencia. Para ello, el tablero de control que

analizaremos como ejemplo mostrará un segundo instrumento, la matriz de eficacia-eficiencia,

mediante la cual se relaciona la medida en que se obtienen logros con los recursos que se insumen

para ello.

Trataremos por fin de las condiciones mínimas que se requieren para que el valor público sea

expresado en términos de indicadores representables en tableros de control que permitan evaluar la

ejecución de las políticas públicas en ámbitos que trasciendan los casos puntuales. Consideraremos

para ello la necesidad de contar con, al menos, dos clasificadores a los que llamaremos “maestros” el

de efectos y resultados (es decir de outcomes) y el de destinatarios (es decir de beneficiarios

mediatos y mediatos y de usuarios). Como veremos, estos clasificadores maestros, que se refieren

al qué y el para quién (es decir los dos elementos sin los cuales no es concebible el concepto de

satisfacción de necesidad) permiten estructurar bancos de indicadores sobre el logro de valor e

inventarios de usuarios. Describiremos con algún detalle la estructura de tales bancos e inventarios

desde el punto de vista de la cadena que va desde lo concreto a lo abstracto (es decir, la conexión

entre las observaciones empíricas que pueden ser representadas mediante indicadores, como por

ejemplo, el nivel de ingresos de una determinada población, y conceptos abstractos, como, v.g. la

pobreza). Finalmente, abordaremos la cuestión el tratamiento cuantitativo y cualitativo de la

información como modo de superar la, sostenemos, frecuentemente estéril discusión acerca de que

son visiones opuestas cuando se trata de facetas complementarias.

Concluiremos, por fin con la idea de que la construcción de mecanismos que aumenten la

transparencia pueden ser legítimamente considerada inversión cuyo retorno se pueda medir en

mayor satisfacción de necesidades humanas, mayor equidad en el ejercicio de los derechos y menor

corrupción.

EL TABLERO DE CONTROL DE EFECTIVIDAD EN LA PRODUCCIÓN DE VALOR PÚBLICO

Usaremos aquí el infrecuente -pero por ello menos desgastado- término

“operacionalización” para referirnos a los mecanismos de expresión de las ideas y conceptos

abstractos en términos concretos y observables. Quizás la forma más inmediatamente observable

de valor público -entendido como satisfacción de necesidades humanas-, es la salud, pues toca

muy de cerca nuestra individualidad. Al igual que todo valor público, la salud no es observable

directamente sino que es su ausencia la que se manifiesta en estados concretos y observables: la

enfermedades. Así como es operacionalizable el concepto de salud en términos de las

características concretas de las enfermedades que indican su ausencia, lo propio acontece con el

de valor, en términos de las condiciones concretas en que se expresa la insatisfacción de

necesidades humanas. El hambre, la pobreza, la ignorancia, por ejemplo, son claros indicadores

de ausencia de valor y no sólo resultan –y dramáticamente- observables, sino que también

pueden ser medidos, tipificados, clasificados, de modo no tan diferente como lo son las

enfermedades que indican la falta de salud.

Pero no es éste el problema principal, sino cómo medir, sopesar, comparar determinadas

necesidades con otras para llegar a la conclusión de cuáles son más importantes. Suele decirse

que no es posible, por ejemplo, poner en un platillo de la balanza el valor de la salud y el de la

educación en el otro para ver cual de los dos pesa más. Sin embargo, es precisamente lo que se

hace, inevitablemente, cada vez que se toman posiciones y –con consecuencias concretascuando

se asignan recursos. De hecho, cada persona, cada cultura, cada organización tiene

posturas tomadas y actitudes asumidas sobre lo que es bueno y lo que es deseable; todos

tenemos nuestra verdad. Pero las políticas públicas, las asignaciones de recursos, no pueden

hacerse desde las perspectivas individuales o parciales. Entonces ¿cómo medir, sopesar el valor

con medidas que permitan comparaciones haciendo transparentes los supuestos ideológicos

subyacentes?

En el caso del valor público, la operacionalización requiere de su descripción en términos

de aquellas transacciones efecto-destinatario, mediante las cuales se logre satisfacción de

necesidades humanas. Tales transacciones pueden ser analizadas en al menos tres planos. En el

4

plano político, alude a los efectos que se logren para los destinatarios finales, a los que nos

referiremos como los beneficiarios mediatos (por ejemplo, la medida en que una determinada

asignación de recursos tiene como consecuencia la disminución de la inequidad en la distribución

del ingreso). En el plano estratégico, las denominaremos transacciones resultado-beneficiario

inmediato y/o directo (por ejemplo, la medida en que la misma asignación de recursos incida en el

incremento del ingreso de determinados grupos familiares menos favorecidos) y, finalmente, las

llamaremos transacciones producto-usuario cuando se refieran a la medida en que los esfuerzos

realizados produzcan bienes o servicios concretos que personas concretas reciban (por ejemplo,

cantidades de empleos y/o subsidios otorgados a determinadas personas). Puede verse en lo

anterior que se trata de una cadena que va de lo abstracto a lo concreto. En esto consiste el

proceso de operacionalización. El primer paso para ello es la construcción de indicadores. Sin

embargo, los indicadores, considerados individualmente, permiten conocimientos puntuales o ad

hoc. Para que los indicadores se articulen entre sí de modo que permitan visiones integrales de

ámbitos complejos es preciso que formen parte del sistema de categorías conceptuales más

inclusivas que permitan organizar un tablero de control. Las dos categorías mayores que permiten

considerar el valor público son la eficacia y la eficiencia. La primera alude al logro de los fines y la

segunda al aprovechamiento de los recursos, es decir, a las dos puntas de proceso de generación

de valor. La eficacia puede ser considerada desde la dimensión temporal, en cuanto al pasado

(logros obtenidos, es decir, efectividad) y al futuro (continuidad de los logros obtenidos, o sea

sostenibilidad).

DIMENSION TEMPORAL

Pasado Futuro

Eficiencia

Eficiencia lograda con

el uso de los recursos

Eficiencia prevista que

justificó la asignación de

los recursos

GESTIÓN

Eficacia

Logros obtenidos:

efectividad

Continuidad de los

logros:

sostenibilidad

Como puede verse en el cuadro, la eficacia y la eficiencia se refieren tanto al pasado como

al futuro. Sin embargo, la eficiencia es el medio y la eficacia es el fin. Por lo tanto, debemos

comenzar el análisis por esta última para operacionalizar el valor a través de indicadores de una

manera que llamaremos “normalizada”, es decir, estandarizada de modo tal que los indicadores

puedan ser articulados en un tablero de control.

Operacionalización normalizada del valor: efectividad y sostenibilidad

Así como las categorías más inclusivas del análisis de la gestión de los outputs sean la

eficacia, la eficiencia y la relación entre ambas dimensiones, en cuanto a eficacia en sí misma las

categorías básicas son la efectividad, la sostenibilidad y la relación entre ambas. Aunque en otro

trabajo se desarrollan con más detalle estos conceptos2, es preciso en éste retomar algunos

aspectos a fin de analizar la metodología de su operacionalización. Entenderemos aquí por

efectividad la medida de logro de valor como consecuencia de una asignación de recursos

(convencionalmente, durante la asignación de los mismos) y, por lo tanto, se refiere a la diferencia

entre la situación previa y la posterior a dicha asignación de recursos.

Por ejemplo, pocos meses después de finalizar un programa de empleo que había durado dos años, se realizó

una evaluación de efectividad, que incluyó un pronóstico de su probable sostenibilidad durante los tres años

subsiguientes. La evaluación de efectividad realizada al terminar el programa tomó en cuenta los resultados

(nuevos empleos logrados) y los efectos (qué valor adicional se había generado para cuáles beneficiarios

mediatos). Se trataba, en consecuencia, de una comparación entre el antes (el momento del inicio) en el que,

en este caso, no había ningún empleo puesto que los beneficiarios eran precisamente desempleados, y el

después (al terminar el programa), en el que se había contabilizado una determinada cantidad de empleos para

2 Para un tratamiento más detallado de esta cuestión, ver Hintze, J. (2001) “Instrumentos de evaluación de la gestión del valor público”,

Biblioteca Virtual TOP, www.top.org.ar.

5

determinados beneficiarios inmediatos y ciertos efectos para los mediatos. Esta fue la medida de la efectividad

del programa (la que, en parte, fue considerada por las autoridades “un verdadero impacto”, pues a poco del

inicio se produjo una creación considerable de nuevos empleos en un período corto, a la que se dio, por

supuesto, bastante difusión).

Por otra parte, usaremos el concepto de sostenibilidad como la medida en que los efectos

logrados hasta el momento del cese de la asignación de recursos se mantienen a lo largo de un

período determinado posterior. En tal sentido, podría decirse que la sostenibilidad es el “efecto

residual” de la asignación de recursos durante el período de tiempo posterior que justificara dicha

asignación. La sostenibilidad puede ser estimada como un pronóstico o bien verificada como un

hecho pasado pero, en todos los casos, se refiere al futuro esperable luego de que cese la

asignación de los recursos.

Por ejemplo, al terminar el programa antes citado se realizó también un pronóstico de la sostenibilidad de los

resultados para los tres años subsiguientes. En base a una serie de indicadores, se estimó razonablemente

probable que aproximadamente 60 por ciento de los empleos creados durante el programa seguirían existiendo

al cabo de tres años de finalizada la asignación de recursos, es decir, después de que los empleadores dejaran

de recibir subsidios (cabe señalar que, cuatro años más tarde se encontró que sólo el treinta por ciento de los

beneficiarios continuaba en empleos creados gracias al programa).

La efectividad y la sostenibilidad, por sí mismas,

informan menos que la relación entre ambas, que puede

mediante la matriz de efectividad sostenible, herramienta

que permite identificar situaciones alternativas (que

responden a políticas y estrategias diferentes), como se

muestra en el gráfico siguiente

Como puede verse, la sostenibilidad apunta al

desarrollo de capacidad para la satisfacción de

necesidades, mientras que la efectividad a dicha

satisfacción En el cuadro siguiente se incluye una

descripción de las cuatro situaciones que identifica el

modelo de la matriz3.

La operacionalización de la efectividad y sostenibilidad puede realizarse de manera

específica en cada caso mediante observaciones directas y/o indicadores (por ejemplo, en el

programa de empleos del ejemplo que utilizamos antes, entre otras formas, se expresaba en

cantidades de empleos creados desde la situación inicial). Sin embargo, mediante indicadores

específicos no es posible comparar si la efectividad de un programa de empleo es mayor o menor

3 Para un tratamiento más detallado de esta cuestión, ver Hintze, J. (2001) “Instrumentos de evaluación de la gestión del valor público”,

Biblioteca Virtual TOP, www.top.org.ar.

INTERPRETACIÓN DE LA MATRIZ DE EFECTIVIDAD SOSTENIBLE

EFECTIVIDAD NO

SOSTENIBLE

(logro de

impactos y

efectos pero

no sostenibles)

FRACASO

EN LA

ASIGNACIÓN DE

LOS RECURSOS

EFECTIVIDAD

SOSTENIBLE

DESARROLLO

DE CAPACIDAD

(sólo logro de

las capacidades

pero aun no de

los efectos)

Efectos

buscados o

logrados

que implican

generación

de valor

MATRIZ DE EFECTIVIDAD SOSTENIBLE

EFECTIVIDAD

SOSTENIBILIDAD

Condiciones de

sostenibilidad de los

efectos una vez concluida

la asignación de recursos

EFECTIVIDAD SOSTENIBLE

DESARROLLO DE CAPACIDAD

EFECTIVIDAD

SOSTENIBILIDAD

EFECTIVIDAD

SOSTENIBILIDAD

Logros de efectos e impactos

inmediatos o bien de corto plazo que

se mantendrán luego de que deje de

asignarse recursos para su logro y

mantenimiento por haberse logrado

el desarrollo de capacidad de

manera inmediata.

Logros inmediatos o bien en el corto

plazo de capacidades para producir

efectos e impactos en el futuro, pero

no logro de dichos efectos e

impactos.

EFECTIVIDAD SOSTENIBILIDAD EFECTIVIDAD

SOSTENIBILIDAD

Asignación de recursos sin logro

mínimo aceptable de efectos

inmediatos o de corto plazo ni

tampoco de capacidades que

permitan hacerlo en el futuro.

Logros de efectos e impactos

inmediatos o bien de corto plazo

que tenderán a desaparecer apenas

deje de asignarse recursos para su

logro y mantenimiento.

FRACASO EN LA ASIGNACIÓN DE RECURSOS

EFECTIVIDAD NO SOSTENIBLE

6

que la de uno de prevención de la salud o protección del ambiente. Para ello se precisa convertir

dichos indicadores en algún tipo de medida normalizada y común a todos los programas4.

La eficacia, se refiere, en esencia, a la medida en que el logro de valor responde a las

intenciones que deben ser reflejadas en los planes en términos de metas (por ejemplo, logro de tal

medida de efectividad y sostenibilidad; supongamos, un diez por ciento más que el año anterior) o,

en su defecto, hallarse establecidas en la construcción misma de criterios de calificación del valor

que establezcan como valor máximo, por ejemplo, “el mayor logro razonablemente posible según

el estado del arte”, conformando, de esta manera, también un patrón convencional de referencia.

Sin embargo, una vez que se dispone de mediciones de la eficacia en términos de alguna unidad

comparativa (como es el caso de las opciones que hemos considerado antes), es necesario

también medir -y evaluar- la eficiencia en el logro de valor, ya que la otra parte de la fórmula -los

recursos- no puede ser ignorada .

La evaluación de la eficiencia de la generación de valor público

La eficiencia, en tanto se refiere al aprovechamiento de los recursos, se operacionaliza en

una simple fórmula en la que se relacionan los logros con los recursos empleados para

obtenerlos. En esta fórmula, es simple operacionalizar los recursos, que pueden ser expresados

en las correspondientes unidades físicas (en realidad, éstas se resumen en unidades de recursos

humanos y materiales) o bien, simplemente, valorizados en unidades monetarias. La valorización

de los logros, en cambio, requiere de una consideración especial: es preciso distinguir la eficiencia

operativa, que se refiere al aprovechamiento de los recursos en relación a la producción de los

productos concretos inmediatos (a los que nos referimos como outputs), de la eficiencia

estratégica en primer lugar y política en segundo, que aluden al aprovechamiento de los recursos

en relación entre los resultados en el primer caso a los efectos finales logrados en el segundo (y

que se refieren en ambos a los outcomes). No trataremos aquí de la eficiencia operativa, cuyo

análisis es objeto de otro trabajo y que requiere de herramientas propias de la gestión, sino de la

referida a los outcomes, es decir de los resultados y efectos. Desde esta perspectiva, la

operacionalización del valor público debe comenzar por los resultados, es decir, al primer eslabón

de la cadena, para pasar luego a los efectos. La cuantificación de los logros, desde las más

sencillas y estimativas (v.g. grado en que son aceptables o inaceptables) hasta las más

sofisticadas y cuantitativas (por ejemplo, precisas escalas

de valoración) permiten relacionar la magnitud de logro de

fines (eficacia) con otra magnitud -mucho más fácil de

conocer- los recursos empleados. Tal relación es la

eficiencia, cuyo índice significa, simplemente, que cuando

más alto mayor aprovechamiento de los recursos en

relación a los logros y cuanto más bajo, menor. Aunque la

eficiencia es una medida esencial para la evaluación de la

gestión de la producción del valor, es la relación entre

eficacia y eficiencia la que proporciona la mayor síntesis

en el conocimiento sobre la producción de valor, pues,

como antes decíamos, muestra la relación entre los

extremos de la cadena de valor: los recursos y sus

consecuencias. Eso es lo que se muestra en el cuadro

“Relación entre eficiencia y eficacia”.

La relación entre eficiencia y eficacia, al considerar los recursos, habla de la gestión del

valor y por, lo tanto, de una cuestión de desempeño sobre la que se puede rendir y exigir cuentas.

Los cuadros siguientes muestran los cuatro escenarios de desempeño identificables a partir de las

dimensiones de la matriz:

4 Una de las técnicas posibles es la construcción de escalas normalizadas que permitan la ubicación de observaciones diferentes en

un único continuo. Para más detalle sobre esta técnica, ver Hintze, Jorge, Éste es el esquema seguido para la construcción de las

escalas normalizadas de medición de efectividad y sostenibilidad que analizaremos a continuación.

FRACASO EN

LA

ASIGNACION

DE LOS

RECURSOS

Grado de

logro de

fines

EFICACIA

Relación entre logro de

fines y uso de

recursos

EFICIENCIA

Logro de los

fines a costa de

exceso de

recursos

“Eficacismo”

MAXIMO

VALOR

(Altas

eficiencia y

eficacia)

Alto

aprovechamiento

de recursos pero

poco logro de los

fines

“Eficientismo”

Baja Alta

Baja Alta

RELACIÓN EFICIENCIA-EFICACIA

7

Las primera de las matrices, de efectividad sostenible, muestra la ecuación entre eficacia

pasada y futura, mientras que la de eficacia-eficiencia relaciona lo anterior con los recursos.

Ambas permiten identificar el plano más alto o inclusivo de un tablero de control sobre el valor

público, es decir, sobre la ejecución de políticas públicas.

Construcción del tablero de control de efectividad: visiones sobre el valor

Los criterios analíticos que hemos venido considerando permiten la construcción de un

tablero de control de la efectividad en base a cuatro perspectivas que se hallan en la concepción

misma del valor público y a las que llamaremos aquí, convencionalmente, “visiones”. Las primeras

tres de ellas se refieren a la eficacia y pueden ser analizadas mediante la matriz de efectividad

sostenible y se refieren a la naturaleza de los efectos, los destinatarios y la gestión del valor (es

decir, a los responsables, las fuentes de los recursos y las prioridades de monitoreo y

seguimiento, que llamaremos “prioridades de agenda”. La cuarta se refiere a la relación entre

eficacia y eficiencia. El conjunto de las cuatro visiones permite construir un tablero de control de

efectividad que muestre un panorama general de todas ellas y sus relaciones como el que se

ejemplifica en el cuadro siguiente.

La primera de las visiones según la naturaleza de los efectos (e impactos) que se logran,

toma en cuenta el “qué” del valor: las asignaciones de recursos no suelen producir una única

naturaleza de valor sino, por lo general, varias. Los programas de generación de empleo, por

ejemplo, seguramente producirán efectos de tipo social, económico y político; los de desarrollo

regional seguramente producirán efectos sociales, económicos, políticos, ambientales e

EFECTIVIDAD

SOSTENIBILIDAD

FUENTE 1

FUENTE 2

FUENTE 3

1

23

4 FUENTE 4

VISIÓN SEGÚN:

Análisis

3

TOTAL

TABLERO de CONTROL de EFECTIVIDAD

VISIÓN SEGÚN EFECTOS E IMPACTOS VISIÓN SEGÚN DESTINATARIOS

EFICACIA Y EFICIENCIA SEGÚN

ECONOMICOS

AMBIENTALES

INSTITUCIONALES

TOTAL

1

34

TIPOS DE EFECTOS

2 SOCIALES

EFECTIVIDAD

SOSTENIBILIDAD

Ambito: AMBITO 1 Desde: 2004 Enero Hasta: 2004 Diciembre Ver

Análisis

1 2

4

RESPONSABLE 1

RESPONSABLE 2

RESPONSABLE 3

12

3

4 RESPONSABLE 4

RESPONSABLES

EFICACIA

EFICIENCIA

Análisis

TOTAL

DESTINATARIO 2

DESTINATARIO 4

DESTINATARIOS

EFECTIVIDAD

SOSTENIBILIDAD

Análisis

DESTINATARIO 1

DESTINATARIO 3

1

23

4

TOTAL

FUENTES DE RECURSOS

RESPONSABLES FUENTES DE RECURSOS

RESPONSABLES

PRIORIDADES DE AGENDA

Se logran los resultados y efectos

previstos (eficacia) y son altos los

índices de aprovechamiento de los

recursos (eficiencia).

DESEMPEÑO ÓPTIMO

EFICACIA

EFICIENCIA

Se sacrifica el logro de los

resultados yefectos previstos

(ineficacia) a fin de lograr un gran

aprovechamiento de los recursos

(eficiencia).

DESEMPEÑO “EFICIENTISTA”

EFICACIA

EFICIENCIA

DESEMPEÑO “EFICACISTA”

EFICACIA

EFICIENCIA

No se logran los resultados y

efectos previstos (ineficacia) y se

consumen igualmente recursos

desproporcionados (inieficiencia)

DESEMPEÑO PÉSIMO

Se logran los resultados y efectos

previstos (eficacia) a costa de un

gran desaprovechamiento de los

recursos (ineficiencia).

EFICIENCIA

EFICACIA

8

institucionales; los programas de preservación del ambiente sin duda tendrán, además de los

efectos ambientales, también consecuencias económicas y sociales. Esta primera y más

inmediata visión del valor público que es, como decíamos la que se refiere al qué, es decir, a la

naturaleza de los efectos mismos, proporciona, por lo tanto, la perspectiva de los outcomes (es

decir, la cadena que va desde los resultados concretos hasta los efectos e impactos que se hayan

observado).

La segunda visión se refiere a los destinatarios del valor, es decir, a quiénes lo reciben.

Los receptores inmediatos de los bienes y servicios serán los usuarios, quienes se beneficien de

los resultados de estos bienes y servicios serán los beneficiarios directos e inmediatos y, por fin,

quienes indirectamente se vean beneficiados por lo anterior serán los beneficiarios mediatos. Tal

es la cadena de valor mediante la cual el valor de los recursos empleados se transfiere de una u

otra manera a la sociedad. Esta segunda visión se refiere a la cuestión de quiénes reciben qué, es

decir, a la cuestión de la equidad en la distribución del valor.

La tercera visión de la matriz de efectividad sostenible se refiere a la eficacia de la gestión

del valor y puede ser considerada desde varias perspectivas, entre ellas la de los responsables

del uso de los recursos, las fuentes de los mismos y, finalmente, a los criterios de monitoreo y

seguimiento de los diferentes actores, que se conocen generalmente como sus “prioridades de

agenda”. Veamos cada una de ellas.

La visión de gestión según responsables se refiere a la eficacia de los decisores y gestores

y conforma un instrumento de rendición y exigencia de cuentas. El criterio en que se basa es la

evaluación de la efectividad y sostenibilidad desde la perspectiva de quienes tenían la

responsabilidad por las decisiones y el uso de los recursos, informaciones que surgen de los

presupuestos, lo cual muestra la cadena de responsabilidades desde el mayor nivel político que

se haya considerado en el ámbito analizado (por ejemplo si se trata de una administración

nacional o subnacional serán las unidades del aparato institucional del estado, como los

ministerios y otras instituciones), pasando por los niveles intermedios (por ejemplo, áreas de estas

unidades, programas, etc.) hasta el nivel operativo de base (las unidades concretas de gestión de

recursos). La visión según responsables, en sentido descendente, alude a la cadena institucional

de responsabilidad sobre decisión y uso de los recursos y, en sentido ascendente, de rendición de

cuentas. Es, naturalmente, de extraordinaria importancia, pues se refiere a la cadena de toma de

decisiones que lleva a las asignaciones de recursos, es decir, a la vía operativa por la que se

instrumentan las decisiones.

La visión de gestión según fuentes de recursos, por su parte, toma en cuenta el origen de

los mismos. no se trata, por cierto, una cuestión menor, cuando los recursos no provienen de una

fuente única ni son únicos los decisores que intervienen en su asignación (así como no es trivial

en las empresas la composición del capital, tampoco lo es en la gestión pública el origen de los

recursos). Las fuentes de recursos aluden a una cadena decisoria que incide no sólo sobre las

finalidades y magnitudes de las asignaciones sino, también sobre la gestión. Quienes tienen

capacidad de decisión sobre los recursos pueden ejercerla sobre los responsables de usarlos,

quienes, desde este punto de vista, son recursos humanos. Por ejemplo, los organismos

internacionales de cooperación (crediticios, agencias de otros países y donantes, entre otros)

suelen disponer de mecanismos de control, seguimiento y rendición de cuentas de los fondos que

controlan y, por lo tanto, suelen incidir sobre los responsables de su aplicación. La visión según

fuentes de recursos arroja luz sobre aspectos entre los que se incluyen la capacidad de incidencia

de los decisores y los criterios de selección de beneficiarios y efectos.

Por ejemplo, en América Latina y el Caribe es frecuente la condicionalidad en la asignación de ciertos fondos

para fines tales como la mitigación de la pobreza o la protección del ambiente a que se orienten al logro de

efectos presuntamente sostenibles (v.g. creación de empleo o generación de capacidades de gestión y

producción compatibles con el ambiente) de manera claramente diferenciada de las vías no sostenibles (p.e.

subsidio al desempleo o recuperación ambiental). Cada una de estas focalizaciones se refiere a cadenas de

asignación de fondos que llevan a determinadas relaciones resultado-beneficiario y, además, que tienen su

particular efectividad y sostenibilidad que sólo pueden analizarse desde la óptica de las fuentes de recursos.

En otras palabras, la visión según fuentes de recursos muestra el valor según la cadena

decisoria política (así como la visión según responsables lo muestra según la cadena decisoria

organizativa mediante la cual se lleva a cabo la gestión).

9

Finalmente la visión de gestión según prioridades de agenda, de especial importancia para

la evaluación y la toma de decisiones de los actores involucrados se refiere a la relación entre los

efectos y los asuntos que deben ser objeto de monitoreo y seguimiento por parte de los actores

involucrados y se constituyen por lo tanto, en sus “prioridades de agenda”, constantemente

cambiantes según las circunstancias. Tales asuntos pueden ser identificados como subconjuntos

particulares de generaciones de valor, que conforman visiones particulares, representativas de

orientaciones políticas (v.g. las que se formulan en las plataformas políticas de los partidos),las

prioridades de los asignadores de fondos (p.e. organismos internacionales de crédito, inversores)

o los actores involucrados interesados. Las prioridades de agenda no se refieren sólo a cuestiones

gerenciales y de la gestión operativa sino también a cosas tales como los intereses de la sociedad

o la gestión política.

Por ejemplo, en un gran municipio capitalino la plataforma política del gobierno había incluido tres ejes: la

atención de la pobreza extrema en la zona sur de la ciudad, el desarrollo del turismo como fuente de ingresos

locales y la solución del agudo déficit de transporte. Sin perjuicio de la restante generación de valor, esos tres

temas conformaban prioridades de agenda para el gobierno, los ciudadanos y organismos de financiamiento

que habían asignado recursos y, también, para ciertos grupos de interés económico que habían realizado

aportes económicos y políticos al partido de gobierno y tenían capacidad de presión (en particular,

comerciantes beneficiados directamente por las políticas de promoción de turismo, propietarios beneficiados

por la valorización inmobiliaria que resultara de la ampliación de la red de subterráneos y una autopista urbana

a construir y, en este último caso, los contratistas de las obras).

La visión específica según prioridades de agenda a que alude el ejemplo anterior requiere

de la identificación de las asignaciones de recursos más directamente relacionadas con las tres

prioridades de agenda y su análisis diferenciado de las restantes. En la primera, relativa a la

pobreza, por ejemplo, se requiere identificar sólo las asignaciones que se consideren con mayor

efecto sobre la calidad de vida de determinados destinatarios en la zona sur de la ciudad, y así

sucesivamente con las dos prioridades de agenda restantes. Una presentación de las mismas en

el tablero de control como el que se ve en el cuadro siguiente podría mostrar, por ejemplo, que la

atención de la pobreza se encuentra en el cuadrante rojo, mientras que el desarrollo de las obras

de transporte en el verde y el de la promoción del turismo en el cuadrante de las promesas.

La forma de presentación de la información que acabamos de ver es esencialmente

política, pero su fuente no es en este caso la interpretación política sino el análisis específico de

EFECTIVIDAD

SOSTENIBILIDAD

FUENTE 1

FUENTE 2

FUENTE 3

123

4 FUENTE 4

VISIÓN SEGÚN:

Análisis

3

TOTAL

TABLERO de CONTROL de EFECTIVIDAD

VISIÓN SEGÚN EFECTOS E IMPACTOS VISIÓN SEGÚN DESTINATARIOS

EFICACIA Y EFICIENCIA SEGÚN

ECONOMICOS

AMBIENTALES

INSTITUCIONALES

TOTAL

1

34

TIPOS DE EFECTOS

2 SOCIALES

EFECTIVIDAD

SOSTENIBILIDAD

Ambito: AMBITO 1 Desde: 2004 Enero Hasta: 2004 Diciembre Ver

Análisis

1 2

4

RESPONSABLE 1

RESPONSABLE 2

RESPONSABLE 3

123

4 RESPONSABLE 4

RESPONSABLES

EFICACIA

EFICIENCIA

Análisis

TOTAL

DESTINATARIO 2

DESTINATARIO 4

DESTINATARIOS

EFECTIVIDAD

SOSTENIBILIDAD

Análisis

DESTINATARIO 1

DESTINATARIO 3

1234

TOTAL

FUENTES DE RECURSOS

RESPONSABLES FUENTES DE RECURSOS

RESPONSABLES

PRIORIDADES DE AGENDA

EFECTIVIDAD

SOSTENIBILIDAD

POBREZA EXTREMA

DESARROLLO TURISMO

DÉFICIT TRANSPORTE

1

2

3

VISIÓN SEGÚN:

Análisis

3

TOTAL

PRIORIDADES DE AGENDA

10

los datos en el campo, es decir, parte del plano operativo. Los tableros de control se nutren

precisamente del mente del hilo conductor entre lo político y lo operativo.

Finalmente, la cuarta visión se refiere a la relación entre eficacia y eficiencia, crucial

cuestión con la que cerraremos este trabajo, que toma en cuenta además de la medida de los

logros (ya reflejada en los cuadrantes anteriores en términos de efectividad y sostenibilidad) el

grado de aprovechamiento de los recursos con que se hubiera realizado la gestión. Volveremos

sobre esto más adelante.

Ámbito de aplicación de los tableros de control de efectividad y evaluación de políticas

El ámbito de aplicación de los tableros de control debe coincidir con las necesidades de

control sobre consecuencias del uso de los recursos y por lo tanto, se hallan determinados por las

fuentes de los mismos. Para un ámbito de asignación de recursos “macro” como sería el

presupuesto público de una administración nacional o subnacional, los efectos serían todos los

esperables del gobierno hacia la sociedad, los destinatarios todos los sectores de dicha sociedad,

las fuentes de recursos todas las que conformaran el presupuesto más las que administrara el

gobierno y, finalmente, los responsables las instituciones a las que el presupuesto asignara los

recursos. Para todos ellos, el concepto de “visión” se refiere al hecho de que se trata los mismos

datos e informaciones analizados de una misma manera, pero presentados desde cuatro

diferentes puntos de vista. Los ámbitos de aplicación “meso” de los tableros de control se

conforman a partir de las asignaciones sectoriales e institucionales de recursos, es decir, de los

respectivos presupuestos. Finalmente, los ámbitos “micro” son determinados por los presupuestos

de programas, proyectos o unidades específicas de instituciones determinadas.

La fragmentación de los de los ámbitos de aplicación es, quizá, el problema práctico mayor

que enfrenta la evaluación de las políticas públicas. La casi totalidad de la evaluación de la

generación de valor que se realiza en la práctica se lleva a cabo en ámbitos “micro”

(principalmente programas y proyectos financiados por la cooperación internacional que establece

la evaluación como una de las condicionalidades para la asignación de los recursos). Estas

evaluaciones suelen contener valiosas informaciones presentadas tanto en términos cuantitativos

como cualitativos e incluir también valiosas conclusiones útiles para la toma de decisiones por

parte de los actores involucrados, principalmente financiadores externos, autoridades políticas,

gestores de dichos programas y, menos frecuentemente, destinatarios de los mismos, comunidad

académica y sociedad en general. En la medida en que las evaluaciones “micro” generan

conocimiento apto para la toma de decisiones por parte de actores involucrados, conforman para

ellos tableros de control relativos a los ámbitos de aplicación correspondientes. Permiten la mejora

de la gestión durante la misma, posterior rendición y exigencia de cuentas y proporcionan

“lecciones aprendidas” que ayudan a mejorar en futuros emprendimientos. Ninguna de estas

evidentes ventajas es menor.

Sin embargo, las conclusiones de estos “tableros ad hoc” no pueden ser comparadas

fácilmente con otras pues se realizan mediante estructuras de categorías e indicadores que les

son propios, de manera que las evaluaciones ad hoc no permiten la toma de decisiones en

ámbitos “meso” y “macro”, justamente aquellos en los que los diferentes emprendimientos “micro”

compiten por los mismos recursos y, también, aquellos en los que es preciso evaluar las políticas

públicas.

Esta limitación de crucial importancia sólo puede ser superada en la medida en que se

cuente con tableros de control aplicables a ámbitos “meso” o “macro”. En las últimas décadas los

gobiernos nacionales y subnacionales de diferentes países de la región han realizado, con

disímiles grados de éxito, considerables esfuerzos en el desarrollo de sistemas macro de

información por resultados que permitan la disponibilidad de diferentes tipos de tableros “macro” y

“meso”5. El requisito esencial que determina el ámbito de aplicación de un tablero de control de

efectividad (más allá de su diseño y lógica interna) es el hecho de contar con los mismos

“clasificadores maestros”. Llamamos aquí de esta manera a los criterios clasificatorios básicos de

toda la información sobre los logros y los destinatarios que los reciben que dan lugar a dos

clasificadores, el de efectos, resultados y productos y el de destinatarios. La relación entre ambos

5 Para mas información sobre este aspecto, ver CUNILL GRAU, Nuria y OSPINA, Sonia (2003) “Evaluación de resultados para una

gestión pública moderna y democrática: experiencias latinoamericanas” Centro Latinoamericano de Administración para el Desarrollo-

CLAD, Caracas.

11

permite, precisamente, identificar y operacionalizar la matriz de producción externa del ámbito de

evaluación del valor al que se apliquen los tableros.

Clasificador maestro de efectos y resultados y “bancos de indicadores”

El clasificador maestro de efectos y resultados conforma una estructura lógica única

indispensable para el manejo de información comparable sobre realidades heterogéneas. Así

como cuando se trata de manejar información en los planos macro y meso sobre recursos los

sistemas presupuestarios de los países tienen clasificadores presupuestarios únicos para uso de

todas las agencias del gobierno mediante el cual se clasifican todos los ingresos y gastos que se

realizan según un conjunto de categorías comunes, tales como gastos en personal, edificios,

electricidad y otros, los tableros de control de efectividad requieren de clasificadores comunes de

los diferentes logros que se obtengan del uso de tales recursos, es decir, clasificadores de efectos

y resultados. En teoría, tales clasificadores maestros debieran formar parte de los propios

sistemas presupuestarios que, de esta manera, relacionarían de manera directa y natural los

productos planificados y logrados (expresados en términos de metas operativas) los resultados

(como metas estratégicas) y los efectos (como metas políticas). De hecho, todos los sistemas de

planificación integrados (es decir, los que integran el plano político estratégico con el operativo y el

presupuesto como plan operativo que, además, es instrumento de asignación de recursos) tratan

de contar con un clasificador maestro ER. Tal es el sentido del clasificador según estructura

programática de los presupuestos públicos que se basan en el esquema de presupuestos por

programa. Sin embargo, en la práctica, es infrecuente que los clasificadores presupuestarios

programáticos resulten aptos para la evaluación del valor público y, por lo tanto, de la ejecución de

las políticas, pues suelen hallarse mucho más orientados a las necesidades burocráticas relativas

a la asignación de los recursos (es decir, al gasto) que al otro extremo de la cadena, los

resultados y efectos.

Sea como fuere, desde el punto de vista de un sistema de evaluación que permita contar

con tableros de control meso o macro, el clasificador maestro de efectos y resultados debe

permitir que, además de recursos, se clasifiquen con él los indicadores de logro de productos,

resultados y efectos. Cuando se cumple tal requisito es posible consolidar para todo el ámbito de

aplicación del clasificador maestro las informaciones conclusiones que se obtengan a partir de los

indicadores y, además, los mismos dejan de ser indicadores específicos para integrarse a lo que

aquí llamaremos “bancos de indicadores”.

Dos de las características esenciales de los bancos de indicadores que permiten la

operacionalización de los datos y su posterior tratamiento estadístico, son su estructura jerárquica

según niveles de generalidad de la información y la hipótesis de que las categorías del primer

nivel son exhaustivas respecto del alcance total del ámbito de aplicación (es decir, que permite

clasificar cualquier caso de creación de valor público que deba ser objeto de evaluación). Veamos

el ejemplo del cuadro siguiente, en el que se muestra la estructura de un clasificador maestro de

efectos y resultados y la lógica del banco de indicadores al que da lugar.

12

En el ejemplo de clasificador, la hipótesis de trabajo principal es que, para el ámbito de

aplicación al que se lo destine, todo valor público podrá ser encuadrado en alguno de los cinco

tipos de efectos que allí e incluyen y que, por lo tanto, toda información derivada de los

indicadores que se incluyan en el banco podrá ser consolidada con tales categorías. A tales fines,

como se observa, los tipos de efectos son categorías clasificatorias de los efectos.

Por ejemplo, en un clasificador maestro para un ámbito macro, los efectos sociales fueron clasificados según

tipos de efectos tales como “Reducción de la pobreza”, “Reducción de la inequidad” “Mejora de la salud”,

“Mejora de la educación” y otros, y los tipos de efectos ambientales incluyeron, entre otros, “Recuperación de la

calidad del suelo”, “Reducción de la contaminación de la atmósfera” y “Reducción de la contaminación

acústica”.

La pertinencia de estas categorizaciones (una vez ampliada hasta que se la considere

exhaustiva de todos los tipo de efectos aplicables al ámbito de evaluación) constituye la hipótesis

subyacente más importante en la construcción de los bancos de indicadores, toda vez que

responde al modelo de percepción (y creación) de la realidad por el que se ha optado, cuestión no

sólo científica sino, esencialmente ideológica (cuyas implicancias no podremos aquí tratar por

razones de espacio). El tercer nivel del banco se refiere a los indicadores propiamente dichos, que

pueden referirse a efectos y resultados (outcomes) o a productos (outputs). Por cada efecto

identificado es posible, a su vez, identificar tantos indicadores de resultados o de productos como

sea necesario. Como puede verse, la estructura jerárquica del banco de indicadores (en este

ejemplo de tres niveles), está definida en este caso por dos niveles de categorías clasificatorias

(referidas a tipos de efectos y efectos) y un nivel descriptivo, (referido a resultados y productos),

correspondiente a los indicadores. Esta estructura es la que determina el alcance de la

consolidación posible de la información pues las categorías clasificatorias se refieren al universo a

considerar mientras que los indicadores, por lo general, son válidos para las observaciones

particulares.

Aplicando el banco de indicadores presentado a un ámbito “macro”, como por ejemplo, un

aparato estatal como conjunto, la información relativa a la evaluación de la producción de valor en

un ámbito micro (como por ejemplo un programa de reducción de la pobreza) resulta comparable

con la de otros emprendimientos de diferente naturaleza (por ejemplo, un programa ambiental,

otro de salud y otro educativo) en cuanto a los efectos y tipos de efectos logrados, aunque los

indicadores específicos que se hayan utilizado sean propios de cada uno de tales

emprendimientos

CLASIFICADOR MAESTRO DE EFECTOS

Y RESULTADOS BANCO DE INDICADORES

Primer nivel Segundo nivel Tercer nivel (operacionalización)

Indicadores

Tipos de efectos Efectos Indicadores

de efectos

Indicadores de

resultados

Indicadores de

productos

Operacionalización

de los indicadores

Indicador de

efectos 1.1.1

Forma de

observación 1.1.1

Indicador de

resultados 1.1.1.1

Forma de

observación 1.1.1.1

Efecto 1.1

Indicador de

productos

1.1.1.1.1

Forma de

observación 1.1.1.1.1

1 SOCIALES

Efecto 1.N

2 ECONÓMICOS

3 INSTITUCIONALES

4 AMBIENTALES

5 POLÍTICOS

OUTCOMES OUTPUTS

13

Retomemos ahora la esencial cuestión de la comparabilidad de la información sobre el

valor público. La estructura común del banco de indicadores que el clasificador maestro de efectos

y resultados proporciona sigue la de la cadena de valor y la diferenciación entre los niveles

permite construir diversos índices para evaluar la gestión (por ejemplo, relación entre recursos y

productos para evaluar eficiencia operativa; relación entre productos y resultados para evaluar

eficiencia estratégica y entre resultados y efectos para la eficiencia política). En la medida en que

las categorías clasificatorias sean únicas para el ámbito de análisis considerado (en el ejemplo, el

aparato institucional público como conjunto), es posible contar con un único banco con tantos

indicadores diferentes como resulten necesarios para los diferentes programas y agencias6.

El clasificador maestro de efectos y resultados y su correspondiente banco de indicadores

es una de las dos herramientas básicas requeridas para la operacionalización del valor público en

los planos meso y macro. La segunda es el clasificador de destinatarios.

LA CLASIFICACIÓN COMO HIPÓTESIS: INDICADORES Y DESTINATARIOS DEL VALOR

El clasificador maestro de destinatarios

Al comienzo definimos el valor como satisfacción de necesidades humanas y, por lo tanto,

transacciones entre productos resultantes de la asignación de recursos y destinatarios de los

resultados y efectos. Es preciso entonces, construir la contracara del clasificador de efectos y

resultados, es decir, la lista de los destinatarios que deberán ver satisfecha alguna necesidad para

que el valor se genere. En el campo de las organizaciones del mercado estas listas son objeto de

la mayor atención al punto de que se las suele denominar, precisamente, con el nombre de

“mercado”: son los clientes. Acerca de los clientes hay metodologías y tecnologías a las que se

denomina “marketing”, estudios de comportamiento, departamentos y unidades especializadas,

una enorme experiencia acumulada en materia de promoción, difusión y publicidad e inversiones

billonarias. Sin embargo, se refieren esencialmente al destinatario inmediato de los productos y

sólo en su carácter de cliente interesado potencialmente en el valor de uso de los productos.

Sin embargo, desde la perspectiva del análisis de la creación del valor público, la condición

de cliente no es la que interesa en primer lugar sino la de derechohabiente (es decir, la de

“portador de derechos”) y la satisfacción de necesidades que importa no es la del valor de uso del

producto sino la que surge de los efectos. Por así decirlo, el análisis debe realizarse en sentido

más o menos inverso.

La estructura del clasificador de destinatarios que se utilice reflejará el marco conceptual

utilizado mostrando algunos aspectos de la realidad a costa de ocultar otros.. El cuadro 9 muestra

un ejemplo de estructura de un clasificador de destinatarios.

ESTRUCTURA DE UN CLASIFICADOR MAESTRO DE DESTINATARIOS

PRIMER NIVEL SEGUNDO NIVEL

Tipos de destinatarios Tipos de usuarios

1 PERSONAS Y FAMILIAS 1.1 Personas individuales

1.2 Grupos familiares

2.1 Organizaciones orientadas a la producción de bienes y servicios

2.2 Organizaciones orientadas a la promoción de intereses económicos

2.3 Organizaciones orientadas a la promoción de intereses políticos

2.4 Organizaciones orientadas a la promoción de identidades sectoriales

2.5 Organizaciones orientadas a la promoción de identidades religiosas

2 ORGANIZACIONES DE LA

SOCIEDAD CIVIL

2.6 Organizaciones orientadas a la promoción de identidades religiosas

6 Cabe señalar que no es necesario crear un banco único de indicadores antes de comenzar un análisis: de hecho: lo normal es

hacerlo durante la marcha, comenzando por una cantidad de indicadores de buena calidad, a los que se los ordena y sistematiza al

incorporarlos al banco, mediante controles de calidad, consistencia y, fundamentalmente, de ordenamiento que permite la

administración de la redundancia

14

3.1 Empresas locales de capital extranjero

3.2 Grandes empresas nacionales

3.3 Empresas nacionales medianas y pequeñas

3 ORGANIZACIONES DEL MERCADO

3.4 Micro emprendimientos económicos

4.1 Organizaciones de la administración pública nacional

4.2 Organizaciones de la administración pública subnacional

4 ORGANIZACIONES DEL ESTADO

4.3 Organizaciones de la administración pública local

5.1 Empresas y organizaciones del mercado internacional

5.2 Estados extranjeros

5.3 Organismos multilaterales

5 ORGANIZACIONES DEL CONTEXTO

INTERNACIONAL

5.4 Organismos internacionales de financiamiento

6 OTROS 6.1 Otros

El primer nivel del clasificador se refiere a los tipos de destinatarios y el segundo a los

usuarios. Como vemos, el primer nivel clasificatorio es el más amplio y cubre todo el universo de

receptores de valor que se ha considerado pertinente en este caso. El segundo nivel del

clasificador, en cambio, se refiere a los primeros interlocutores observables en las transacciones

que pueden dar lugar al valor, los usuarios (que pueden, además ser usuarios/beneficiarios

directos). No se describen aquí usuarios concretos sino los tipos de usuarios según los que

interesa fijar políticas distintas o evaluar consecuencias de las asignaciones de recursos. Esta

clasificación no es sólo una decisión técnica puesto que, según los aspectos que muestre u oculte,

se pueden tomar decisiones diferentes, motivo por el cual es de la mayor importancia (así como,

para las organizaciones del mercado, las clasificaciones de sus clientes son los instrumentos

perceptivos mediante los cuales se toman las decisiones, para lo que hace al valor público, la

categorización de los usuarios determina la focalización de las políticas).

Al igual que en el diseño del clasificador de producto-efectos (el banco de indicadores), en

el clasificador de destinatarios es preciso distinguir entre las categorías clasificatorias y las

descripciones operativas, que corresponden al tercer nivel, que se muestra en el cuadro, que

contiene un ejemplo relativo un programa de generación de empleo. Las descripciones operativas

con forman el equivalente al banco de indicadores en el clasificador maestro de efectos y

resultados, y constituyen el inventario de usuarios.

EJEMPLO DE CLASIFICADOR MAESTRO DE DESTINATARIOS DE UN PROGRAMA DE GENERACION DE EMPLEO

CLASIFICADOR MAESTRO DE DESTINATARIOS INVENTARIO DE USUARIOS

Primer nivel Segundo nivel Tercer nivel (operacionalización)

ROL OBSERV

Tipos de destinatarios Tipos de usuarios Descripción operacional del tipo de usuario

Usuario

Beneficiario

Inmediato

Beneficiario

mediato

1.1.1 Padres de familia desempleados y sin oficio x

1.1.2 Jóvenes con secundaria y sin experiencia laboral x

1.1 Personas

individuales

1.1.3 Madres jefas de hogar con más de un hijo y

desocupadas

x

1 PERSONAS Y

FAMILIAS

1.2 Grupos familiares 1.2.1 Grupos familiares urbanos de bajos ingresos con

miembros desempleados

1.1

15

1.2.2 Grupos familiares rurales con miembros

desempleados

1.1

3.3.1 Empresas industriales urbanas medianas y

pequeñas

x 1.1

3.3.2 Empresas de servicios urbanas medianas y

pequeñas

x 1.1

3.3 Empresas

nacionales

medianas y

pequeñas

3.3.3 Empresas agropecuarias medianas y pequeñas x 1.1

3 ORGANIZACIONES

DEL MERCADO

3.4 Micro

emprendimientos

económicos

3.4.1 Pequeñas unidades agroproductivas familiares x 1.1

4.3.1 Municipios urbanos de localidades mayores de 10

mil habitantes

4 ORGANIZACIONES x 1.1

DEL

ESTADO

4.3 Organizaciones

de la

administración

pública local 4.3.2 Municipios urbanos de localidades menores de 10

mil habitantes

x 1.1

En el ejemplo puede observarse cómo el clasificador maestro de destinatarios delimita el

ámbito de observación dentro del campo mayor que considera la estructura del clasificador y que

determinan la forma en la que la información operacionalizada será consolidable en los tableros

de control. En otras palabras, los dos primeros niveles, en lo que hace al valor público, establecen

la visión del universo de destinatarios y, al mismo tiempo, el punto de vista del análisis (por

ejemplo, si se tratara de organizaciones del mercado los dos primeros niveles describirían el

universo de potenciales influidores sobre decisiones de compra de los productos que se ha

tomado en cuenta).

Existe un método sencillo y eficaz para identificar los usuarios y beneficiarios directos e

inmediatos: los primeros son quienes consumen el valor de uso de los productos, los segundos

quienes satisfacen alguna necesidad gracias a los resultados logrados por los usuarios No es tan

fácil, en cambio, identificar los beneficiarios mediatos, es decir, quienes reciben transferencias de

valor de los beneficiarios inmediatos gracias a los efectos producidos. Para incluirlos en el ejemplo

de inventario debería rastrearse la cadena de valor con la guía de preguntas tales como ¿quiénes

resultan beneficiados, a la corta o a la larga, de este programa de empleos? y ¿qué beneficio

obtienen? Quizá no debamos sorprendernos de que esta cuestión quede siempre en último

término (bien lisa y llanamente no figure) en las evaluaciones de la producción del valor público:

se trata de la cuestión política que permite contrastar los logros últimos con efectos buscados que

justificaron la asignación de los recursos.

La construcción de bancos de indicadores

El concepto de indicador se refiere a la relación entre algún fenómeno que resulte

observable directamente y otro que no. Por ejemplo, la temperatura del cuerpo es un fenómeno

que nos resulta directamente observable si disponemos de un termómetro, mientras que, por

ejemplo, la presencia de ciertos microorganismos en nuestras vías respiratorias no lo es. El

conocimiento médico existente ha permitido establecer, sin embargo, que determinadas

variaciones en la temperatura del cuerpo a las que solemos aludir como fiebre, en presencia de

determinadas condiciones, se hallan asociadas a la probabilidad de infecciones en las vías

respiratorias. Esta asociación, expresada como probabilidad, es la que otorga a la temperatura

corporal la condición de “indicador” respecto de determinadas enfermedades. En consecuencia

podemos asignar a ciertas características de la realidad observable la “condición de indicador” de

otra condición no directamente observable. La calidad de la relación es lo que determina la

confiabilidad y validez de la condición de indicador (entenderemos por confiabilidad la medida en

que el indicador pueda ser interpretado de la misma manera en diferentes oportunidades y validez

a la probabilidad de que la asociación entre el fenómeno observable y el que nos interesa sea

alta). Finalmente, llamaremos calidad del indicador al grado de presencia simultánea de ambas

características.

Los mecánicos de automóviles suelen ser hábiles para identificar e interpretar indicadores. Por ejemplo, para

saber a ciencia cierta el grado de desgaste del motor de un automóvil es preciso desarmarlo, operación muy

costosa. Sin embargo, un buen mecánico sabe que los motores desgastados, además de la gasolina, queman

también parte del aceite que usan para su lubricación y emiten un característico humo color blanco por el tubo

de escape. La cantidad de humo blanco (fenómeno visible) tiene la condición de ser un buen indicador del

16

grado de desgaste de ciertas partes internas del motor (fenómeno no visible). Es un indicador de buena calidad

porque es confiable (se presenta siempre que hay desgaste, no algunas veces sí y otras no) y, también, porque

es válido (raramente está asociado a otros fenómenos diferentes del deterioro del motor, como, por ejemplo, el

estado del mismo aceite).

Finalmente, un aspecto de especial importancia en cuanto a los indicadores es su costo de

obtención. En el ejemplo del indicador de desgaste de los motores, puesto que sólo se requería de

hacer funcionar el motor disponiendo de un observador calificado, se trataba sin duda de un

indicador de buena calidad y bajo costo. Naturalmente, en algunos casos no es necesario recurrir

a indicadores porque el fenómeno que interesa es observable directamente a un costo razonable

(por ejemplo, no es preciso recurrir a indicadores para conocer el desgaste de los discos de freno

de los automóviles pues es posible quitar las ruedas y observar directamente su grado de

desgaste). Dado que los indicadores están sujetos en mayor o menor grado a la entropía, cuanto

más indirectos, menos confiables y válidos tenderán a ser.

Sin embargo, cuando el fenómeno a observar es la generación de valor, las cosas no

resultan tan sencillas como cuando se trata del análisis del desgaste de los motores. Aunque el

método a aplicar se base en principios análogos, la complejidad es extraordinariamente mayor. A

pesar de estas dificultades es posible, como veremos, tratar el problema con considerable rigor. El

primer paso para ello es expresar el valor en términos del lugar en que se genera, es decir, las

transacciones resultado-beneficiario inmediato.

Por ejemplo, en un programa de generación de empleo los resultados se expresaban como nuevos puestos de

trabajo ocupados. El programa constaba de dos componentes, uno orientado al empleo urbano y otro rural. En

el urbano no se requería de la construcción de indicadores sino sólo de observación directa, pues los

empleadores que creaban nuevos puestos obtenían ciertos incentivos por cada uno de los mismos y debían

enviar un formulario con los datos del puesto y de la persona que habían contratado, incluyendo una copia del

contrato, lo cual era constatado por un inspector. No había problemas de confiabilidad y validez porque no

había indicadores sino observación directa de los datos primarios.

En el componente rural, en cambio, este método no era posible porque los empleadores en su mayoría eran

pequeños productores rurales, muchos de ellos analfabetos, de manera que resultó imposible que realizaran

reportes escritos de las transacciones de contratación laboral. Se elaboró un sistema de registro mediante el

cual unos inspectores recorrían las unidades productivas cada mes y obtenían información de los productores

acerca de a quiénes habían contratado durante el período y algunos datos de la contratación. Por otro lado, se

realizaba otra encuesta con los trabajadores inscriptos en el programa y se contrastaban los datos. Los

productores tenían incentivos para reportar más contrataciones de las que realmente hacían, para recibir

mayores subsidios, mientras que los trabajadores contratados solían declarar menores beneficios que los

reales, para continuar siendo elegibles en el programa. Los datos nunca coincidían del todo y no había una

forma sencilla y económica para realizar observaciones directas. Por lo tanto, se elaboró un indicador, a partir

de las informaciones disponibles, que consistía en una cantidad de “tiempo de contrato reconocido” por los

inspectores en cada caso, lo que representaba en promedio unos dos tercios de lo reportado por los

empleadores. Se consideró que el “tiempo reconocido” era un indicador razonablemente válido y confiable,

(tomando el cuenta el costo que insumía), de la cantidad de empleo realmente generado en el ámbito rural.

El indicador se aplicaba caso por caso (se requería la firma del inspector para otorgar ciertos subsidios a los

productores); era un indicador de aplicación unitaria. El mismo indicador, sin embargo, ante la necesidad de

realizar una estimación rápida de logro de resultados en otro programa similar, fue aplicado sólo con fines

estadísticos: se asumió que los productores con similares características (dimensión, tipo de cultivos, etc.)

generarían empleos de manera proporcional, de manera que se aplicaron coeficientes obtenido en el primer

programa para estimar las cantidades de empleo realmente creadas.

Los indicadores son sucedáneos de la observación directa y su confiabilidad y validez es la

medida en que se asume que la información que se obtiene de ellos corresponde a lo que se

sabría si la observación directa fuera posible. En el ejemplo anterior, el primer caso correspondía

a la observación directa, el segundo a un indicador de primer nivel (se construyó a partir de datos

primarios obtenidos mediante observación directa) mientras que el segundo era un indicador de

segundo nivel construido con datos secundarios respecto del empleo (tamaño de las unidades

productivas, volúmenes de producción, etc.), a los que se aplicaban ciertas relaciones técnicas

(proporciones de empleo generada en casos considerados comparables) para obtener, finalmente,

el dato de la cantidad de puestos ocupados creados. A este dato, surgido de indicadores se

segundo nivel, debe atribuirse una probabilidad, la que representa la calidad del mismo. Estas

relaciones pueden observarse en el cuadro 6.

17

OBSERVACIÓN DIRECTA Y MEDIANTE INDICADORES

TIPO DE OBSERVACIÓN DE LA REALIDAD

DESCRIPCIÓN INTERPRETACIÓN

PRIMARIOS

REGISTRO DE INFORMACIÓN PRIMARIA

Registro de los datos descriptivos del objeto a analizar

Ejemplos:

Transacciones en el sistema bancario, consumo

doméstico de energía eléctrica.

Costo:

Mayor costo por unidad de información

Calidad:

Mayor confiabilidad y validez

Observación:

Los datos describen directamente el objeto a analizar y

no son indicadores

INDICADORES DE PRIMER NIVEL

Procesamiento de información primaria

Ejemplos:

Estadísticas de movimientos financiero, índices de

consumo eléctrico.

Costo:

Variable según las circunstancias.

Calidad:

Confiabilidad y validez dependientes del grado de

asociación obtenido.

Observación:

Los datos resultan de operaciones realizadas con los

datos primarios y la relación con los mismos es

exclusivamente formal (operaciones matemáticas)

TIPO DE DATOS

SECUNDARIOS

INDICADORES DE SEGUNDO NIVEL

Generación de inferencias e interpretaciones a partir de

datos presumiblemente asociados a la realidad que se

desea observar

Ejemplos:

Índices de desempleo, índices de actividad económica,

índices de calidad educativa

Costo:

Menor costo por unidad de información

Calidad:

Menor confiabilidad y validez

Observación: los datos no describen directamente el

objeto a analizar pero se los presume asociados al

mismo

La situación que en el cuadro 6 se representa como el registro de datos primarios será

considerada como la descripción directa de la realidad a observar y, por lo tanto, no constituyen

indicadores. Cuando estos datos se hallan disponibles de manera sistemática conforman sistemas

de registro e información. Quizás los ejemplos más característicos de este tipo de sistemas hayan

sido los registros de las transacciones en las instituciones bancarias: en estas organizaciones

prácticamente todo lo que ocurre debe quedar registrado, de manera que la información primaria

es extraordinariamente exhaustiva. Sin embargo, no son los registros burocráticos los únicos

casos de disponibilidad de información primaria: en el campo de la salud, por ejemplo, los

exámenes individuales de cada uno de los pacientes (resultantes de observaciones médicas,

exámenes de laboratorio y otras) producen información primaria cualitativa que no se diferencia,

desde el punto de vista informativo, de la anterior: se trata de registros descriptivos de la realidad

que se desea analizar. Esta información es la más cara pero de la mejor calidad.

En el otro extremo del cuadro se representa la situación de cuando no es posible disponer

de datos directos de la realidad que se desea observar sino de otros a los que se presume

asociados. En este caso, los datos serán considerados secundarios y los indicadores, a los que

llamaremos de segundo nivel, surgen de un proceso de interpretación, tras el cual habrá hipótesis

de diferente tipo relativas a la asociación (en el ejemplo antes mencionado del programa de

creación de empleo, las declaraciones de los empleadores y de los empleados eran datos

secundarios que se presumían asociados de una determinada manera –hipótesis- al empleo real

verificado). Las hipótesis que se hallan tras los indicadores de segundo nivel son de, al menos,

dos tipos. Por una parte, relativas a la asociación misma entre los datos disponibles y los que

interesa conocer; por otra, la validez del procesamiento realizado con los datos. En el ejemplo, las

declaraciones de los empleadores y empleados podrían ser más o menos válidas, según su

disposición a no decir la verdad en sus declaraciones. Por otra parte, la construcción de ciertos

índices mediante operaciones aritméticas (tales como promedios), también presupone una

hipótesis acerca de la validez de las mismas en cuanto a reflejar lo que interesa estimar, en este

caso la cantidad de empleos realmente creada aunque no observada directamente.

Una situación intermedia es la de los indicadores de primer nivel, representada en la celda

superior derecha. En este caso las hipótesis subyacentes son sólo del tipo de las segundas antes

18

mencionadas: la validez de las operaciones realizadas a partir de los datos (por ejemplo, si el

resultado a lograr en el programa de empleo antes mencionado se hubiera definido como una

determinada disminución del desempleo, la descripción del fenómeno requeriría de la construcción

de un indicador de primer nivel relativamente sencillo que implicaría ciertas operaciones

aritméticas entre datos primarios tales como el cálculo de las proporciones de beneficiarios del

programa empleados y desempleados a lo largo de un determinado período y las cantidades de

ellos que fueron empleados a través del programa. Si se tratara de observar no sólo la medida en

que se produjo empleo sino también distribución del empleo, la construcción del indicador de

primer nivel será más compleja, y se tratará de un índice).

Convencionalmente utilizaremos el término índice para referirnos a informaciones

resultantes de cálculos sobre datos primarios o secundarios. La inmensa mayoría de los

indicadores de segundo nivel son índices, cuya condición de indicador se refiere a la presunción

de su asociación a alguna característica de la realidad que interese observar. Por ejemplo, el

índice de desarrollo humano elaborado por el Programa de las Naciones Unidas para el Desarrollo

puede ser considerado indicador del grado de desarrollo humano de los países. En el otro

extremo, la cantidad de personas que no asistieron a votar en una elección (dato primario) puede

ser considerada también un indicador del desinterés de la población por los asuntos públicos,

pero, sin duda, un índice como el porcentaje de los votantes seguramente será mejor indicador

que el dato de la cantidad, pues lo relaciona con otro dato, el total de los potenciales votantes.

Finalmente debe considerarse un aspecto ineludible: el tratamiento cuantitativo y cualitativo

de la información

Tratamiento cuantitativo y cualitativo de la información

La discusión sobre las evaluaciones cualitativas y cuantitativas es amplia en la literatura y

presenta un cierto flanco ideológico. Quizás la frase “no queremos vernos reducidos a un número”

exprese bien algunas de las críticas que, desde el humanismo, suelen hacerse a las

formulaciones cuantitativas. Aluden al frecuente uso tecnocrático de los números al servicio de

intereses determinados (se atribuye a Disraeli la reflexión de que, entre las mentiras posibles, hay

que considerar las piadosas y la estadística). Sin ignorar este plano, es preciso, a los efectos de

este trabajo, aclarar esta cuestión en relación a la construcción de indicadores.

En el plano operacional, cuantitativo y cualitativo aluden a una elección sobre la forma de

tratamiento de la realidad a observar, no a características de la misma. Consideraremos

cualitativas a las descripciones referidas a un atributo de la realidad y cuantitativas a aquellas en

las que incluyen información sobre la cantidad de algo. Eso no depende de la naturaleza de lo

observado sino de las categorías descriptivas que decidamos utilizar. Por ejemplo, la edad de

alguien puede ser aludida en términos de un atributo determinado (v.g. “joven”) un número de

unidades de tiempo (p.e. veinte años), etc.: el concepto “edad”, como vemos, admite ser

expresado tanto en términos cualitativos como cuantitativos. Ciertamente, algunas características

de la realidad, como la belleza, parecen ser más aptas para la descripción cualitativa (la pregunta:

¿es bella la Mona Lisa? tal vez no admita otra respuesta que sí o que no); sin embargo los

adolescentes no dudan en aludir la belleza de en una escala de diez puntos. Naturalmente, las

descripciones que son tratadas tanto en términos cualitativos como cuantitativos son las que más

información proporcionan aunque, desde luego, suelen ser también más costosas. Sea como

fuere, la decisión sobre la forma en que serán tratados los datos en cada caso es el punto de

partida para la formulación y construcción de indicadores.

En uno de los programas de creación de empleo antes citados, fue preciso elaborar indicadores de resultados,

que estaban claramente descritos en términos de nuevos puestos de trabajo ocupados. Para averiguar cómo

había sido esta experiencia se encargó esta tarea a cuatro evaluadores con gran experiencia en estas cosas.

Los evaluadores habían trabajado desde un principio con los organizadores del programa, de manera que

conocían bastante bien desde la etapa de formulación hasta el día a día de la gestión. Cuando, al tercer año,

en el marco de una evaluación de medio término que formaba parte de las exigencias de los organismos

internacionales de financiamiento, hubo que presentar un informe relativo al valor realmente logrado hasta el

momento, comenzó un fase en la que se realizaron entrevistas y reuniones con grupos focales de beneficiarios

directos, se elaboraron historias de vida de muchos de ellos, se elaboró la historia empresaria de una docena

de empleadores y se realizaron talleres de reflexión con la participación de los evaluadores, gestores del

programa, autoridades políticas y otros actores. Se obtuvo una gran cantidad de material de mucha riqueza que

nadie dudaría en calificar de cualitativo. Con este material se construyeron varios “arquetipos”, consistentes en

categorías de beneficiarios y de empleadores. Tres de las categorías de beneficiarios fueron especialmente

importantes para la toma de ciertas decisiones. Las habían denominado “joven madre sola con más de un hijo”,

19

“padre viejo sin oficio” y “joven soltero con secundaria y sin experiencia laboral”. Fue posible elaborar historias

de vida también “arquetípicas”, cada una con sus pasados y posibles futuros. Se elaboró un informe en el que

había muy pocas cifras y mucha “vida”, al decir de quienes lo leyeron. Gracias al proceso de evaluación quedó

muy claro que el valor que se creaba con cada nuevo empleo de ninguna manera era el mismo si la persona

que lo ocupaba era una joven madre con dos hijos y sin pareja, que si lo hacía un joven que buscaba su primer

empleo al salir de la secundaria. Tampoco lo eran los mismos los efectos que se lograban, ni tampoco los

beneficiarios mediatos, por no hablar del diseño de los mecanismos de incentivos para los empleadores, los

mecanismos de difusión o los contenidos de los cursos de capacitación. Por cada categoría identificada la

cadena completa de valor era bastante diferente. ¿A quiénes se dirigía en programa? ¿A quiénes debía

dirigirse? El informe sirvió para desencadenar una reflexión de fondo, sin recurrir a cifras ni estadísticas, al

sacar a la luz una realidad compleja, rica, extraordinariamente aleccionadora y, sobre todo, insoslayable. Se

trataba de una evaluación cualitativa.

Quizás, por su condición de única, la creación artística sea la expresión más acabada de lo

cualitativo. La literatura, en este sentido, es una extraordinaria forma de conocimiento, aun cuando

se trate de ficción. La realidad de Alaska de los cuentos de Jack London, la de España del Quijote

o la del París de Balzac no pueden ser transmitidas más que de esa particular manera. La

principal representación que de China tuvo occidente durante muchos años provino de los relatos

de viajes de Marco Polo y del oriente de “Las mil y una noches”. Sin duda no se debía creer que

todo lo que decían estos relatos era cierto, pero eso no era sin duda lo importante sino el hecho

de que describían un mundo posible aludiendo a su complejidad y riqueza (se trata de la misma

naturaleza de cosas que se aprehende leyendo la historia de vida de una joven madre campesina,

sola en la lejana ciudad con sus dos hijos y que ha optado por pedir ayuda en un programa

gubernamental de creación de empleo, ante la imposibilidad objetiva de conseguir trabajo como

doméstica y, también, ante la decisión propia de no prostituírse). En el programa del ejemplo

anterior, precisamente, no se había relatado la historia de cada una de las madres sino que se

había “creado”, a partir de ellas, la historia de vida de una suerte de “madre típica”, personaje que

no por ficticio era menos real. En ese sentido, la creación literaria de la categoría era real en tanto

verosímil, no exacta. La exactitud, por decirlo de alguna manera, era irrelevante en este caso.

A su vez, el tratamiento cuantitativo de los datos de la realidad saca a la luz otras facetas y

traslada el punto de vista a otro plano de abstracción. Conviene aquí distinguir, al menos, dos

técnicas usuales de tratamiento cuantitativo especialmente importantes en el diseño de

indicadores: la expresión cuantitativa de atributos de objetos singulares y el registro de cantidades

de objetos. El primero se refiere al uso de escalas numéricas:

Por ejemplo, al calificar con diez una tesis de grado sobresaliente se refleja en un número la percepción del

profesor que la evaluó. El número es una forma de decir que, para él, la tesis se encuentra dentro del mismo

grupo que otras tesis que también califica con diez (quizás, en la universidad, le hayan dado al profesor una

guía en la que se describen las características de las tesis que merecen diez; eso ayuda a veces a que

diferentes profesores califiquen a los alumnos con criterios menos heterogéneos, lo cual puede disminuir la

arbitrariedad). Da lo mismo, naturalmente, decir diez que “sobresaliente”, se trata de una convención ordinal en

la que sólo importa que diez es más que nueve, del mismo modo que sobresaliente es más que muy bueno.

El uso de escalas numéricas para expresar atributos es indispensable cuando es preciso

realizar operaciones con los datos. Da lo mismo usar expresiones como “reprobado” o “excelente”·

para calificar a cada alumno en particular, pero es necesario expresar estas categorías en una

escala numérica si se requiere saber si las calificaciones tienden a subir o a bajar. Por otro lado, el

tratamiento cuantitativo implica establecer de qué manera se realizará el registro de las

cantidades de unidades. Ello incluye la no siempre simple cuestión de establecer

convencionalmente qué se considerará unidad en cada caso. La determinación de la unidad

puede ser un problema complejo que presupone hipótesis subyacentes sobre la validez (por

ejemplo, las cantidades de alumnos de una escuela, de cada curso y que han obtenido

determinadas notas requieren determinar tres unidades diferentes: alumno/escuela; alumno/curso

y alumno/nota). Como vemos, tanto en las técnicas de aplicación de escalas cuantitativas como

de registro de cantidades de unidades, la cuantificación es un proceso descriptivo que alude a las

categorías conceptuales empleadas y no directamente a la realidad. Además, el tratamiento

cuantitativo de la información muestra aspectos de la realidad que el cualitativo oculta y viceversa.

Veamos un ejemplo.

En el programa de empleo del ejemplo anterior, tras la presentación del informe cualitativo, se plantearon

discusiones estratégicas que no podían ser resueltas sin el uso de técnicas cuantitativas. Había quedado claro

20

que los diferentes tipos de beneficiarios requerían estrategias muy diferentes y se quería saber a cuál sería la

que más valor público generaría. Se obtuvieron informaciones cuantitativas acerca de las cantidades relativas

de beneficiarios según categorías y se realizó una calificación de los mismos según la relación entre el costo

por beneficiario y la duración posterior en el empleo. Los datos mostraron que las jóvenes madres

representaban algo menos del veintisiete por ciento de los beneficiarios mientras que los “padres viejos sin

oficio” representaban un 57% y los “jóvenes solteros con secundaria y sin experiencia laboral” sólo un 17%.

Más allá del impacto emocional, quedó claro que la estrategia general del programa debía considerar

prioritariamente a los padres desempleados. Los datos cuantitativos también mostraron que los padres “viejos”

duraban más en los empleos generados por el programa que los jóvenes con secundaria. Esto se debía que

para estos últimos, en general, se trataba del primer trabajo y, una vez obtenido, les resultaba más fácil obtener

otros que a los padres. Finalmente, las tres categorías de beneficiarios fueron calificados mediante una escala

numérica de diez puntos que reflejaba la estimación del grado de necesidad. Las madres recibieron puntajes

promedio de necesidad de entre 9 y 10, los padres, entre 7 y 9 y los jóvenes entre 4 y 6 (la escala de

necesidad, como vemos, se refería nada menos que al valor).

Los dos ejemplos anteriores muestran que las formas de tratamiento (cualitativo y

cuantitativo) son elecciones metodológicas; que ambas implican hipótesis subyacentes -a veces

complejas- que hacen a la validez y confiabilidad y, finalmente, que son necesariamente

complementarias. En el ejemplo anterior, las descripciones cualitativas de los beneficiarios a partir

de sus historias de vida permitieron la construcción de categorías indispensables para analizar el

valor público que el programa debía producir. Sin embargo, sin el posterior tratamiento cuantitativo

(a partir de estas categorías cualitativamente identificadas), el análisis hubiera quedado en un rico

anecdotario de la casuística que, probablemente hubiera servido para más para ocultar que para

mostrar las verdaderas necesidades. No es objeto de este trabajo agotar ni mucho menos las

cuestiones metodológicas relativas al tratamiento de informaciones ni al análisis cuantitativo y

cualitativo (sobre lo que existe abundante literatura) sino sólo hacer referencia a algunos aspectos

en particular que necesitaremos tomar en cuenta al referirnos a la construcción de los bancos de

indicadores. Como vemos, debajo de la cantidad se halla la singularidad. Los tableros de control

del valor público no deben ocultar la singularidad detrás de números y cifras, sino presentar un

mapa que permita ubicarlas en su contexto.

CONCLUSIONES

Los tableros de control son herramientas que generan transparencia sobre ámbitos de otra

manera opacos a la percepción directa. En tal sentido, no sólo son instrumentos para la toma de

decisiones sino, también, para la articulación entre los actores y la rendición de cuentas. Para ello

es preciso que los tableros (o cualquier otra fuente de información que pueda ser utilizada de tal

manera) permitan llegar hasta el origen de los datos, en cuyo caso, se garantiza que la

información sea observable y eventualmente auditable. No se trata de una cuestión menor: si la

información existe en algún lugar, se convierte automáticamente en un botín preciado para los

actores involucrados y mantenerla oculta implica costo. Cuando la información existe, también

existe la potencial la rendición de cuentas por parte de algunos actores frente a los que tengan o

adquieran capacidad para exigirlas. Es lo que ocurre cuando, por ejemplo, la prensa descubre

determinadas situaciones ante la opinión pública habilitando de esta manera la aparición de

exigidores de cuentas según los intereses y capacidades existentes. Por otra parte, además de las

rendiciones de cuentas, la toma de decisiones sobre asignación y reasignación de recursos

requiere de la disponibilidad de información que realimente dichas decisiones.

En la medida en que la información sobre la generación de valor se halle presentada en

términos tales que los usuarios puedan: 1º) acceder a los datos de base, tanto cuantitativos como

cualitativos, 2º) contar con información sobre el valor expresada en unidades equivalentes

convencionales pero únicas, y 3º) en algún medio que permita acceso oportuno a un costo

suficientemente bajo, se cuenta con la facilidad que hemos aquí llamado “tablero de control de

efectividad”, es decir, una herramienta de gestión de información que hace transparentes

situaciones sobre un determinado ámbito que, de otro modo serían opacas.

La falta de cualquiera de estas condiciones genera opacidad relativa; sólo la conjunción de

las tres es lo que produce la transparencia. En cuanto la primera: por ejemplo, si no existe

razonable garantía de que la validez de los datos de base se halla fuera de la discusión, no es

posible avanzar sobre la interpretación de los mismos (v.g. cuando se pone en tela de juicio la

manera en que se calcula el desempleo, no se puede llegar a conclusiones que incluyan a la tasa

de desempleo como elemento de juicio). Del mismo modo, si no se halla disponible la información

cualitativa sobre las realidades puntuales que dan lugar a los números generales de la información

21

macro normalizada, los datos pierden la conexión con la realidad empírica (como cuando no es

posible relacionar las cifras de desempleo con la naturaleza de los dramas humanos que

representan en términos de dolor, desesperanzas y carencias). En cuanto a la segunda condición,

si no es posible contar con la expresión del valor en unidades tales que permitan conclusiones

generales sobre situaciones particulares heterogéneas, tampoco es posible salir de la casuística,

es decir, de la disponibilidad de múltiples historias pero no la historia. Finalmente, en cuanto a la

tercera condición, el acceso oportuno a la información requiere que el costo de acceso sea bajo,

es decir, que la información se halle disponible y no implique significativos costos de búsqueda

asociables a cada consulta.

La forma de presentación de la información sobre logro de valor que hemos utilizado como

ejemplo en este documento, en disponibilidad para los actores involucrados, reúne estas

condiciones y por lo tanto lo usamos como ejemplo válido de tablero de control de efectividad (al

que aludiremos en adelante como TCE). Sin embargo, para que un TCE sea una herramienta que,

además de generar transparencia incida sobre la ecuación de poder entre los actores

(empoderando a los desfavorecidos por la asimetría informativa), es preciso que se verifiquen dos

condiciones adicionales a las ya tres ya mencionadas: 4º) que el acceso sea equitativo entre los

actores involucrados y 5º) que tanto la metodología empleada como los datos cuenten con

legitimidad para los actores involucrados. Cuando ello ocurre, el TCE es una herramienta que

puede mediar en los permanentes procesos de exigencia y rendición de cuentas entre los actores,

en otras palabras, incide en la ecuación de poder reduciendo la asimetría de información a favor

de los menos favorecidos. Es lícito plantear la conjetura de que, cuando ello ocurre, se abre la

puerta a una “mano invisible” muy diferente de la del mercado pero análoga eventualmente en

cuanto a la orientación hacia la eficiencia de la asignación y utilización de recursos en la

generación del valor público.

Desde estas perspectivas, a lo largo de este artículo hemos tratado de unas pocas ideas,

ninguna de ellas original. La primera es que el valor público se refiere a la satisfacción de

necesidades desde la condición de ciudadano. La segunda, que hay que buscar el origen del valor

en los recursos aplicados para generarlo, lo que determina que sea una cuestión política. La

tercera, que el conocimiento equitativo sobre el valor público por parte de los actores involucrados,

es decir, la transparencia, es valor público en sí misma. Por lo tanto, no parece descabellado

concluir que los esfuerzos por construir tableros de control que hagan transparente a los actores la

medida en que el uso de los recursos satisfaga equitativamente necesidades humanas consisten

en inversiones y no en gastos. También parece evidente que la información es la condición

ineludible para que la equitativa generación de valor público no se erosione en manos de la

ineficacia, la ineficiencia y la corrupción, los tres únicos factores por las que el uso de los recursos

hoy disponibles pueden no traducirse en desarrollo humano.

22

BIBLIOGRAFÍA

ARELLANO GAULT,

David

2001 Dilemas y potencialidades de los presupuestos orientados a resultados:

límites del gerencialismo en la reforma presupuestal. Documento presentado

en el VI Congreso Internacional del CLAD sobre la Reforma del Estado y la

Administración Pública, Buenos Aires

BALLART, Xavier 1992 ¿Cómo evaluar Programas y Servicios Públicos? Aproximación Sistemática y

Estudios de Caso, Ministerio para las Administraciones Públicas, Madrid.

BALLART, Xavier 1996 Modelos teóricos para la práctica de la evaluación de programas, Lecturas de

Gestión Pública Ministerio de las Administraciones Públicas, Madrid.

BROWN, Prudence 1998 El rol del evaluador: textos para un debate La evaluación de los proyectos de

"desarrollo comunitario" Gestión y Análisis de Políticas Públicas Instituto

Nacional de Administración Pública - Madrid

CLAD, Centro

Latinoamericano de

Administración para

el Desarrollo

2000 La Responsabilización en la Nueva Gestión Pública Latinoamericana,

Informe CLAD 2000, Comité Científico, Centro Latinoamericano de

Administración para el Desarrollo, Caracas.

CRONBACH, L.J. 1982 Designing evaluations of educationals and Social Programs. San Francisco,

Josse-bass

CRONBACH, L.J. et al 1980 Toward Reform of program evaluation, CA, Jossey-Bass, San Francisco

CUNILL GRAU, Nuria 2000 Responsabilización por el control social, en "Responsabilización en la nueva

gestión pública latinoamericana, Comité Científico del Centro

Latinoamericano de Administración para el Desarrollo, CLAD-Eudeba,

Caracas.

CUNILL GRAU, Nuria

y OSPINA BOZZI,

Sonia

2003 Evaluación de resultados para una gestión pública moderna y democrática:

experiencias latinoamericanas CLAD, Caracas.

CUNILL GRAU, Nuria

y OSPINA BOZZI,

Sonia

2003 La evaluación de los resultados de la gestión pública: una herramienta

técnica y política en "Evaluación de resultados para una gestión pública

moderna y democrática, CLAD, Caracas.

DERLIEN, Hans Ulrich 1998 Una comparación internacional en la evaluación de políticas públicas Gestión

y Análisis de Políticas Públicas Instituto Nacional de Administración Pública –

Madrid

FELDER, Ruth y

LOPEZ, Andrea

Participación de los usuarios en el control de los servicios públicos

privatizados. La experiencia argentina. Biblioteca Virtual TOP sobre Gestión

Pública, www.top.org.ar, Buenos Aires

FREIJIDO, Emilio 2003 El sistema nacional de evaluación de la gestión pública por resultados en

Uruguay en "Evaluación de resultados para una gestión pública moderna y

democrática, CLAD, Caracas.

GUERRERO

AMPARÁN, J.P y

LOPEZ ORTEGA, M.

2000 La clasificación funcional del gasto público, CIDE, Centro de Investigación y

Docencia Económicas, México D.F.

GUY B., Peters 1998 El surgimiento, declive y resurgimiento de la evaluación de políticas públicas

en el Gobierno americano Gestión y Análisis de Políticas Públicas Instituto

Nacional de Administración Pública- Madrid

23

GUZMÁN, Marcela 2000 Chile: evaluación de programas e indicadores de desempeño. Transparencia

y mejoramiento de los procedimientos para la discusión presupuestaria,

CEPAL, Instituto Latinoamericano y del Caribe de Planificación Económica y

Social (ILPES), Santiago.

HINTZE, Jorge 2001 Control y evaluación de gestión y resultados, Revista "Documentos y Aportes

en Administración Pública y Gestión Estatal", número 1, Universidad Nacional

del Litoral, Santa Fe..

HINTZE, Jorge 2001 Instrumentos de evaluación de la gestión del valor público, TOP, Biblioteca

Virtual TOP sobre Gestión Pública, www.top.org.ar, Buenos Aires

HINTZE, Jorge 2001 La gestión presupuestaria de estructuras: un instrumento para la gestión por

resultados, Revista Reforma y Democracia, CLAD, Nº 17, Caracas.

JENKINS, Bill y Gray,

Andrew

1994 Evaluación y el usuario: la experiencia del Reino Unido, en Gestión y análisis

de Políticas Públicas, Nº 1, sep-dic 1994, Madrid.

MACIEL de PAULA,

Luiz A y KLÉBER

PEREIRA, José

2002 La utilización de indicadores sociales en la evaluación de políticas públicas.

Estudio de un caso de reforma agraria, Revista Reforma y Democracia,

CLAD, Nº 24, Caracas.

MIN. PLANIFICACIÓN

NAC. Y POLÍTICA

ECONÓMICA COSTA

RICA

2000 Sistema Nacional de Evaluación - SINE, CEPAL, Instituto Latinoamericano y

del Caribe de Planificación Económica y Social (ILPES), Santiago.

MINTZBERG, Henry 1994 The rise an fall os strategic plannig, Prentice Hall International, Hemel

Hemstead.

MOKATE, Karen Marie Convirtiendo el "monstruo" en aliado: la evaluación como instrumento de la

gerencia social Instituto Interamericano para el Desarrollo Social Publicación

I 23, Santiago.

MONNIER, E. 1995 Evaluación de la acción de los poderes públicos. Madrid, Ministerio de

Economía y Hacienda Instituto de Estudios Fiscaes

MORA, Mario 2003 El sistema nacional de evaluación de Costa Rica, en "Evaluación de

resultados para una gestión pública moderna y democrática, CLAD, Caracas.

MOORE, Mark H. 1998 Gestión estratégica y creación de valor en el sector público, Paidós,

Barcelona.

MOSTAJO GUARDIA,

Rossana

2000 Productividad del sector público, evaluación de la gestión del gasto público e

indicadores de desempeño en Guatemala, CEPAL - ECLAC, Santiago.

NIREMBERG, O.,

BRAWERMAN I. y

RUIZ, V.

2003 Programación y evaluación de proyectos sociales. Ed. Paidós, Bs. As.

OSPINA BOZZI, Sonia 2001 Evaluación de la gestión pública: conceptos y aplicaciones en el caso

latinoamericano. Revista Reforma y Democracia Nº19, CLAD, Caracas.

OSPINA BOZZI, Sonia

y OCHOA, Doris

2003 El sistema nacional de evaluación de resultados en Colombia, en

"Evaluación de resultados para una gestión pública moderna y democrática,

CLAD, Caracas.

OSZLAK, Oscar 1987 Monitoring, Control and Evaluation in the Argentine Public Administration.

Informe de investigación, Banco Interamericano para el Desarrollo,

Washington, D.C., U.S.A

24

PRESSMAN, J. Y

WILDAVSKY, A.

1998 Implementación Fondo de Cultura Económica, México.

RICART, Joan 1991 Incentivos y control en la empresa pública, Ed. Ariel, Barcelona

SHADISH y EPSTEIN 1987 Patterns of program evaluation practice. Among members of the evaluation

research society and evaluation network. Evaluation Review

SHADISH, COOK y

LEVINGTON

1991 Classic 1960: Articles in Educational Evaluation. Evaluation and Program

Planning

SIEMPRO 1999 Gestión integral de programas sociales orientada a resultados, SIEMPRO,

Sistema de Información, Monitoreo y Evaluación de Programas Sociales,

Secretaría de Desarrollo Social, Argentina, Buenos Aires,

STAKE, R.E. 1980 Program Evaluation, Particularly Responsive Evaluation En Drockrell and

Hamilton eds.: Rethinking educational research, Hodder & Stoughton,

London.

VEDUNG, E. 1997 Evaluación de políticas públicas y programas, Ministerio de Trabajo y

Asuntos Sociales, Instituto Nacional de Servicios Sociales, Colección

Servicios Sociales, Madrid.

WEISS, C.H. 1983 Toward the future of stakeholder approaches. En Bryked.: Stakeholderbased

Evaluation. San Francisco, CA, Jossey-Bass

WEISS, C.H. 1987 Evaluating Social programs: What have we learned? Society

WEISS, C.H. 1998 Evaluation. Methods for studying programs and policies. 2ª edición. Upper

saddle river, NJ, Prentice Hall

WHOLEY, J.S. 1983 Evaluation and effective Public management. Boston, Little Brown

WILDAVSKY, Aaron 1998 El presupuesto como proceso político, Revista de Hacienda Municipal, Nro.

1, Instituto para el Desarrollo Técnico de las Haciendas Públicas, México,

D.F.

YAÑEZ, César El nuevo cálculo del Indice de Desarrollo Humano en el Informe del PNUD

1999, su impacto en América Latina y su evolución histórica secular desde

1900 Revista Instituciones y desarrollo Nº 4

ZALTSMAN, Ariel 2004 La evaluación de resultados en el sector público argentino: un análisis a la

luz de otras experiencias en América Latina, CLAD, Revista Reforma y

Democracia Nº 29, Caracas.

ZAPICO GOÑI, E. Y

MAYNE, J.

1995 Nuevas perspectivas para el control de gestión y medición de resultados.

Gestión y Análisis de Pólíticas Públicas Nº 3