a guide to measuring advocacy and policy

author : Annie E. Casey Foundation by Organizational Research Services

Original report

related article: – A Handbook of data collection tools: Companion to 'A guide to measuring advocacy and policy – [[measuring advocacy and policy]]

2007 年出版,當時還鮮少有針對倡議型方案的系統性評估方式,因此 Casey Foundation 便撰作了本份報告(guide and handbook of collection tools),以提供獎助基金會、計畫方案執行人員相關的學習與參考文獻。

本文可分成兩大部,第一章先列舉了為何目前還欠缺一統性倡議評估的可能原因(例如方法學的挑戰、對於所謂的評估各持不同看法、成果確認的困難......等等),再申明即便困難但仍是應該進行評估的理由。

第二章則討論如何設計適當評估,其建議三大步驟: 1. Start with a theory of change.
2. Identify outcome categories. 3. Select a practical and strategic approach to measurement.

(OS: 原來之所以需要了解 theory of change ,很大的理由是為了 之後的”評估”、討檢的依據)

1.從變革理論起手

原因有二: 更高視野的戰略與成果企圖、透過變革理論建立彼此對於”影響力”的共同意志與共識。前者或許不難理解,而後者所指的「影響力」要如何界定? 不妨從: social change, policy change , adovacy 三種模型來理解 – 社會變化: 實體、社會條件情境的改變 – 政策變革: 包含政策落實狀況 – 倡議: 此為達到前兩項的基石/戰術,例如策略聯盟、公眾意識、政治意志等等

The process of developing a theory of change will offer powerful insight for all of the partners and stakeholders about the How, What and Why of advocacy and policy work. The strategies and outcomes clarify the How and What. The articulation of the ultimate impact describes Why the work is happening.

2. 界定成果類型

對比於服務型NGO型成果成效之檢驗評斷已趨完善與標準化, 倡議型方案的潛在成果仍在摸索實驗階段,有些可能是過程過渡之間的條件創造方能達成終極的社會改革;有些是透過最後結果之反映以驗證。選定的預期成果必須對映現實政策與倡議任務,也就是說必須是起點第一步中”變革理論”相關,明確了預期成果才能進一步發展評估(以決定計算所選成果的步驟與架構)。

從過往大量的成果類型與進展指標樣本,作者提出了以下六大分類來歸類成果: 1. SHIFT IN SOCIAL NORMS 2. STRENGTHENED ORGANIZATIONAL CAPACITY 3. STRENGTHENED ALLIANCES
4. STRENGTHENED BASE OF SUPPORT 5. IMPROVED POLICIES 6. CHANGES IN IMPACT 作者在底下整理了一份列表,以呈現六大類各別有哪些潛在成果、可利用什麼策略來達成( How and What)、適合的分析單位是什麼.... 。outcome/strategy 之間連動,再影響了分析單位 (who/what change)

3. 挑選既實用又具戰略的計量方式

從上述前兩大步驟可知: 一開始制定了變革理論與接下來選定預期成果之間的強關聯,至於要如何具體計量成果,可從以下五大方向來考量

  1. Identification and measurement of core outcome areas related to social change or policy change
  2. Evaluation of strategic progress
  3. Identification and measurement of short-term incremental objectives
  4. Assessment of the capacity of the advocacy and policy organization
  5. Case study documentation of process and impacts

#reading #advocacy