정책은 좋은 의도로 성공하지 않는다. 성공하는 정책은 목표가 수량화되고, 효과가 인과적으로 식별되며, 집행·감사가 거버넌스로 고정된다. 이 글은 첫째, 비용–편익과 분배·위험을 함께 보는 평가 틀을 정리하고, 둘째, RCT·차분의 차분·도구변수 등 인과추론 도구의 실무적 사용법을 설명하며, 셋째, 데이터·윤리·캘린더를 갖춘 운영 체계를 제시한다. 목적은 정책 뉴스를 해석의 대상에서 설계의 재료로 바꾸는 데 있다.
비용–편익과 분배·위험의 동시 평가: 총량을 넘어 구조로
정책 평가의 1막은 비용–편익 분석이지만, 총합만 보면 실패한다. 첫째, 편익의 측정. 인프라의 시간 단축, 교육의 임금 상승, 보건의 수명 연장, 안전의 사고 감소는 모두 화폐로 환산되어야 한다. 표준값이 없으면 그림의 떡이다. 둘째, 분배. 동일한 순편익이라도 수혜와 부담의 분포가 불공정하면 정치적 지속가능성이 없다. 소득 분위·지역·세대·성별·장애 여부에 따른 영향 매트릭스를 의무화하고, 취약층에 대한 보정(현금 이전·요금 할인·우선 접근권)을 설계에 내재화해야 한다. 셋째, 위험. 교통·에너지·데이터 정책은 꼬리 위험이 크다. 기대값만 보면 과소투자·과대평가가 일어난다. 시나리오 분석(낙관·기준·비관)과 옵션 가치(유연성의 값)를 포함시키고, 중단·전환 옵션을 계약에 내장한다. 넷째, 기회비용. 예산은 유한하다. 같은 1조 원을 어디에 쓰는가의 문제다. 동일 목표(예: 탄소 감축, 아동 빈곤 완화)에 대해 가장 ‘원가 대비 효과’가 높은 수단부터 배치하는 ‘머슬 순서’를 정책 포트폴리오로 문서화해야 한다. 다섯째, 시간과 실행. 같은 사업이라도 착공까지 6년 vs. 1년은 승수가 다르다. ‘준비된 사업(쉘프 레디)’의 목록화를 상시로 해두어야 위기에서 속도가 나온다. 여섯째, 사후 평가와 종료 조건. 모든 사업에는 KPI·마일스톤·종료 기준이 있어야 한다. 실패는 낭비가 아니라 학습 자산이며, 종료는 정치적 패배가 아니라 재배치의 시작이다. 마지막으로, 투명성. 데이터·코드·모형·가정·분석 노트를 공개해 재현성을 보장해야 한다. 공개가 없다면 평가는 설득이 아니라 선언에 머문다. 총량의 합리성과 분배의 정당성, 위험의 관리와 속도의 실행이 함께 갖춰질 때 비로소 정책은 경제가 된다.
인과추론의 도구와 현장 적용: RCT·DiD·IV·RD의 선택과 함정
정책의 효과는 상관이 아니라 인과로 측정해야 한다. RCT(무작위 통제실험)는 황금표준이지만, 윤리·비용·시간 제약이 크다. 그래서 행정데이터·자연실험을 활용한 준실험이 현실적이다. 차분의 차분(DiD)은 정책집단·비정책집단의 사전–사후 변화를 비교해 공통 충격을 제거한다. 핵심 가정은 ‘평행 추세’이며, 사전 추세 검정과 이벤트 스터디 그래프로 가정을 시각화·검증해야 한다. 도구변수(IV)는 처치의 내생성을 외생적 도구로 제거한다. 도구는 처치에 강하게 연관되되 결과에는 처치를 통해서만 영향을 미쳐야 한다(배제 제한). 약한 도구는 편향을 키우므로 F-통계 등 강도 검정이 필수다. 회귀단절(RD)은 선발 컷오프 주변의 단위를 비교해 국소적 인과효과를 식별한다. 컷오프 조작·치환을 막고, 밴드폭·다항 차수의 민감도 분석을 병행해야 한다. 시계열 정책에는 합성통제법이 유효하다. 유사 지역·집단의 가중합으로 반사실을 구성해 정책 효과를 추정한다. 모든 도구에는 함정이 있다. 선택 편향, 측정 오류, 샘플 이탈, 비동시 충격, 정책 유출(스필오버)이 결과를 왜곡한다. 따라서 ‘프리레지스터(사전 등록)’와 분석 계획의 공개, 다중 가설의 교정, 강건성 검사(대체 변수·사양·기간·샘플), 헤테로지니어스 효과의 탐색이 표준이 되어야 한다. 무엇보다 중요한 것은 질문의 설계다. “효과가 있었나?”를 넘어 “누구에게, 언제, 어떤 조건에서, 비용 대비 얼마나?”를 묻는 순간, 방법은 스스로 좁혀진다. 방법은 도구상자의 목록이 아니라 질문의 함수다. 현장과 데이터의 질이 나쁘면 도구는 장식이 된다. 인과추론은 통계가 아니라 조직의 습관이다.
데이터·윤리·캘린더의 거버넌스: 운영 체계가 결과를 만든다
정책의 성패는 거버넌스에서 갈린다. 첫째, 데이터 인프라. 행정데이터의 표준화(식별자, 시간·공간 단위), 상호운용성(API, 권한 관리), 개인정보 보호(가명·익명 처리, 안전한 분석 구역), 감사 가능성(접근 로그, 변경 이력)을 제도화한다. 둘째, 실험 문화. 소규모 파일럿→확장(A/B 테스트)→전면 시행의 계단을 정책 수명주기에 내장하고, 실패의 기록·공개를 장려한다. 셋째, 의사결정 캘린더. 예산·세제·요금·보조금의 변경을 고정된 달력으로 운영해 예측 가능성을 높이고, 민간·지자체가 준비할 시간을 제공한다. 넷째, 이해관계자 참여. 공청회·시민패널·전문가 리뷰를 의무화하되, 대표성·정보 제공의 균형을 지키고, ‘의견 수렴 로그–반영/비반영 사유–최종 설계’의 체인을 공개한다. 다섯째, 윤리. 알고리즘·데이터 편향이 차별을 재생산하지 않도록 영향 평가를 제도화하고, 취약계층에 대한 의도치 않은 악영향(배제, 낙인)을 사전 평가한다. 여섯째, 성과 기반 예산. KPI 달성도와 장기 성과(예: 졸업 후 소득, 건강 수명, 탄소 배출) 연동 예산 배분을 도입하고, 성과 미달 사업의 자동 감액·종료 규칙을 채택한다. 일곱째, 인력과 보상. 데이터 과학·정책평가·제품 운영 역량을 갖춘 인재를 공공에 유치하려면, 보상·커리어 트랙·외부 협업의 유연성이 필요하다. 마지막으로, 투명성과 신뢰. 원자료·코드·대시보드를 상시 공개하고, 외부 재현 연구를 장려하면 단기 비판은 늘지만 장기 신뢰는 급증한다. 거버넌스는 절차의 미학이 아니라 성과의 엔진이다. 절차가 공정하고 예측 가능할수록, 정책은 더 빠르게 학습하고 더 적은 비용으로 목표에 다가간다. 데이터로 설계하고, 윤리로 경계하며, 달력으로 실행하는 체계가 마련될 때 공공정책은 비로소 ‘작동하는 경제’가 된다.