들어가며
페이스북에 공감가는 글이 올라왔습니다. 가끔 정부과제 평가에 들어가고 드물게는 평가를 받는 위치에서 서기도 하는 1인으로서, 평가자 그룹의 일원 입장 또는 피 평가자 입장에서 아래와 같은 현상을 드물지 않게 발견할 수 있습니다.
이전에 쓴 글
이와 관련해서 예전에 제가 쓴 글이 있습니다. 국가 R&D 평가와 기획에 들어간 뒤 벌어지는 일들에 대하여, 몇년 전의 개인적인 감상을 적은 글입니다. 물론 요즘 상황과는 잘 맞지 않는 부분도 있기는 하겠지만 말입니다.
평가자 선정 과정
이번에는 평가자 선정에 관한 부분에만 집중을 해보겠습니다.
지금의 많은 평가자 선정 과정은 이렇습니다. 평가관리기관의 DB에 있는 인력풀에 비슷한 분야의 전문가라고 스스로 주장한 사람들이 있습니다. 이 가운데 컴퓨터가 무작위(random)로―하지만 학연지연을 배제하면서 나름 공정하게―후보들을 선정합니다. 이 후보들에게 평가에 임박한 시점에 전화를 걸어서 시간 되냐고 묻는 시스템입니다.
이 인력풀은 관리 기관끼리 일부 공유되기도 합니다. 많은 교수 또는 유사한 전문가라고 분류되는 그룹의 사람들은 이 인력풀에 자신의 정보를 개정하라는 메일을 주기적으로 받습니다. 또한 평가자 선정 과정 자체가 이와 다른 경우도 있습니다. 일부 큰 사업의 경우, 진짜 전문가를 찾으려는 노력이 들어가기도 합니다. 이 장면에서도 할 말이 많이 있으시겠지만, 단언컨대 보통의 평가자 선정 프로세스보다는 좋을 가능성이 높다는 것이 제 생각입니다.
문제의 원인
그럼, 위의 과정에서 문제와 그 원인은 무엇일까요?
- 문제 1. ‘분야’가 좀 그렇습니다.
인력 DB의 기술 분야 분류표는 참 애매한 물건입니다. 코에 걸면 코걸이, 귀에 걸면 귀걸이 모드라서입니다.
- 문제 2. ‘스스로 주장’하는 것이 문제입니다.
위 문제1과도 상관이 있지만, 자기가 어떤 분야의 전문가이며 전문성이 있다고 주장하는 것이 과연 맞을까 싶기도 합니다. 학력이나 어떤 기관에 재직하는가 하는 증명을 요구하는 경우는 있지만, 실제 전문성은 누구도 검증받지 않습니다. 모든 IT 언저리 말잘하는 분들이 빅데이터 전문가 였다가, IOT 전문가 였다가, 핀테크 전문가였다가, 지금은 인공지능 전문가라서입니다.
- 문제 3. ‘임박한’이 문제입니다.
진짜 전문가들은 바쁩니다. 며칠 전에 시간을 내기 쉽지 않습니다. 진짜 전문성을 발휘하느라고, 또 사업하느라고, 또는 연구하느라고, 또는 수업하느라고, 또는 다른 제안서 쓰느라고, 어디선가 너 없으면 나라가 망하는데 꼭 참가하라고 하는 곳이 많아서입니다.
- 문제 4. ‘시간되냐’가 문제입니다.
진짜 전문가는 시간이 잘 안되는 것도 문제지만, ‘시간되냐’가 아니라, 구체적으로 이런 저런 평가를 하는데 ‘그 분야를 잘 아시냐’ 고 물어보지 않아서입니다.
- 문제 5. ‘묻는’ 이 문제입니다.
진짜 전문가는 바쁩니다. 묻지 말고 ‘평가는 이런 방식으로 진행되고, 자료는 언제 받으실 수 있고, 평가비는 얼마를 드립니다.’ 라고 안내를 하지 않아서입니다.
그 결과
진짜 전문가는 잘 안 옵니다. 우리는 평가장에서 완전 이상한 소리를 하는 평가위원을 보게 됩니다. 선정 과정 평가가 나중에 완료 평가보다 훨씬 중요한데, 그 차이가 없습니다.
대안은 무엇인가
그럼 대안이 필요하겠습니다. 그런데 문제는, 현 상황에서 진짜 전문가를 모실 수 있는 훌륭한 대안이… 없다는 것입니다.
정부나 평가를 주관하는 기관에서도 당연히 위에 나열된 문제를 인식하고 있습니다. 제대로 평가하려면 제대로 된 전문가가 필요한데, 진짜 전문가는 하루 종일 시간을 내기도 어렵고, 또 20만원~30만원 받겠다고 거기 갈 전문가도 없습니다. 지금 상황에서 제대로 된 전문가가 그런 평가에 참가 한다면, 그 이유는 아마도 셋 중 하나일 겁니다. 애국적인 행위를 하고 싶거나, 세금을 내는 국민을 위해 봉사하고 싶거나, 나라를 구하(…)고 싶거나. 훌륭한 전문가들을 모시기 위한 시간과 예산이 기관에는 없습니다. 또한 이는 의지로 되는 일이 아닙니다.
출처: SBS
- 별로 훌륭하지는 않지만, 어쩌면 당장 할 수 있는, 최악을 피할 수 있는 대안은 다음과 같습니다.
- 평가자 선정 과정에서 ARS로 평가 분야에 관한 기초적인 질문 몇 가지를 한 뒤, 정답율이 80% 이상인 분만 모시는 겁니다(물론 기준 수치는 조정할 수 있겠습니다). 이 정도 하면 평가장에서 완전 ‘뻘소리’ 할 가능성이 조금 줄겠죠.
- 평가에 선정되면 평가자들에게 자료를 먼저 보내줍니다. (지금은 이런 건 절대 없습니다. 비밀 어쩌구 때문에…) 그리고, 그걸 읽고 몇 줄이라도 반드시 느낌을 쓰는 경우에만 평가에 참여시킵니다.
- 피평가자에 의한 평가자 평가를 합니다. 피평가자에게 평가자 좌석 배치 맵을 주고, 이 사람은 전문성이 없다, 이 사람은 평가자로서 기본적인 자질이 없다. 점수를 매기게 합니다. 거의 바닥 점수를 여러 명에게 받은 피 평가자는 평자가 풀에서 블랙리스트에 올립니다. 피평가자가 해당 분야 전문가인 경우가 많기 때문에 이 방법은 반드시 성공합니다. 또 애티튜드(attitude)도 마찬가지죠. 한 군데서 사고치는 사람은 비슷한 환경에서 다시 사고를 칠 가능성이 아주 높습니다.
- 대신 평가비를 대폭 올리는 겁니다. 적어도 평가를 다녀온 뒤 평가자 입장에서도 인생무상을 느끼지 않을 정도로 말입니다.
- 그래도 평가자를 구할 수 없다면, 그런 사업은 국가에 필요가 없다고 정의하고, 사업을 접습니다. (…)
원문: 쉽게 살 수 있을까?
