първи питания около рейтингите

Вчера късно вечерта дългоочакваните рейтинги на образованието в нашите висши институции, извършени по професионални направления, станаха достъпни на нарочно направения сайт: http://rsvu.mon.bg/

Е, най-после и това се случи.
Преди почти десет години в свойствения си майтапчийски стил колегата Димитър Денков беше написал статия "Нещо като рейтинг на нещо като университети".
Тя беше публикувана в "Критика и хуманизъм", книга 8, брой 1 от 2000 г.
Броят беше тематично посветен на хуманитарната образованост.

Оттогава всъщност у нас се правят опити за популяризирането на различните методи,
методики и методологии,
критерии и оценки, чрез които могат да се сравнят различните институции за висше образоване у нас.

Най-подробно и информативно бе това, което публикува наскоро Юнуз Юнуз в "Култура": може да се мери така, но и така, има различни класации, направени според различни мерила и оценки, и т.н.

От вчера можем да видим първата подобна класация у нас.
Колегите, които са я направили, заслужават похвала и поздравления, но все пак в едно просветено общество, както написа и Юнуз, трябва да има и рефлексия.

Питания и въпроси. Кое как е сметнато и оценено, и защо?

Преди малко в коментар в "Дневник", към статия на Лора Филева, озаглавена
Американският университет поведе първата класация в България
http://www.dnevnik.bg/bulgaria/2010/11/04/987711_amerikanskiiat_universitet_povede_purvata_klasaciia_v/
написах следното:


Хубаво е, че най-после имаме една много информативна и подробна класация по направления на висшите образователни институции.

Лошо е, че критериите и методологията, по която е направена, бяха държани в тайна до последно и все още не са достатъчно публично обяснени на сайта с рейтингите.

Още по-лошото е, че моментално се появяват статии като тази, за съжаление, които подвеждат общественото мнение.
АУБГ е първи, наистина, но не по качество на образованието там, което рейтинг като този изобщо няма как да измери,
а по количеството на получаваните заплати от дипломиралите се в него алумни.
***
Ако внимателно разгледаме методологията на рейтинга, ще видим тотална доминация на оценката за
"колко се получава след завършване на образованието", над това "какво става по време на следването".
***
Ползата и практическата изгода са по-важни (според извършителите на меренето) от знанието и познанието, и от мисията на университетите да създават ново знание във всички мислими области, а не просто да дават занаят.
Спорът, започнал преди две хилядолетия и половина, между Платон и Аристотел, от една страна, и Изократ и по-меркантилните от софистите, от друга, е решен в полза на

полезното и изгодното като следствие от образованието.

Да живеят банавзичните "образователни" ценности!

***

Понеже не е възпитано във форума на вестника да се изкажа прекалено многословно, все пак тук, на моя си блог ще го направя.

Не е хубаво още в началото, още при първите стъпки на рейтинговите класации у нас, резултатът да се опорочава и компрометира в публичното пространство с популяризации, които променят изводите на самите извършители на проучването.
Те многократно, включително Георги Стойчев от "Отворено общество" снощи по БНТ заяви, че този рейтинг е като Олимпийските игри - класирани са професионални направления, а не университетите като цяло.

Ако все пак се сумират "златните медали" от отделните академично-олимпийски дисциплини, на първо място излиза Софийският университет.

Таня Петрова на първата страница в днешния брой на СЕГА също е написала съвсем прецизно:
Софийският университет е абсолютен лидер по качество на обучението сред класическите университети у нас, а Американският университет в България предлага най-добра реализация на възпитаниците си.
http://www.segabg.com/online/new/articlenew.asp?issueid=7460§ionid=16&id=0000101

Освен това, много е хубаво, когато един процес, завършил с много добър резултат след десетгодишно туткане, каквото беше рейтингуването на университетите, да бъде обяснен като резултат на читателите.

Дори и футболните запалянкови четат внимателно анализите на мачовете, които свръхконцентрирано са гледали от първата до последната съдийска свирка!

Обществото заслужава обяснение на методологията на рейтингите, а не само представяне на резултата.

Таня Петрова го прави, като пише за методологията следното:

В класацията се отчитат 51 индикатора, разпределени в 6 тематични групи -
индикатори за учебния процес (20% тежест),
за осигуряване на учебния процес (10%),
за научноизследователската дейност (20%),
за социално-битовите условия (5%),
за реализацията (30%),
за престиж (15%).

Показателите допълнително са разделени на две групи - обективни, получавани през официални източници, и субективни - на база проведените представителни анкетни проучвания. В комплексната оценка обективните тежат с 69%, а субективните - с 31%. Субективните отговори са резултат от поредица представителни проучвания - сред 3010 работодатели, сред 3010 завършили през последните 3 години, сред 3023 преподаватели, сред 7414 магистри, 13 072 бакалаври, 2414 пълнолетни граждани за установяване на общественото мнение.


***




Споровете за това дали образованието трябва да е по-практически полезно или има ценност и заради самото себе си
се водят на територията на Европа вече от 2500 години.

Сега питам за методологията.

Както е написал и Музар в пост [#112] към статията на Лора Филева в "Дневник", обясненията за методиките и методологията са достъпни на пидиефски файлове, а не като хтмл...
(По този повод мимоходом ще вметна, че съм съгласна с Музар: тази страна на работа не е доизпипана.)

После, ако видите "кашкавалените пити" на методологията, ще видите, че 30% от оценката за някои направления се формира от последващата реализация на дипломираните, а в някои специалности
даже половината "кашкавалена пита" е отрязана -
50% от оценката на оценяващите
се формира от това, какво става
след, а не по време на
самото следване.

Ако добавим към това и резенът от 15% от "кашкавалената пита", който мери престижа, ще видим, че при различните направления тези постобразователни и параобразователни мерила формират между 45 и 65% при сегашните рейтинги!

И после.

Няма по-трудна и обречена задача от това да се измерва качество.
Качеството на образованието по неизбежност в подобни класации и рейтинги се мери чрез количеството.

Нашите колеги, обаче, са го мерили в много от пунктовете чрез усреднените субективни възприятия на интервюираните студенти.

Сами са написали на пидиефския файл за методологията:

интервюирали са студенти и са изчислили тяхното средно впечатление.

Излиза, че голяма част от останалите резени от "кашкавалената пита"
пак не са формирани от що-годе обективни измерители, а от
субективните възприятия на студентите.

Ако ще си говорим сериозно, няма как обективно да измерим дали учебното съдържание по една и съща дисциплина в различни държавни университети, е по-актуално или не?
Дали ако сравняваме една и съща професионална област в различни държавни университети,
можем обективно да кажем в коя е по-актуално преподаваното като съдържание?

Няма как да стане това сравнение по този показател.

Обективно е предопределено в много аспекти те да са еднакви, заради еднаквите единни държавни изисквания, по които са написани учебните им планове .

Това засяга много от компонентите на изследването на учебния процес в тези рейтинги.

Средностатистическото субективно впечатление на студентите е много важно, но все пак меренето на качеството - и на качеството на преподаването, и на качеството на изпитването -
май трябва да се направи по друг начин.

Иначе, несъмнено, практическите ползи са огромни, информацията е много полезна, началото най-после е положено.



и трите снимки на този пост са направени от Николай Гочев в Университета

питания и факти от статията на Юнуз

Напоследък за висшето образование у нас се заговори много.

Някои неща се казват и пишат много добре, други - не чак толкова.

Голяма част от това, което казват и пишат колегите-студенти от СУ напоследък, ми харесва.

Харесва ми, защото студентите от СУ, които наскоро се активизираха, започнаха да говорят много ясно и много отчетливо.
Да формулират конкретни послания към обществото, да имат обосновани искания и да ги адресират към различни адресати и институции.
Те имат своите искания и към министерството, и към министъра на образованието, и към министерството на финансите и неговия министър.
Те имат своите искания и към правителството като цяло, но и към ректорското ръководство.
За всичко това може да се прочете, когато се разгледат страниците и на СУ, и на неговия Студентски съвет, и на няколкото активни по-неформални студентски групи, които имат сайтове и блогове с вече доста публикации по темата.

Преди десет дни в по-миналия брой на вестник "Култура" излезе и една доста информативна и аналитична статия на колегата Юнуз Юнуз, който е докторант по философия на образованието.

Статията е озаглавена "Да премерим, но знаем ли с каква мярка".

Посветена е на очаквания рейтинг на висшите образователни институции у нас, който след седмица може би ще бъде представен пред обществото (по информация от министерството), но засега всичко около него е в пълна конспирация и секретност.

Пълният текст на статията на Юнуз Юнуз е тук:

http://www.kultura.bg/bg/article/view/17518

От нея копирам част от онова, което ми се вижда много уместно за разгласа и из блогосферата:

...

Чакаме рейтинг, който да каже кои български университети са по-добри от другите.
Той се произвежда от екип на „Отворено общество” и МБМД по поръчка и с финансиране на държавата. Резултатите от него трябва да станат ясни съвсем скоро и, според думите на министъра, вероятно ще окажат влияние на финансирането на висшето образование.

Докато чакаме, нека да подплатим скептицизма си към онова, което ще се случи, с някои факти и размисли относно рейтингите.

Няколко медии напоследък обърнаха внимание на факта, че Софийският университет е класиран на 777-мо място в Уебометрикс. През 2005-а мястото беше 1293-то. Напредъкът е похвален, но би трябвало да се отдаде предимно на спецификата на самото изследване. То мери уеб присъствието на отделните институции според четири критерия:
1.размер, сиреч брой на страниците в домейна на институцията (с тежест 20%);
2.видимост или брой на хипертекстовите връзки към тези страници (50%);
3.брой на "богатите файлове", за каквито са счетени документи с разширения pdf, ps, doc и ppt (15%);
4.академични референции, които се измерват през данните за цитирания, предоставяни от Google Scholar – услуга за търсене в научната и академична периодика (15%).
*
Уебометрикс се прави от Лабораторията по киберметрики към испанския Висш съвет за научни изследвания – най-голямата държавна научна организация в Испания.
Друга класация, която привлича значителен интерес, е Академичното класиране на световните университети, изготвяно до миналата година от Шанхайския университет Дзяо Тун (по други публикации - „Джао Тонг“ или дори „Иао Тонг“, защото сме забравили правилата на транскрипция от китайски), а след това поето от независима консултанска агенция. Критериите са доста елитарни:

1.възпитаници на висшето училище, получили Нобелова награда или Филдсов медал (10%);
2. членове на академичния състав, получили Нобелова награда или Филдсов медал (20%);
3. членове на академичния състав, които са „високо цитирани“ в 21 широко дефинирани научни области;
4. публикации в Нейчър и Сайънс (20%, за институциите, които специализират в хуманитарни и социални науки, тежестта се разпределя към другите критерии);
5.индексирани публикации в точните и социалните науки (20%) и отношението на горните критерии към размера на институцията (10%).

*
Може би най-престижно е Световното университетско класиране на британското издание Таймс Хайър Едюкейшън (въпреки присъствието на думата „приложение“ в предишното му заглавие, то всъщност не е пряко обвързано с вестник Таймс). Това класиране се базира на 13 индикатора, групирани по следния начин:
1.преподаване (30%);
2.изследване (30%);
3.цитирания (32,5%);
4.приходи от бизнеса (2,5%);
5.международно присъствие на състав и студенти (5%).

Критериите за тази година са обновени, а данните за изготвяне на класирането се предоставят вече от Томсън Ройтерс. Предишният партньор Какарели Саймъндс – компания, която специализира в изследвания в областта на висшето образование – продължава да изготвя свое класиране самостоятелно.

Има още немалко рейтинги. Някои от тях са инициатива на държавни органи в страни, като Русия, Австралия и Тайван, и целят съизмерване със света според критерии, киото съответните държави или изследователски организации считат за най-важни. Други са ориентирани към бизнеса и измерват неща, като брой възпитаници на дадено висше училище, които заемат директорски позиции в компании от списъка на Форчън Глобал 500.

Още по-голямо е разнообразието на класирания, които се изготвят само в рамките на отделни държави. Може би най-известното и същевременно най-критикувано в Щатите е класирането на колежи и университети на Ю Ес Нюз енд Уърлд Рипорт. При него, освен стандартни статистически показатели за размер, ресурси, заплати и т.н., има силно използване на данни от проучвания сред академичен състав и ръководители, преподаватели в гимназии, бивши възпитаници, тоест, най-общо се поставя акцент и върху „възприеманото“ качество. Интересен подход в други проучвания е изготвянето на статистика на изборите, които извадка от кандидат студенти правят в случаите, когато са приети на повече от едно място. Тези данни впоследствие се обработват и свеждат до ЕЛО коефициент, аналогичен на този, използван в света на шахмата.
*
В Обединеното кралство ежегодни класирания се изготвят от вестниците Таймс, Индепендънт, Сънди Таймс и Гардиън. Обикновено те са силно ориентирани към кандидат-студентите и дават не само подреждане по институции и специалности, но и много по-сложна и разнообразна информация, която се простира от удовлетвореността на студентите и реализацията на възпитаниците до разходите за живот в кампуса или съответното населено място.
*
След всичко това, трябва ясно да заявим, че дотук не става дума за държавна политика в прекия смисъл на думата. Всъщност, доста отчетлива посока на развитие на най-престижните класации е те да бъдат разгръщани и реализирани като консултантски и информационен продукт. Разбира се, в някои от тези инициативи е инвестиран държавен интерес. И е напълно задължително държавите да търсят разнообразни начини да получават структурирана информация за това което става в областта на висшето образование и да привличат в този процес и експертизата на организации и специалисти, които работят по изготвянето на подобни рейтинги.
*
Отношението на държавата към подобни класирания, обаче, би трябвало да кореспондира с някаква рефлексия и яснота за смисъла на държавния ангажимент в образованието.

На първо място, в България държавните органи и най-вече Министерството на образованието осигуряват нормативна база, провеждат политики и пишат стратегии. Сегашният екип на министерството започна своята работа с „Програмата за развитие на образованието, науката и младежките политики“ за периода на своя мандат. Там, без да се прави особено диференциране между различните образователни етапи, се казва:
„В национален контекст е необходимо качеството на образованието да се дефинира като измерима величина, която характеризира едновременно системата и процесите, които протичат в нея. Качеството е свързано със способността на системата да реагира на променящите се реалности в света и да удовлетворява променящите се заедно с тях обществени и индивидуални образователни потребности. Процесът на оптимизиране на системата в най-съществените й аспекти – управление, образователна среда и услуги, преподавателски практики и квалификационни форми, мониторинг – пряко влияе на качеството на образованието, а това прави необходимо измерването на неговите показатели.“

По стара тукашна традиция, такива оплетени политически формули не биват реферирани, когато някой реши да ги привежда в действие. С доза добронамереност можем да приемем, че поръчката на министерството към „Отворено общество” и МБМД изхожда от този документ, който пък твърди за себе си, че изхожда от политическата програма на управляващата партия и стратегическите документи на Европейския съюз. Извън това, че ще бъдат класирани по този рейтинг, държавните университети бяха приканени да изготвят доклади за самооценка, които изглежда ще бъдат последвани от един по-мащабен (и по-скъп) проект за външно институционално оценяване.

Извършвайки тези дейности, министерството създава впечатление, че от техните резултати ще произтекат конкретни целеполагания и решения - било във финансирането, било в осигуряването и повишаването на качеството на висшето образование. Министърът скоро заяви, например, че най-високо класираните университети по отделните професионални направления ще получат 10% повече пари. Това намерение все още не присъства в някакъв документ и донякъде противоречи на нормите на Закона за висше образование, който предписва субсидията за издръжка на обучението да се определя от норматив по професионални направления, умножен по броя приети студенти и евентуално по коефициент, зависим от акредитационната оценка. Промяна на закона, разбира се, е също на дневен ред.

Проблемът не е толкова в противоречието с нормативното, колкото в цялостния процес. Защо министерството поръчва рейтинг? Академичната общност, бъдещите студенти, цялото общество, пък и самата държава имат нужда от информация за качеството на дейността на образователните институции. Но дали - и най-вече как - този рейтинг ще мери качеството? Какво е качество?Може би не е съвсем очевидно, но този въпрос не пита за фактичност, а по-скоро за целеполагане. Ако се върнем на цитата от програмата по-горе, заявява ни се, че качеството е „измерима величина“, свързана с „адаптивността“ на „системата“ към „реалностите“. Също така, „оптимизирането“ на системата променя величината на качеството, поради което трябва да я мерим.
Значи мерим, оптимизираме и мерим пак. Обаче реалностите междувременно се променят, освен това системата е жива и се предполага, че трябва да съдейства в това да бъде оптимизирана, като прояви адаптивност. Каква, обаче, е целта на оптимизацията? Измерването не би имало особен смисъл, ако не знаем мярата. А мярата трябва да бъде съвместен инструмент. Някак не би трябвало държавата да мери нещо, без да каже какво, защо, по какъв начин и с какви цели го мери. Поне доколкото смята да включи това мерене в процеса на правенето на политика в областта на висшето образование.
Ако отнесем всичко това към рейтингите, които разгледахме по-горе, е очевидно, че различните подходи предполагат различен вид оценностяване на висшето образование.

Според Шанхайския индекс е изключително важно елитарно санкционираното признание за отличност на научните резултати. Според Уебометрикс дадена институция се справя добре, ако се грижи за своята публичност и интегрираността си с други образователни и изследователски институции. Разбирането на Таймс Хайър Едюкейшън е по-комплексно и по-отчетливо включващо детайлите на самия образователен и изследователски процес вътре в институцията. Картината се променя още повече, ако намерението е резултатите на едно проучване да бъдат обвързани с финансирането. Такова намерение не е лошо само по себе си, но предполага много по-голяма прозрачност и обоснованост на всеки отделен детайл на изготвянето на рейтинга. И поради силната си политическа значимост, предполага ясното заявяване на цели и ценности в областта на висшето образование.

С което стигаме до въпроса, който, изглежда, никога досега не е получавал напълно ясен и задоволителен отговор.

Какво иска държавата от висшето образование?

Дали то е същото, което искат обществото и академичната общност?

Това не е въпрос, който трябва да се отиграе с правене на регламенти, администриране и рейтингуване без прозрачност. В едно свободно и просветено общество това е въпрос, по който трябва да се прави политика.

студентите искат