close

Anmelden

Neues Passwort anfordern?

Anmeldung mit OpenID

Einfluss von Zitationskennzahlen auf die Messung der Effektivität

EinbettenHerunterladen
Einfluss von Zitationskennzahlen auf die
Messung der Effektivität und Effizienz
betriebswirtschaftlicher Fachbereiche
Dr. Marcel Clermont
& Alexander Dirksen
Barbara Scheidt
& Dr. Dirk Tunger
Gliederung
A
Motivation
B
Methodische Vorgehensweise
C
Deskriptive Analyse
D
Analyse des Zusammenhangs der Zitationsindikatoren
E
Fazit
2
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Gliederung
A
Motivation
B
Methodische Vorgehensweise
C
Deskriptive Analyse
D
Analyse des Zusammenhangs der Zitationsindikatoren
E
Fazit
2
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Das CHE-Forschungsranking betriebswirtschaftlicher
Fachbereiche 2011
A 
Ermittlung forschungsstarker (betriebswirtschaftlicher) Fachbereiche
B 
Betrachtungszeitraum: 2007-2009
C 
Umfangreiche Datenerfassung unter Mitarbeit der Universitäten
D 
Gemeinschaftliche Betrachtung absoluter und relativer Kennzahlen
E
Absolute Kennzahlen
Promotionen
[Anzahl]
Publikationen
national
[Punkte]
Publikationen
international
[Anzahl]
Relative Kennzahlen
Verausgabte
Drittmittel
[Summe]
Promotionen pro
Professor
Publikationen
national
pro promoviertem
Wissenschaftler
Publikationen
international pro
promoviertem
Wissenschaftler
Drittmittel
pro Mitarbeiter
Berghoff et al. (2011)
3
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Erweiterung des Forschungsrankings um
Wirkungsindikatoren
A 
B 
C

D 
E
Bislang kein Einbezug von Wirkungsindikatoren zur Bestimmung der
Forschungsleistung
Häufig diskutierter Wirkungsindikator in der Szientometrie:
Zitationen (van Raan 1996)
Nosek et al. (2010):
Zitationen sind ein Wirkungsindikator, der „valid, relatively objective, and,
with existing databases and search tools, straightforward to compute“ ist
Neben der „einfachen“ Zählung der Anzahl an Zitationen gibt es
unterschiedliche Zitations(index)kennzahlen, so z. B.
h-Index, g-Index, e-Index, J-Faktor, …
Welche Zitationskennzahlen bieten einen grundsätzlichen Mehrwert
bei dem vom CHE eingesetzten Indikatorenset?
4
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Gliederung
A
Motivation
B
Methodische Vorgehensweise
C
Deskriptive Analyse
D
Analyse des Zusammenhangs der Zitationsindikatoren
E
Fazit
5
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Erhebung der Zitationen
A 
B

D. h. Erhebung der Zitationszahlen der zugehörigen, im CHEForschungsrankings ausgewiesenen internationalen Publikationen

Datenbank: Web of Science (Einbezug aller Teildatenbanken)

Betrachtung von zwei Zitationszeiträumen:
C
D
E
Anlehnung an die Vorgehensweise des CHE in Bezug auf die Erhebung der
internationalen Publikationen


6
Kurzer Zeitraum: 01.01.2007 – 31.07.2010
Langer Zeitraum: 01.01.2007 – 31.03.2014
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Generierung unterschiedlicher
Zitations(index)kennzahlen
A (1) Gesamtzahl an Zitationen
B (2) Zitationen pro Paper
C (3) h-Index (Hirsch 2005)
D
E
(4) e-Index (Zhang 2009)
(5) g-Index (Egghe 2006)
(6) J-Faktor (Ball et al. 2010)
7
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Generierung unterschiedlicher
Zitations(index)kennzahlen
A (6) J-Faktor (Ball et al. 2010)
Zitationshäufigkeit eines Fachbereichs I und einer Vergleichsgruppe R wird
jeweils in Bezug auf Zitationen in einer Zeitschrift S bewertet.
B
C
cpp I ( S ) p I ( S )
J ( I , R)  

p I , ges
S cpp R ( S )
D
E
J(I,R):
J-Faktor der Institution I, in Relation zum Standard R
S:
Zeitschrift
CPPI(S): Durchschnittliche Zitationsrate der Publikationen von Institution I in der Zeitschrift S
CPPR(S): Durchschnittliche Zitationsrate der Publikationen von Standard R in der Zeitschrift S
8
pI(S):
Anzahl der Publikationen von Institution I in der Zeitschrift S
pI,ges:
Gesamtanzahl der Publikationen von Institution I
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Generierung unterschiedlicher
Zitations(index)kennzahlen
A (6) J-Faktor (Ball et al. 2010)
Benchmark
B
Dok. Typ
C
Article
2005
Article
D
E
Berechnung
P
C
CPP
P
C
CPP
rel. CPP
Gewichtung
Inkrement
Journal of Applied
Crystallography
130
1300
10
3
9
3
30%
14%
4%
2007
Journal of Crystal
Growth
75
450
6
5
15
3
50%
23%
11%
Review
2008
Nature Reviews
Immunology
14
210
15
2
60
30
200%
9%
18%
Article
2008
The Journal of
Immunology
150
1500
10
10
300
30
300%
45%
136%
2005
American Journal of
Human Genetics
16
32
2
2
6
3
150%
9%
14%
100 %
184 %
Letter
Jahr
Journal
gesamt
Rechenweg für Journal of Applied Crystallography
Relative CPP: 3 / 10 = 0,3 = 30 %
Inkrement: 0,3 * 0,14 = 4 %
9
Institut
395
22
Gewichtung: 3 Paper / 22 Paper = 14 %
abschließend Summe über alle Inkremente → J = 184 %
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Analyse der Unterscheidungskraft der Zitations(index)kennzahlen mittels Korrelationskoeffizienten
A (1) Korrelation gemäß Pearson 
B
C
D
Es gilt: −1 ≤  ≤ +1
 = +1:
 = −1:
Perfekte positive Korrelation der Ausprägungen zweier Kennzahlen, d. h. in einem 2dimensionalen Koordinatensystem liegen die Ausprägungen auf einer Geraden mit
positiver Steigung
Perfekte negative Korrelation der Ausprägungen zweier Kennzahlen, d. h. in einem 2dimensionalen Koordinatensystem liegen die Ausprägungen auf einer Geraden mit
negativer Steigung
→ Unterscheidungskraft zwischen Kennzahlen umso geringer, je perfekter die Korrelation
E (2) Rangkorrelation gemäß Kendall 
Es gilt: −1 ≤  ≤ +1
 = +1:
 = −1:
Perfekte positive Korrelation der Rangplätze auf Grundlage zweier Kennzahlen
Perfekte negative Korrelation der Rangplätze auf Grundlage zweier Kennzahlen
→ Unterscheidungskraft zwischen Kennzahlen umso geringer, je perfekter die Korrelation
10
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Gliederung
A
Motivation
B
Methodische Vorgehensweise
C
Deskriptive Analyse
D
Analyse des Zusammenhangs einzelner Zitationsindikatoren
E
Fazit
11
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Übersicht der Ausprägungen der einzelnen
Zitations(index)kennzahlen
A
B
C
Zitationen
Arithm. Mittel
Median
Minimum
Maximum
Standardabweichung
Variationskoeffizient
2010
47,8
23,0
0,0
398,0
69,7
1,5
2014
167,9
74,5
0,0
1.217,0
233,0
1,4
Zitationen
pro Paper
2010
2014
1,9
7,0
1,5
5,5
0,0
0,0
6,8
40,0
1,6
7,1
0,9
1,0
h-Index
2010
3,1
3,0
0,0
9,0
2,1
0,7
2014
5,8
5,5
0,0
18,0
3,9
0,7
D
e-Index
E
F
12
Arithm. Mittel
Median
Minimum
Maximum
Standardabweichung
Variationskoeffizient
2010
3,1
3,0
0,0
12,2
2,7
0,8
2014
7,6
6,3
0,0
27,8
5,8
0,8
g-Index
2010
4,5
4,0
0,0
17,0
3,6
0,8
2014
9,6
8,0
0,0
33,0
7,0
0,7
J-Faktor
2010
1,0
1,0
0,0
2,3
0,6
0,6
2014
0,9
0,8
0,0
1,9
0,4
0,4
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Verteilung der Zitationen zwischen den Fachbereichen
100%
A
Zitationen 2010
Zitationen 2014
B
D
E
Kumulierter Anteil der Zitationen
C
80%
60%
40%
20%
0%
0%
20%
40%
60%
80%
100%
Kumulierter Anteil betriebswirtschaftlicher Fachbereiche
13
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Gliederung
A
Motivation
B
Methodische Vorgehensweise
C
Deskriptive Analyse
D
Analyse des Zusammenhangs einzelner Zitationsindikatoren
E
Fazit
14
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Korrelationen und Rangkorrelationen der
betrachteten Zitationskennziffern
A
B
C
D
2010 / 2014
Zitationen
Zitationen
1
Zitationen
pro Paper
h-Index
e-Index
Zitationen
pro Paper
0,658
0,634
+
0,654
+
0,546
1
h-Index
+
+
0,885
0,883
0,692
0,629
+
0,838
+
0,831
+
0,434
+
0,433
1
e-Index
+
+
+
+
0,867
0,775
0,867
0,732
0,836
0,713
+
0,909
+
0,794
+
0,796
+
0,630
+
0,792
+
0,687
1
g-Index
+
+
+
+
+
+
0,926
0,919
0,809
0,720
0,940
0,889
0,965
0,859
+
0,916
+
0,577
+
0,535
+
0,940
+
0,879
+
0,929
+
0,823
+
+
+
+
+
+
+
+
0,312
0,380
0,589
0,445
0,402
0,370
0,499
0,432
0,458
0,412
***
0,261
+
0,237
+
0,380
+
0,316
***
0,267
+
0,204
+
0,345
+
0,261
+
0,297
+
0,225
**
***
+
+
**
**
***
***
**
***
1
J-Faktor
+
***
**
*
15
0,925
1
g-Index
E
+
J-Faktor
signifikant auf 0,1
signifikant auf 1,0
signifikant auf 5,0
signifikant auf 10,0
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
%-Niveau
%-Niveau
%-Niveau
%-Niveau
Korrelationen und Rangkorrelationen der
betrachteten Zitationskennziffern im Zeitvergleich
A
2010
Zitationen
Zitationen
h-Index
e-Index
pro Paper
B
Zitationen
C
Zitationen
pro Paper
2014
D
h-Index
e-Index
E
g-Index
J-Faktor
0,951
0,844
0,476
0,483
0,872
0,824
0,832
0,736
0,910
0,866
0,230
0,217
+
+
+
+
+
+
+
+
+
+
*
**
0,714
0,573
0,879
0,724
0,611
0,521
0,837
0,666
0,713
0,609
0,406
0,299
+
+
+
+
+
+
+
+
+
+
***
+
0,853
0,834
0,517
0,494
0,947
0,850
0,832
0,724
0,928
0,845
0,283
0,218
+
+
+
+
+
+
+
+
+
+
**
**
0,887
0,699
0,714
0,569
0,798
0,628
0,942
0,756
0,915
0,730
0,341
0,255
+
+
+
+
+
+
+
+
+
+
***
***
g-Index
0,917
0,822
0,635
0,549
0,904
0,792
0,930
0,787
0,965
0,871
0,323
0,245
+
+
+
+
+
+
+
+
+
+
***
***
+
***
**
*
17
J-Faktor
0,307
0,327
0,422
0,339
0,347
0,315
0,393
0,331
0,368
0,330
0,536
0,386
***
+
+
+
***
+
***
+
***
+
+
+
signifikant auf 0,1
signifikant auf 1,0
signifikant auf 5,0
signifikant auf 10,0
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
%-Niveau
%-Niveau
%-Niveau
%-Niveau
Gliederung
A
Motivation
B
Methodische Vorgehensweise
C
Deskriptive Analyse
D
Analyse des Zusammenhangs einzelner Zitationsindikatoren
E
Zusammenfassung und Implikationen
19
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Zusammenfassung
A 
B

C
D 
E
20
Bislang kein Einsatz von Wirkungsindikatoren im CHE-Forschungsranking
 Einbezug von Zitationskennzahlen zur Ermittlung der Forschungsstärke
In der Literatur werden unterschiedliche Zitationskennzahlen diskutiert
 Zitationen absolut; Zitationen pro Paper; h-, e-, g-Index, J-Faktor
In Bezug auf die internationalen Publikationen des CHE-Forschungsrankings
resultiert eine (typische) rechtsschiefe Verteilung, die bei Ausweitung des
Betrachtungszeitraums konstant bleibt

Hohe Korrelationen bezüglich der Ausprägungen der Indikatoren Zitationen
absolut, h-, e- und g-Index sowie bei den korrespondierenden Rangfolgen

Zwischen den Betrachtungszeiträumen hohe Korrelationen zwischen den
Zitationskennziffern, mit Ausnahme des J-Faktors
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Implikationen
A 
B
C

D 
E
20
Wenig Unterscheidungspotential bei der Verwendung unterschiedlicher
absoluter bzw. größenabhängiger Zitationskennzahlen für das Ranking
betriebswirtschaftlicher Fachbereiche
Zusätzliche Aussagekraft im Ranking durch absolute Zitationszahl, Zitationen
pro Paper und J-Faktor
Bis auf J-Faktor Erhebungszeitraum relativ irrelevant, d. h. auch kurzer
Erhebungszeitraum könnte vom CHE verwendet werden
Einfluss von Zitationsindikatoren auf die Messung von Effektivität und Effizienz betriebswirtschaftlicher Fachbereiche
Marcel Clermont und Dirk Tunger | RWTH Aachen University und Forschungszentrum Jülich
Vielen Dank für Ihre
Aufmerksamkeit!
Dr. Marcel Clermont & Alexander Dirksen
RWTH Aachen University
Lehrstuhl für Unternehmenstheorie:
Nachhaltige Produktion & Industrielles Controlling
Templergraben 64
52056 Aachen
www.lut.rwth-aachen.de
Barbara Scheidt & Dr. Dirk Tunger
Forschungszentrum Jülich GmbH
in der Helmholtz-Gemeinschaft
Zentralbibliothek
Wissenschaftliches Publizieren
52425 Jülich
www.fz-juelich.de
Literatur
Fantapié Altobelli, Claudia (2007)
Martkforschung: Methoden, Anwendungen, Praxisbeispiele. Lucius & Lucius: Stuttgart.
Ball, R./Mittermaier, B./Tunger, D. (2009)
Creation of journal-based publication profiles of scientific institutions: A methodology for the interdisciplinary
comparison of scientific researcher based on the J-factor. Scientometrics, 81. Jg.,
S. 381-392.
Berghoff, S./Giebisch, P./Hachmeister, C.-D./Hoffmann-Kobert, B./Hennings, M./Ziegele, F. (2011)
Vielfältige Exzellenz 2011: Forschung, Anwendungsbezug, Internationalität, Studierenden-orientierung im
CHE Ranking. CHE: Gütersloh.
Egghe, L. (2006): Theory and practice of the g-Index. Scientometrics, 69. Jg., S. 131-152.
Hirsch, J.E. (2005)
An index to quantify an individual‘s scientific research output. Proceedings of the National Academy of
Sciences of the United States of America 102, S. 16569-16572.
Nosek,B.A./Graham, J./Lindner, N.M./Kesebir, S./Hawkins, C./Hahn, C./Tenney, E.R. (2010)
Cumulative and career-stage citation impact of social-personality psychology programs and their members.
Personality and Social Psychology Bulletin, 36. Jg., S. 1283-1300.
Van Raan, A.F.J. (1996)
Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises.
Scientometrics, 36. Jg., S. 397-420.
Waltmann, L./van Eck, N.J./van Leeuwen, T./Visser, M.S./van Raan, A.F.J. (2011)
Towards a new crown indicator: Some theoretical considerations. Journal of Informetrics, 5. Jg,
S. 37.47.
Zhang, C. (2009)
The e-Index: Complementing the h-Index for excess citations. PloS ONE, 4. Jg, e5429.
Document
Kategorie
Internet
Seitenansichten
2
Dateigröße
351 KB
Tags
1/--Seiten
melden