NYELVÉSZ

Sziasztok!

András megkért, hogy egészítsem ki a listát a január óta való fejleményekkel. Persze nem szerepel itt minden ami számít az azelőtti irodalomból sem, de azért megírom az ajánlómat az újabbakból.

Az alábbiban, a második szakasz Natural Language Processing alpontjában kevesebb mint egy hasábban el van mesélve nagyjából minden a neurális nyelvmodellekről.

Yoshua Bengio, Aaron Courville, and Pascal Vincent 2014
Representation Learning: A Review and New Perspectives
http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6472238

Mikolov és tsai 2013-ban három olyan cikket is írtak, amiket ajánlok.

Efficient estimation of word representations in vector space
http://arxiv.org/abs/1301.3781
Linguistic Regularities in Continuous Space Word Representations.
http://131.107.65.14/en-us/um/people/gzweig/Pubs/NAACL2013Regularities.pdf
Exploiting similarities among languages for machine translation
http://arxiv.org/abs/1309.4168

A másodiknak (Linguistic...) a továbbfejlesztése, és a hagyományosabb, együttelőfordulás-mátrixos változattal való összehozása a következő kettő.

Omer Levy and Yoav Goldberg 2014
Linguistic Regularities in Sparse and Explicit Word Representations
http://www.cs.bgu.ac.il/~yoavg/publications/conll2014analogies.pdf
Jeffrey Pennington, Richard Socher, Christopher D. Manning 2014
GloVe: Global Vectors for Word Representation
http://nlp.stanford.edu/projects/glove/

Vektoros nyelvmodell sok nyelvre:

Rami Al-Rfou’, Bryan Perozzi, Steven Skiena 2013
Polyglot: Distributed Word Representations for Multilingual NLP
https://sites.google.com/site/rmyeid/projects/polyglot

Szemantikai hierarchiás:

Ruiji Fu, Jiang Guo, Bing Qin, Wanxiang Che, Haifeng Wang, Ting Liu 2014
Learning Semantic Hierarchies via Word Embeddings
http://202.118.253.69/~rjfu/publications/acl2014.pdf

Nem kifejezetten nyelvmodellezés, hanem általában a neurális modellezésen javít:

Nitish Srivastava 2013
Improving Neural Networks with Dropout
http://www.cs.toronto.edu/~nitish/msc_thesis.pdf

Néminemű válaszok Kálmán kérdésére (nem teljesen témábavágó, de mutatja a global context súlyát):

Eric H. Huang, Richard Socher, Christopher D. Manning, Andrew Y. Ng (2012) Improving Word Representations via Global Context and Multiple Word Prototypes

Sebastian Pado Mirella Lapata (2007) Dependency-Based Construction of Semantic Space Models

Magnus Sahlgren (2006) The Word-Space Model: Using distributional analysis to represent syntagmatic and paradigmatic relations between words in high-dimensional vector spaces

Mennyire nyelv-specifikus:

Richard Socher, Quoc V. Le, Christopher D. Manning, Andrew Y. Ng (2013) Grounded Compositional Semantics
for Finding and Describing Images with Sentences

Morfológia:

Minh-Thang Luong Richard Socher Christopher D. Manning (2013) Better Word Representations with Recursive Neural Networks for Morphology

Angeliki Lazaridou Marco Marelli Roberto Zamparelli and Marco Baroni (2013) Compositional-ly Derived Representations of Morphologically Complex Words in Distributional Semantics

Dimitri Kartsaklis Mehrnoosh Sadrzadeh Stephen Pulman (2013) Separating Disambiguation from Composition in Distributional Semantics

Negáció:

Dominic Widdows and Stanley Peters (2006) Word Vectors and Quantum Logic Experiments with negation and disjunction

Kognitív filozófia:

Thomas Landauer The computational basis of learning http://www2.denizyuret.com/ref/landauer ... submit.pdf

Alona Fyshe, Partha Talukdar, Brian Murphy and Tom Mitchell (2013) Documents and Dependencies: an Exploration of Vector Space Models for Semantic Composition

Klasszikusok:

Hinrich Schütze (1998) Automatic word sense discrimination

Collobert et al (2011) Natural Language Processing (Almost) from Scratch

Összefoglaló (nem túl jó, de csak ez van, erre támaszkodtam én is):

Peter Turney and Patrick Pantel (2010) From Frequency to Meaning: Vector Space Models of Semantics

Ha valaki csinál hozzájuk rendes bibtex-et az tiszta haszon, de már ennyit is elég betolni a google-be hogy kijöjjenek az egyes cikkek (a Sahlgren egy PhD disszertáció).