THESE DE DOCTORAT Informatique, Fouille de données
THEME PRINCIPAL DE LA SOUMISSION : Contenus, Connaissances, Interactions TITRE DE LA THESE : Fouille de graphes avec attributs
RESPONSABLES DE LA THESE : Cécile BOTHOREL, Philippe LENCA (Telecom Bretagne/Lab-Sticc, UMR CNRS 6285, Brest) Co-encadrement : Christine LARGERON (Université Jean Monnet/Laboratoire Hubert Curien, UMR CNRS 5516, Saint-Etienne) ECOLE DE RATTACHEMENT : Telecom Bretagne EQUIPES D’ACCUEIL : Lab-STICC/DECIDE à Telecom Bretagne (70%), Laboratoire Hubert Curien (30%) DOCTORANT : pas encore de candidat à ce jour
MOTS CLES : Fouille de données, clustering, mesures de distance, mesure de qualité, définition de communautés
RESUME : La communauté en fouille de médias sociaux s’intéresse à la dynamique des réseaux, à la diffusion d’information, au passage à l’échelle, et très récemment à l’exploitation de la richesse des données. C’est ce dernier axe que nous proposons d’approfondir, en considérant en plus des relations sociales, les informations contextuelles qui peuvent être rattachées aux noeuds comme aux arcs des graphes représentant les réseaux sociaux. Des travaux en data mining ont cherché à fouiller des graphes avec attributs, introduits en 2009, en adressant des problématiques telles que la détection de communautés. On peut recenser différentes techniques pour combiner les deux types de données : modification de poids en fonction des attributs caractérisant les noeuds, combinaison linéaire des dimensions liées aux relations et aux attributs, marches aléatoires, subspace clustering, etc. Depuis 2010, nos travaux ont porté notamment sur les deux premières approches mentionnées ci-dessus. Mais force est de constater que les propositions réutilisent et adaptent les techniques existantes pour graphe simple avec plus ou moins de justification et sans faire émerger de consensus. Il nous paraît important de revenir sur les notions fondamentales sous-jacentes à la conception de méthodes adaptées aux graphes avec attributs. L’objectif est donc de revisiter les mesures de distance entre éléments, d’agrégation entre sous-ensembles d’éléments ou encore de qualité d’un partitionnement, d’en comprendre les propriétés et ainsi de conduire à de nouvelles définitions des communautés et à des méthodes de fouille adaptées faisant sens. Cette thèse en co-encadrement a l’ambition de revêtir un caractère de référence et réunit deux équipes nationales en avance sur le sujet. Résolument de nature formelle, son objectif est d’éprouver les mesures et les algorithmes fondamentaux de l’analyse de réseaux avec informations contextuelles, tout en tenant compte d’objectifs utilisateur. Ce travail permettra ainsi également de construire des partenariats applicatifs en confiance. 1
1
Contexte Scientifique
Les années 2000 ont été marquées par l’explosion des réseaux sociaux sur Internet, renouvelant l’intérêt de la communauté scientifique non seulement en sciences sociales mais aussi en informatique pour l’analyse et la fouille de graphes. Aujourd’hui, les graphes utilisés pour étudier ces réseaux sont de très grande taille tant par le nombre de noeuds associés aux individus que par celui des arêtes qui décrivent leurs relations ou leurs interactions [12]. De plus, les relations entre ces noeuds sont le plus souvent multiples [11]. Enfin, des informations contextuelles peuvent être rattachées aux noeuds comme aux arcs. Comme l’a souligné l’étude de Gartner, les besoins d’analyse ont également évolué, requérant le développement d’algorithmes et d’outils plus puissants mais aussi capables d’intégrer des informations contextuelles associées aux noeuds ou aux arcs et de prendre en compte la dimension temporelle pour suivre l’évolution d’un réseau [10]. Ainsi, [9] s’intéresse à la propagation d’épidémies et montre que pour en arrêter la diffusion, il s’agit de trouver des groupes d’individus démontrant à la fois un tissu relationnel dense et des caractéristiques de population à risque. Identifier des groupes seulement denses, ou bien des groupes seulement à risque est beaucoup moins efficace, et ces travaux invitent donc à considérer les caractéristiques des noeuds dans un réseau dans un processus de fouille intégré. De la même manière, en eMarketing, dans le cadre de la Chaire Réseaux Sociaux de l’IMT, nous avons commencé à travailler sur la détection de communautés sociales et thématiques pour cartographier les blogs de cuisine et identifier les acteurs influents inter- ou mono-thématiques [15]. Ces premiers travaux montrent l’intérêt de telles extractions de connaissances et le potentiel en termes applicatifs mais ils font aussi remonter le manque d’indicateurs et de mesures objectives décrivant les connaissances extraites. Un nouveau champ de recherche en fouille de données s’est donc développé autour des réseaux sociaux. Cependant des benchmarking des outils existants, comme nos propres études, ont montré que ceux-ci couvraient très partiellement ces nouveaux besoins [8, 7]. Concernant la recherche de communautés, ou clustering, des travaux proposent de réutiliser les algorithmes classiques de recherche de zones denses tels que le célèbre algorithme de Louvain [13] qui maximise la modularité [26]. Cette famille de méthodes encode l’information de similarité des noeuds sur les arêtes avant d’appliquer ces algorithmes sur les graphes modifiés [25, 27, 17, 18]. De manière orthogonale, d’autres méthodes utilisent des combinaisons linéaires des dimensions relationnelles et des dimensions liées aux attributs avant d’appliquer des méthodes de clustering classiques [14, 19, 22, 28]. Par ailleurs, nous pouvons citer [32, 20] qui explorent une méthode de marche aléatoire contraignant les déplacements dans un graphe selon la présence d’attributs communs sur les noeuds ou encore des méthodes qui combinent le subspace et le subgraph clustering telles que [21] pour optimiser la sélection de sousensembles d’attributs et de relations visant à satisfaire des métriques de qualité dans un espace de projection. Enfin, [16] modifie l’algorithme de Louvain pour localement optimiser l’entropie en plus de la modularité. Toutes ces méthodes vont d’une manière plus ou moins intégrée chercher à optimiser la similarité en terme d’attributs et de relations des noeuds au sein d’un même cluster, en combinant deux fonctions objectif mais, sans définir clairement les clusters recherchés. Les clusters identifiés sont ensuite validés, d’une part, pour la dimension contextuelle des attributs en terme d’entropie, et d’autre part, pour la dimension relationnelle en terme de densité et de modularité bien que cette dernière présente un certain nombre de limites [6]. Toutefois, sans définition claire d’un cluster, ces mesures ne font que quantifier des propriétés des clusters relatives à des dimensions très différentes et non intégrées. Si une vérité terrain (clustering ground-truth) est disponible, la question de la validation est alors simplifiée, et les matrices de contingence ou encore l’information mutuelle peuvent etre utilisées [14, 31]. Malheureusement, s’il existe des 2
benchmarks contenant des jeux de données classiques avec vérité terrain, comme par exemple [5], utilisables pour valider les méthodes de détection de communautés, il n’existe pas encore d’équivalent en matière de graphes à attributs. Il commence cependant à exister quelques rares jeux de données réelles (DBLP, Gowalla, Wikipédia et tout récemment Google+). Cette revue de la littérature du clustering de graphes avec attributs montre qu’il n’y pas encore de consensus de la définition des clusters recherchés, que les fonctions objectifs sont diverses et variées, et que les mesures de qualité des clusters obtenues ne sont pas satisfaisantes. Ce sont ces verrous que nous nous proposons de traiter dans cette thèse.
2
Contenu Scientifique
Ce projet de thèse vise à exploiter les informations de nature contextuelle liées aux acteurs d’un réseau social afin d’enrichir l’analyse et la fouille des réseaux sociaux. Le premier objectif est de cartographier de manière exhaustive les travaux de clustering de graphes avec attributs, en puisant dans les communautés d’analyse de graphes mais aussi dans la communauté du clustering plus classique. Nous proposons via ce travail de balayer les modèles, les approches, les algorithmes, les fonctions objectif, les métriques d’évaluation ; de procéder à des évaluations exhaustives et d’identifier les situations qui disposent de techniques performantes et celles qui nécessitent une recherche. Les situations seront décrites par les applications potentielles mais aussi par la forme des données, i.e. la forme des graphes, la dimension des attributs, la distribution des attributs, et les techniques seront caractérisées par leur montée en charge, la robustesse à l’ordre de traitement des noeuds, attributs, relations, etc. Les approches inventoriées seront confrontées à des données synthétiques et des jeux de données réelles. Un tel état de l’art, qui en soit est une contribution nécessaire au domaine, nous offrira les fondations pour aboutir à la conception de mesures adaptées aux graphes attributs. Nous envisageons deux axes dans cette recherche de mesures. Le premier axe concerne l’analyse classique de réseaux sociaux qui cherche à caractériser la position d’un acteur (i.e. sommet du graphe) ou le réseau global, mais aussi à établir des comparaisons entre deux réseaux grâce à des indicateurs basés par exemple sur le nombre de degrés des sommets, le diamètre ou encore le nombre d’intermédiaires entre deux sommets du graphe [3, 4, 1, 2, 29]. Nous proposons d’étendre ces mesures en tenant compte non seulement des liens existants entre les acteurs et décrits par le graphe mais aussi de leurs caractéristiques. Nous mettrons aussi l’accent sur la conception de nouvelles définitions des distances, des clusters, des mesures de qualité que nous utiliserons pour revisiter des tâches classiques de clustering dans le cas de graphes avec attributs. Ce deuxième axe est un peu plus risqué car la validation en apprentissage non supervisé est un problème non trivial comme nous l’avons indiqué dans l’état de l’art. Nous utiliserons des jeux de données synthétiques permettant d’éprouver les propriétés des mesures de l’état de l’art et proposées, mais nous chercherons également à valider nos contributions sur des jeux de données académiques (DPLB, Wikipédia, Google+, etc.). A noter qu’il existe des travaux récents [30] qui utilisent le concept de listes, explicitées par les utilisateurs eux-mêmes, comme clusters "ground-truth" dans des données issues de Twitter. Ce projet sera mené en s’appuyant sur les compétences en apprentissage automatique et en fouille de données de chercheurs en informatique de l’équipe Lab-Sticc à Telecom Bretagne (UMR CNRS 6285) et du Laboratoire Hubert Curien (UMR CNRS 5516). Il s’inscrit dans la con3
tinuité de travaux en informatique menés au sein de ces laboratoires. Une précédente thèse financée par le programme Futur & Rupture (prix de la fondation 2013) et encadrée par Cécile Bothorel a défriché l’étude du clustering de graphes avec attributs et a mis en évidence l’intérêt de travailler plus profondément sur la définition des communautés et des mesures (fonctions objectifs et validation). D’autre part, les travaux précédents de Christine Largeron rattachés à l’axe "Fouille et recherche à partir de données structurées" du LHC ont d’ores et déjà donné lieu à deux thèses sur cette thématique (Allocation de la Région Rhône-Alpes 2009 et ANR 2010). Enfin, les travaux de Philippe Lenca font maintenant référence sur les mesures de qualité pour la recherche de règles d’association, et nous envisageons d’utiliser la même méthodologie, applicable à notre projet et qui permettra d’adresser le verrou de l’adéquation des mesures avec les objectifs de fouille recherchés. Après l’étude exhaustive des mesures existantes, nous mettrons en avant leurs propriétés algorithmiques (cf. mesure de la qualité des règles d’association extraites [24]). Puis une fois ces mesures bien comprises, et une fois les clusters découverts caractérisés, nous chercherons à les intégrer dans le processus de fouille (cf. remplacement de la mesure de support bien connue par de nouvelles mesures en lien avec le contexte d’application au cours du processus de production des règles [23]). La thèse débouchera sur des algorithmes et leur implémentation. Bien que l’aspect montée en charge pour analyser de très grands graphes ne soient pas la priorité, nous travaillons d’ores et déjà sous une architecture Big Data (Hadoop, Mahout, Hive, neo4j, etc.) pour tester nos développements sur des jeux de données tels que Wikipédia, Gowalla ou encore Google+. Les axes de travail ainsi que la méthodologie annoncée permettront d’aboutir aux contributions suivantes : un état de l’art exhaustif avec comparaison des mesures et algorithmes existants sur des données de benchmarking ; la définition et la caractérisation de mesures de distance entre éléments, d’agrégation entre sous-ensembles d’éléments et de qualité d’un partitionnement ; la définition de communautés dédiées aux graphes avec attributs. Ces fondamentaux de la fouille de données nous permettront d’aller bien au-delà de l’état de l’art, qui reste à l’heure actuelle, un assemblage plus ou moins justifié de techniques détournées et non formalisées.
Références [1] J. Scott Social Network Analysis A Handbook. 2nd Ed. Newberry Park, CA : Sage (2000) [2] P. Carrington, J. Scott and S. Wasserman Models and Methods in Social Network Analysis New York : Cambridge University Press (2005). [3] A. Degenne, M. Forsé Les réseaux sociaux Paris, Armand Colin (1994). [4] L.C. Freeman. Centrality in social networks conceptual clarification. Social networks, 1(3) :215-239, 1979. [5] Zachary W. (1977). An information flow model for conflict and fission in small groups. Journal of Anthropological Research, 33, 452-473. [6] A. Lancichinetti, S. Fortunato Limits of modularity maximization in community detection Phys. Rev. E 84, 066122, 2011 [7] D. Combe, C. Largeron, E. Egyed-Zsigmond, M. Géry A comparative study of social network analysis tools Workshop "Web intelligence and Virtual Entreprise" at the International Conference PROVE, (2010). [8] M. Huisman, M. Van Duijn, A. J. Marijtje Software for social network analysis, A reader’s guide to SNA software. In J. Scott and P.J. Carrington (Eds.) The SAGE Handbook of Social Network Analysis (pp. 578-600) (2004). [9] B. Aditya Prakash, Jilles Vreeken, Christos Faloutsos Efficiently spotting the starting points of an epidemic in a large graph. Knowl. Inf. Syst. 38(1) : 35-59 (2014) [10] Gartner Hype Cycle for social software G00158239 (2008). [11] J. Mori, T Tsujisshita, Y. Matsuo, M. Ishizuka Extracting relations in social networks from the web using similarity between collective contexts. Proceedings of the 5th International Semantic Web Conference (ISWC 2006). Vol 4273, 487-500 (2006) [12] V. Batagelj Social Network Analysis, Large-Scale. R.A. Meyers, ed., Encyclopedia of Complexity and Systems Science, Springer, 8245-8265 (2009). [13] Vincent D. Blondel, Jean-Loup Guillaume, Renaud Lambiotte, and Etienne Lefebvre. Fast unfolding of communities in large networks. Journal of Statistical Mechanics : Theory and Experiment, 2008(10) :P10008 (12pp), October 2008. ˝ Egyed-Zsigmond, and Mathias Géry. Combining relations and text in scientific [14] David Combe, Christine Largeron, Elod network clustering. In 2012 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining, pages 1280–1285, Istanbul, Turquie, 2012.
4
[15] Damien Renard, Juan David Cruz, Christine Balagué and Cécile Bothorel. Detection of communities : the case of cooking bloggers. Submitted to Marketing Science, Special Issue on Big Data : Integrating Marketing, Statistics, and Computer Science, 2014. [16] Juan David Cruz, Cécile Bothorel, and François Poulet. Entropy based community detection in augmented social networks. In Computational Aspects of Social Networks (CASoN 2011), 2011 International Conference on Computational Aspects of Social Networks, pages 163–168, 2011. [17] Juan David Cruz, Cécile Bothorel, and François Poulet. Semantic clustering of social networks using points of view. In CORIA : conférence en recherche d’information et applications 2011, 2011. [18] Juan David Cruz, Cécile Bothorel, and François Poulet. Détection et visualisation des communautés dans les réseaux sociaux. Revue d’Intelligence Artificielle, 26(4) : 369–392, 2012. [19] The Anh Dang and Emmanuel Viennet. Community detection based on structural and attribute similarities. In International Conference on Digital Society (ICDS), pages 7–14, 2012. ISBN : 978-1-61208-176-2. [20] Rong Ge, Martin Ester, Byron J. Gao, Zengjian Hu, Binay Bhattacharya, and Boaz Ben-Moshe. Joint cluster analysis of attribute data and relationship data : The connected k-center problem, algorithms and applications. ACM Trans. Knowl. Discov. Data, 2(2) :7 :1–7 :35, July 2008. [21] Stephan Günnemann, Brigitte Boden, Ines Färber, and Thomas Seidl. Efficient mining of combined subspace and subgraph clusters in graphs with feature vectors. In Advances in Knowledge Discovery and Data Mining, pages 261–275. Springer, 2013. [22] Daniel Hanisch, Alexander Zien, Ralf Zimmer, and Thomas Lengauer. Co-clustering of biological networks and gene expression data. Bioinformatics, 18(suppl 1) :S145–S154, 2002. [23] Yannick Le Bras, Philippe Lenca, and Stéphane Lallich. Optimonotone measures for optimal rule discovery. Computational Intelligence, 28(4) :475–504, 2012. [24] Philippe Lenca, Patrick Meyer, Benoît Vaillant, and Stéphane Lallich. On selecting interestingness measures for association rules : User oriented description and multiple criteria decision aid. European Journal of Operational Research, 184(2) :610 – 626, 2008. [25] Jennifer Neville, Micah Adler, and David D. Jensen. Clustering relational data using attribute and link information. In Proceedings of the Workshop on Text Mining and Link Analysis, Eighteenth International Joint Conference on Artificial Intelligence, Acapulco, Mexico, 2003. [26] M. E. J. Newman and M. Girvan. Finding and evaluating community structure in networks. Physical Review E, 69(2) :026113+, February 2004. [27] Karsten Steinhaeuser and NiteshV. Chawla. Community detection in a large real-world social network. In Huan Liu, JohnJ. Salerno, and MichaelJ. Young, editors, Social Computing, Behavioral Modeling, and Prediction, pages 168–175. Springer US, 2008. [28] Nathalie Villa-Vialaneix, Madalina Olteanu, and Christine Cierco-Ayrolles. Carte auto-organisatrice pour graphes étiquetés. In Atelier Fouilles de Grands Graphes (FGG) - EGC’2013, page Article numéro 4, Toulouse, France, 2013. [29] Stanley Wasserman and Katherine Faust. Social Network Analysis : Methods and Applications. Number 8 in Structural Analysis in the Social Science. Cambridge University Press, 1994. [30] J. Yang, J. McAuley, and J. Leskovec. Community Detection in Networks with Node Attributes. arXiv :1401.7267, Published in the proceedings of IEEE ICDM ’13, January 2014.
arXiv preprint
[31] Tianbao Yang, Rong Jin, Yun Chi, and Shenghuo Zhu. Combining link and content for community detection : a discriminative approach. In KDD ’09 : Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pages 927–936, New York, NY, USA, 2009. ACM. [32] Yang Zhou, Hong Cheng, and Jeffrey Xu Yu. Graph clustering based on structural/attribute similarities. Proc. VLDB Endow., 2(1) :718–729, August 2009.
5
