DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
23/08/2018 - www.microsoft.com
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com Lin Xiao Microsoft Research AI Redmond, WA 98052, USA weiyu@cs.cmu.edu Adams Wei Yu Machine Learning Department, Carnegie Mellon University Pittsburgh, PA 15213, USA qihang-lin@uiowa.edu Qihang Lin Tippie College of Business, The University of Iowa Iowa City, IA 52245, USA wzchen@microsoft.com Weizhu Chen Microsoft AI and Research Redmond, WA 98052, USA October 13, 2017 Abs

A Large-Scale Study of the Evolution of Web Pages - Microsoft
A Large-Scale Study of the Evolution of Web Pages - Microsoft
23/08/2018 - www.microsoft.com
A Large-Scale Study of the Evolution of Web Pages Dennis Fetterly Hewlett Packard Labs 1501 Page Mill Road Palo Alto, CA 94304 dennis.fetterly@hp.com Mark Manasse Marc Najork Microsoft Research Microsoft Research 1065 La Avenida 1065 La Avenida Mountain View, CA 94043 Mountain View, CA 94043 manasse@microsoft.com najork@microsoft.com Janet Wiener Hewlett Packard Labs 1501 Page Mill Road Palo Alto, CA 94304 janet.wiener@hp.com ABSTRACT 1. INTRODUCTION How fast does the web change? Does most of th

Entanglement and Rigidity in Percolation Models ... - Alexander Holroyd
Entanglement and Rigidity in Percolation Models ... - Alexander Holroyd
22/05/2017 - www.microsoft.com
 ''&'''''' '&'!' &'' &''&''''''' ' ' ''''''''''''"' ''#' '$'%&''&&'''*')'+'!',''-''''.')'+' '/ ')'0''1&''!''2 ''3 '4'6'5'8'7''9';':'=''§'H''£'Œ'X'© '’''“'”'','¾'K''‘''£'Œ'‹'“'”!’'8'’''Š''Œ''Š''›'ž'’'''£'Œ'ž'Š'­'Š',!’'8'’'''£!’'H'¥&`''œ'Š',!”''Š',!’'8'’'''£!’'H'™&'Œ'ž'“'”'¥&`'“'œ'™'H'“'œ'’'¸'¨'£'²'‹'¬''Ž'@'Ž&`'›'ž'Š',''œ'¨$i'›'ž'§'V'Š',''£'®

Architectures reconfigurables et traitement de proble`mes ... - Microsoft
Architectures reconfigurables et traitement de proble`mes ... - Microsoft
16/11/2016 - www.microsoft.com
RECHERCHE Architectures reconfigurables et traitement de proble`mes NP-difficiles : un nouveau domaine d application Youssef Hamadi   David Merceron  ' ' LIRMM, UMR 5506 CNRS/Universite´ Montpellier II 161, Rue Ada, 34392 Montpellier Cedex 5 hamadi@lirmm.fr ''' EURIWARE, 12-14 rue du fort de St-Cyr 78067 St Quentin-en-Yvelines Cedex damercer@euriware.fr RE´SUME´. L algorithme GSAT est un algorithme de recherche locale. Cette me´thode recherche la premie`re instanciation satisfaisa

D6. 4: Final evaluation of CLASSiC TownInfo and ... - Microsoft
D6. 4: Final evaluation of CLASSiC TownInfo and ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/228835240 D6. 4: Final evaluation of CLASSiC TownInfo and Appointment Scheduling systems Article · May 2011 CITATIONS READS 15 56 11 authors, including: Helen Hastie Filip Jurcicek Heriot-Watt University Charles University in Prague 105 PUBLICATIONS 858 CITATIONS 55 PUBLICATIONS 439 CITATIONS SEE PROFILE SEE PROFILE Oliver Joseph Lemon Steve Young Heriot-Watt University Univer

DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881756 DictaNum : système de dialogue incrémental pour la dictée de numéros. Conference Paper · July 2014 CITATIONS READS 0 57 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE SEE PROFILE All content following this page was uploaded

MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
22/05/2017 - www.microsoft.com
MatrixExplorer: Un système pour l analyse exploratoire de réseaux sociaux Nathalie Henry Jean-Daniel Fekete INRIA Futurs/LRI/University of Sydney Bât 490, Université Paris-Sud 91405 Orsay Cedex Nathalie.Henry@lri.fr INRIA Futurs/LRI Bât 490, Université Paris-Sud 91405 Orsay Cedex Jean-Daniel.Fekete@inria.fr RESUME ABSTRACT Dans cet article, nous présentons le système MatrixExplorer destiné à explorer des réseaux sociaux. Il a été conçu pour des chercheurs en sciences sociales  soc

L'économie de la sécurité - Microsoft
L'économie de la sécurité - Microsoft
16/11/2016 - www.microsoft.com
nl y se Lect L économie de la sécurité Ces dernières années, la sécurité est devenue une priorité pour les pouvoirs publics et les entreprises. Crime organisé, terrorisme, interruption des chaînes d approvisionnement mondiales, virus informatiques  autant de menaces avec lesquelles il faut compter dans le monde d aujourd hui. D où l émergence d un marché des équipements et des services de sécurité de 100 milliards de dollars. Ce marché est alimenté par la demande croiss

HARDWARE PRECAUTIONS / MAINTENANCE WARNING - Nintendo
HARDWARE PRECAUTIONS / MAINTENANCE WARNING - Nintendo
12/10/2017 - www.nintendo.com
C/TWL-USZ Health and Safety Precautions Booklet Manuel de précautions concernant la santé et la sécurité Folleto de precauciones de salud y seguridad IMPORTANT SAFETY INFORMATION - READ THE FOLLOWING WARNINGS BEFORE YOU OR YOUR CHILD PLAY VIDEO GAMES. IF THIS PRODUCT WILL BE USED BY YOUNG CHILDREN, THIS MANUAL SHOULD BE READ AND EXPLAINED TO THEM BY AN ADULT. FAILING TO DO SO MAY CAUSE INJURY. RENSEIGNEMENTS IMPORTANTS SUR LA SÉCURITÉ AU JEU - VEUILLEZ LIRE LES AVERTISSEMENTS SUIVANTS AVAN

CHEF DE SECTEUR GRANDE DISTRIBUTION A partir d ...
CHEF DE SECTEUR GRANDE DISTRIBUTION A partir d ...
25/11/2014 - www.epson.fr
CHEF DE SECTEUR GRANDE DISTRIBUTION A partir d aout 2013 pour une durée de 2 ans Secteur Ile de France VOTRE MISSION ðn ðn ðn ðn Visite de l'ensemble des points de vente Grande Distribution de votre secteur. Analyse de la présentation des produits EPSON et de ceux de la concurrence. Gestion du portefeuille client et entretien permanent du relationnel client. Assurer le développement des ventes sur l ensemble de l offre EPSON. Mise en place opérationnelle de la politique et de la strat

Description - Consignes de sécurité - De'Longhi
Description - Consignes de sécurité - De'Longhi
02/11/2016 - www.delonghi.com
Description - Consignes de sécurité fr " Description A Volet réservoir d eau B Filtre réservoir d eau C Levier de décrochage du réservoir D Réservoir d eau amovible E Filtre anticalcaire régénérable F Levier blocage filtre anticalcaire G Crochet de rangement du tuyau et du bouchon de protection pour système anticalcaire H Repose-fer I Enrouleur de cordon Description des accessoires J Bande réactive pour déterminer la dureté de l eau (Total hardness test) K

Caractéristiques Appels, musique, activités sportives - à vous de ... - Jbl
Caractéristiques Appels, musique, activités sportives - à vous de ... - Jbl
15/03/2018 - fr.jbl.com
Écouteurs véritablement sans fil APPELS MUSIQUE ACTIVITÉS SPORTIVES Appels, musique, activités sportives - à vous de choisir. Zéro câble. JBL Free, les écouteurs véritablement sans fil vous apportent le son JBL Signature, dans un format non seulement intuitif mais également intelligent. Totalement débarrassés de câbles et faciles à utiliser, les écouteurs JBL Free représentent des compagnons flexibles pour vos appels, votre musique et vos activités sportives. Vous disposez de 24Â

Manuel d'utilisation
Manuel d'utilisation
03/04/2012 - www.vtech-jouets.com
® Manuel d'utilisation Disney/Pixar elements © 2010 Disney/Pixar Chers parents, Chez VTech®, nous sommes conscients que les enfants sont notre avenir. C'est pourquoi tous nos jeux sont conçus de manière à entretenir et à renforcer leur désir d'apprendre. Chaque année, des enfants de plus en plus jeunes s'intéressent aux jeux vidéo. Toutefois, nous comprenons vos craintes sur le contenu de ces jeux, souvent inadapté à l'âge de vos enfants. L'équipe Recherche et Développement VTech®

Communiqué de presse Avril 2009 Nouveau CEO ... - Sharp Europe
Communiqué de presse Avril 2009 Nouveau CEO ... - Sharp Europe
21/02/2018 - www.sharp.fr
Communiqué de presse Avril 2009 Nouveau CEO pour Sharp Electronics Europe Hiroshi Sasaoka est le nouveau CEO (Chief Executive Officer) de Sharp Electronics Europe à Hambourg. Il succède à Toshiyuki Tajima qui retourne au Japon comme conseiller pour Sharp Europe. Hambourg, Avril 2009. A partir du 1 avril 2009, Hiroshi Sasaoka, en tant que Président et Directeur Général, sera aux commandes de Sharp Electronics Europe. er En tant que CEO de l Europe, Mr Sasaoka sera ainsi également responsab