Son père Georges Poliakoff possède une écurie de chevaux de course et des élevages qui fournissent l’armée du tsar. Sa mère Agrippine Stroukoff est une fille de propriétaires terriens originaire de Toula. En 1914, Serge suit des cours de dessin à Moscou. Durant ses vacances à Naltchik, il peint ses premiers paysages. C’est aussi à Naltchik que travaillait Isaac Lévitan, chef de file des paysagistes russes. Initié à la musique par son frère, Anatoly, Serge joue de la guitare dès ses 12 ans. Grâce à sa sœur aînée, Vera, mariée au prince Galitzine et vivant à Saint-Pétersbourg, Serge Poliakoff entre aussi en contact avec la vie culturelle et artistique de son époque. 

Mais la Révolution russe de 1917 met brutalement fin à cette période de sa vie. Le jeune Serge et sa famille quittent la Russie en 1919. Voyageant à travers le Caucase, il s’installe pour un temps avec sa tante Nastia à Constantinople et l’accompagne à la guitare lors de ses représentations. Son oncle Dimitri les rejoint et c’est ensemble qu’ils quittent l’Asie Mineure pour reprendre la route à travers l’Europe, passant par Sofia, Belgrade, Berlin pour finalement arriver à Paris en 1923.

Subsistant grâce à ses talents de guitariste, Serge se produit dans plusieurs cabarets russes de la capitale française et se consacre à la peinture le reste du temps. En 1929, il s’inscrit à l’Académie de la Grande Chaumière où il pratique l’art abstrait. C’est en 1931 qu’il expose en groupe pour la première fois, à la Galerie Drouant. En 1935, Poliakoff part s’installer à Londres et suit, durant deux ans, les cours de la Slade’s School of Fine Art. C’est à cette époque qu’il rencontre Marcelle Perreur-Lloyd, française d’origine irlandaise installée à Londres, qu’il finira par épouser. Poliakoff approfondit ses connaissances en art en arpentant les musées. Il s’intéresse particulièrement à l’École Flamande et à l’Impressionnisme et étudie les peintures de sarcophage au British Museum, fasciné par leur couleur et leur matière.

Rentré à Paris en 1937, Serge Poliakoff expose seul à la Galerie Zak. Il fait la rencontre de l’un des pères de l’art abstrait, Vassily Kandinsky. Il commence à exposer au Salon des Indépendants et ce jusqu’en 1945. Poliakoff expose sa première toile abstraite à la Galerie Le Niveau à Paris. La Galerie de l’Esquisse accueille sa première exposition d’œuvres abstraites en 1945.

En 1946, il participe à deux expositions à la Salle du Centre de Recherches au côtés de  Kandinsky, Herbin, Domela, Dewasne, Deyrolle, Hartung, Marie Raymond et Schneider. Il reçoit le prix Kandinsky en 1947. L’année 1948 voit sa première exposition à l’étranger, à Copenhague, dans la Galerie danoise Tokanten. Dans les années 1950, l’œuvre de Poliakoff commence alors à être reconnue, l’artiste multipliant les expositions. Le peintre peut compter sur plusieurs collectionneurs passionnés qui lui permettent, par leurs achats, de se consacrer entièrement à son art. L’exposition L’Art du XXe Siècle organisée en 1952 au Musée d’Art Moderne de la Ville de Paris est l’occasion pour Poliakoff de découvrir les œuvres de Kasimir Malevitch, le tout premier artiste abstrait du XXe siècle qui lui laisse une forte impression.

L’Association pour le progrès intellectuel et artistique en Wallonie (APIAWA) accueille en 1953 à Liège, au Palais des Beaux-Arts de Bruxelles puis au Musée de Verviers la première grande exposition, puis une exposition particulière à New York à la Galerie Circle & Square. En 1956, Serge Poliakoff est récompensé par le prix Lissone. Il poursuit les expositions en France et en Europe. Naturalisé français en 1962, il participe à la Biennale de Venise et, trois ans plus tard, se voit décerner le Prix international de la Biennale de Tokyo puis en 1966 celui de la Biennale de Menton.

Alors qu’il préparait une rétrospective au Musée d’Art Moderne de Paris – qui se tiendra finalement en 1970 – Serge Poliakoff s’éteint à Paris le 12 octobre 1969.