Irmer studierte von 1980 bis 1985 Schulmusik in Kassel, danach bis 1990 Violine an der Musikhochschule Köln-Wuppertal (Diplom). Er lebt und arbeitet in Wuppertal. Bei der „Documenta IX“ in Kassel war er Mitglied des Improvisationsorchesters unter Leitung von Jon Rose, mit dem er auch auf Tournee ging. 1994/95 wirkte er an Peter Kowalds Projekt „365 Tage am Ort“ in Wuppertal mit, 1996 trat er beim „Drumming for Africa“ mit Tony Oxley, Trevor Watts und anderen auf. Im gleichen Jahr arbeitete er beim Vinschgauer Orgelsommer mit Arvo Pärt zusammen.
Irmer organisierte das jährliche „Klappstuhl-Fest“ für freie Musik und Tanz in Wuppertal von 2000 bis 2010, auch in Kooperation mit „ORT e.V. / Peter Kowald Gesellschaft“ (u.a. mit Andrés Corchero (Tanz), Fine Kwiatkowski (Tanz), Helge Leiberg (Malerei), Tony Oxley, Fred van Hove. Irmer war von 2002 bis 2012 Mitglied im „London Improvisers Orchestra“. Mit Gunda Gottschalk und weiteren Musikern trat er 2006 auf dem Moers Festival auf. Zusammen mit Gunda Gottschalk organisiert er seit 2007 das „Wuppertaler Improvisations Orchester“, das seitdem mit vielen namhaften MusikerInnen, TänzerInnen und bildenden KünstlerInnen aus Europa kooperiert hat. Irmer ist Mitglied im bundesweiten „Ring für Gruppenimprovisation“ mit Sitz in Berlin, wie auch dort im „Exploratorium“ (Zentrum für improvisierte Musik und kreative Musikpädagogik). Neben seiner Beschäftigung als Lehrer an der Gesamtschule Wuppertal-Ronsdorf 1997 bis 2023 bietet er Workshops für Improvisierte Musik und Dirigat in Gruppen an, so in Krefeld beim „Frei Vier Festival“ 2020. Konzertauftritte u.a. mit Aki Takase, Evan Parker, Carlos Zingaro, Peter Kowald, Lou Grassi, André Solovjov, Blaise Siwula, Yves Romain, Ly Than Tien, Günther Pitscheider, Greg Kelley, Bhob Rainey, Mark Wastell, Günter Heinz, Bernd Köppen, Willi Kellers, Johannes Bauer, Savina Yannatou. Irmer ist auf verschiedenen Tonträgern zu hören mit Peter Kowald Ort Ensemble, Agustí Fernández, Statement Quintett, Mitch Heinrich, John Butcher, „Canaries On The Pole”, Hans
