Homme de profession libérale réputé, il a probablement fait ses études au Séminaire de Québec. Durant l’Invasion américaine, il est enseigne dans la première compagnie de la milice canadienne de Québec et participe à la défense de la ville. Après le départ du gouverneur Haldimand de la province (1784), il se déclare ouvertement en faveur du plan de réformes constitutionnelles et judiciaires proposées par Pierre du Calvet dans son Appel à la Justice de l’État. Il joue un rôle de premier plan au sein des réformistes canadiens qui réclament, dès novembre 1784, l’établissement d’une Chambre d’assemblée « de libre élection ». Panet en devient le premier président. Il se peut qu’il ait participé à la Gazette littéraire de Montréal sous le pseudonyme du Canadien Curieux, alors qu’il était âgé de 26 ans.