由于祁门所产的红茶有一种特殊的芳香。外国人称祁门红茶为“祁门香”；“王子香”；“群芳最”。早在公元1915年的《巴拿马——太平洋国际博览会》上，“祁门红茶”曾获得了特等奖凭和金牌。所以，英国纬氏大辞典中收录“祁门红茶”这一词组，也就不足为怪了。
 “祁门红茶”的主要产地在祁门县，故名。  祁门产茶历史悠久，唐代时已有名气。据史料记载，清朝光绪年间以前，祁门只产绿茶，不产红茶，1875年以后才有红茶。相传，安徽黟县有个名叫余干臣的人，在福建罢官回原籍经商，因见了红茶畅销多利，使在至德县尧渡街设立红茶庄，仿“闽红茶”制法，开始试制红茶。1876年，余氏又先后祁门西路镇、闪里设红茶分庄，扩大经营。