胆固醇高的人是可以适量喝牛奶的，但需要注意以下几点：

1. 牛奶是低胆固醇食品，其所含的胆固醇量相对较低，而且富含优质蛋白质、钙和维生素D，对心血管健康有益，但总体来说，单靠牛奶不能显著降低胆固醇水平。

2. 选择低脂或无脂牛奶，因为全脂奶中的饱和脂肪酸可能会稍有提高血脂，特别是对于已经有高胆固醇的人来说。

3. 控制总热量和饮食结构，喝牛奶的同时要注意搭配其他低胆固醇的食物，均衡膳食，避免高胆固醇食物如红肉、内脏等。

4. 如果胆固醇水平过高，最好在医生的指导下进行饮食调整，并可能需要配合药物治疗。

总之，适量喝牛奶是没问题的，关键是要结合整体的饮食调整和生活方式改善。