首先，贫血是由多种原因引起的，其中之一是缺铁性贫血。在缺铁性贫血的情况下，摄入谷类、奶类和茶叶会抑制铁的吸收。因此，对于患有缺铁性贫血的人来说，最好避免饮用牛奶。

另一种常见类型的贫血是巨幼细胞性贫血，它主要由于体内缺乏叶酸和维生素B12。与缺铁性贫血不同，喝奶对巨幼细胞性贫血患者的影响不大。主要原因在于这种贫血与饮食中缺乏含有丰富叶酸的肉类、水果和蔬菜有关。因此，在烹饪过程中，要避免过长时间和过高温度的烹饪，以保留食物中的营养成分。

总之，素食主义者可能更容易患上贫血，因为他们往往缺乏某些重要营养素。但只有患有缺铁性贫血的人才需要避免饮用牛奶。