相続人の中に、認知症の方や精神障がい者の方がいるときは？

話し合いは難しいでしょう。
まず、遺産分割の話し合いは、相続人全員が関与して、話し合い（協議）をしなければなりません。

ご質問のように、精神上の障がいにより判断能力が欠く者は遺産分割協議が出来ませんので、その者を保護するため、法律的には、正式な代理人を定めなければなりません。

具体的には、家庭裁判所に成年後見人の選任の申し立てを行って、裁判所から選ばれた成年後見人を交えて
遺産分割協議を行う必要があります。

なお、成年後見人は本人の利益を損なうことはできませんので、遺産分割協議にあたっても、法定相続分を確保することが必要になります。したがって、本人の相続分をゼロとするような遺産分割協議は基本できません。