Никого не слушайте и смело езжайте с детьми.
Преступность, да, есть, но ее не очень много (думаю, что не больше чем в том же Сочи), надо просто соблюдать элементарные правила безопасности: не «светить» деньгами, особенно ночью; не носить сумки, которые болтаются через плечо.

Про Сиануквиль:
Где поесть проблем абсолютно никаких нет: куча кхмерских кафешек и полно различных европейских баров и ресторанов, где представлена кухня, наверное, всех народов мира.
Аренда транспорта проблем не составит, можно арендовать и мотобайк, и машину, и велосипед.
Дороги где-то есть, где-то неочень, но, вообще, Сиануквиль меняется на глазах: если вчера была какая-то раздолбанная грунтовка, то завтра на этом месте уже может быть хорошая бетоннка. Очень много строек, строят виллы, отели и кондоминиумы.