Si no recuerdo mal, el castillo inaccesible era el de la doctora, por eso Luffy lo escaló con Nami i Sanji colgando.
Pero pensando en lo que decís, Chopper no se ha cruzado con Barbanegra, así que poder, puede ser.
Lo que está claro es que Chopper tomó las 3 rumble fuera de la montaña de Kureha.
El castillo de la isla drum es de Wapol no de Kureha. Esta, junto a Chopper, lo ocupan en el momento en el que Wapol escapa al mar por el ataque al reino de BarbaN.
Recuerda que Luffy y cía se encuentran en el mar al inútil del rey y llegan a la isla antes que el.
Además, es de suponer, que el rey exiliado ha estado varios días/semanas o incluso meses (por aquello de que la doctora sólo baja una vez al mes del castillo = rutina) en alta mar debido a la niebla.
Es de suponer que BBn llega arriba del castillo, sino no tiene sentido que el rey se largara de ahí. Si se encontraron con chopper o no, es otra historia.
y respecto al encuentro chopper - bbn, sólo ODA lo sabe xD