下記にご回答差し上げます。
１．独自のデータによる学習モデルの適用は可能でしょうか？
ラベルデータのフォーマットや画像ファイル名には規則があるのでしょうか？
公開されているmask-rcnnなどを参考にしたTensorflowのpdモデルデータなどから使用可能でしょうか？
ご自身のデータを使用した学習につきましてはR2020b時点ですとYOLOv2, SSDが公式にサポートされております。また、YOLO v3の学習の例題も用意されております。Mask RCNNについてはR2020b時点では公式サポートはございませんが、こちらにあるとおり、GitHub上で公開されているMask RCNNのコードはございます。
2．独自のネットワークを適用することは可能でしょうか？
例えば、フレームワークがTensorflow＋Kerasなら可能など
TensorFlowなど他のフレームワークとの連携についてのご質問と理解いたしました。
他のフレームワークからのインポートはR2020b現在ですとCaffe, Keras, ONNXに対応しております。
そちらを経由してデータの取り込みを行っていただけます。
