Segmentazione dell'istanza

Eseguire la segmentazione dell'istanza utilizzando reti di Deep Learning preaddestrate e addestrare le reti utilizzando il Transfer learning su dati personalizzati

La segmentazione delle istanze è una tecnica di visione artificiale che svolge un ruolo cruciale nelle attività che richiedono una precisa localizzazione degli oggetti e l'identificazione delle singole istanze dell'oggetto come, ad esempio, nell'imaging medico e nella guida autonoma. Combinando i principi del rilevamento dell'oggetto e della segmentazione semantica, la segmentazione dell'istanza fornisce una comprensione maggiormente raffinata dei dati visivi, identificando le singole istanze dell'oggetto e delineandone i confini pixel per pixel. Utilizzare la segmentazione dell'istanza per identificare, classificare e separare con precisione i singoli oggetti all'interno di un'immagine.

È possibile eseguire l'inferenza su un'immagine utilizzando una rete di Deep Learning preaddestrata oppure addestrare una rete utilizzando il Transfer learning. Il Transfer learning è un approccio che consente di partire da una rete preaddestrata e di addestrarla su un set di dati personalizzato per l'applicazione. È possibile generare in modo interattivo i dati di verità per l'addestramento utilizzando l'applicazione Image Labeler, Video Labeler o Ground Truth Labeler (Automated Driving Toolbox) per etichettare i pixel ed esportare i dati delle etichette. La segmentazione dell'istanza richiede Deep Learning Toolbox™. Supporto per l'addestramento e l'inferenza di GPU con capacità CUDA^®. L'utilizzo di una GPU è consigliato e richiede Parallel Computing Toolbox™. Per ulteriori informazioni, vedere Parallel Computing Support in MathWorks Products (Parallel Computing Toolbox).

Instance segmentation using SOLOv2: Left — segmented and labeled road scenario using a sample modified RGB image from the CamVid data set, Right — segmented image of PVC pipe connectors

Funzioni

espandi tutto

Segmentazione degli oggetti nelle immagini

Configurazione della rete di segmentazione dell'istanza

`solov2`	Segment objects using SOLOv2 instance segmentation network (Da R2023b)
`maskrcnn`	Detect objects using Mask R-CNN instance segmentation (Da R2021b)

Esecuzione dell'inferenza

`segmentObjects`	Segment objects using Mask R-CNN instance segmentation (Da R2021b)
`segmentObjects`	Segment objects using SOLOv2 instance segmentation (Da R2023b)

Addestramento delle reti di segmentazione dell'istanza personalizzate

Caricamento dei dati di addestramento

`boxLabelDatastore`	Datastore for bounding box label data (Da R2019b)
`groundTruth`	Ground truth label data
`imageDatastore`	Datastore for image data
`combine`	Combine data from multiple datastores

Addestramento delle reti di segmentazione dell'istanza

`trainSOLOV2`	Train SOLOv2 network to perform instance segmentation (Da R2023b)
`trainMaskRCNN`	Train Mask R-CNN network to perform instance segmentation (Da R2022a)

Aumento e pre-elaborazione dei dati di addestramento

`poly2mask`	Convert region of interest (ROI) polygon to region mask
`bwboundaries`	Trace object boundaries in binary image
`balanceBoxLabels`	Balance bounding box labels for object detection (Da R2020a)
`bboxcrop`	Crop bounding boxes (Da R2019b)
`bboxerase`	Remove bounding boxes (Da R2021a)
`bboxresize`	Resize bounding boxes (Da R2019b)
`bboxwarp`	Apply geometric transformation to bounding boxes (Da R2019b)
`bbox2points`	Convert rectangle to corner points list
`imwarp`	Apply geometric transformation to image
`imcrop`	Crop image
`imresize`	Resize image
`randomAffine2d`	Create randomized 2-D affine transformation (Da R2019b)
`centerCropWindow2d`	Create rectangular center cropping window (Da R2019b)
`randomWindow2d`	Randomly select rectangular region in image (Da R2021a)

Visualizzazione dei risultati

`insertObjectMask`	Insert masks in image or video stream (Da R2020b)
`insertObjectAnnotation`	Annotate truecolor or grayscale image or video
`insertShape`	Insert shapes in image or video
`showShape`	Display shapes on image, video, or point cloud (Da R2020b)

Valutazione dei risultati previsti

`evaluateInstanceSegmentation`	Evaluate instance segmentation data set against ground truth (Da R2022b)
`instanceSegmentationMetrics`	Instance segmentation quality metrics (Da R2022b)
`metricsByArea`	Evaluate instance segmentation across object mask size ranges (Da R2023b)

Esecuzione della stima della posa utilizzando la segmentazione dell'istanza

`posemaskrcnn`	Predict object pose using Pose Mask R-CNN pose estimation (Da R2024a)
`predictPose`	Estimate object pose using Pose Mask R-CNN deep learning network (Da R2024a)
`trainPoseMaskRCNN`	Train Pose Mask R-CNN network to perform pose estimation (Da R2024a)

Argomenti

Come iniziare

Get Started with Instance Segmentation Using Deep Learning
Segment objects using an instance segmentation model such as SOLOv2 or Mask R-CNN.
Get Started with SOLOv2 for Instance Segmentation
Perform multiclass instance segmentation using SOLOv2 and deep learning.
Getting Started with Mask R-CNN for Instance Segmentation
Perform multiclass instance segmentation using Mask R-CNN and deep learning.

Dati di addestramento per la segmentazione dell'istanza

Get Started with Image Preprocessing and Augmentation for Deep Learning
Preprocess data for deep learning applications with deterministic operations such as resizing, or augment training data with randomized operations such as random cropping.
Datastores for Deep Learning (Deep Learning Toolbox)
Learn how to use datastores in deep learning applications.

Esempi in primo piano

Perform Instance Segmentation Using SOLOv2

Segment object instances of randomly rotated machine parts in a bin using a deep learning SOLOv2 network.

Apri live script

Perform Instance Segmentation Using Mask R-CNN

Segment individual instances of people and cars using a multiclass mask region-based convolutional neural network (R-CNN).

Apri live script

Perform 6-DoF Pose Estimation for Bin Picking Using Deep Learning

Perform six degrees-of-freedom (6-DoF) pose estimation by estimating the 3-D position and orientation of machine parts in a bin using RGB-D images and a deep learning network.

Apri live script