[Go to “teaching” in Morimoto Lab]
Game by ball 9
videoと OpenCVのライブラリを使います。
この講義ではウェブカメラが必要です。
※カメラのない人は早めにお知らせください。
Lib > Video
サンプルコードの”GettingStartedCapture”を見てみましょう
Video libraryをインポートし、以下のサンプルコードを選択します。
File > Sample > Library > Video > Capture > GettingStartedCapture
Note: video（やopencv）ライブラリ周辺トラブルの対処法
videoライブラリは毎年のようにトラブルがあります。以下に該当する人はそれぞれリンク先より対処をお願いします。
processing3でvideo 2.0を使用する場合の対処はこちら：
Winでカメラ取得がなかなかできない問題や、MacでProcessingがカメラにアクセスを許可されていない場合の対応が書かれています。MacでProcessing 4.2bが動かない場合はProcessing3を使いましょう：[ダウンロードページ]
基本的にProcessing3が推奨です。
上記のサンプルプログラムを実行してみましょう。以下は私のPCでのprintArray()の結果です。
String[] camera = Capture.list();
のlistの中身はそのPCで使えるカメラのリストです。
文字を扱うデータ型Stringの配列cameraに中身を代入しています。
printArray()は名前の通り、その配列をprintします。
Available cameras:
[0] “name=Rear Camera,size=640x480,fps=30”
[1] “name=Rear Camera,size=640x360,fps=30”
[2] “name=Rear Camera,size=3264x2448,fps=15”
[3] “name=Rear Camera,size=2592x1944,fps=15”
[4] “name=Rear Camera,size=1920x1080,fps=24”
[5] “name=Rear Camera,size=1600x1200,fps=30”
[6] “name=Rear Camera,size=1280x720,fps=60”
[7] “name=Front Camera,size=640x480,fps=30”
[8] “name=Front Camera,size=160x120,fps=30”
[9] “name=Front Camera,size=176x144,fps=30”
...
キャプチャーリストの番号は使うカメラを切り替えるために使います。
サンプルコードの下記の部分では、cameras[0]なので0番目のカメラを使っています。
cam = new Capture(this, cameras[0]);
Ex A: 上記のコードを使って自分のPCでビデオキャプチャを行ってください。
キャプチャを行うカメラの変更も行ってみてください。
更に、saveFrame()を使ってキャプチャした連番静止画を保存し、movファイルに変換をしてください。
参照：movファイルへの変換など。
参照：saveFrame()は実行画面を連番静止画にして保存することができます。
saveFrame("frames2/line-######.png");
↑シャープ記号の数の桁の連番になります。
/で区切れば、それ以前の部分の名前のフォルダを自動で作成してくれます。
画像（フォルダを作成する場合はフォルダ）はプログラムのファイルと同じフォルダ内に作成されます。
画像ができたら、Processingのメニューのツールより、「ムービーメーカー」を選び、連番静止画のあるフォルダを選択して、「動画を作成」ボタンを押すと動画が作成されます。
PC付属のカメラなどを持っていない人は、早めに担当教員までお知らせください。
↑ムービーメーカーでトラブルが起こる場合は、圧縮をJPEGにするとうまく書き出せるかもしれません。
Lib > OpenCV for Processing
OpenCVはリアルタイムでのcomputer visionを主な目的としたプログラムのライブラリです。OpenCV は C, C++, C#, Java, その他で使えてとても広く使われています。
OpenCV for Processingで何ができるのでしょう？
以下の場所にあるサンプル名を見ると大体わかります。
Contributed Libraries > OpenCV for Processing.
サンプルの内、FaceDetectionをダブルクリックして実行しましょう
男性の顔の部分が四角で囲まれた画面が表示されると思います。
下記はそのサンプルコードに追記をしたものですが、
顔写真データがないと同じ挙動にならないので、
「サンプル」から実行し、
「名前を付けて保存」をして複製を作成して編集するとよいでしょう。
import gab.opencv.*; //openCVのライブラリ
import java.awt.Rectangle; //javaのRectangleクラス
OpenCV opencv; //OpenCVクラスの変数を定義
Rectangle[] faces;//1. Rectangleクラスの配列を定義（顔を複数検出できるため）
void setup() {
//静止画の読込
opencv = new OpenCV(this, "test.jpg");
size(1080, 720);
//2.
//顔のデータをロード→顔を検出
opencv.loadCascade(OpenCV.CASCADE_FRONTALFACE);
//目のデータをロード→目を検出
//opencv.loadCascade(OpenCV.CASCADE_EYE);
//口のデータをロード→口を検出
//opencv.loadCascade(OpenCV.CASCADE_MOUTH);
//顔を検出
faces = opencv.detect();
}
void draw() {
//入力画像の描画
image(opencv.getInput(), 0, 0);
noFill();
stroke(0, 255, 0);
strokeWeight(3);
//顔は複数検出可能なので、for文を使っているがここでは一つの顔のみ
for (int i = 0; i < faces.length; i++) {
rect(faces[i].x, faces[i].y, faces[i].width, faces[i].height);
}
}
Rectangleクラスには、x, y, width, height (左上のx,y座標、横・縦幅)がある。詳細はこちら。
setup内のloadCascadeのところに目や口を検出するコードを記載しています。
このように、顔以外にも検出が可能ですので色々試してみましょう。
更に他の部分を検出したい場合は、 こちらを参考にしてください。
Ex B. OpenCVのライブラリを用い、ビデオをキャプチャで、あなたの顔を検出してください。
自分のPCのカメラで撮った動画に対してリアルタイムに顔検出をするプログラムを書いてください（下にある動画のように）。
更に、何かしらの画像を読込み、キャプチャした動画の顔や目などの上に表示するようにしてください。
Hint:
OpenCVを動画やリアルタイムキャプチャ画面に使う場合、次のサンプルコードを参考にしてください。
特に毎フレーム、キャプチャした画面をopencvにloadしないといけないあたり、気を付けましょう。マスクなどをしていると顔が検出されません！
他の機能を見てみましょう。 OpticalFlowの例。
Optical flowは2つの画像間で各点がどう動いたのかを表します。
動画なら、一つ前のフレームのある位置が次のフレームでどこに行ったのかをベクトルで表します。
以下はOpenCV for ProcessingのOptical Flowの実行結果です。
