OpenPoseの使い方メモ

OpenPoseとは

OpenPoseはDeep Learningを使って単眼カメラから人体姿勢を推定するライブラリで,CVPR2017でRealtime Multi-Person 2D Pose Estimation using Part Affinity Fieldsというタイトルで発表されたもの.

OpenPose

公式ページの情報を要約すると,画像,ビデオ,webcam,IPカメラから18点のキーポイントが検出可能.各種フォーマットで結果を保存可能.

他にも,左右の手から21点,顔から70点のキーポイントを検出するオプションもある.

これらはUbuntu,Windows,Nvidia TX2で動作する.

 

というわけで,色々な用途に使えるので,よく使うオプションのメモ.

実行方法

例えば,USBカメラを使う場合は以下の通り.

./build/examples/openpose/openpose.bin

ディレクトリ内の画像を一括で処理する場合

./build/examples/openpose/openpose.bin -image_dir /path/to/image

ビデオに対して処理する場合

./build/examples/openpose/openpose.bin -video /path/to/vieo

IPカメラの場合

./build/examples/openpose/openpose.bin -ip_camera (RTSPかHTTPでURLを指定)

姿勢推定結果の画像を保存したい

以下のオプションを追加

-write_images /path/to/directory

元画像を保存したい

以下のオプションを追加

-render_pose 0 -write_images /path/to/output_directory

ちなみに,-render_pose 1 でCPUを使った描画になり,デフォルトの -render_pose 2 よりも高速.

姿勢推定結果の座標値を保存したい

以下のオプションを追加

-write_keypoint /path/to/output_directory

デフォルトではyml形式で保存される.ファイルは,-write_imageをした時の画像と同じ番号が割り振られるので,画像とほぼ同じファイル名で1画像1ファイルで保存されていく.

LibSVMはOpenMP化して使いましょう

LIBSVMというSVM(Support Vector Machine)のライブラリがある.
SVMで学習したり認識したりするときは特徴ベクトルとサポートベクトルの演算があり,結構時間がかかる.

FAQを見ると,OpenMPで並列化させる方法が載っている.
OpenMPで並列化をすれば,CPUのコアを複数使って効率よく学習や認識ができるのでおすすめ.

これを見て知りました.
LIBSVMをマルチコア環境で速くする方法 using OpenMP+おまけ

Metafile to EPS Converter

これまで論文に図を乗せるときは,PowerPointで作ってwmf2epsを使って変換していた.
wmf2epsの詳細についてはこちらのページが参考になる.

これを入れると,PowerPointで作った図をコピー&ペーストするだけでemfかwmfファイルが作れ,そこからボタンひとつでepsに変換できる.

が,Windows 8にしてから使えなくなった.ドライバがWindows 7までのようで.

そこで途方に暮れていたが,先日Metafile to EPS Converterというものを見つけた.

これも同じぐらい簡単で,ほぼコピー&ペーストでepsファイルが作れる.

PRMU研究会@早稲田大学2日目

今日も朝から参加.宿から副都心線で2駅だったが,信号機トラブルのせいでダイヤが乱れていた.早めに出ていたので遅刻はせずに無事到着.

今日も各セッション平均1回以上は質問して頑張った.

特別講演は博物館等の情報検索に関する話で,連想検索など興味深い内容だった.

今日も最後のセッションで座長だった.最後のセッションは人が少ないので心配だったが,自分からも質問が沢山出せる内容で,フロアからも沢山質問が出たので問題なくこなせた.

ただ,時間きてるのに補足コメントを座長がしてしまい,4,5分オーバーしてしまった.

背景差分の本が出るようだ

フランスUniversité de La RochelleのThierry BOUWMANS先生が背景差分の本を出版される.

Handbook on "Background Modeling and Foreground Detection for Video Surveillance"

Thierry BOUWMANS先生は背景差分のサーベイ論文を執筆されていて,僕の研究も引用されていたりする.

この本は5部構成で,

  1. イントロと背景(←この「背景」は研究の背景であって「背景」差分の背景ではないと思う)
  2. 従来と最新の背景モデル
  3. サーベイランスにおけるアプリケーション
  4. センサ,ハードウェアと実装
  5. ベンチマークと評価

となっている.

普通の背景差分法から,最新の統計的手法,GPU実装,距離情報を含むRGB-Dカメラ,背景差分ライブラリであるBGSLibraryの紹介,評価用データセットまで載っていて,これを読めばざっと背景差分に関する知識が得られそう.

論文を読むのに使ってるツール(モバイル編)

論文などPDFファイルを読むことが多いが,その時に使うのが,ezPDF Reader

PDFの表示,注釈入れ,線引きなどひと通りできる.

特に便利なのが,ColorDictとの連携.ezPDF Reader内でPDF文書中の単語を選択してColorDictをタップすると,半透明の画面が出てきてColorDictで辞書をひいた結果が出てくる.

有料アプリだけどそんなに高くないから支払って使うべき!

多カメラ間人物追跡用データセット

昨日から参加している20th Korea-Japan Joint Workshop on Frontiers of Computer Vision で発表してきた.

今回発表したのは,多カメラに渡る人物追跡用のデータセットの公開について.詳細はこちらにあるが,16カメラで24人を追跡したデータセットになっている.

16カメラは実際の商用の防犯カメラ映像で,AXIS Communications社製のAXIS 211P-1344-Eを使って撮影したもので,すべて手動でアノテーションをつけている.

使う場合はこちらのページから契約書をダウンロードし,サインしてメールで送付していただければ研究用途に限り誰でも利用可能になっている.

沖縄出張

FCV2014ONCTに参加するために,沖縄に来ています.

FCV(Frontier in Computer Vision)は日韓の画像処理研究者が20年間続けている国際ワークショップ.今回は20回目の記念の会.

今日は京都からONCT(国立沖縄工業高等専門学校)への移動と,午後からのワークショップ.飛行機2時間で沖縄だが,そこから更にバスで1時間半ほどかかった.オスプレイで有名(?)な普天間基地や,嘉手納基地の横を通り,米軍の練習場を越えてようやく到着.

会議自体は1件の特別講演と2セッション,そしてバンケット.明日は自分の発表がある.

PRMU/MVE/CVIM/SIG-MR

パターン認識・理解研究会、仮想環境基礎研究会、コンピュータビジョンとイメージメディア研究会、複合現実感研究会の合同研究会@大阪大学に行ってきた。

毎年1月の研究会は4研究会合同の大規模な研究会が開かれる。参加者・発表者が多いと、面白い研究も多いし、議論も盛り上がる。さらに、普段参加しない学会の研究も聴けて楽しい。

ところで、今日は昨日に引き続き、天津中華丼を食べた。これは、天津飯の上に中華丼の具(八宝菜?)が乗っているやつ。

パワポでポスター作り

学会ではポスター発表というのがあり,A0サイズの紙に発表内容を印刷して説明をすることがある.

そのポスター作り,Illustratorを使う人が多いかもしれないが,PowerPointもまぁまぁ使える.(ちなみに普段はPowerPointかInkscapeを使っている.InkscapeはPhotoshopに対するGimpの,Illustrator版みたいな感じ.)なぜかというと,PowerPointは普段のプレゼンでよく使うので,操作に慣れているから,というのが主な理由.

PowerPointでは普通は16:9のワイドスクリーンの表示に適したサイズのスライドが用意されている.ポスター発表ではこうしたサイズではダメなので,まず用紙をポスターサイズに設定する.

設定の仕方は,上のリボンから,「デザイン」→「ユーザー設定」→「スライドのサイズ」.普通はここで,「標準(4:3)」か「ワイド画面(16:9)」を選択するが,今回は「ユーザー設定のスライドのサイズ」を選ぶ.

「スライドのサイズ」というウインドウが出てくるので,スライドのサイズ指定で「ユーザー設定」を選択し,幅84.1cm,高さ 118.9cmを入力してOKを押す.

これで,A0のポスターのサイズの巨大なスライドが作れる.あとは拡大率を適当に調整しながら,普段のプレゼンスライドを作る要領でシェイプや画像や文字列を置いていく.普通のプレゼン同様,デザインを作っておくと,同じデザインのポスターを作りやすい.

注意しないといけないのが文字サイズ.英語だとだいたい44ptぐらいが最小限かなと思う.タイトルには86ptを使っている.