Bus errorとSegmentation faultに困ったら見るブログ

物理の研究者による日々の研究生活のメモ書きです ( python/emacs/html/Japascript/シェルスクリプト/TeX/Mac/C言語/Linux/git/tmux/R/ポケモンGO)

HTCondor

HTCondorで実行に失敗してステータスがXとなったジョブのみを表示する方法【HTCondor】

condor_history -constraint 'JobStatus == 3' HTCondor の condor_q や condor_history の出力で X と表示されるジョブは、実際には JobStatus == 3(Removed) や JobStatus == 5(Held)からの移行) など、何らかの理由で「正常終了以外で終わったジョブ…

自分のジョブのpriorityを設定する方法【HTCondor】

htcondor.readthedocs.io priority = 15 のようにサブミットファイルに書けばOK これを書かないと、デフォルトは0になってますこの数字がcondor_qしたときに、PRIと書かれている項目で確認することができます 注意点 Job priorities are computed per user, …

【HTCondor v24】複数のqueueを書く機能はv24で廃止され、queueを1つの行にまとめる必要がある

複数のqueueを書く機能はv24で廃止される HTCondorでジョブを投げていたときに、次のようなワーニングが出てきた Warning: Use of multiple queue statements in a single submit file is deprecated. This functionality will be removed in the V24 featur…

【HTCondor】job submission fileでfor文を使って、argumentを変更したい

色々と調べてやってみましたが、いい感じの方法が見つからないです queue MagnetPolarity,NTupleId from ( up,00083875 down,00083879 )lhcb.github.ioみたいな感じで、変数を下にあるリストから取り出してその都度、ジョブを投げるという方法もあるようです…

【HTcondor】グループごとに割り当てられたジョブ投下権のpriorityを見てみたい

www-auth.cs.wisc.edu condor_userprio -quotasと打つと見れる

HTCondorのデーモンが自動起動になっていなかったので修正した【Debian】

condor_qとか打つと次のようなメッセージが表示された Extra Info: You probably saw this error because the condor_schedd is not running on the machine you are trying to query. If the condor_schedd is not running, the Condor system will not be …

【condor】DAGmanについてメモ

condorは1つのジョブを走らせて、それを見届けてくれる DAGmanはcondorの拡張版みたいなものっぽいジョブA, B, Cと3つのジョブを走らせるとして、 Aが終わったらBを、Bが終わったらCを走らせる みたいなそれぞれのジョブを関連付けて走らせることができる詳…

【condor】実行ファイルが読み込むファイルがないとエラーが出るので対応する

実行ファイルが foo/hoge.txt というファイルを読み込んで解析をするとする このとき、実行ファイルにfoo/hoge.txtと直書きして実行するとファイルが見つからないとエラーが出るおそらくcondorが実行されるときに、実行ファイルを別の場所にそのままコピーし…

【condor_rm】で条件にmatchするジョブだけ削除(停止)する

(2017年の過去記事です)condor_rmのヘルプを見るとタイトルと関係あるオプションを見つけてしまった (スペースとタブが潰れたので見にくい・・・)Usage: condor_rm [options] [constraints] where [options] is zero or more of: -help Display this message…

【HTCondor】について調べたのでメモ

condorについて改めて調べてみたのでメモ condor_q をなんども実行するのは面倒な人は while /bin/true ; do condor_q; sleep 2; clear; doneをaliasに登録しておけば良さそう(またはシェルスクリプトにしておくとか)■ 参考 : Condorを用いたグリッドスケジ…

【condor_submit】複数cpuを使ったジョブを投げたいとき

■ 参考 : Multi-threading Jobsubmitファイルに request_cpus = 8 と書けばいいっぽいこれで並列化できて、計算時間が短縮できる! ランキング参加中です ↓クリックしていただけると嬉しいです〜ランキング参加中Python ランキング参加中HTML ランキング参加…

【HTcondor】condor_rmでジョブIDでフィルターをかけて一部のジョブのみ止めたい

condor_rmの復習 ジョブIDを見たい時は condor_q -nobatch -allみたいにして調べる一番左にあるのがジョブID123456.0 123456.1 123456.2のように書かれていたら、一度の投入時に、設定を少し変えて同時に投げられたジョブ condor_rm 123456と書くと3つとも止…

【HTCondor】使用するcpuを投入時の状態に応じて動的に変更する

3~8個のcpuのうち空いているものを使いたい時は以下のように書けばいいらしい executable = foo.exe # Only interested in slots with 3 to 8 CPUs if they # are static or dynamic. If a slot is partitionable, # make sure it has at least 3 cpus. requ…

【HTCondor】ジョブがHOLDになったときに詳細な理由を調べたい時、ジョブの現状を知りたい時

一番簡単なの condor_qただ、これだけだと全容が掴めないし、他のユーザーのジョブも見れないことがある(HTCondorのversionによって変わる)ので もっと詳しくみたい時 condor_q -all -nobatchが便利 表示される項目の説明 ID ジョブのID、condor_rmでジョブ…

【HTCondor】投稿するサブミットファイルの書き方例

サブミットファイルの例はHTcondorの公式ページに載ってるSubmitting a Job — HTCondor Manual 24.2.1 documentation # Example 1 # Simple HTCondor submit description file # Everything with a leading # is a comment executable = myexe arguments = S…