16 posts tagged “code sample”

前作ったやつは、スタイル出力、HTML出力、スタイル埋め込みという手順を踏む必要があって面倒なので、pygmentsのAPIを使って一発で処理するようにしてみた。

前のは出力されたcssとHTMLを処理するのでstyle, lexerなんかは好きにすればよかったけど、
今回は1passなのでそこら辺の指定をできるようにしてみた。



from pygments import highlight
from pygments.lexers import get_lexer_by_name, get_lexer_for_filename
from pygments.formatters import get_formatter_by_name
from xml.etree.ElementTree import ElementTree, XML
import cssutils
from cssutils.css import CSSRule
from sys import stdout
from optparse import OptionParser

def write(filename, style_name='colorful', formatter_name='html', lexer_name=None, out=stdout):
    fmtter = get_formatter_by_name(formatter_name, style=style_name)
    if lexer_name:
        lexer = get_lexer_by_name(lexer_name)
    else:
        lexer = get_lexer_for_filename(filename)
    css = cssutils.parseString(fmtter.get_style_defs())
    rules = dict([(x.selectorText, x.style.cssText.replace('\n', '')) for x in css.cssRules if x.type == CSSRule.STYLE_RULE])
    tree = ElementTree(XML(highlight(open(filename).read(), lexer, fmtter)))
    for elem in tree.getiterator():
        c = elem.get('class', None)
        if c:
            style = rules.get('.'+c, None)
            if style:
                elem.attrib['style'] = style
    tree.write(out)

if __name__ == '__main__':
    optparser = OptionParser(usage=u'usage: %prog [options] file')
    optparser.add_option('-S', '--style', dest='style', help='style', default='colorful')
    optparser.add_option('-f', '--formatter', dest='formatter', help='formatter', default='html')
    optparser.add_option('-L', '--lexer', dest='lexer', help='lexer')
    options, args = optparser.parse_args()
    if len(args) == 1:
        write(args[0], options.style, options.formatter, options.lexer, stdout)
    else:
        print '** no input file specified **'
        optparser.print_help()

ここでソース張っても色とかつけるのが大変なので、pygmentsのhtml出力とcssを結合するスクリプトを書いてみた。

embedstyle.py

import sys
from xml.etree.ElementTree import ElementTree
import cssutils
from cssutils.css import CSSRule

css = cssutils.parseFile(sys.argv[2])
rules = dict([(x.selectorText, x.style.cssText.replace('\n', '')) for x in css.cssRules if x.type == CSSRule.STYLE_RULE])

tree =  ElementTree(file=open(sys.argv[1]))
for elem in tree.getiterator():
    c = elem.get('class', None)
    if c:
        style = rules.get('.'+c, None)
        if style:
            elem.attrib['style'] = style
tree.write(sys.stdout)

使用例
スタイル生成→HTML出力→結合

pygmentize -f html -S colorful > test.css
pygmentize -o embedstyle.html embedstyle.py
python embedstyle.py pkglist.html test.css > out.html

これで出力したのがこのページのコード

ディスクの空きがちょっと減ってきたので、サイズが大きいパッケージを知りたくて作ってみた。

python-aptとprettytable使ってます。

出力

sys.stderrにメッセージを出力しているモジュールがあって、それを書き換えずに何とかしたいので考えてみた。
とりあえずうまくいったけど、いいのかわからない。
(追記
すっかり忘れてたけど、sys.stderrをほかの変数で参照してたらだめだった。当たり前なんだけど…
別モジュールで、from sys import stderrなら
モジュール名.stderrを書き換えればOK)

import sys
import logging
from StringIO import StringIO

class redir(object):
  def __init__(self, f):
    self.f = f
    self.eol = True
  def write(self, buf):
    if buf == '\n':
      if self.eol:
        self.f('')
      else:
        self.eol = True
    else:
      self.eol = False
      self.f(buf)

print >>sys.stderr, "hoge"
logging.basicConfig(filename='hoge.log', level=logging.DEBUG)
sys.stderr = redir(logging.error)
print >>sys.stderr, "hoge1"
print >>sys.stderr
print >>sys.stderr, "hoge2"


これで、最初の出力(hoge)はstderrに、以降の出力(hoge1,改行のみ,hoge2)はhoge.logに出力される。


調べ方メモ
6.6. The print statementを見て、出力先のオブジェクトにwriteが必要なことと、(必要なときは)最後に'\n'がくることはわかった。
writeに渡されるバッファに最後の改行が含まれているのか、改行だけ別に呼ばれるのか気になるので調べてみた。

適当な関数を作って、disで調べた。

>>> import dis
>>> def f():
...  print >>None, None,
...
>>> def fln():
...  print >>None, None
...
>>> def fnl():
...  print >>None
...
>>> dis.dis(f)
  2           0 LOAD_CONST               0 (None)
              3 DUP_TOP
              4 LOAD_CONST               0 (None)
              7 ROT_TWO
              8 PRINT_ITEM_TO
              9 POP_TOP
             10 LOAD_CONST               0 (None)
             13 RETURN_VALUE
>>> dis.dis(fln)
  2           0 LOAD_CONST               0 (None)
              3 DUP_TOP
              4 LOAD_CONST               0 (None)
              7 ROT_TWO
              8 PRINT_ITEM_TO
              9 PRINT_NEWLINE_TO
             10 LOAD_CONST               0 (None)
             13 RETURN_VALUE
>>> dis(fnl)
  2           0 LOAD_CONST               0 (None)
              3 PRINT_NEWLINE_TO
              4 LOAD_CONST               0 (None)
              7 RETURN_VALUE
>>>


たぶん、PRINT_ITEM_TOがデータの出力で、PRINT_NEWLINE_TOは改行であろうことはわかる。
改行付きのprintがPRINT_ITEM_TOと、PRINT_NEWLINE_TOと二つに分かれているので、2回に分けてwriteが呼ばれそうなこともわかる。
ともかく、PRINT_ITEM_TOとPRINT_NEWLINE_TOは間違いなくキーワードなので調べると、PRINT_ITEM_TOとPRINT_NEWLINE_TOは拡張版print statementで使われるのがわかる。それぞれ出力を行う命令なので、writeが二度呼ばれるものとして扱ってよさそう。

素直にそのままloggingすると、最後の改行までログに残ってしまうので邪魔。ただ、単純に'\n'だけ渡されたときに無視するようにすると、改行だけのやつ(fnlみたいなやつ)は捨てられてしまうので(ログに出すことしか考えていないので、許容できる場面もあると思うけど)簡単に対応しておく。


• 前回の出力が改行じゃないときは無視(PRINT_ITEM_TO->PRINT_NEWLINE_TOで呼ばれる場合)

• それ以外は空文字列を出力


keisen.elはたまに使うけど、いつでもキーにバインドしておきたい機能という訳ではない.
なので、そのモードにした時だけ罫線用キーバインドがアクティブになるようなマイナーモードを作った.

多分似たものがあると思うんだけど、マイナーモードを作る練習になると思ったので作ってみた.
easy-mmodeはほんとにeasyでした.



(autoload 'keisen-up-move "keisen" nil t)
(autoload 'keisen-down-move "keisen" nil t)
(autoload 'keisen-left-move "keisen" nil t)
(autoload 'keisen-right-move "keisen" nil t)

(easy-mmode-define-minor-mode keisen-minor-mode
                  "keisen"
                  nil
                  " KEISEN"
                  '(([C-right] . keisen-right-move)
                ([C-left] . keisen-left-move)
                ([C-up] . keisen-up-move)
                ([C-down] . keisen-down-move))
                  )
(provide 'keisen-minor)

Jythonの日本語処理がよくわからないについて。
UTF-8環境と仮定して、以下のようにすれば出来ます。
(コマンドプロンプトならCP932とかにすればいいんだけど、こまったことにjythonではcodecsに"cp932"がないのでencodeでSJISバイト列に出来ません。なのでJavaのAPIで出力するのしか出来なかった)

>>> from java.lang import String, System
>>> from com.ibm.icu.text import Transliterator
>>> print Transliterator.getInstance("Fullwidth-Halfwidth").transliterate(String(u"テスト", "UTF-8")).encode("utf-8")
ﾃｽﾄ
>>> System.out.println(Transliterator.getInstance("Fullwidth-Halfwidth").transliterate(String(u"テスト", "UTF-8")))
ﾃｽﾄ

例えば、こんなのでも分かる。
>>> "ﾃｽﾄ".decode("utf-8")
u'\uff83\uff7d\uff84'
>>> print "ﾃｽﾄ".decode("utf-8")
Traceback (most recent call last):
  File "", line 1, in
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)

その場で作ってすぐ実行するスレッドをThreadを継承した匿名クラスで実装する。このスレッドをdaemon化するのに、次のようなやり方ではIllegalThreadStateExceptionが発生してしまう。startしたらdaemon化出来ないため。

new Thread() {
    @Override
    public void run() {
        setDaemon(true);
        System.out.println("hello");
    }
}.start();

new Thread() {
    {
        setDaemon(true);
    }
    @Override
    public void run() {
        System.out.println("hello");
    }
}.start();

pythonスレをみてて気になったので調べた結果。

入力フォームで全角のみを許可したいという話なので、全角(Full-width)かどうかの判定をunicodedataでやれば楽ができそうと思った(853)。
ただ、入力がUnicodeの場合は分解されている可能性があるので、正規合成しなくても大丈夫か気になった。



Python 2.5.1 (r251:54863, Nov 19 2007, 17:32:14)
[GCC 4.2.2 (Gentoo 4.2.2 p1.0)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import unicodedata
>>> for uc in unicodedata.normalize('NFD', u'ぱいそん'):
...  uc, unicodedata.east_asian_width(uc)
...
(u'\u306f', 'W')
(u'\u309a', 'W')
(u'\u3044', 'W')
(u'\u305d', 'W')
(u'\u3093', 'W')
>>>

unicodedataとicuは出来ることがかぶってる～って書こうと思ったら、UAX #11: East Asian Widthを見つけた。PyICUは開発中で、現状ではuchar/UCharacterに該当するものが無いから、この件に関してはunicodedataを使うしかないけど。

正規化は便利だし、なんかおもしろい。
入力文字種を制限するんじゃなくて、入力を正規化して、確認画面で正しいかどうかをユーザに判断してもらうのもありなんじゃないかな。
まあその場合、NFC+Full-Widthに統一かな。NFKCだとHalf→Fullまで出来るけど、複数文字を1文字にしたのがばらされてしまう。それが問題にならなければ楽。



>>> print unicodedata.normalize(u'NFKC', u'㍊㌶㍻㎡ﾊﾟｲｿﾝぱいそん')
ミリバールヘクタール平成m2パイソンぱいそん

いつ出るのかわからないけど、かなり性能が改善しているようなので見てみた。

うれしい改善

• Fieldつかいまわし(LUCENE-963)。これでDocumentも使い回せる。
  
• Tokenつかいまわし(LUCENE-969)。Tokenizer内でTokenを使い回す。
• IndexReader.reopen()(LUCENE-743)。Searcherを作り直さないで良いなら、かなり便利になる気がする。
  

Field使い回し

フィールドの数だけFiledのインスタンスを作っておいて、Documentにaddしておく。
あとは、実際にインデックスにつっこみたい文書を、作っておいたフィールドにそれぞれ設定して、
IndexWriterにdocをaddすればいい。docに対してaddするのは最初だけで良い。

final Document doc = new Document();
final Field url = new Field("url", "", Field.Store.YES, Field.Index.UN_TOKENIZED, Field.TermVector.NO);
final Field title = new Field("title", "", Field.Store.NO, Field.Index.TOKENIZED, Field.TermVector.NO);
final Field desc = new Field("desc", "", Field.Store.NO, Field.Index.TOKENIZED, Field.TermVector.NO);
doc.add(url); doc.add(title); doc.add(desc);
for (Content c: clist) {
    url.setValue(c.url);
    title.setValue(c.title);
    desc.setValue(c.desc);
    indexWriter.add(doc);
}

Token使い回し

final int len = term.length();
char[] buf = token.termBuffer();
if (buf.length < len) {
  buf = token.resizeTermBuffer(len);
}
term.getChars(0, len, buf, 0);
token.setTermLength(len);


pythonで辞書の値でソートしたかったので適当に考えてみたけど、検索したら普通の方法っぽい。

>>> d = {"a": 9, "b":5, "c":10, "d":0}
>>> for i in sorted([(v, k) for k, v in d.items()]):
    print i
  
(0, 'd')
(5, 'b')
(9, 'a')
(10, 'c')
>>>